AI क्रॉलर एक्सेस टेस्टर

AI Crawler Access Tester एक robots.txt फ़ाइल पढ़ता है और, वैकल्पिक रूप से, एक पेज का X-Robots-Tag हेडर और meta robots टैग भी। यह इन्हें एक मेंटेन की गई रजिस्ट्री से चुने गए हर सर्च या AI क्रॉलर के लिए जाँचता है और robots नीति, पेज फ़ेच स्थिति, पेज डायरेक्टिव और परिणाम साथ-साथ दिखाता है, साथ में वह सटीक नियम और लाइन भी जिसने हर परिणाम तय किया।

robots.txt तय करती है कि क्रॉलर कोई URL फ़ेच कर सकता है या नहीं; noindex तय करता है कि फ़ेच किया गया पेज इंडेक्स हो सकता है या नहीं। यह टूल दोनों को अलग कॉलम में रखता है। robots.txt द्वारा ब्लॉक क्रॉलर कभी noindex टैग नहीं देखता, और अनुमति वाला क्रॉलर फिर भी noindex डायरेक्टिव पा सकता है, जिसे किसी सर्च इंडेक्स के बारे में फ़ैसले के बजाय संभावित इंडेक्सेबिलिटी समस्या के रूप में बताया जाता है।

क्रॉलर को उद्देश्य के अनुसार लेबल किया जाता है: सर्च, AI प्रशिक्षण, उपयोगकर्ता द्वारा शुरू, प्रीव्यू, विज्ञापन या अन्य। उपयोगकर्ता द्वारा शुरू किए गए फ़ेचर किसी व्यक्ति के अनुरोध पर काम करते हैं, और कुछ प्रदाता बताते हैं कि उन पर robots.txt लागू न हो, ऐसा हो सकता है। Google-Extended एक उपयोग-नियंत्रण टोकन है जिसके अपने फ़ेच नहीं होते: इसे ब्लॉक करने से Google Search क्रॉलिंग बदले बिना AI मॉडल में उपयोग सीमित होता है।

RFC 9309 के अनुसार robots.txt का 4xx जवाब मतलब कोई रोक नहीं, और 5xx जवाब या नेटवर्क विफलता मतलब पूरी रोक। लाइव जाँच URL को CodingTool सर्वर पर भेजती है, जो एमुलेटेड ब्राउज़र user agent से लक्ष्य साइट से robots.txt और पेज माँगते हैं और कुछ भी संग्रहीत नहीं करते। पेस्ट की गई robots.txt आपके ब्राउज़र में जाँची जाती है। एमुलेटेड अनुरोध कभी असली क्रॉलर विज़िट नहीं होते।