Robots.txt टेस्टर और बिल्डर

Robots.txt Tester & Builder जाँचता है कि robots.txt फ़ाइल के अनुसार कोई crawler किसी URL को fetch कर सकता है या नहीं। हर जाँचे गए path के लिए यह अनुमत या robots.txt द्वारा ब्लॉक, लागू User-agent ग्रुप, पंक्ति संख्या के साथ मिलान वाला नियम और पूरा नियम ट्रेस दिखाता है, ताकि आप देख सकें कि एक नियम दूसरे पर क्यों भारी पड़ा।

संपादित करें और जाँचें तथा बनाएँ पूरी तरह आपके ब्राउज़र में चलते हैं। लाइव जाँच आपका डाला गया URL CodingTool सर्वर को भेजती है, जो एमुलेटेड यूज़र एजेंट के साथ लक्ष्य साइट से /robots.txt माँगते हैं; लक्ष्य साइट को यह अनुरोध मिलता है, निजी और आंतरिक पते ब्लॉक होते हैं और कुछ भी सेव नहीं होता। Fetch की गई फ़ाइल केवल-पढ़ने के लिए खुलती है, और बदलाव आज़माने के लिए आप उसकी कॉपी संपादित कर सकते हैं।

मिलान RFC 9309 के अनुसार होता है। Crawler उन ग्रुप का उपयोग करता है जिनमें उसका product token हो, वरना User-agent: * ग्रुप का। उनमें सबसे लंबा मिलान वाला Allow या Disallow पैटर्न जीतता है, और बराबरी पर Allow जीतता है। * किसी भी अक्षर से मेल खाता है और अंत का $ URL के अंत को एंकर करता है। robots.txt की 4xx प्रतिक्रिया का अर्थ है कोई प्रतिबंध नहीं; 5xx प्रतिक्रिया या नेटवर्क विफलता का अर्थ है पूरी साइट पर रोक।

robots.txt crawling को नियंत्रित करता है, indexing को नहीं। robots.txt द्वारा ब्लॉक URL भी बिना सामग्री के index हो सकता है अगर दूसरे पेज उससे लिंक करते हैं, और ब्लॉक पेज पर noindex नियम कभी पढ़ा नहीं जाता; ऐसे मामलों को संभावित indexability समस्या मानें। प्रदाताओं का व्यवहार अलग होता है: Google crawl-delay को अनदेखा करता है और केवल पहले 500 KiB प्रोसेस करता है, और यूज़र-ट्रिगर एजेंट robots.txt का पालन न भी करें। असामान्य लेकिन मान्य नियम रिपोर्ट किए जाते हैं, कभी दोबारा लिखे नहीं जाते।