ตัวทดสอบและสร้าง robots.txt

Robots.txt Tester & Builder ตรวจสอบว่า crawler ดึง URL ได้หรือไม่ตามไฟล์ robots.txt สำหรับทุก path ที่ทดสอบ เครื่องมือจะแสดง อนุญาต หรือ ถูกบล็อกโดย robots.txt กลุ่ม User-agent ที่ใช้ กฎที่ตรงกันพร้อมเลขบรรทัด และการติดตามกฎแบบเต็ม เพื่อให้เห็นว่าทำไมกฎหนึ่งชนะอีกกฎหนึ่ง

แก้ไขและทดสอบ และ สร้าง ทำงานในเบราว์เซอร์ของคุณทั้งหมด ทดสอบสดจะส่ง URL ที่คุณป้อนไปยังเซิร์ฟเวอร์ของ CodingTool ซึ่งจะขอ /robots.txt จากเว็บไซต์ปลายทางด้วย user agent จำลอง เว็บไซต์ปลายทางจะได้รับคำขอนั้น ที่อยู่ส่วนตัวและภายในถูกบล็อก และไม่มีการจัดเก็บข้อมูลใด ๆ ไฟล์ที่ดึงมาจะเปิดแบบอ่านอย่างเดียว และคุณแก้ไขสำเนาเพื่อลองเปลี่ยนแปลงได้

การจับคู่เป็นไปตาม RFC 9309 crawler ใช้กลุ่มที่ระบุ product token ของตน หากไม่มีจะใช้กลุ่ม User-agent: * ภายในกลุ่ม รูปแบบ Allow หรือ Disallow ที่ตรงกันยาวที่สุดจะชนะ และ Allow ชนะเมื่อเสมอกัน * ตรงกับอักขระใดก็ได้ และ $ ท้ายรูปแบบยึดจุดสิ้นสุดของ URL การตอบกลับ 4xx ของ robots.txt หมายถึงไม่มีข้อจำกัด ส่วนการตอบกลับ 5xx หรือเครือข่ายล้มเหลวหมายถึงห้ามทั้งเว็บไซต์

robots.txt ควบคุมการ crawl ไม่ใช่การจัดทำดัชนี URL ที่ถูกบล็อกโดย robots.txt ยังอาจถูกจัดทำดัชนีโดยไม่มีเนื้อหาหากมีหน้าอื่นลิงก์มา และกฎ noindex บนหน้าที่ถูกบล็อกจะไม่ถูกอ่าน ให้ถือว่ากรณีเหล่านี้เป็นปัญหาการจัดทำดัชนีที่อาจเกิดขึ้น พฤติกรรมของผู้ให้บริการแตกต่างกัน: Google ละเว้น crawl-delay และประมวลผลเพียง 500 KiB แรก และเอเจนต์ที่ผู้ใช้สั่งงานอาจไม่ทำตาม robots.txt กฎที่แปลกแต่ถูกต้องจะถูกรายงาน ไม่ถูกเขียนใหม่