เครื่องมือทดสอบการเข้าถึงของครอว์เลอร์ AI

AI Crawler Access Tester อ่านไฟล์ robots.txt หนึ่งไฟล์ และเลือกอ่านส่วนหัว X-Robots-Tag กับแท็ก meta robots ของหน้าหนึ่งหน้าได้ จากนั้นประเมินสำหรับครอว์เลอร์ค้นหาหรือ AI แต่ละตัวที่เลือกจากรายการที่มีการดูแล และแสดงนโยบาย robots สถานะการดึงหน้า คำสั่งระดับหน้า และผลลัพธ์เคียงกัน พร้อมกฎและบรรทัดที่ตัดสินผลแต่ละรายการ

robots.txt ควบคุมว่าครอว์เลอร์ดึง URL ได้หรือไม่ ส่วน noindex ควบคุมว่าหน้าที่ดึงแล้วจัดทำดัชนีได้หรือไม่ เครื่องมือนี้แยกทั้งสองไว้คนละคอลัมน์ ครอว์เลอร์ที่ถูกบล็อกโดย robots.txt จะไม่เห็นแท็ก noindex และครอว์เลอร์ที่ได้รับอนุญาตยังอาจพบคำสั่ง noindex ซึ่งจะรายงานว่าอาจมีปัญหาด้านการจัดทำดัชนี ไม่ใช่คำตัดสินเกี่ยวกับดัชนีของเครื่องมือค้นหาใด

ครอว์เลอร์ถูกจัดตามวัตถุประสงค์: การค้นหา การฝึก AI ผู้ใช้สั่งให้ดึง ตัวอย่าง โฆษณา หรืออื่น ๆ เอเจนต์ที่ผู้ใช้สั่งให้ดึงทำงานตามคำขอของบุคคล และผู้ให้บริการบางรายระบุว่า robots.txt อาจไม่มีผลกับเอเจนต์เหล่านี้ Google-Extended เป็นโทเค็นควบคุมการใช้งานที่ไม่มีการดึงเอง การบล็อกจะจำกัดการใช้กับโมเดล AI โดยไม่เปลี่ยนการรวบรวมข้อมูลของ Google Search

ตาม RFC 9309 การตอบกลับ 4xx ของ robots.txt หมายถึงไม่มีข้อจำกัด ส่วนการตอบกลับ 5xx หรือเครือข่ายล้มเหลวหมายถึงห้ามทั้งหมด การทดสอบเว็บไซต์จริงจะส่ง URL ไปยังเซิร์ฟเวอร์ของ CodingTool ซึ่งขอ robots.txt และหน้าเว็บจากเว็บไซต์ปลายทางด้วย user agent ของเบราว์เซอร์แบบจำลองและไม่จัดเก็บข้อมูลใด ๆ robots.txt ที่วางจะถูกประเมินในเบราว์เซอร์ของคุณ คำขอแบบจำลองไม่เคยเป็นการเข้าชมของครอว์เลอร์จริง