Robots.txt 測試與產生工具

Robots.txt Tester & Builder 檢查爬蟲依據 robots.txt 檔案能否擷取某個網址。對每個測試路徑，它會顯示「允許」或「遭 robots.txt 封鎖」、適用的 User-agent 群組、附行號的符合規則以及完整的規則追蹤，讓你看清為什麼一條規則勝過另一條。

編輯並測試和產生完全在你的瀏覽器中執行。線上測試會將你輸入的網址傳送到 CodingTool 伺服器，伺服器以模擬的使用者代理向目標網站請求 /robots.txt；目標網站會收到該請求，私有與內部位址會被封鎖，不會儲存任何內容。擷取的檔案以唯讀方式開啟，你可以編輯副本來嘗試修改。

比對遵循 RFC 9309。爬蟲使用寫有其產品權杖的群組，否則使用 User-agent: * 群組。在這些群組中，最長的符合 Allow 或 Disallow 模式勝出，長度相同時 Allow 優先。* 符合任意字元，結尾的 $ 錨定網址結尾。robots.txt 回傳 4xx 表示沒有限制；回傳 5xx 或網路故障表示禁止擷取整個網站。

robots.txt 控制的是擷取，而不是索引。遭 robots.txt 封鎖的網址若有其他頁面連結，仍可能在沒有內容的情況下被編入索引，而被封鎖頁面上的 noindex 規則永遠不會被讀取；請將這類情況視為潛在的可索引性問題。各服務商的行為不同：Google 會忽略 crawl-delay，且只處理前 500 KiB；由使用者觸發的代理也可能不遵守 robots.txt。不常見但有效的規則只會被回報，絕不會被改寫。