AI 爬蟲存取測試工具
本機處理搭配網路功能檢查 robots.txt 與頁面指令如何對待搜尋與 AI 爬蟲
robots.txt
「測試存取」會將此 URL 傳送到 CodingTool 伺服器。伺服器以模擬的瀏覽器 user agent、不帶 Cookie，請求該網站的 robots.txt；開啟頁面指令檢查時也會請求頁面本身。目標網站會收到這些請求。不會儲存任何內容。
模擬請求並非真正的爬蟲造訪。服務商會以 IP 位址或 DNS 驗證自家爬蟲，網站也可能對真正的爬蟲做出不同回應。
進階
預設集合包含 Googlebot、Bingbot、OAI-SearchBot、GPTBot 與 ChatGPT-User。
在本機評估，取代線上檔案。留空則取得線上 robots.txt。
取得頁面一次，以讀取 X-Robots-Tag 與 meta robots。
測試使用的 robots.txt 會顯示在這裡。
檢查結果
本工具檢查什麼
AI Crawler Access Tester 會讀取一個 robots.txt 檔案，並可選擇讀取一個頁面的 X-Robots-Tag 標頭與 meta robots 標籤。它會針對持續維護的登錄清單中所選的每個搜尋或 AI 爬蟲進行評估，並排顯示 Robots 政策、頁面取得狀態、頁面指令與結果，以及決定每個結果的確切規則與行號。
檢索存取不等於索引
robots.txt 控制爬蟲能否取得某個 URL；noindex 控制已取得的頁面能否被索引。本工具會把兩者放在不同欄位。遭 robots.txt 封鎖的爬蟲永遠看不到 noindex 標籤，而獲允許的爬蟲仍可能遇到 noindex 指令，這會回報為潛在可索引性問題，而不是對任何搜尋索引的判定。
用途與特殊代理
爬蟲依用途標示：搜尋、AI 訓練、使用者觸發、預覽、廣告或其他。使用者觸發的擷取工具會依某人的要求運作，部分服務商的文件說明 robots.txt 可能不適用於它們。Google-Extended 是沒有自身請求的用途控制權杖：封鎖它會限制內容用於 AI 模型，但不會改變 Google 搜尋的檢索。
狀態碼與網路使用
依 RFC 9309，robots.txt 回傳 4xx 代表沒有限制，回傳 5xx 或網路失敗代表全部禁止。線上測試會將 URL 傳送到 CodingTool 伺服器，伺服器以模擬的瀏覽器 user agent 向目標網站請求 robots.txt 與頁面，且不儲存任何內容。貼上的 robots.txt 會在你的瀏覽器中評估。模擬請求絕非真正的爬蟲造訪。
