AI 爬虫访问测试工具
检查 robots.txt 和页面指令如何对待搜索与 AI 爬虫
robots.txt
“测试访问”会将此 URL 发送到 CodingTool 服务器。服务器使用模拟的浏览器 user agent、不带 Cookie，请求该网站的 robots.txt；开启页面指令检查时还会请求页面本身。目标网站会收到这些请求。不会存储任何内容。
模拟请求并不是真实的爬虫访问。服务商通过 IP 地址或 DNS 验证自己的爬虫，网站也可能对真实爬虫作出不同响应。
高级
默认集合包括 Googlebot、Bingbot、OAI-SearchBot、GPTBot 和 ChatGPT-User。
在本地评估，替代线上文件。留空则获取线上 robots.txt。
获取页面一次，读取 X-Robots-Tag 和 meta robots。
测试使用的 robots.txt 会显示在这里。
检查结果
本工具检查什么
AI Crawler Access Tester 读取一个 robots.txt 文件，并可选读取一个页面的 X-Robots-Tag 响应头和 meta robots 标签。它针对维护中的注册表里所选的每个搜索或 AI 爬虫进行评估，并排显示 Robots 策略、页面获取状态、页面指令和结果，以及决定每个结果的具体规则和行号。
抓取访问不等于索引
robots.txt 控制爬虫能否获取某个 URL；noindex 控制已获取的页面能否被索引。本工具将两者放在不同的列中。被 robots.txt 阻止的爬虫永远看不到 noindex 标签，而被允许的爬虫仍可能遇到 noindex 指令，这会被报告为潜在可索引性问题，而不是对任何搜索索引的判定。
用途与特殊代理
爬虫按用途标记：搜索、AI 训练、用户触发、预览、广告或其他。用户触发的抓取工具代表某个人的请求工作，部分服务商在文档中说明 robots.txt 可能不适用于它们。Google-Extended 是没有自身请求的用途控制标记：阻止它会限制内容用于 AI 模型，但不会改变 Google 搜索的抓取。
状态码与网络使用
依据 RFC 9309，robots.txt 返回 4xx 表示没有限制，返回 5xx 或网络失败表示全部禁止。线上测试会将 URL 发送到 CodingTool 服务器，服务器使用模拟的浏览器 user agent 向目标网站请求 robots.txt 和页面，且不存储任何内容。粘贴的 robots.txt 在你的浏览器中评估。模拟请求绝不是真实的爬虫访问。
