Robots.txt 测试与生成工具

Robots.txt Tester & Builder 检查爬虫依据 robots.txt 文件能否抓取某个 URL。对每个测试路径，它会显示“允许”或“被 robots.txt 阻止”、适用的 User-agent 组、带行号的匹配规则以及完整的规则追踪，让你看清为什么一条规则胜过另一条。

编辑并测试和生成完全在你的浏览器中运行。在线测试会把你输入的 URL 发送到 CodingTool 服务器，服务器使用模拟的用户代理向目标网站请求 /robots.txt；目标网站会收到该请求，私有和内部地址会被拦截，不会保存任何内容。获取的文件以只读方式打开，你可以编辑副本来尝试修改。

匹配遵循 RFC 9309。爬虫使用写有其产品令牌的组，否则使用 User-agent: * 组。在这些组中，最长的匹配 Allow 或 Disallow 模式胜出，长度相同时 Allow 优先。* 匹配任意字符，末尾的 $ 锚定 URL 结尾。robots.txt 返回 4xx 表示没有限制；返回 5xx 或网络故障表示禁止抓取整个网站。

robots.txt 控制的是抓取，而不是索引。被 robots.txt 阻止的 URL 如果有其他页面链接，仍可能在没有内容的情况下被编入索引，而被阻止页面上的 noindex 规则永远不会被读取；请把这类情况视为潜在的可索引性问题。各服务商的行为不同：Google 会忽略 crawl-delay，且只处理前 500 KiB；由用户触发的代理也可能不遵守 robots.txt。不常见但有效的规则只会被报告，绝不会被改写。