Тестер и генератор robots.txt

Robots.txt Tester & Builder проверяет, может ли краулер загрузить URL согласно файлу robots.txt. Для каждого проверенного пути он показывает «Разрешено» или «Заблокировано robots.txt», применимую группу User-agent, совпавшее правило с номером строки и полную трассировку правил, чтобы было видно, почему одно правило победило другое.

«Правка и проверка» и «Создание» полностью работают в браузере. «Живая проверка» отправляет введённый URL на серверы CodingTool, которые запрашивают /robots.txt у целевого сайта с эмулированным user agent; целевой сайт получает этот запрос, частные и внутренние адреса блокируются, ничего не сохраняется. Загруженный файл открывается только для чтения, а для экспериментов можно редактировать копию.

Сопоставление следует RFC 9309. Краулер использует группы со своим токеном продукта, иначе — группы User-agent: *. Внутри них побеждает самый длинный совпавший шаблон Allow или Disallow, а при равенстве — Allow. * совпадает с любыми символами, а $ в конце привязывает шаблон к концу URL. Ответ 4xx на robots.txt означает отсутствие ограничений; ответ 5xx или сетевой сбой — запрет на весь сайт.

robots.txt управляет сканированием, а не индексированием. URL, заблокированный robots.txt, всё равно может попасть в индекс без содержимого, если на него ссылаются другие страницы, а noindex на заблокированной странице никогда не будет прочитан; считайте такие случаи потенциальной проблемой индексируемости. Поведение провайдеров различается: Google игнорирует crawl-delay и обрабатывает только первые 500 КиБ, а агенты, запускаемые пользователем, могут не следовать robots.txt. Необычные, но допустимые правила только отмечаются и никогда не переписываются.