Проверка доступа ИИ-краулеров
Проверьте, как robots.txt и директивы страницы действуют на поисковых и ИИ-краулеров
robots.txt
«Проверить доступ» отправляет этот URL на серверы CodingTool. Они запрашивают robots.txt сайта, а при включённой проверке директив — и саму страницу, с эмулированным user agent браузера и без cookies. Целевой сайт получает эти запросы. Ничего не сохраняется.
Эмулированный запрос не является настоящим визитом краулера. Провайдеры проверяют своих краулеров по IP-адресу или DNS, а сайты могут отвечать настоящим краулерам иначе.
Дополнительно
Набор по умолчанию: Googlebot, Bingbot, OAI-SearchBot, GPTBot и ChatGPT-User.
Проверяется локально вместо файла на сайте. Оставьте пустым, чтобы загрузить актуальный robots.txt.
Страница загружается один раз, чтобы прочитать X-Robots-Tag и meta robots.
Здесь появится robots.txt, использованный при проверке.
Результаты
Связанные инструменты
Что проверяет инструмент
AI Crawler Access Tester читает один файл robots.txt и, при необходимости, заголовок X-Robots-Tag и теги meta robots одной страницы. Он оценивает их для каждого выбранного поискового или ИИ-краулера из поддерживаемого реестра и показывает рядом политику robots, статус загрузки страницы, директивы страницы и результат — вместе с точным правилом и строкой, которые определили каждый результат.
Доступ к сканированию — не индексация
robots.txt определяет, может ли краулер загрузить URL; noindex — можно ли индексировать загруженную страницу. Инструмент показывает их в разных столбцах. Краулер, заблокированный robots.txt, никогда не увидит тег noindex, а разрешённый краулер всё ещё может встретить директиву noindex — это отмечается как возможная проблема с индексируемостью, а не как вывод о каком-либо поисковом индексе.
Назначение и особые агенты
Краулеры помечены по назначению: поиск, обучение ИИ, по запросу пользователя, превью, реклама или другое. Агенты, работающие по запросу пользователя, действуют от имени человека, и некоторые провайдеры указывают, что robots.txt может к ним не применяться. Google-Extended — токен управления использованием без собственных запросов: его блокировка ограничивает использование в моделях ИИ, не меняя сканирование Google Поиска.
Коды статуса и сетевые запросы
Согласно RFC 9309, ответ 4xx для robots.txt означает отсутствие ограничений, а ответ 5xx или сетевая ошибка — полный запрет. При проверке реального сайта URL отправляется на серверы CodingTool, которые запрашивают robots.txt и страницу у целевого сайта с эмулированным user agent браузера и ничего не сохраняют. Вставленный robots.txt проверяется в вашем браузере. Эмулированные запросы никогда не являются настоящими визитами краулеров.
