Comprobador de acceso de rastreadores de IA
Comprueba cómo robots.txt y las directivas de página tratan a los rastreadores de búsqueda y de IA
robots.txt
Probar acceso envía esta URL a los servidores de CodingTool. Estos solicitan el robots.txt del sitio y, si las directivas de página están activadas, la propia página, con un user agent de navegador emulado y sin cookies. El sitio de destino recibe estas solicitudes. No se almacena nada.
Una solicitud emulada no es una visita auténtica de un rastreador. Los proveedores verifican sus rastreadores por dirección IP o DNS, y los sitios pueden responder de forma distinta a los rastreadores reales.
Avanzado
El conjunto predeterminado incluye Googlebot, Bingbot, OAI-SearchBot, GPTBot y ChatGPT-User.
Se evalúa localmente en lugar del archivo real. Déjalo vacío para obtener el robots.txt en vivo.
Obtiene la página una vez para leer X-Robots-Tag y meta robots.
Aquí aparece el robots.txt usado en la prueba.
Hallazgos
Herramientas relacionadas
Qué comprueba esta herramienta
AI Crawler Access Tester lee un archivo robots.txt y, opcionalmente, el encabezado X-Robots-Tag y las etiquetas meta robots de una página. Los evalúa para cada rastreador de búsqueda o de IA seleccionado de un registro mantenido y muestra en paralelo la política de robots, el estado de obtención de la página, las directivas de página y el resultado, con la regla y la línea exactas que decidieron cada resultado.
Acceso de rastreo no es indexación
robots.txt controla si un rastreador puede obtener una URL; noindex controla si una página obtenida puede indexarse. La herramienta los mantiene en columnas separadas. Un rastreador bloqueado por robots.txt nunca ve una etiqueta noindex, y un rastreador permitido aún puede encontrar una directiva noindex, que se informa como un posible problema de indexabilidad y no como un veredicto sobre ningún índice de búsqueda.
Propósitos y agentes especiales
Los rastreadores se etiquetan por propósito: búsqueda, entrenamiento de IA, iniciado por usuario, vista previa, anuncios u otro. Los agentes iniciados por usuario actúan a petición de una persona, y algunos proveedores documentan que robots.txt puede no aplicarse a ellos. Google-Extended es un token de control de uso sin solicitudes propias: bloquearlo limita el uso en modelos de IA sin cambiar el rastreo de Google Search.
Códigos de estado y uso de red
Según RFC 9309, una respuesta 4xx de robots.txt significa que no hay restricciones, y una respuesta 5xx o un fallo de red significa bloqueo total. Las pruebas en vivo envían la URL a los servidores de CodingTool, que solicitan robots.txt y la página al sitio de destino con un user agent de navegador emulado y no almacenan nada. Un robots.txt pegado se evalúa en tu navegador. Las solicitudes emuladas nunca son visitas auténticas de rastreadores.
