Probador y generador de robots.txt

Robots.txt Tester & Builder comprueba si un crawler puede rastrear una URL según un archivo robots.txt. Para cada ruta probada muestra Permitido o Bloqueado por robots.txt, el grupo User-agent aplicable, la regla coincidente con su número de línea y una traza completa de reglas, para que veas por qué una regla venció a otra.

Editar y probar y Crear se ejecutan por completo en tu navegador. Probar en vivo envía la URL que introduces a los servidores de CodingTool, que solicitan /robots.txt al sitio de destino con un agente de usuario emulado; el sitio de destino recibe esa solicitud, las direcciones privadas e internas se bloquean y no se guarda nada. El archivo obtenido se abre en solo lectura y puedes editar una copia para probar cambios.

La coincidencia sigue RFC 9309. Un crawler usa los grupos que nombran su token de producto y, si no hay, los grupos User-agent: *. Dentro de ellos gana el patrón Allow o Disallow coincidente más largo, y Allow gana en caso de empate. * coincide con cualquier carácter y un $ final ancla el final de la URL. Una respuesta 4xx de robots.txt significa sin restricciones; una respuesta 5xx o un fallo de red significa que todo el sitio está bloqueado.

robots.txt controla el rastreo, no la indexación. Una URL Bloqueada por robots.txt puede indexarse sin su contenido si otras páginas la enlazan, y una regla noindex en una página bloqueada nunca se lee; trata esos casos como un posible problema de indexabilidad. El comportamiento varía según el proveedor: Google ignora crawl-delay y procesa solo los primeros 500 KiB, y los agentes activados por usuarios pueden no seguir robots.txt. Las reglas inusuales pero válidas se señalan, nunca se reescriben.