Robots.txt 테스터 & 빌더

Robots.txt Tester & Builder는 robots.txt 파일에 따라 크롤러가 URL을 가져갈 수 있는지 확인합니다. 테스트한 각 경로에 대해 허용됨 또는 robots.txt에 의해 차단됨, 적용되는 User-agent 그룹, 줄 번호가 있는 일치 규칙, 전체 규칙 추적을 보여 주므로 어떤 규칙이 왜 우선했는지 알 수 있습니다.

편집 및 테스트와 만들기는 전적으로 브라우저에서 실행됩니다. 라이브 테스트는 입력한 URL을 CodingTool 서버로 보내고, 서버는 에뮬레이트된 사용자 에이전트로 대상 사이트에 /robots.txt를 요청합니다. 대상 사이트는 그 요청을 받으며, 사설 및 내부 주소는 차단되고 아무것도 저장되지 않습니다. 가져온 파일은 읽기 전용으로 열리며 사본을 편집해 변경 사항을 시험할 수 있습니다.

매칭은 RFC 9309를 따릅니다. 크롤러는 자신의 제품 토큰을 지정한 그룹을 사용하고, 없으면 User-agent: * 그룹을 사용합니다. 그 안에서 가장 길게 일치한 Allow 또는 Disallow 패턴이 우선하며, 길이가 같으면 Allow가 우선합니다. *는 모든 문자열과 일치하고 끝의 $는 URL의 끝을 고정합니다. robots.txt의 4xx 응답은 제한 없음을, 5xx 응답이나 네트워크 오류는 사이트 전체 차단을 뜻합니다.

robots.txt는 크롤링을 제어할 뿐 색인 생성을 제어하지 않습니다. robots.txt에 의해 차단된 URL도 다른 페이지가 링크하면 내용 없이 색인될 수 있고, 차단된 페이지의 noindex 규칙은 읽히지 않습니다. 이런 경우는 잠재적 색인 생성 문제로 다루세요. 제공자마다 동작이 다르며, Google은 crawl-delay를 무시하고 처음 500 KiB만 처리합니다. 사용자가 실행하는 에이전트는 robots.txt를 따르지 않을 수도 있습니다. 특이하지만 유효한 규칙은 보고만 하고 절대 다시 쓰지 않습니다.