AI 크롤러 접근 테스터
네트워크 기능을 포함한 로컬 처리robots.txt와 페이지 지시어가 검색 및 AI 크롤러를 어떻게 처리하는지 확인
robots.txt
접근 테스트는 이 URL을 CodingTool 서버로 보냅니다. 서버는 에뮬레이션된 브라우저 user agent로 쿠키 없이 사이트의 robots.txt를 요청하고, 페이지 지시어 확인이 켜져 있으면 페이지 자체도 요청합니다. 대상 사이트는 이 요청을 받습니다. 아무것도 저장하지 않습니다.
에뮬레이션된 요청은 실제 크롤러 방문이 아닙니다. 제공업체는 IP 주소나 DNS로 자사 크롤러를 검증하며, 사이트는 실제 크롤러에 다르게 응답할 수 있습니다.
고급
기본 세트에는 Googlebot, Bingbot, OAI-SearchBot, GPTBot, ChatGPT-User가 포함됩니다.
실제 파일 대신 로컬에서 평가합니다. 비워 두면 실제 robots.txt를 가져옵니다.
페이지를 한 번 가져와 X-Robots-Tag와 meta robots를 읽습니다.
테스트에 사용한 robots.txt가 여기에 표시됩니다.
검사 결과
이 도구가 확인하는 내용
AI Crawler Access Tester는 하나의 robots.txt 파일과, 선택적으로 한 페이지의 X-Robots-Tag 헤더 및 meta robots 태그를 읽습니다. 관리되는 레지스트리에서 선택한 검색 또는 AI 크롤러마다 이를 평가하여 Robots 정책, 페이지 가져오기 상태, 페이지 지시어, 결과를 나란히 보여 주며, 각 결과를 결정한 정확한 규칙과 줄 번호도 함께 표시합니다.
크롤링 접근은 색인이 아닙니다
robots.txt는 크롤러가 URL을 가져올 수 있는지를, noindex는 가져온 페이지를 색인할 수 있는지를 제어합니다. 이 도구는 두 가지를 별도의 열로 표시합니다. robots.txt로 차단된 크롤러는 noindex 태그를 보지 못하며, 허용된 크롤러도 noindex 지시어를 만날 수 있습니다. 이 경우 검색 색인에 대한 판정이 아니라 잠재적 색인 가능성 문제로 보고합니다.
목적과 특수 에이전트
크롤러는 목적에 따라 검색, AI 학습, 사용자 요청, 미리보기, 광고, 기타로 표시됩니다. 사용자 요청 에이전트는 사람의 요청에 따라 동작하며, 일부 제공업체는 robots.txt가 적용되지 않을 수 있다고 안내합니다. Google-Extended는 자체 요청이 없는 사용 제어 토큰으로, 차단하면 Google 검색 크롤링은 바뀌지 않고 AI 모델 사용이 제한됩니다.
상태 코드와 네트워크 사용
RFC 9309에 따라 robots.txt의 4xx 응답은 제한 없음, 5xx 응답이나 네트워크 실패는 전체 차단을 뜻합니다. 실제 사이트 테스트는 URL을 CodingTool 서버로 보내며, 서버는 에뮬레이션된 브라우저 user agent로 대상 사이트에서 robots.txt와 페이지를 요청하고 아무것도 저장하지 않습니다. 붙여 넣은 robots.txt는 브라우저에서 평가됩니다. 에뮬레이션된 요청은 결코 실제 크롤러 방문이 아닙니다.
