AI クローラーアクセステスター
ネットワーク機能を伴うローカル処理robots.txt とページディレクティブが検索・AI クローラーをどう扱うかを確認
robots.txt
「アクセスをテスト」はこの URL を CodingTool のサーバーに送信します。サーバーはエミュレートしたブラウザの user agent を使い、Cookie なしでサイトの robots.txt を取得し、ページディレクティブの確認がオンの場合はページ自体も取得します。対象サイトはこれらのリクエストを受け取ります。何も保存されません。
エミュレートしたリクエストは本物のクローラーによるアクセスではありません。各社は IP アドレスや DNS で自社クローラーを検証しており、サイトが本物のクローラーに異なる応答を返すこともあります。
詳細設定
既定のセットは Googlebot、Bingbot、OAI-SearchBot、GPTBot、ChatGPT-User です。
公開中のファイルの代わりにローカルで評価します。空欄にすると公開中の robots.txt を取得します。
ページを 1 回取得して X-Robots-Tag と meta robots を読み取ります。
テストに使った robots.txt がここに表示されます。
検出結果
このツールが確認すること
AI Crawler Access Tester は 1 つの robots.txt ファイルと、必要に応じて 1 つのページの X-Robots-Tag ヘッダーと meta robots タグを読み取ります。保守されているレジストリから選んだ検索クローラーや AI クローラーごとに評価し、Robots ポリシー、ページ取得の状態、ページディレクティブ、結果を並べて表示します。各結果を決めたルールと行番号も示します。
クロールの可否はインデックス登録ではない
robots.txt はクローラーが URL を取得できるかを、noindex は取得したページをインデックスに登録できるかを制御します。このツールは両者を別の列に分けて表示します。robots.txt でブロックされたクローラーは noindex タグを見ることがなく、許可されたクローラーでも noindex ディレクティブに出会うことがあります。その場合は検索インデックスについての判定ではなく、インデックス登録の潜在的な問題として報告します。
目的と特殊なエージェント
クローラーは目的別に分類されます: 検索、AI 学習、ユーザー起点、プレビュー、広告、その他。ユーザー起点の取得はユーザーの依頼で行われ、一部の提供元は robots.txt が適用されない場合があると説明しています。Google-Extended は独自の取得を行わない利用制御トークンで、ブロックすると Google 検索のクロールを変えずに AI モデルでの利用を制限します。
ステータスコードとネットワーク利用
RFC 9309 に従い、robots.txt の 4xx 応答は制限なし、5xx 応答やネットワーク障害は全面的な Disallow を意味します。公開中のサイトのテストでは URL を CodingTool のサーバーに送り、サーバーがエミュレートしたブラウザの user agent で対象サイトから robots.txt とページを取得します。何も保存しません。貼り付けた robots.txt はブラウザ内で評価されます。エミュレートしたリクエストが本物のクローラーのアクセスになることはありません。
