robots.txt テスター＆ビルダー

Robots.txt Tester & Builder は、robots.txt に基づいてクローラーが URL を取得できるかどうかを確認します。テストしたパスごとに、許可または robots.txt によりブロック、適用される User-agent グループ、行番号付きの一致ルール、完全なルールトレースを表示し、どのルールがなぜ優先されたかを確認できます。

編集してテストと作成は完全にブラウザー内で動作します。ライブテストは入力した URL を CodingTool のサーバーに送信し、サーバーはエミュレートしたユーザーエージェントで対象サイトに /robots.txt をリクエストします。対象サイトはそのリクエストを受け取り、プライベートや内部のアドレスはブロックされ、何も保存されません。取得したファイルは読み取り専用で開き、コピーを編集して変更を試せます。

照合は RFC 9309 に従います。クローラーは自分のプロダクトトークンを指定したグループを使い、ない場合は User-agent: * グループを使います。その中で最も長く一致した Allow または Disallow パターンが優先され、同じ長さなら Allow が優先されます。* は任意の文字列に一致し、末尾の $ は URL の終端を固定します。robots.txt の 4xx 応答は制限なし、5xx 応答やネットワーク障害はサイト全体の拒否を意味します。

robots.txt はクロールを制御するもので、インデックス登録を制御するものではありません。robots.txt によりブロックされた URL でも、他のページからリンクされていれば内容なしでインデックスされることがあり、ブロックされたページの noindex は読まれません。こうしたケースはインデックス登録上の潜在的な問題として扱ってください。動作はプロバイダーによって異なり、Google は crawl-delay を無視し最初の 500 KiB のみを処理します。また、ユーザー操作で動くエージェントは robots.txt に従わない場合があります。珍しくても有効なルールは報告されるだけで、書き換えられることはありません。