Penguji Akses Crawler AI
Periksa cara robots.txt dan direktif halaman memperlakukan crawler pencarian dan AI
robots.txt
Uji akses mengirim URL ini ke server CodingTool. Server meminta robots.txt situs dan, jika direktif halaman aktif, halaman itu sendiri, dengan user agent browser yang diemulasikan dan tanpa cookie. Situs tujuan menerima permintaan ini. Tidak ada yang disimpan.
Permintaan yang diemulasikan bukan kunjungan crawler asli. Penyedia memverifikasi crawler mereka melalui alamat IP atau DNS, dan situs dapat merespons crawler asli secara berbeda.
Lanjutan
Set bawaan mencakup Googlebot, Bingbot, OAI-SearchBot, GPTBot, dan ChatGPT-User.
Dievaluasi secara lokal sebagai pengganti file live. Biarkan kosong untuk mengambil robots.txt live.
Mengambil halaman sekali untuk membaca X-Robots-Tag dan meta robots.
robots.txt yang dipakai untuk pengujian muncul di sini.
Temuan
Alat Terkait
Apa yang diperiksa alat ini
AI Crawler Access Tester membaca satu file robots.txt dan, secara opsional, header X-Robots-Tag serta tag meta robots dari satu halaman. Alat ini mengevaluasinya untuk setiap crawler pencarian atau AI yang dipilih dari registri yang dikelola, lalu menampilkan kebijakan robots, status pengambilan halaman, direktif halaman, dan hasil berdampingan, lengkap dengan aturan dan baris yang menentukan setiap hasil.
Akses crawl bukan indeksasi
robots.txt mengatur apakah crawler boleh mengambil URL; noindex mengatur apakah halaman yang diambil boleh diindeks. Alat ini memisahkan keduanya dalam kolom berbeda. Crawler yang diblokir robots.txt tidak pernah melihat tag noindex, dan crawler yang diizinkan masih dapat menemui direktif noindex, yang dilaporkan sebagai potensi masalah indeksabilitas, bukan putusan tentang indeks mesin pencari mana pun.
Tujuan dan agen khusus
Crawler diberi label menurut tujuan: pencarian, pelatihan AI, dipicu pengguna, pratinjau, iklan, atau lainnya. Agen yang dipicu pengguna bekerja atas permintaan seseorang, dan beberapa penyedia mendokumentasikan bahwa robots.txt mungkin tidak berlaku untuk mereka. Google-Extended adalah token kontrol penggunaan tanpa permintaan sendiri: memblokirnya membatasi penggunaan untuk model AI tanpa mengubah crawling Google Search.
Kode status dan penggunaan jaringan
Mengikuti RFC 9309, respons 4xx untuk robots.txt berarti tidak ada batasan, sedangkan respons 5xx atau kegagalan jaringan berarti semua diblokir. Pengujian live mengirim URL ke server CodingTool, yang meminta robots.txt dan halaman dari situs tujuan dengan user agent browser yang diemulasikan dan tidak menyimpan apa pun. robots.txt yang ditempel dievaluasi di browser Anda. Permintaan yang diemulasikan tidak pernah merupakan kunjungan crawler asli.
