Penguji & Pembuat robots.txt

Robots.txt Tester & Builder memeriksa apakah crawler boleh mengambil sebuah URL menurut file robots.txt. Untuk setiap path yang diuji, alat ini menampilkan Diizinkan atau Diblokir oleh robots.txt, grup User-agent yang berlaku, aturan yang cocok beserta nomor barisnya, dan jejak aturan lengkap, sehingga Anda bisa melihat mengapa satu aturan mengalahkan aturan lain.

Edit & Uji dan Buat berjalan sepenuhnya di browser Anda. Uji Live mengirim URL yang Anda masukkan ke server CodingTool, yang meminta /robots.txt dari situs tujuan dengan user agent emulasi; situs tujuan menerima permintaan itu, alamat privat dan internal diblokir, dan tidak ada yang disimpan. File yang diambil terbuka dalam mode hanya-baca, dan Anda dapat mengedit salinannya untuk mencoba perubahan.

Pencocokan mengikuti RFC 9309. Crawler memakai grup yang menyebut product token-nya; jika tidak ada, grup User-agent: *. Di dalamnya, pola Allow atau Disallow cocok yang terpanjang menang, dan Allow menang saat seri. * cocok dengan karakter apa pun dan $ di akhir menjangkar akhir URL. Respons robots.txt 4xx berarti tanpa batasan; respons 5xx atau kegagalan jaringan berarti seluruh situs dilarang.

robots.txt mengatur crawling, bukan indexing. URL yang Diblokir oleh robots.txt tetap bisa diindeks tanpa kontennya jika halaman lain menautkannya, dan aturan noindex di halaman yang diblokir tidak pernah terbaca; anggap kasus seperti itu sebagai potensi masalah indexability. Perilaku penyedia berbeda-beda: Google mengabaikan crawl-delay dan hanya memproses 500 KiB pertama, dan agen yang dipicu pengguna mungkin tidak mengikuti robots.txt. Aturan yang tidak biasa tetapi valid dilaporkan, tidak pernah ditulis ulang.