Penguji aturan robots.txt
Tempel robots.txt dan uji apakah URL dispesifikasikan diijinkan untuk crawler.
Data Anda
Hasil Anda
Siap kapan pun Anda butuhkanHasil Anda akan muncul di sini.
Cara kerja
Inspeksi padted robots.txt aturan sebelum penyebaran. penguji memilih token produk crawler yang paling lama cocok, menggabungkan kelompok dengan spesifikasi yang sama, dan kembali ke * hanya ketika tidak ada grup tertentu yang cocok. Memungkinkan dan tidak jelas cocok kasus-jalur sensitif plus permintaan string. Asterisk cocok dengan urutan apapun, tanda akhir dolar jangkar akhir, lebih lama cocok aturan normalisasi mengambil prioritas, dan memungkinkan menang sama panjang konflik. Setiap hasil nama yang menang aturan dan garis sumbernya.
Baca acuan sumberBeberapa hal yang perlu diketahui
Tes aturan lokal Google- gaya, bukan merangkak hidup atau laporan indeks. Merangkak lain dapat menafsirkan arah yang berbeda. Produksi-token yang cocok mendukung token yang tepat dan garis keturunan hyphen / underscore, bukan substring sewenang dari header peramban. Ruas yang tidak didukung dan path yang salah bentuk diabaikan dengan peringatan; pemulihan berkas Google tidak terdokumentasikan dan index.html Ijinkan normalisasi tidak disimulasikan. Pelarian percent dinormalkan, karakter yang melarikan diri tidak dilindungi, karakter mentah non-ASCII dikodekan, dan dikodekan pemisah cadangan tetap berbeda. URL parsing normalisasi segmen titik. Alat ini tidak mensimulasikan kesalahan pengambilan, mengarahkan ulang, riwayat cache, penanganan status HTTP, routing server atau kesalahan pengkodean. Entri peta adalah informasi. Robots.txt adalah scoped ke satu protokol, host dan port; ini tidak dapat menegakkan kerahasiaan atau jaminan deindexing.
Kapan memakai alat ini
Sebuah kecil robots.txt edit dapat mempengaruhi banyak URL, terutama ketika crawler-spesifik grup, wildcard dan query string berinteraksi. Tester ini mengevaluasi aturan yang disisipkan terhadap daftar path atau URL dan nama aturan pemenang. Menggunakan interpretasi bergaya Google- praktis untuk mendukung ulasan sebelum penyebaran. Hasilnya menjelaskan aturan yang diberikan, bukan merangkak hidup, akses server kebijakan atau konfirmasi bahwa halaman diindeks.
- Uji aturan yang diusulkan Tidak Setuju terhadap halaman penting sebelum penerbitan.
- Periksa eksepsi spesifik pada direktori yang diblokir.
- Bandingkan aturan spesifik dengan kelompok fallback wildcard.
Bagaimana menggunakan robots.txt aturan penguji
Paste aturan dan crawler token
Masukkan isi robots.txt dan token produk crawler seperti Googlebot atau Bingbot. Gunakan token produk daripada string agen peramban lengkap. Sebuah file kosong memungkinkan merangkak di bawah tes ini.
Supply scope dan test URL
Secara opsional masukkan URL root robots.txt untuk memeriksa protokol, host dan lingkup port. Tambahkan satu URL HTTP (S) atau path per baris, termasuk senar query ketika relevan. Anda dapat menguji hingga 500 entri.
Review menang aturan
Jalankan tes dan pemeriksaan Diijinkan, Diblokir dan tidak valid atau diluar lingkup hasil. Setiap kecocokan mengidentifikasi sebuah baris sumber. Periksa peringatan dan perilaku server asli Anda secara terpisah sebelum menyebarkan berkas yang disunting.
Uji suatu pengecualian dan aturan akhiran berkas
Masukan
Gunakan aturan Googlebot yang diberikan bloking /private/, memungkinkan /private/help$ dan memblokir /*.pdf$. Uji lima contoh URL dengan example.com Robot scope.
Hasil
Tiga URL diperbolehkan dan dua diblokir. /private/account dan /report.pdf diblokir. /private/help, /report.pdf?download=1 dan /Private/account diperbolehkan.
Apa artinya
Eksepsi bantuan yang tepat menang, $terakhir membuat aturan PDF berhenti sebelum varian bantalan-kuiri, dan uppercase Private berbeda dari prioritas kecil. Pola kecil akan mengubah hasilnya.
Kesalahan umum untuk dihindari
Menggunakan robots.txt sebagai kontrol akses
Petunjuk merangkak tidak melindungi konten rahasia. Gunakan otentikasi atau otorisasi server ketika orang atau perangkat lunak tidak boleh mengakses suatu sumber daya.
Asumsikan sebuah blok menghapus hasil pencarian
Blocking crawler bukan instruksi penghapusan yang dapat diandalkan. Pertimbangkan persyaratan pengindeksan yang sebenarnya dan bimbingan resmi bukannya sama diblokir merangkak dengan deindexing.
Melupakan string permintaan atau kasus
Cocok termasuk path dan string query dan case- sensitif. Uji perwakilan varians, terutama ketika pola berakhir dengan $atau situs mengekspos rute campur aduk-kasus.
Pertanyaan yang sering ditanyakan
Definisi, kasus tepi, dan praktis langkah berikutnya untuk alat ini. Cari semua alat FAQs
Bagaimana penguji memilih kelompok crawler?
Ia memilih token produk crawler terlama yang didukung dan menggabungkan kelompok yang sama spesifik. Kelompok wildcard digunakan hanya jika tidak ada grup yang cocok. Masukkan token seperti Googlebot- News daripada sewenang-wenang penuh header agen untuk tes yang bermakna.
Aturan mana yang menang jika memungkinkan dan tidak sesuai?
Lebih lama cocok aturan normalisasi didahulukan. Ketika spesifikasi sama, Biarkan menang. Hasil nama-nama aturan menang dan baris sehingga Anda dapat memeriksa bahwa interaksi bukan memperlakukan file sebagai daftar pertama-cocok sederhana.
Apa arti tanda bintang dan dolar?
Sebuah bintang cocok dengan urutan karakter. Sebuah tanda akhir dolar jangkar pertandingan sampai akhir dari jalur perbandingan ditambah query. Akibatnya, /*.pdf$ dapat memblokir /report.pdf sambil mengijinkan /report.pdf?download=1 di bawah aturan yang diberikan.
Mengapa URL di luar lingkup robots.txt?
URL robot opsional mendefinisikan protokol, host, dan port scope. Berkas aturan untuk https://example.com tidak secara otomatis mengatur http://example.com atau subdomain lain. penguji menandai perbedaan-perbedaan sehingga Anda tidak menerapkan aturan satu situs ke asal lain.
Apakah instruksi Sitmap memungkinkan merangkak?
Tidak. Masukan peta tulis adalah informasi dalam penguji ini dan jangan menimpa aturan merangkak yang cocok. Alat ini menampilkan mereka tetapi tidak mengambil peta nada. Uji URL halaman samemap yang terdaftar terhadap aturan yang relevan ketika memeriksa perubahan yang diusulkan.
Does Alowed mean Google will index the page?
Tidak. Ini berarti peraturan yang disisipkan izin yang meminta di bawah interpretasi ini. Respon server, pembatasan akses, canonisalisasi, isi, dan sinyal pengindeksan lainnya di luar ujian. Ini tidak merangkak halaman maupun cek Search Console indeks status.
Apakah persentase -dikodekan dan jalur bukan-ASCII didukung?
Penguji normalisasi% escapes, decodes karakter yang hilang dan encodes raw non-ASCII teks. Enkode reserved separator tetap berbeda. Parsing URL juga dapat menormalkan segmen titik. Ulasan kasus-kasus tepi terhadap crawler dan server aktual daripada mengasumsikan semua mantra sama.
Dapatkah saya menggunakan ini untuk memeriksa Bing atau setiap crawler?
Anda dapat memasukkan token crawler lain, tetapi perilaku yang cocok adalah model praktis Google- gaya. Merangkak lain dapat menangani arah yang berbeda. Ini tidak mensimulasikan kesalahan pengambilan, mengarahkan kembali, caching atau setiap aturan pemulihan tidak terdaftar; gunakan dokumentasi crawler yang relevan untuk tinjauan akhir.
Menjelajahi topik di blog
Sumber dan metode
Gunakan referensi di bawah ini untuk memeriksa definisi dan panduan platform. Ruang lingkup dan batas model dijelaskan di atas. Baca standar editorial kami.