Generator Robots.txt
Membangun aturan merangkak dan deklarasi siemap dari sebuah bentuk.
Data Anda
Hasil Anda
Siap kapan pun Anda butuhkanHasil Anda akan muncul di sini.
Cara kerja
Hasilkan satu grup agen dengan eksplisit Ijinkan / Salah jalur dan deklarasi siemap absolut, menolak baris injeksi dan komentar ambiguitas.
Baca acuan sumberBeberapa hal yang perlu diketahui
Robot tidak mengamankan halaman pribadi atau jaminan pengesahan dari pencarian. Satu kelompok saja; perintah crawler-spesifik tidak didukung. Meninjau spesifikasi jalur dengan penguji aturan terpisah.
Kapan memakai alat ini
Buat sebuah robots.txt kecil yang dapat dibaca dari jalur eksplisit. Berkas ini milik dari akar skema yang benar, host dan port.
- Siapkan file peluncuran.
- Menyatakan peta satelit.
- Dokumen kebijakan merangkak kecil.
Bagaimana menggunakan robots.txt generator
Siapkan masukan
Pilih satu koin agen.
Pilih pengaturan
Masukan dikodekan jalur mengijinkan / dilarang dan URL sitmap.
Ulasan dan ekspor
Unduh robots.txt, terbitkan pada akar asal dan uji aturan.
Coba contoh yang diberikan
Masukan
agen: *; ijinkan: /; dilarang: /admin/ /internal/; sitemaps: https://example.com/sitemap.xml
Hasil
Contoh ini memungkinkan akar, pengadu dislow admin dan jalur internal dan menyatakan satu saitmap.
Apa artinya
Gunakan otentikasi untuk privasi dan metode noindex yang sesuai untuk pengindeksan kontrol.
Kesalahan umum untuk dihindari
Aturan crawl tidak otentikasi
Aturan crawl tidak otentikasi.
Memblokir merangkak bukanlah metode noindex yang dapat diandalkan
Memblokir merangkak bukanlah metode noindex yang dapat diandalkan.
Pertanyaan yang sering ditanyakan
Definisi, kasus tepi, dan praktis langkah berikutnya untuk alat ini. Cari semua alat FAQs
Apakah robots.txt mencegah indexing?
Tidak bisa dipercaya. Sebuah URL diblokir masih dapat ditemukan dan didaftarkan tanpa isinya.
Apakah itu melindungi konten pribadi?
Tidak. Gunakan otentikasi dan kendali akses.
Di mana harus diterbitkan?
Pada /robots.txt pada asal yang relevan.
Boleh kutambahkan peta?
Ya. Pasokan absolut HTTP atau HTTPS URL peta.
Dapatkah saya membuat beberapa crawler kelompok?
Versi ini menghasilkan satu kelompok. Sunting berkas lengkap dengan sengaja jika lebih banyak grup diperlukan.
Apakah jalur cocok case- sensitif?
Path cocok dengan aturan crawler; periksa kapitalisasi yang tepat dan spesifikasi dengan penguji.
Apakah masukan saya diunggah atau disimpan?
Proses terjadi secara lokal di browser Anda. Alat ini tidak mengunggah masukan. Unduhan tetap pada perangkat Anda; berbagi atau membukanya dalam layanan lain adalah pilihan Anda.
Apa yang harus saya periksa sebelum menggunakan keluaran?
Robot tidak mengamankan halaman pribadi atau jaminan pengesahan dari pencarian. Satu kelompok saja; perintah crawler-spesifik tidak didukung. Meninjau spesifikasi jalur dengan penguji aturan terpisah.
Menjelajahi topik di blog
Sumber dan metode
Gunakan referensi di bawah ini untuk memeriksa definisi dan panduan platform. Ruang lingkup dan batas model dijelaskan di atas. Baca standar editorial kami.