Hasilkan robots.txt dan sebuah URL-List Sitmap untuk sebuah Site Kecil
Siapkan aturan merangkak dan sapel XML tanpa penemuan membingungkan, indeks dan kontrol akses.
Tulis inventaris publik yang dimaksudkan
Daftar halaman kanonikal yang seharusnya tersedia bagi pengunjung dan membedakannya dari rute terotentikasi atau internal. Generator URL-list tidak merangkak situs atau menemukan halamannya. Gunakan ekspor atau daftar manual yang diulas dan simpan dengan catatan peluncuran. Sebuah halaman yang mengarahkan kembali, mengembalikan kesalahan atau membawa noindex perlu tinjauan terpisah sebelum itu termasuk dalam sebuah sitemap yang tidak dapat ditentukan.
Membuat grup robot yang dapat dibaca
Contoh generator robot set User-agent: *, memungkinkan /, melarang /admin/ dan /internal/, dan mendeklarasikan https://example.com/sitemap.xml. Ini menghasilkan satu kelompok dengan jalur eksplisit. Terbitkan berkas di /robots.txt pada skema yang dimaksudkan, host, dan port. Spesifikasi jalur masih penting, sehingga perwakilan tes diperbolehkan dan diblokir jalur dengan penguji aturan yang ada sebelum mengandalkan pada file yang dihasilkan.
Buat contoh dua- halaman sitmap
Tempel https://example.com/ dan https://example.com/about/ ke URL- Generator daftar. Ini menghasilkan dua URL masukan dalam standar ruang-nama peta. URL serialisasi ganda dihapus, fragmen ditolak dan versi ini memerlukan satu asal. Query ampersands melarikan diri sebagai XML dan tidak (pula) merubah yang buruk, URL. Tinggalkan opsional shared lastmod kosong kecuali tanggal update halaman berarti benar-benar berlaku untuk setiap halaman terdaftar.
| Pilihan | Tujuan utama | Batas |
|---|---|---|
| robots.txt | Instruksi crawl | Tidak aman atau dapat diandalkan deindex suatu URL |
| sitemap.xml | Penemuan URL Canonical | Tidak menjamin merangkak atau indeks |
| Otentikasi | Akses batasi | Membutuhkan server nyata atau penegakan aplikasi |
| noindex | Permintaan pengecualian dari pengindeksan | Crawler harus bisa membaca instruksi |
Generator tidak memeriksa halaman hidup atau mengatur server.
Gunakan contoh ini Buka Robots.txt dengan masukan ini.
Pilih kendali kanan
Sebuah robot dilarang mengontrol merangkak, bukan otentikasi, dan URL diblokir mungkin masih terdaftar dalam pencarian. Sebuah peta tulis membantu penemuan; tidak menimpa pembatasan merangkak atau menetapkan ketidakstabilan. Gunakan kontrol akses untuk isi privat dan metode noindex yang cocok untuk keputusan pengindeksan. Jangan menaruh informasi rute sensitif dalam file robot publik di bawah asumsi bahwa file menyembunyikannya.
Periksa respon yang sebenarnya diterbitkan
Unduh kedua berkas, mempublikasikan mereka di lokasi yang dimaksudkan dan ambil URL yang tepat. Konfirmasi host, taut sapel, isi respon dan perilaku halaman referensi. Uji perwakilan aturan merangkak lagi menggunakan berkas yang dikerahkan, daripada draft. Jika URL inventaris menjadi besar, gunakan sitmap validator dan splitter yang ada untuk mengulas diterbitkan XML dan batas protokol. Terus meluncurkan niat dan mengamati tanggapan sebagai bukti terpisah.