Robots.txt vs Noindex: Aturan Crawl, Indexing dan Tes Praktis
Memahami mengapa tidak puas berbeda dari noindex, menguji aturan jalur beton dan memverifikasi perilaku yang dikerahkan sebelum mengubah akses merangkak.
Pilih hasil sebelum memilih direktif
Sebuah halaman alat publik, akun publik - halaman bantuan dan akun pelanggan pribadi memiliki tujuan yang berbeda. Untuk alat ini, Anda mungkin ingin mencari penemuan. Untuk halaman publik yang harus tetap keluar dari hasil, Anda perlu keputusan pengindeksan. Untuk sebuah akun yang berisi informasi pribadi, Anda perlu kontrol akses. Menulis hasil yang dimaksudkan di samping setiap keluarga URL. Google mendeskripsikan robots.txt sebagai mengendalikan permintaan merangkak, sedangkan noindex mengontrol pengindeksan ketika pendukung crawler dapat membacanya. Baik sebuah robots.txt label maupun kata pribadi dalam sebuah URL menetapkan bahwa pengunjung tidak dapat mengakses halaman.
Jauhkan blok merangkak terpisah dari instruksi penghapusan
Tidak puas memberitahu crawler yang cocok tidak meminta path. A URL diblokir dengan cara ini masih dapat muncul dalam hasil pencarian jika Google menemukan di tempat lain. A noindex meta tag atau X-Robots-Tag header respon dapat mencegah pengindeksan, tapi Google harus dapat mengakses sumber daya dan melihat instruksi itu. Menghalangi hal yang sama URL in robots.txt dapat menghentikan penemuan noindex. Google tidak mendukung noindex direktif ditempatkan robots.txt. Sebelum menggabungkan pengaturan, tanyakan apakah crawler bisa melihat sinyal yang seharusnya mencapai hasil Anda.
| Instruksi | Kontrol | Batas |
|---|---|---|
| robots.txt Tidak Terganggu | Crawler akses ke jalur yang cocok | Sebuah URL diblokir mungkin masih muncul dalam pencarian |
| Meta robot noindex | Mengindeks halaman HTML | The crawler harus mencapai halaman untuk membacanya |
| X-Robots-Tag: noindex | Mengindeks melalui header respon | Respon harus dapat diakses |
| Entri Sitmap | Petunjuk penemuan | Tidak menimpa aturan crawl atau jaminan pengindeksan |
Uji aturan kecil ditata dengan path perwakilan
Kami robots.txt contoh tester ini memilih aturan Googlebot yang melarang /private/, mengizinkan jalan yang tepat /private/help melalui jejak tanda dolar, dan jalan dilarang berakhir di .pdf. Its lima URL yang diberikan menghasilkan tiga permintaan yang diperbolehkan dan dua permintaan diblokir. /private/account diblokir; /private/help diperbolehkan. /report.pdf diblokir, sementara /report.pdf?download=1 diijinkan karena string query berarti jalur perbandingan tidak lagi berakhir .pdf. /Private/account diperbolehkan karena perbandingan adalah kasus sensitif. Ini adalah hasil yang diverifikasi untuk contoh disisipkan, bukan laporan tentang server hidup Anda.
Inspeksi aturan grup yang dipilih dan menang
Hasil nama kelompok crawler yang dipilih dan aturan menang untuk setiap URL, jadi gunakan penjelasan tersebut ketika hasil mengejutkan Anda. penguji lokal memilih token produk yang paling spesifik, menggabungkan kelompok yang sama spesifik dan menggunakan kelompok wildcard hanya ketika tidak ada lagi kecocokan spesifik. Aturan yang lebih lama cocok akan diutamakan; Ijinkan menang konflik sepanjang sama rata. Uji baik pengecualian diizinkan dan jalur diblokir tetangga. Sertakan varian dengan garis-garis, senar kueri, kapitalisasi, dan karakter tersandi yang dikeluarkan aplikasi Anda. Sebuah contoh sukses tunggal tidak dapat mencakup setiap rute di situs.
Periksa persis asal dan batas alat
Masukkan akar robots.txt URL, seperti https://example.com/robots.txt, untuk membiarkan test URL tool flag diluar protokol, host dan port. Sebuah berkas pada satu asal tidak membangun aturan untuk subdomain atau protokol lain. Proses alat menempelkan isi, sampai 500 URL per run, tanpa mengambil file Anda. Ini memperingatkan tentang daerah yang tidak didukung dan jalur yang salah bentuk. Ini tidak mereproduksi server mengambil kegagalan, mengarahkan kembali, caching sejarah atau setiap crawler 's perilaku. Simpan teks teruji dengan hasil, kemudian secara terpisah memeriksa apa asal yang dikerahkan benar-benar kembali.
Gunakan implementasi yang benar bagi sumber daya
Untuk sebuah halaman HTML yang harus tetap dapat diakses secara terbuka tetapi dikeluarkan dari hasil Google, instruksi noindex dapat ditempatkan di kepalanya. Untuk sumber daya seperti PDF, pendekatan responsif-header mungkin sesuai. Verifikasi respon yang disampaikan daripada mengasumsikan pengaturan dalam suatu penyunting mencapai URL yang diterbitkan. Untuk akun pribadi, konfigurasi otentikasi dan otorisasi dan akses tes sebagai pengunjung yang belum dikonfirmasi. penguji robot lokal tidak memeriksa header respon, halaman HTML atau perilaku login, sehingga hasil yang diijinkan tidak boleh digunakan sebagai lulus untuk pemeriksaan terpisah tersebut.
Keep siemap expects konsisten dengan rencana Anda
Sebuah baris Sitmap menunjuk ke lokasi syemap; ia tidak memberikan izin untuk merangkak halaman yang diblokir. Demikian pula, menempatkan sebuah URL dalam satur tidak menimpa robots.txt atau berjanji bahwa itu akan diindeks. Gunakan validator peta satelit untuk memeriksa XML dan pemeriksaan protokol yang diimplementasikan, kemudian meninjau halaman terdaftar terhadap tujuan publik yang dimaksudkan. Jika penjumlahan atau URL akun muncul tiba-tiba, memperbaiki satu sumber generasi. Mengunduh satu paket yang diunduh ke dalam halaman terdaftar keluarga yang meninggalkan tujuan berikutnya.
Verifikasi perubahan yang diterbitkan dan simpan catatan rollback
Sebelum penyebaran, menjaga teks aturan saat ini dan seperangkat tes URL perwakilan. Setelah penyebaran, konfirmasikan respon robots.txt hidup dan gunakan URL Search Console 's Inspektion informasi untuk halaman penting. If you added noindex, check the HTML or header Google can receive, rather than testing robot permission alone. Merekung dan melaporkan tidak seketika, jadi dokumen ketika perubahan terjadi. Sebuah blok luas di jalan yang salah dapat mencegah penemuan halaman berguna. Perubahan teruji dengan bukti yang disimpan lebih mudah untuk mendiagnosa dan membalikkan daripada mengedit aturan berulang kali untuk mengejar hasil pencarian yang berubah.