Generate robots.txt and a URL-اسمعوا (سبايدب) لموقع صغير
جهزوا قواعد الزحف والخريطة XML بدون اكتشافات مريبة، والفهرسة ومراقبة الدخول.
كتابة الجرد العام المزمع
أنشئ قائمة بالصفحات الأساسية التي ينبغي أن تتاح للزوار، وافصلها عن المسارات الداخلية أو المحمية بتسجيل الدخول. لا يزحف مولد القائمة إلى الموقع ولا يكتشف الصفحات. استخدم تصديرًا أو قائمة يدوية مراجعة، واحتفظ بها مع ملاحظات الإطلاق. تحتاج الصفحة التي تعيد التوجيه أو تعطي خطأ أو تحمل noindex إلى مراجعة مستقلة قبل إدراجها في خريطة قابلة للفهرسة.
إنشاء مجموعة روبوتات قابلة للقراءة
ويضع نموذج مولدات الروبوتات مستعملا: /admin/ و /internal/ويعلن https://example.com/sitemap.xml. وهي تنتج مجموعة واحدة ذات مسارات واضحة. نشر الملف /robots.txt على المخطط المقصود، والمضيف والميناء. ولا يزال تحديد المسارات مهماً، لذا سمح ممثل الاختبار وعرقل الطرق مع مُختبر القواعد الحالي قبل الاعتماد على الملف المتولد.
بناء نموذج الموقع في صفحتين
Paste https://example.com/ and https://example.com/about/ into the URL-list born. وتنتج مدخلين من طراز URL في موقع قياسي. وأزيلت المصاريف المتسلسلة المزدوجة، وتُرفض الشظايا وتقتضي هذه الصيغة مصدراً واحداً. ويتم الفرار من أمبيرز كويري على أنها من طراز XML دون تغيير الـ URL. (ب) أن تترك النص الاختياري الأخير فارغاً إلا إذا كان تاريخ تحديث الصفحة ذا مغزى ينطبق حقاً على كل صفحة مدرجة.
| الخيار | الغرض الأولي | Limit |
|---|---|---|
| robots.txt | التعليمات | لا يُؤمن أو يُعتمد عليه بمؤشر URL |
| sitemap.xml | (كانونية URL) | لا يضمن الزحف أو الفهرسة |
| التوثيق | تقييد الوصول | يتطلب خادوما حقيقيا أو إنفاذ تطبيقات |
| noindex | طلب استبعاد من الفهرسة | يجب أن يكون كرولر قادرا على قراءة التعليمات |
المولدات لا تفتش الصفحات الحية أو تصادر الخادم.
استخدم هذا المثال يفتح الروبوتات بهذه المدخلات.
اختر التحكم الصحيح
تتحكم قاعدة disallow في robots بالزحف، لا بالمصادقة، وقد يظل الرابط المحجوب ظاهرًا في البحث. تساعد خريطة الموقع على اكتشاف الصفحات، ولا تتجاوز قيود الزحف أو تثبت قابلية الفهرسة. استخدم ضوابط وصول للمحتوى الخاص وطريقة noindex مناسبة لقرارات الفهرسة. لا تضع مسارات حساسة في ملف robots عام ظنًا أنه يخفيها.
التحقق من الردود الفعلية المنشورة
تحميل كلا الملفين ونشرهما في المواقع المقصودة واسترجاع تلك الملفات بالضبط. تأكد من المضيف، وصلات الموقع، ومحتويات الاستجابة، وسلوك الصفحات المرجعية. ويزحف ممثل الاختبار القواعد مرة أخرى باستخدام الملف المنشور بدلا من المشروع. If the URL inventory become large, use the existing sitemap validator and splitter to review published XML and protocol bounds. الحفاظ على نية الإطلاق والردود الملاحظة كدليل منفصل.