Robots.txt وnoindex: قواعد الزحف والفهرسة والاختبارات العملية
فهم لماذا يختلف ديساللو عن noindex، واختبار قواعد المسار الملموسة والتحقق من السلوك المنتشر قبل تغيير الدخول الزحف.
اختيار النتيجة قبل اختيار التوجيه
تختلف أغراض صفحة أداة عامة وصفحة مساعدة عامة للحساب وحساب عميل خاص. قد تريد اكتشاف الأداة عبر البحث. أما الصفحة العامة التي ينبغي استبعادها من النتائج فتحتاج إلى قرار بشأن الفهرسة. والحساب الذي يحتوي على معلومات خاصة يحتاج إلى التحكم في الوصول. اكتب النتيجة المقصودة بجانب كل مجموعة URL. تصف Google ملف robots.txt بأنه وسيلة للتحكم في طلبات الزحف، بينما يتحكم noindex في الفهرسة عندما يستطيع زاحف يدعمه قراءته. لا يثبت وجود تسمية robots.txt ولا كلمة private في URL أن الزائر لا يستطيع الوصول إلى الصفحة.
أبقوا كتلة زحام منفصلة عن تعليمات الترحيل
(ديساللو) يخبر الزحف المطابق بعدم طلب طريق. ألف URL هذا الطريق يمكن أن يظهر في نتائج البحث إذا اكتشفه (جوجل) في مكان آخر. ألف noindex البطاقة أو X-Robots-Tag ويمكن أن يحول رئيس الاستجابة دون الفهرسة، ولكن يجب أن يكون بوسع غوغل الوصول إلى المورد وأن يرى ذلك التعليم. القفل نفسه URL في robots.txt يمكن أن يوقف هذا الاكتشاف noindex. جوجل لا يدعم noindex التوجيه الصادر robots.txt. قبل الجمع بين الأماكن، يسأل ما إذا كان الزحف يمكن أن نرى فعلا الإشارة التي من المفترض أن تحقق نتائجك.
| التعليم | الضوابط | التقادم |
|---|---|---|
| robots.txt Disallow | دخول (كرولر) إلى مسارات المطابقة | مسدود URL قد يظهر البحث |
| Meta Robs noindex | فهرسة صفحات نظام HTML | الزحف يجب أن يصل إلى الصفحة لقراءته |
| X-Robots-Tag: noindex | الفهرسة عن طريق رئيس الاستجابة | ويجب أن يكون الرد متاحاً. |
| دخول البندق | تلميح اكتشاف | لا يلغي قواعد الزحف أو يضمن الفهرسة |
اختبار قاعدة صغيرة مع مسارات تمثيلية
لنا robots.txt وعلى سبيل المثال، يختار الوصي قواعد غوغلبوت التي تبطل مفعولها /private/إسمح للطريق الصحيح /private/help من خلال علامة الدولار المتتالية، وتشويه المسارات تنتهي في .pdf. وتنتج خمسة طلبات مقدمة من الاتحاد الثوري ثلاث طلبات مسموح بها وطلبين مقفلين. /private/account محاصرة؛ /private/help مسموح به. /report.pdf محاصرة، بينما /report.pdf?download=1 يُسمح به لأن خيط التساؤل يعني أن الطريق المقارن لم يعد ينتهي .pdf. /Private/account مسموح به لأن المقارنة حساسة. هذه نتائج مؤكدة على سبيل المثال لا تقرير عن خادمك.
فحص المجموعة المختارة والقاعدة الفائزة
النتيجة تسمية مجموعة الزحف المختارة والقاعدة الفائزة لكل واحد URL لذا استخدمي تلك التفسيرات عندما تفاجئك النتيجة. ويختار الخادم المحلي أكثر المنتجات المطابقة تحديداً، ويدمج مجموعات محددة على قدم المساواة ويستخدم مجموعة البطاقات البرية فقط عندما لا تكون هناك مطابقة أكثر تحديداً. وتتمتع قواعد المطابقة الأطول بالأسبقية؛ وتسمح بالفوز بالمنازعات المتساوية. اختبار كل من الاستثناء المسموح به والطريق المجاور المسدود. بما في ذلك المتغيرات مع المصادمات المتتالية، وسلاسل الاستفسارات، ورسملة وشخصيات مشفرة. ولا يمكن لأي مثال ناجح أن يغطي كل طريق في الموقع.
التحقق من المصدر الدقيق وحدود الأداة
أدخل URL ملف robots.txt في الجذر، مثل https://example.com/robots.txt، لكي تحدد الأداة عناوين URL الاختبارية التي تقع خارج البروتوكول والمضيف والمنفذ المعنيين. لا يحدد ملف على أصل واحد قواعد لنطاق فرعي أو بروتوكول آخر. تعالج الأداة المحتوى الملصق، حتى 500 URL في كل تشغيل، دون جلب ملفك. وتحذر من الحقول غير المدعومة والمسارات غير السليمة. لا تحاكي إخفاقات جلب الخادم أو إعادة التوجيه أو تاريخ التخزين المؤقت أو سلوك كل زاحف. احفظ النص المختبَر مع النتائج، ثم افحص بصورة منفصلة ما يعيده الأصل المنشور فعليًا.
استخدام التنفيذ الصحيح للموارد
لصفحة HTML ينبغي أن تبقى متاحة للعامة مع استبعادها من نتائج Google، يمكن وضع تعليمة noindex في عنصر head. وقد يناسب موردًا مثل PDF استخدام ترويسة الاستجابة. تحقق من الاستجابة المقدمة فعليًا بدلًا من افتراض أن إعدادًا في المحرر وصل إلى URL المنشور. للحساب الخاص، اضبط المصادقة والتفويض واختبر الوصول كزائر لم يسجل الدخول. لا يفحص مدقق robots المحلي ترويسات الاستجابة أو HTML الصفحة أو سلوك تسجيل الدخول، لذا يجب ألا تُستخدم نتيجة مسموح كإثبات نجاح لتلك الفحوص المنفصلة.
حافظ على توقعات الموقع بما يتفق مع خطتك
يشير سطر Sitemap إلى موقع خريطة الموقع؛ ولا يمنح إذنًا بالزحف إلى صفحة محظورة. بالمثل، وضع URL في موقع التصوير لا يتجاوز robots.txt أو وعد بأن يتم فهرسه. إستخدم المُحقّق من الموقع لتفتيش XML وتحقق من البروتوكولات المنفذة، ثم استعراض الأسر المدرجة في الصفحات ضد وجهتك العامة المقصودة. إذا كان التعبئة أو الحساب URL يبدو غير متوقع، تصحيح مصدر الجيل. وضع خريطة موقعية محمولة مع ترك المولد بدون تغيير يجعل عدم الاتساق نفسه من المرجح أن يعود في المبنى التالي.
التحقق من التغيير المنشور والاحتفاظ بسجل التراجع
قبل النشر، إبقاء النص الحالي للقاعدة ومجموعة قصيرة من الممثلين URL اختبارات. بعد النشر، تأكيد الحياة robots.txt الاستجابة والاستخدام Search Console’ URL معلومات تفتيش الصفحات الهامة. إذا أضفت noindexتفقد HTML أو رئيس (جوجل) يمكن أن يتلقى بدلاً من اختبار الأذن الآلي وحده. والسحب والإبلاغ ليسا فوريين، وبالتالي وثيقة عندما يحدث التغيير. ويمكن أن يحول العقبة الواسعة على الطريق الخاطئ دون اكتشاف صفحات مفيدة. ومن الأسهل إجراء تغيير مجرب وهادف مع الأدلة المحتفظ بها تشخيص وعكس اتجاه القواعد التحريرية المتكررة لمطاردة نتيجة بحث متغيرة.