أداة اختبار قواعد robots.txt
Paste robots.txt ويختبرون ما إذا كان مسموحاً للألغام المضادة للمركبات أن تكون مزيفة.
بياناتك
نتائجك
جاهزة متى احتجت إليهاستظهر نتائجك هنا.
كيف تعمل الأداة
تم فحصها robots.txt قواعد قبل النشر. الأختبار يختار أطول منتج زحف مطابق، يجمع بين المجموعات ذات الخصوصية المتساوية، ويعود إلى. السماح و(ديساللو) تطابق مسارات حساسة للحالات بالإضافة إلى خيوط الاستفسارات. (أستركس) يضاهي أي تسلسل، علامة الدولار النهائي ترسّخ النهاية، وطول المطابقة بين القواعد المطّردة، وسمح بالفوز بالصراعات ذات الطول المتساوي. كل نتيجة تسمى القاعدة الفائزة وخط مصدرها.
اقرأ مرجع المصدرمعلومات يجدر معرفتها
اختبار محلي للقواعد على نمط Google، وليس زحفًا مباشرًا أو تقريرًا عن الفهرسة. الزحفات الأخرى قد تفسر التوجيهات بشكل مختلف. دعم المطابقة بين المنتجات متطابقة تماماً مع الكسور والهيفين/الدنيويين الأساسيين، وليس الضربات الفرعية التعسفية لرؤوس المستنقعات. يتم تجاهل الحقول غير المدعومة والمسارات المضللة بالتحذيرات؛ والانتعاش غير الموثق لإطارات غوغل index.html السماح بالتطبيع ليس محاكاة. هروب لائق تُطَوَّل، وشخصيات هاربة غير محميّة مُخزّرة، وخامّة غير خام ASCII الشخصية مشفرة، والمفصلين المحجوزين يظلون متميزين. URL تطبيع أجزاء النقط. هذه الأداة لا تحفيز أخطاء الجلب، إعادة التوجيه، تاريخ الكش HTTP مناولة الوضع، أو تحويل الخادم أو تزييف الأخطاء. قيود البندب هي معلوماتية. ويتسع نطاق " الروبوتات " ليشمل بروتوكولاً واحداً، مضيفاً ومرفئاً؛ ولا يمكنه إنفاذ السرية أو ضمان وضع المعايير.
عند استخدام هذه الأداة
صغيرة robots.txt ويمكن للتحرير أن يؤثر على العديد من الدوريات، لا سيما عندما تتفاعل المجموعات الخاصة بالزواحف والبطاقات البرية وسلاسل الاستفسارات. ويقيّم هذا الخادم القواعد المرعية على قائمة المسارات أو المباريات، ويسمي القاعدة الفائزة. وهو يستخدم تفسيرا عمليا على شكل غوغل لدعم الاستعراض قبل النشر. وتصف النتيجة القواعد الموردة، وليس زحفاً حياً، أو سياسة الوصول إلى الخادم، أو تأكيداً بأن صفحة مفهرسة.
- اختبار قاعدة فضفاضة مقترحة ضد صفحات هامة قبل النشر.
- تحقق من استثناء محدد ضمن دليل مقفل
- قارن القواعد الخاصة بكل زحف مع مجموعة البطاقات البرية
كَيفَ يَستعملُ robots.txt إختبار قواعدِ
إستعير القواعد و الزحف
أدخل robots.txt محتويات ومنتج زحف مثل جوجلبوت أو بينغبوت. استخدم المنتج المكسور بدلاً من الخيط الكامل للمستخدمين. ملف فارغ يسمح بالزحف تحت هذا الإختبار.
نطاق الإمداد والاختبارات
الدخول الاختياري للجذر robots.txt URL للتحقق من نطاق البروتوكول والمضيف والموانئ. يمكنك أن تضيف واحدة من طراز HTTP (S) URL أو المسار لكل خط، بما في ذلك سلاسل الاستفسارات عند الاقتضاء. يمكنك اختبار ما يصل إلى 500 قيد.
استعراض القواعد الفائزة
أجري الاختبار وفحص النتائج المسموح بها، المقفلة والباطلة أو الخارجية. كل مباراة تحدد خط المصدر. تحقق من التحذيرات وسلوك الخادم الحقيقي بشكل منفصل قبل نشر الملف المحرّر.
اختبار الاستثناء وقاعدة الملف
المدخلات
استخدم قواعد Googlebot المقدَّمة التي تحظر /private/ وتسمح بـ/private/help$ وتحظر /*.pdf$. اختبر عناوين URL الخمسة في المثال ضمن نطاق تطبيق robots الخاص بـexample.com.
النتيجة
تُسمح ثلاثة عناوين URL ويُحظر عنوانان. يُحظر /private/account و/report.pdf. ويُسمح بـ/private/help و/report.pdf?download=1 و/Private/account.
ماذا تعني؟
ويفوز استثناء المساعدة بالضبط، والدولار النهائي يجعل قاعدة PDF تتوقف قبل إجراء استفتاء، ويختلف القطاع الخاص الأعلى عن القطاع الخاص الأدنى. تفاصيل النمط الصغير تغير النتيجة
الأخطاء الشائعة لتجنب
استخدام robots.txt كتحكم الدخول
الأوامر الزائفة لا تحمي المحتوى السري. استخدام التوثيق أو الإذن بالخادم عندما لا يجب على الناس أو البرمجيات الوصول إلى مورد.
إفتراض أنّه يزيل نتيجة بحث
فتح الزحف ليس أمراً موثوقاً به. النظر في اشتراطات الفهرسة الفعلية والتوجيه الرسمي بدلاً من مساواة الزحف المكشوف مع التضليل.
نسيان خيوط الاستفسارات أو القضايا
وتشمل المطابقة مسار وشريطة الاستفسارات، وهي حساسة في الحالات. المتغيرات التمثيلية للاختبارات، خاصة عندما ينتهي النمط بدولار أو موقع يكشف عن طرق مختلطة.
الأسئلة المتكررة
التعاريف والحالات الحادة والخطوات العملية التالية لهذه الأداة. ابحث عن جميع الادوات
كيف يختار المخبر مجموعة زحف؟
وهو يختار أطول مطابقة لمنتج زحف مدعوم ويدمج مجموعات محددة بنفس القدر. مجموعة البطاقات البرية لا تستخدم إلا إذا لم تتطابق مجموعة معينة. أدخل رمزاً مثل غوغلبوت - نيوز بدلاً من أن يكون رئيس مستعمل كامل بشكل تعسفي لإجراء اختبار ذي مغزى.
أيّ قاعدة تفوز عندما تُصبحُ (سمو) و (ديساللو) متطابقين؟
أطول تطابقاً مع القواعد المستقرة يكون له الأسبقية. عندما تكون المواصفات متساوية، اسمحوا الفوز. النتيجة تُسمّي القاعدة الفائزة و الخطّ حتى تفحصي ذلك التفاعل بدلاً من معالجة الملف كقائمة متطابقة بسيطة.
ماذا تعني علامة النجم والدولار؟
النجم يطابق سلسلة من الشخصيات. علامة الدولار الأخيرة ترسّخ المباراة إلى نهاية الطريق المقارن بالإضافة إلى الاستفسار. وبناء على ذلك، يمكن لل /*.pdf$ أن تمنع /report.pdf بينما تسمح /report.pdf?download=1 بموجب القواعد الموردة.
لماذا هو URL خارج نطاق robots.txt؟
الروبوتات الاختيارية URL يحدد نطاق البروتوكول والمضيف والموانئ. ملف قاعدة https://example.com لا يحكم تلقائيا http://example.com أو غواصة أخرى. ويسجل الخادم هذه الاختلافات بحيث لا تطبق قواعد الموقع على مصدر آخر.
هل التوجيه الخاص بـ (سبايدب) يسمح بالزحف؟
لا. الدخول في البندب هي معلومات في هذا الخادم ولا تتخطى قواعد الزحف. الأداة تظهرهم لكنها لا تجلب خريطة الموقع. اختبار صفحة الموقع الواردة في القائمة على القواعد ذات الصلة عند التحقق من التغيير المقترح.
هل (جوجل) سيفهرس الصفحة؟
لا. وهذا يعني أن القواعد السابقة تسمح بذلك الطلب بموجب هذا التفسير. أما استجابات الموظفين، وقيود الدخول، والتقسيم الكانتوني، والمحتوى، وغير ذلك من إشارات الفهرسة فهي خارج نطاق الاختبار. وهي لا تزحف على الصفحة ولا تدقق في حالة الرقم القياسي Search Console.
مربوط بالمئة وغير ASCII طرق مدعومة؟
الخادم يطبيع المئة بالهروب، والديكورات الغير محميّة الشخصيات الهاربة،ASCII النص. ولا يزال المفصلون المحجوزون مستقلين. URL ويمكن للقطع أيضا أن تطبيع أجزاء النقط. استعراض حالات الحافة ضد الزحف والخادم الفعلي بدلاً من افتراض أن جميع التهجئة تعادل.
هل يمكنني استخدام هذا للتحقق من بينغ أو كل زحف؟
يمكنك الدخول إلى كسور زحف أخرى، لكن سلوك المطابقة هو نموذج عملي على شكل جوجل. الزحفات الأخرى قد تتعامل مع التوجيهات بشكل مختلف. وهي لا تحاكي الأخطاء، أو إعادة توجيه، أو التلخيص، أو كل قاعدة استرداد غير موثقة؛ وتستخدم وثائق الزحف ذات الصلة لإجراء استعراض نهائي.
استكشاف الموضوع في المدونة
المصادر والطريقة
يمكنك استخدام الإشارات الواردة أدناه للتحقق من التعاريف وتوجيهات المنبر. ويرد أعلاه شرح لنطاق هذا النموذج وحدوده. اقرأ معايير التحرير