منشئ ملف robots.txt

ليس بشكل موثوق. مسدود URL لا يزال يمكن اكتشافها وإدراجها دون محتواها.

لا. استخدام ضوابط التوثيق والوصول.

في المسار /robots.txt على الأصل المعني.

نعم. أدخل روابط مطلقة HTTP أو HTTPS لخرائط الموقع.

وتولد هذه النسخة مجموعة واحدة. حرر ملفا كاملا عمدا إذا كانت هناك حاجة إلى المزيد من المجموعات.

تطابق المسار يتّبع قواعد الزحف، والتحقق من الرسملة الدقيقة والخصوصية مع الخادم.

التجهيز يحدث محلياً في منظفك. هذه الأداة لا تحمل المدخلات. الحمولة تبقى على جهازك تقاسمها أو فتحها في خدمة أخرى هو خيارك.

قواعد robots لا تحمي الصفحات الخاصة ولا تضمن استبعادها من البحث. تدعم الأداة مجموعة واحدة فقط، وتتجاهل التوجيهات الخاصة بمحركات زحف غير مدعومة. راجع أولوية المسارات باستخدام أداة اختبار القواعد.