Générateur Robots.txt
Construire des règles de rampement et des déclarations de plan du site à partir d'un formulaire.
Vos données
Vos résultats
À votre dispositionVos résultats s’afficheront ici.
Comment ça marche
Générer un groupe utilisateur-agent avec des chemins d'autorisation/interdiction explicites et des déclarations de plan du site absolu, en rejetant l'injection de ligne et les ambiguïtés de commentaires.
Lire la référence sourceQuelques points à connaître
Les règles Robots ne protègent pas les pages privées ni ne garantissent l'exclusion de la recherche. Un seul groupe; les directives spécifiques aux rampeurs non soutenues sont omises. Examiner la spécificité du chemin avec le testeur de règles séparé.
Quand utiliser cet outil
Créez un petit robots.txt lisible à partir de chemins explicites. Le fichier appartient à la racine du bon schéma, hôte et port.
- Préparez un fichier de lancement.
- Déclarez un plan du site.
- Documenter une petite politique de rampe.
Comment utiliser robots.txt générateur
Préparer les entrées
Choisissez un jeton user-agent.
Choisissez les paramètres
Entrez les chemins autorisés/invalides encodés et les URLs du plan du site.
Examen et exportation
Téléchargez robots.txt, publiez à la racine d'origine et testez les règles.
Essayez l'exemple fourni
Entrées
agent: *; permettre: /; refuser: /admin/ /internal/; plans du site: https://example.com/sitemap.xml
Résultat
L'exemple permet la racine, interdit les chemins administratifs et internes et déclare un plan du site.
Ce que ça veut dire
Utilisez l'authentification pour la confidentialité et une méthode noindex appropriée pour le contrôle d'indexation.
Erreurs courantes à éviter
Les règles de crawl ne sont pas d'authentification
Les règles de crawl ne sont pas des authentifications.
Blocage de rampe n'est pas une méthode fiable noindex
Le blocage de la rampe n'est pas une méthode fiable de noindex.
Foire aux questions
Définitions, cas de bordure et prochaines étapes pratiques pour cet outil. Rechercher tous les outils FAQ
Les robots.txt empêchent-ils l'indexation?
Pas fiable. Une URL bloquée peut encore être découverte et listée sans son contenu.
Protège-t-elle les contenus privés ?
C'est pas vrai. Utiliser des contrôles d'authentification et d'accès.
Où devrait-elle être publiée?
À /robots.txt sur l'origine pertinente.
Puis-je ajouter un plan du site?
Oui. Fournir des URLs HTTP ou HTTPS absolues.
Puis-je faire plusieurs groupes de rampeurs ?
Cette version génère un groupe. Modifier délibérément un fichier complet si plus de groupes sont nécessaires.
Est-ce que le chemin correspond à la casse ?
L'appariement du chemin suit les règles de rampe; vérifiez la capitalisation exacte et la spécificité avec un testeur.
Mes entrées sont-elles téléchargées ou stockées?
Le traitement se fait localement dans votre navigateur. Cet outil ne charge pas les entrées. Les téléchargements restent sur votre appareil ; partager ou les ouvrir dans un autre service est votre choix.
Que dois-je vérifier avant d'utiliser la sortie?
Les règles Robots ne protègent pas les pages privées ni ne garantissent l'exclusion de la recherche. Un seul groupe; les directives spécifiques aux rampeurs non soutenues sont omises. Examiner la spécificité du chemin avec le testeur de règles séparé.
Explorez le sujet dans le blog
Sources et méthode
Utilisez les références ci-dessous pour vérifier les définitions et le guide de la plateforme. La portée et les limites du modèle sont expliquées ci-dessus. Lisez nos normes éditoriales.