Testeur de règles robots.txt
Pâte robots.txt et vérifier si les URL spécifiées sont autorisées pour un rampeur.
Vos données
Vos résultats
À votre dispositionVos résultats s’afficheront ici.
Comment ça marche
Inspecter les règles robots.txt collées avant le déploiement. Le testeur choisit le plus long jeton de crawler assorti, combine les groupes avec une spécificité égale, et revient à * seulement quand aucun groupe spécifique ne correspond. Autoriser et refuser les chemins sensibles aux cas et les chaînes de requête. L'astérisque correspond à n'importe quelle séquence, un signe de dollar final ancre la fin, plus de règles normalisées correspondent ont priorité, et Autoriser gagne des conflits de longueur égale. Chaque résultat nomme la règle gagnante et sa ligne source.
Lire la référence sourceQuelques points à connaître
Un test de règles de style Google local, pas un rapport de rampe ou d'indexation en direct. D'autres rampeurs peuvent interpréter les directives différemment. L'appariement produit-token supporte les jetons exacts et les descendants d'hyphes/underscore, et non les sous-chaînes arbitraires des en-têtes de navigateur. Les champs non pris en charge et les chemins malformés sont ignorés avec des avertissements; récupération sans papiers Google typo et index.html Permettre la normalisation ne sont pas simulés. Les pourcentages d'évasion sont normalisés, les caractères échappés non réservés sont décodés, les caractères bruts non ASCII sont encodés et les séparateurs réservés encodés restent distincts. L'analyse d'URL normalise les segments de points. Cet outil ne simule pas les erreurs de récupération, les redirections, l'historique du cache, la gestion de l'état HTTP, le routage du serveur ou les erreurs d'encodage. Les entrées sur le site sont informatives. Robots.txt est étendu à un seul protocole, hôte et port ; il ne peut pas imposer la confidentialité ou garantir la désindexation.
Quand utiliser cet outil
Un petit robots.txt éditer peut affecter beaucoup d'URL, en particulier lorsque les groupes spécifiques de rampler, les wildcards et les chaînes de requêtes interagissent. Ce testeur évalue les règles collées contre une liste de chemins ou d'URL et nomme la règle gagnante. Il utilise une interprétation pratique de style Google pour soutenir l'examen avant le déploiement. Le résultat décrit les règles fournies, pas un live lick, la politique d'accès au serveur ou la confirmation qu'une page est indexée.
- Tester une règle d'interdiction proposée contre des pages importantes avant de publier.
- Vérifier une exception spécifique Autoriser dans un répertoire bloqué.
- Comparez les règles spécifiques aux rampeurs avec le groupe wildcard fallback.
Comment utiliser robots.txt règles tester
Colle les règles et jeton rampeur
Entrez le contenu de robots.txt et un jeton de produit rampeur comme Googlebot ou Bingbot. Utilisez le jeton de produit plutôt qu'une chaîne complète utilisateur-agent de navigateur. Un fichier vide permet de ramper sous ce test.
Étendue de la fourniture et URLs de test
Saisissez en option l'URL root robots.txt pour vérifier la portée du protocole, de l'hôte et du port. Ajoutez une URL HTTP(S) ou un chemin par ligne, y compris les chaînes de requête le cas échéant. Vous pouvez tester jusqu'à 500 entrées.
Réviser les règles de sélection
Exécuter l'essai et inspecter les résultats autorisés, bloqués et non valides ou externes. Chaque match identifie une ligne source. Vérifiez les avertissements et votre comportement du vrai serveur séparément avant de déployer le fichier édité.
Tester une exception et une règle de suffixe de fichier
Entrées
Utilisez les règles Googlebot fournies bloquant /private/, permettant /private/help$ et bloquant /*.pdf$. Testez les cinq URLs avec la portée des robots example.com.
Résultat
Trois URL sont autorisées et deux bloquées. /private/account et /report.pdf sont bloqués. /private/help, /report.pdf?download=1 et /Private/account sont autorisés.
Ce que ça veut dire
L'exception d'aide exacte gagne, le $ final fait que la règle PDF s'arrête avant une variante portant une requête, et le Private majuscule diffère du privé minuscule. Les petits détails changent le résultat.
Erreurs courantes à éviter
Utilisation de robots.txt comme contrôle d'accès
Les directives Crawl ne protègent pas le contenu confidentiel. Utilisez l'authentification ou l'autorisation du serveur lorsque les personnes ou les logiciels ne doivent pas accéder à une ressource.
Supposons qu'un bloc supprime un résultat de recherche
Bloquer un rampeur n'est pas une instruction d'enlèvement fiable. Considérez l'exigence d'indexation réelle et l'orientation officielle au lieu d'égaler la rampe bloquée avec la désindexation.
Oublier les chaînes de requête ou le cas
Matching inclut le chemin et la chaîne de requête et est sensible aux cas. Tester des variantes représentatives, surtout lorsqu'un modèle se termine avec $ ou qu'un site expose des itinéraires mixtes.
Foire aux questions
Définitions, cas de bordure et prochaines étapes pratiques pour cet outil. Rechercher tous les outils FAQ
Comment le testeur choisit-il un groupe de rampeurs?
Il sélectionne le plus long jeton de produit de rampeur supporté et fusionne des groupes tout aussi spécifiques. Le groupe wildcard n'est utilisé que si aucun groupe spécifique ne correspond. Entrez un jeton tel que Googlebot-News plutôt qu'un en-tête utilisateur-agent arbitraire pour un test significatif.
Quelle règle gagne quand Autoriser et rejeter les deux matches ?
Les règles normalisées plus longues ont priorité. Quand la spécificité est égale, Autorisez les gains. Le résultat nomme la règle gagnante et la ligne pour que vous puissiez examiner cette interaction au lieu de traiter le fichier comme une simple liste de premier match.
Que signifie l'astérisque et le signe dollar?
Un astérisque correspond à une séquence de caractères. Un signe dollar final ancre le match à la fin du chemin comparé plus la requête. Par conséquent, /*.pdf$ peut bloquer /report.pdf tout en autorisant /report.pdf?download=1 en vertu des règles fournies.
Pourquoi une URL est-elle en dehors de la portée robots.txt ?
L'URL des robots optionnels définit un protocole, un hôte et une portée de port. Un fichier de règles pour https://example.com ne régit pas automatiquement http://example.com ou un autre sous-domaine. Le testeur marque ces différences de sorte que vous n'appliquez pas les règles d'un site à une autre origine.
La directive Plan du site permet-elle de ramper?
C'est pas vrai. Plan du site Les entrées sont informatives dans ce testeur et ne remplacent pas les règles de crawl correspondantes. L'outil les affiche mais ne récupère pas le plan du site. Testez les URL de page listées sur le plan du site en fonction des règles pertinentes lors de la vérification d'un changement proposé.
Est-ce que Autorisé signifie que Google va indexer la page?
C'est pas vrai. Cela signifie que les règles collées permettent cette demande en vertu de cette interprétation. Les réponses du serveur, les restrictions d'accès, la canonicalisation, le contenu et d'autres signaux d'indexation sont en dehors du test. Il ne rampe ni ne vérifie l'état d'indexation de Search Console.
Les chemins encodés en pourcentage et non-ASCII sont-ils pris en charge?
Le testeur normalise le pourcentage d'échappés, décode les caractères échappés sans réserve et code le texte brut non-ASCII. Les séparateurs réservés encodés restent distincts. L'analyse d'URL peut également normaliser les segments de points. Examiner les cas de bord contre le rampeur réel et le serveur plutôt que de supposer que toutes les orthographes sont équivalentes.
Puis-je utiliser ça pour vérifier Bing ou chaque rampant ?
Vous pouvez entrer d'autres jetons rampeurs, mais le comportement correspondant est un modèle pratique de style Google. D'autres rampeurs peuvent manipuler les directives différemment. Il ne simule pas les erreurs de récupération, les redirections, la mise en cache ou toutes les règles de récupération non documentées; utilisez la documentation de ramplings pertinente pour l'examen final.
Explorez le sujet dans le blog
Sources et méthode
Utilisez les références ci-dessous pour vérifier les définitions et le guide de la plateforme. La portée et les limites du modèle sont expliquées ci-dessus. Lisez nos normes éditoriales.