Robots.txt vs Noindex: Règles de crawl, indexing et tests pratiques
Comprendre pourquoi Disallow est différent de noindex, tester des règles de trajectoire concrètes et vérifier le comportement déployé avant de changer d'accès à la rampe.
Choisir le résultat avant de choisir la directive
Une page d'outil publique, une page d'aide aux comptes publics et un compte client privé ont des objectifs différents. Pour l'outil, vous pouvez vouloir rechercher la découverte. Pour une page publique qui devrait rester en dehors des résultats, vous avez besoin d'une décision d'indexation. Pour un compte contenant des informations privées, vous avez besoin d'un contrôle d'accès. Écrivez le résultat prévu à côté de chaque famille d'URL. Google décrit robots.txt comme contrôlant les requêtes de rampe, tandis que noindex contrôle l'indexation quand un rampeur support peut le lire. Ni l'étiquette robots.txt ni le mot privé dans une URL n'établit qu'un visiteur ne peut accéder à la page.
Gardez un bloc de rampe séparé d'une instruction d'enlèvement
L'interdiction indique au rampeur correspondant de ne pas demander un chemin. Une URL bloquée de cette façon peut encore apparaître dans les résultats de recherche si Google le découvre ailleurs. Une balise meta noindex ou en-tête de réponse X-Robots-Tag peut empêcher l'indexation, mais Google doit être en mesure d'accéder à la ressource et voir cette instruction. Bloquer la même URL dans robots.txt peut arrêter cette découverte de noindex. Google ne supporte pas une directive noindex placée dans robots.txt. Avant de combiner les paramètres, demandez si le rampeur peut réellement voir le signal qui est censé atteindre votre résultat.
| Instruction | Contrôles | Limitation |
|---|---|---|
| robots.txt Refuser | Accès de rampeur aux chemins correspondants | Une URL bloquée peut encore apparaître dans la recherche |
| Méta robots noindex | Indexation des pages HTML | Le rampeur doit atteindre la page pour la lire |
| X-Robots-Tag: noindex | Indexation via l'en-tête de réponse | La réponse doit être accessible |
| Entrée sur le site | Un indice de découverte | Ne remplace pas les règles de rampement ou d'indexation de garantie |
Tester une petite règle avec des chemins représentatifs
Notre robots.txt l'exemple de testeur de sélection sélectionne les règles Googlebot qui refusent /private/, permettre le chemin exact /private/help à travers un panneau en dollars, et de refuser les chemins se terminant dans .pdf. Ses cinq URL fournies produisent trois requêtes autorisées et deux requêtes bloquées. /private/account est bloqué; /private/help est autorisé. /report.pdf est bloqué, tandis que /report.pdf?download=1 est autorisé parce que la chaîne de requête signifie que le chemin comparé ne se termine plus dans .pdf. /Private/account est permis parce que la comparaison est sensible au cas par cas. Ces résultats sont vérifiés pour l'exemple collé, pas un rapport sur votre serveur en direct.
Inspecter le groupe sélectionné et la règle gagnante
Le résultat nomme le groupe de rampeurs sélectionné et la règle gagnante pour chaque URL, alors utilisez ces explications quand un résultat vous surprend. Le testeur local choisit le jeton correspondant le plus spécifique, fusionne des groupes également spécifiques et utilise le groupe wildcard seulement lorsqu'il n'y a plus de correspondance spécifique. Les règles d'appariement plus longues ont priorité; Autoriser les conflits de durée égale. Testez à la fois l'exception permise et un chemin bloqué voisin. Inclure des variantes avec des slashes en arrière, des chaînes de requête, une capitalisation et des caractères encodés que votre application émet vraiment. Un seul exemple réussi ne peut couvrir toutes les routes du site.
Vérifiez l'origine exacte et les limites de l'outil
Entrez l'URL root robots.txt, comme https://example.com/robots.txt, pour laisser le drapeau de l'outil tester les URLs en dehors de ce protocole, hôte et port. Un fichier sur une origine n'établit pas de règles pour un autre sous-domaine ou protocole. L'outil traite le contenu collé, jusqu'à 500 URLs par run, sans récupérer votre fichier. Il met en garde contre les champs non soutenus et les sentiers malformés. Il ne reproduit pas le serveur récupérer les échecs, redirige, cache l'historique ou chaque comportement de rampeur. Enregistrer le texte testé avec les résultats, puis inspecter séparément ce que l'origine déployée retourne réellement.
Utiliser la mise en œuvre correcte pour la ressource
Pour une page HTML qui devrait rester accessible au public mais exclue des résultats de Google, l'instruction noindex peut être placée dans sa tête. Pour une ressource comme un PDF, l'approche en-tête de réponse peut être appropriée. Vérifier la réponse livrée plutôt que de supposer qu'un réglage dans un éditeur a atteint l'URL publiée. Pour un compte privé, configurer l'authentification et l'autorisation et tester l'accès en tant que visiteur non authentifié. Le testeur de robots local n'inspecte pas les en-têtes de réponse, la page HTML ou le comportement de connexion, de sorte qu'un résultat autorisé ne doit jamais être utilisé comme passe pour ces vérifications séparées.
Maintenir les attentes du plan du site en conformité avec votre plan
Une ligne Plan du site indique l'emplacement d'un sitemap; elle n'accorde pas la permission de ramper une page bloquée. De même, placer une URL dans un sitemap ne remplace pas robots.txt ou de promettre qu'elle sera indexée. Utilisez le validateur de plan du site pour inspecter le XML et ses vérifications de protocole mises en œuvre, puis examinez les familles de pages énumérées en fonction de vos destinations publiques prévues. Si une URL de mise en scène ou de compte apparaît de manière inattendue, corrigez la source de génération. La correction d'un plan du site téléchargé tout en laissant le générateur inchangé rend la même incohérence susceptible de revenir à la prochaine construction.
Vérifier le changement publié et tenir un registre de recul
Avant le déploiement, conservez les règles actuelles et un petit ensemble de tests d’URL représentatifs. Après le déploiement, vérifiez la réponse du fichier robots.txt en ligne et consultez les informations de l’outil d’inspection d’URL de Search Console pour les pages importantes. Si vous avez ajouté noindex, vérifiez le HTML ou l’en-tête que Google peut recevoir, sans vous limiter aux autorisations de robots.txt. La nouvelle exploration et les rapports ne sont pas instantanés : notez la date du changement. Un blocage trop large sur le mauvais chemin peut empêcher la découverte de pages utiles. Une modification ciblée, testée et documentée est plus facile à diagnostiquer et à annuler que des ajustements répétés des règles pour suivre un résultat de recherche changeant.