Robots.txt vs Noindex: Crawl-Regeln, Indexierung und praktische Tests
Verstehen Sie, warum sich Disallow von noindex unterscheidet, testen Sie konkrete Pfadregeln und überprüfen Sie das bereitgestellte Verhalten, bevor Sie den Crawl-Zugriff ändern.
Wählen Sie das Ergebnis, bevor Sie die Richtlinie wählen
Eine öffentliche Tool-Seite, eine öffentliche Konto-Hilfe-Seite und ein privates Kundenkonto haben unterschiedliche Zwecke. Für das Tool möchten Sie möglicherweise eine Suchentdeckung. Für eine öffentliche Seite, die außerhalb der Ergebnisse bleiben sollte, benötigen Sie eine Indexierungsentscheidung. Für ein Konto mit privaten Informationen benötigen Sie eine Zugriffskontrolle. Schreiben Sie das beabsichtigte Ergebnis neben jede URL-Familie. Google beschreibt robots.txt als Kontrolle von Crawling-Anforderungen, während noindex die Indexierung kontrolliert, wenn ein unterstützender Crawler sie lesen kann. Weder ein robots.txt-Label noch das Wort privat in einer URL stellen fest, dass ein Besucher nicht auf die Seite zugreifen kann.
Halten Sie einen Crawlblock von einer Entfernungsanweisung getrennt
Disallow weist den passenden Crawler an, keinen Pfad anzufordern. Eine URL, die auf diese Weise blockiert wird, kann weiterhin in den Suchergebnissen angezeigt werden, wenn Google sie an anderer Stelle entdeckt. Ein noindex-Meta-Tag oder ein X-Robots-Tag-Antwort-Header kann die Indexierung verhindern, aber Google muss in der Lage sein, auf die Ressource zuzugreifen und diese Anweisung zu sehen. Das Blockieren der gleichen URL in robots.txt kann die Entdeckung von noindex stoppen. Google unterstützt keine noindex-Direktive in robots.txt. Bevor Sie Einstellungen kombinieren, fragen Sie, ob der Crawler tatsächlich das Signal sehen kann, das Ihr Ergebnis erzielen soll.
| Anweisungen | Kontrollen | Begrenzung |
|---|---|---|
| robots.txt Disallow | Crawler-Zugang zu passenden Pfaden | Eine blockierte URL kann weiterhin in der Suche erscheinen |
| Metaroboter noindex | Indexierung von HTML-Seiten | Der Crawler muss die Seite erreichen, um sie zu lesen |
| X-Robots-Tag: noindex | Indexierung über Response Header | Die Antwort muss zugänglich sein |
| Sitemap-Eintrag | Ein Entdeckungshinweis | Überschreibt keine Crawling-Regeln oder garantiert die Indexierung |
Testen Sie eine kleine Regel mit repräsentativen Pfaden
Das Beispiel unseres robots.txt-Testers wählt Googlebot-Regeln aus, die /private/ sperren, den exakten Pfad /private/help durch ein abschließendes Dollarzeichen zulassen und Pfade mit der Endung .pdf sperren. Die fünf vorgegebenen URLs ergeben drei erlaubte und zwei gesperrte Anfragen. /private/account ist gesperrt; /private/help ist erlaubt. /report.pdf ist gesperrt, während /report.pdf?download=1 erlaubt ist, weil der verglichene Pfad einschließlich der Abfrage nicht mehr auf .pdf endet. /Private/account ist erlaubt, weil Groß- und Kleinschreibung unterschieden werden. Dies sind geprüfte Ergebnisse für das eingefügte Beispiel und kein Bericht über Ihren tatsächlich betriebenen Server.
Überprüfen Sie die ausgewählte Gruppe und die Gewinnregel
Das Ergebnis benennt die ausgewählte Crawlergruppe und die Gewinnregel für jede URL, also verwenden Sie diese Erklärungen, wenn ein Ergebnis Sie überrascht. Der lokale Tester wählt den spezifischsten passenden Produkttoken aus, führt gleich spezifische Gruppen zusammen und verwendet die Platzhaltergruppe nur dann, wenn es keine spezifische Übereinstimmung mehr gibt. Längere Übereinstimmungsregeln haben Vorrang; Erlauben Sie Gewinne gleichlange Konflikte. Testen Sie sowohl die erlaubte Ausnahme als auch einen benachbarten blockierten Pfad. Fügen Sie Varianten mit nachlaufenden Schrägstrichen, Abfragezeichenfolgen, Großbuchstaben und codierten Zeichen hinzu, die Ihre Anwendung wirklich aussendet. Ein einziges erfolgreiches Beispiel kann nicht jede Route auf der Website abdecken.
Überprüfen Sie den genauen Ursprung und die Grenzen des Tools
Geben Sie die Wurzel ein robots.txt URL, wie https://example.com/robots.txt, Lassen Sie das Tool-Flag Test-URLs außerhalb dieses Protokolls, Host und Port. Eine Datei auf einem Ursprung legt keine Regeln für eine andere Subdomain oder ein anderes Protokoll fest. Das Tool verarbeitet eingefügte Inhalte, bis zu 500 URLs pro Lauf, ohne Ihre Datei abzurufen. Es warnt vor nicht unterstützten Feldern und fehlgeformten Pfaden. Es reproduziert keine Server-Ausfälle, Redirects, Caching-Historie oder das Verhalten jedes Crawlers. Speichern Sie den getesteten Text mit den Ergebnissen und prüfen Sie dann separat, was der bereitgestellte Ursprung tatsächlich zurückgibt.
Verwenden Sie die korrekte Implementierung für die Ressource
Für eine HTML-Seite, die öffentlich zugänglich bleiben soll, aber von den Google-Ergebnissen ausgeschlossen ist, kann die noindex-Anweisung in den Kopf gestellt werden. Für eine Ressource wie ein PDF kann der Response-Header-Ansatz geeignet sein. Überprüfen Sie die gelieferte Antwort, anstatt anzunehmen, dass eine Einstellung in einem Editor die veröffentlichte URL erreicht hat. Für ein privates Konto konfigurieren Sie die Authentifizierung und Autorisierung und den Zugriff als nicht authentifizierten Besucher. Der lokale Roboter-Tester überprüft keine Antwort-Header, HTML-Seiten oder das Anmeldeverhalten, so dass ein Erlaubtes Ergebnis niemals als Pass für diese separaten Prüfungen verwendet werden darf.
Halten Sie die Sitemap-Erwartungen im Einklang mit Ihrem Plan
Eine Sitemap-Linie zeigt auf einen Sitemap Standort; sie erteilt keine Berechtigung zum Crawlen einer blockierten Seite. Ebenso überschreibt das Platzieren einer URL in einer Sitemap nicht robots.txt oder verspricht, dass sie indexiert wird. Verwenden Sie den Sitemap-Validator, um die XML- und die implementierten Protokollprüfungen zu überprüfen und dann die aufgeführten Seitenfamilien mit Ihren beabsichtigten öffentlichen Zielen zu vergleichen. Wenn eine Staging- oder Account-URL unerwartet erscheint, korrigieren Sie die Generationsquelle. Wenn Sie eine heruntergeladene Sitemap beheben und den Generator unverändert lassen, wird die gleiche Inkonsistenz wahrscheinlich beim nächsten Build zurückkehren.
Überprüfen Sie die veröffentlichten Änderungen und führen Sie eine Rollback-Aufzeichnung
Bewahren Sie vor der Bereitstellung den aktuellen Regeltext und einen kurzen Satz repräsentativer URL-Tests auf. Bestätigen Sie nach der Bereitstellung die Live-Antwort von robots.txt und verwenden Sie die URL-Inspektionsinformationen der Search Console für wichtige Seiten. Wenn Sie noindex hinzugefügt haben, überprüfen Sie den HTML- oder Header, den Google erhalten kann, anstatt die Berechtigung des Roboters allein zu testen. Recrawling und Reporting sind nicht sofort, also dokumentieren Sie, wenn die Änderung passiert ist. Ein breiter Block auf dem falschen Weg kann die Entdeckung nützlicher Seiten verhindern. Eine getestete, gezielte Änderung mit gespeicherten Beweisen ist leichter zu diagnostizieren und umzukehren als wiederholtes Bearbeiten von Regeln, um ein sich änderndes Suchergebnis zu verfolgen.