Robots.txt-Regeln testen
Fügen Sie robots.txt ein und testen Sie, ob angegebene URLs für einen Crawler zulässig sind.
Ihre Eingaben
Ihre Ergebnisse
Bereit, wenn Sie es sindIhre Ergebnisse erscheinen hier.
So funktioniert es
Überprüfen Sie die eingefügten robots.txt-Regeln vor der Bereitstellung. Der Tester wählt das am längsten passende Crawler-Produkt-Token aus, kombiniert Gruppen mit gleicher Spezifität und fällt nur dann auf * zurück, wenn keine bestimmte Gruppe übereinstimmt. Zulassen und Nichtzulassen übereinstimmende fallsensitive Pfade plus Abfragezeichenfolgen. Asterisk passt zu jeder Sequenz, ein endgültiges Dollarzeichen verankert das Ende, längere normalisierte Regeln haben Vorrang und Allow gewinnt Konflikte gleicher Länge. Jedes Ergebnis benennt die Gewinnregel und ihre Quellzeile.
Lesen Sie die QuellenreferenzGut zu wissen
Ein lokaler Regeltest im Google-Stil, kein Live-Crawl oder Indexierungsbericht. Andere Crawler können Richtlinien unterschiedlich interpretieren. Product-Token-Matching unterstützt exakte Token und Bindestriche / Underscore-Nachkommen, nicht willkürliche Substrings von Browser-Headern. Nicht unterstützte Felder und fehlerhafte Pfade werden mit Warnungen ignoriert; undokumentierte Google Typo Recovery und index.html Normalisierung zulassen werden nicht simuliert. Prozentuale Fluchten werden normalisiert, nicht reservierte entkommene Zeichen werden dekodiert, rohe Nicht-ASCII-Zeichen werden kodiert und kodierte reservierte Separatoren bleiben unterschiedlich. URL-Parsing normalisiert Punktsegmente. Dieses Tool simuliert keine Abruffehler, Weiterleitungen, Cache-Historie, HTTP-Statusbehandlung, Server-Routing oder Kodierungsfehler. Sitemap-Einträge sind informativ. Robots.txt ist auf ein einziges Protokoll, einen Host und einen Port beschränkt; es kann keine Vertraulichkeit erzwingen oder die Deindexierung garantieren.
Wann Sie dieses Tool verwenden sollten
Eine kleine robots.txt-Bearbeitung kann viele URLs beeinflussen, insbesondere wenn crawlerspezifische Gruppen, Platzhalter und Abfragezeichenfolgen interagieren. Dieser tester bewertet eingefügte regeln anhand einer liste von pfaden oder urls und benennt die gewinnregel. Es verwendet eine praktische Interpretation im Google-Stil, um die Überprüfung vor der Bereitstellung zu unterstützen. Das Ergebnis beschreibt die gelieferten Regeln, nicht einen Live-Crawl, eine Serverzugriffsrichtlinie oder eine Bestätigung, dass eine Seite indexiert ist.
- Testen Sie vor der Veröffentlichung eine vorgeschlagene Sperrregel gegen wichtige Seiten.
- Überprüfen Sie eine bestimmte Ausnahme in einem blockierten Verzeichnis zulassen.
- Vergleichen Sie Crawler-spezifische Regeln mit der Fallback-Wildcard-Gruppe.
So verwenden Sie robots.txt rules tester
Fügen Sie die Regeln und Crawler-Token ein
Geben Sie robots.txt-Inhalte und ein Crawler-Produkt-Token wie Googlebot oder Bingbot ein. Verwenden Sie das Produkt-Token anstelle eines vollständigen Browser-Benutzer-Agent-Strings. Eine leere Datei erlaubt das Crawlen unter diesem Test.
Lieferumfang und Test-URLs
Geben Sie optional die URL root robots.txt ein, um Protokoll, Host und Portumfang zu überprüfen. Fügen Sie eine HTTP(S)-URL oder einen Pfad pro Zeile hinzu, einschließlich Abfragezeichenfolgen, wenn relevant. Sie können bis zu 500 Einträge testen.
Gewinnregeln überprüfen
Führen Sie den Test aus und prüfen Sie die Ergebnisse Zulässig, Blockiert und ungültig oder Ergebnisse außerhalb des Geltungsbereichs. Jedes Match identifiziert eine Quellzeile. Überprüfen Sie Warnungen und Ihr tatsächliches Serververhalten separat, bevor Sie die bearbeitete Datei bereitstellen.
Testen Sie eine Ausnahme und eine Datei-Suffixregel
Inputs
Verwenden Sie die mitgelieferten Googlebot-Regeln zum Blockieren /private/, erlaubend /private/help$ und Blockieren /*.pdf$. Testen Sie die fünf Beispiel-URLs mit dem example.com Roboterumfang.
Ergebnis
Drei URLs sind erlaubt und zwei gesperrt. /private/account und /report.pdf sind gesperrt. /private/help, /report.pdf?download=1 und /Private/account sind erlaubt.
Was es bedeutet
Die genaue Hilfeausnahme gewinnt, das endgültige $ macht die PDF-Regel vor einer abfragetragenden Variante stehen und Großbuchstaben Private unterscheidet sich von Kleinbuchstaben Privat. Kleine Musterdetails verändern das Ergebnis.
Häufige Fehler zu vermeiden
Mit robots.txt als Zugangskontrolle
Crawl-Richtlinien schützen keine vertraulichen Inhalte. Verwenden Sie die Authentifizierung oder Serverautorisierung, wenn Personen oder Software nicht auf eine Ressource zugreifen dürfen.
Angenommen, ein Block entfernt ein Suchergebnis
Das Blockieren eines Crawlers ist keine zuverlässige Entfernungsanweisung. Berücksichtigen Sie die tatsächliche Indexierungsanforderung und die offiziellen Leitlinien, anstatt blockiertes Crawl mit Deindexierung gleichzusetzen.
Vergessen von Query Strings oder Case
Das Matching beinhaltet die Pfad- und Abfragezeichenfolge und ist fallsensitiv. Testen Sie repräsentative Varianten, insbesondere wenn ein Muster mit $ endet oder eine Site gemischte Routen aussetzt.
Häufig gestellte Fragen
Definitionen, Edge Cases und praktische nächste Schritte für dieses Tool. Suchen Sie alle Tool FAQs
Wie wählt der Tester eine Crawlergruppe aus?
Es wählt das am längsten übereinstimmende unterstützte Crawler-Produkt-Token aus und führt ebenso spezifische Gruppen zusammen. Die Wildcard-Gruppe wird nur verwendet, wenn keine bestimmte Gruppe übereinstimmt. Geben Sie ein Token wie Googlebot-News anstelle eines beliebigen vollständigen User-Agent-Headers für einen aussagekräftigen Test ein.
Welche Regel gewinnt, wenn Erlauben und Nicht zulassen beide übereinstimmen?
Längere übereinstimmende normalisierte Regeln haben Vorrang. Wenn die Spezifität gleich ist, Gewinne zulassen. Das Ergebnis benennt die Gewinnregel und die Linie, so dass Sie diese Interaktion untersuchen können, anstatt die Datei als einfache Liste des ersten Spiels zu behandeln.
Was bedeuten das Sternchen und das Dollarzeichen?
Ein Sternchen steht für eine Zeichenfolge. Ein abschließendes Dollarzeichen verankert die Übereinstimmung am Ende des verglichenen Pfads einschließlich der Abfrage. Deshalb kann /*.pdf$ nach den angegebenen Regeln /report.pdf blockieren und /report.pdf?download=1 zulassen.
Warum liegt eine URL außerhalb des robots.txt-Bereichs?
Die optionale Roboter-URL definiert einen Protokoll-, Host- und Portumfang. Eine Regeldatei für https://example.com regelt nicht automatisch http://example.com oder eine andere Subdomain. Der Tester markiert diese Unterschiede, so dass Sie die Regeln einer Website nicht auf einen anderen Ursprung anwenden.
Erlaubt die Sitemap-Richtlinie Crawling?
Nein. Sitemap-Einträge sind in diesem Tester informativ und überschreiben nicht übereinstimmende Crawl-Regeln. Das Tool zeigt sie an, holt aber die Sitemap nicht ab. Testen Sie die URLs der Sitemap mit den relevanten Regeln, wenn Sie eine vorgeschlagene Änderung überprüfen.
Bedeutet erlaubt, dass Google die Seite indiziert?
Nein. Es bedeutet, dass die eingefügten Regeln diesen Antrag unter dieser Interpretation zulassen. Server-Antworten, Zugriffsbeschränkungen, Kanonisierung, Inhalte und andere Indexierungssignale liegen außerhalb des Tests. Es durchsucht weder die Seite noch überprüft es den Indexierungsstatus der Search Console.
Werden prozentkodierte und nicht-ASCII-Pfade unterstützt?
Der Tester normalisiert prozentuale Fluchten, dekodiert nicht reservierte entkommene Zeichen und codiert rohen Nicht-ASCII-Text. Kodierte reservierte Separatoren bleiben unterschiedlich. URL-Parsing kann auch Punktsegmente normalisieren. Überprüfen Sie Edge Cases gegen den eigentlichen Crawler und Server, anstatt anzunehmen, dass alle Schreibweisen gleichwertig sind.
Kann ich damit Bing oder jeden Crawler überprüfen?
Sie können andere Crawler-Token eingeben, aber das übereinstimmende Verhalten ist ein praktisches Google-Modell. Andere Crawler können Richtlinien unterschiedlich behandeln. Es simuliert keine Abruffehler, Umleitungen, Caching oder jede undokumentierte Wiederherstellungsregel; Verwenden Sie die Dokumentation des betreffenden Crawlers für die endgültige Überprüfung.
Erkunden Sie das Thema im Blog
Quellen und Verfahren
Verwenden Sie die Verweise unten, um Definitionen und Plattformführung zu überprüfen. Umfang und Grenzen des Modells sind oben erläutert. Lesen Sie unsere redaktionellen Standards.