Robots.txt Generator
Erstellen Sie Crawlregeln und Sitemap-Deklarationen aus einem Formular.
Ihre Eingaben
Ihre Ergebnisse
Bereit, wenn Sie es sindIhre Ergebnisse erscheinen hier.
So funktioniert es
Generieren Sie eine User-Agent-Gruppe mit expliziten Allow/Disallow-Pfaden und absoluten Sitemap-Deklarationen, wobei Zeileninjektionen und Kommentarmehrdeutigkeiten abgelehnt werden.
Lesen Sie die QuellenreferenzGut zu wissen
Roboterregeln sichern keine privaten Seiten oder garantieren den Ausschluss von der Suche. Nur eine Gruppe; nicht unterstützte Crawler-spezifische Direktiven werden weggelassen. Überprüfen Sie die Pfadspezifität mit dem separaten Regeltester.
Wann Sie dieses Tool verwenden sollten
Erstellen Sie eine kleine, lesbare robots.txt aus expliziten Pfaden. Die Datei gehört an die Wurzel des richtigen Schemas, Host und Port.
- Bereiten Sie eine Startdatei vor.
- Erklären Sie eine Sitemap.
- Dokumentieren Sie eine kleine Crawl-Politik.
Wie man robots.txt Generator verwendet
Vorbereitung der Inputs
Wählen Sie ein User-Agent-Token.
Wählen Sie die Einstellungen
Geben Sie verschlüsselte Zulassen/Verweigern-Pfade und Sitemap-URLs ein.
Überprüfung und Ausfuhr
Laden Sie robots.txt herunter, veröffentlichen Sie am origin root und testen Sie die Regeln.
Versuchen Sie das mitgelieferte Beispiel
Inputs
Agent: *; erlauben: /; verbieten: /admin/ /internal/; Sitemaps: https://example.com/sitemap.xml
Ergebnis
Das Beispiel erlaubt die Wurzel, verbietet Administratoren und interne Pfade und deklariert eine Sitemap.
Was es bedeutet
Verwenden Sie die Authentifizierung für die Privatsphäre und eine geeignete noindex-Methode zur Indexierungskontrolle.
Häufige Fehler zu vermeiden
Crawl Regeln sind keine Authentifizierung
Crawl-Regeln sind keine Authentifizierung.
Blocking Crawl ist keine zuverlässige noindex-Methode
Das Blockieren von Crawl ist keine zuverlässige noindex-Methode.
Häufig gestellte Fragen
Definitionen, Edge Cases und praktische nächste Schritte für dieses Tool. Suchen Sie alle Tool FAQs
Verhindert robots.txt die Indexierung?
Nicht zuverlässig. Eine blockierte URL kann weiterhin ohne ihren Inhalt entdeckt und aufgelistet werden.
Schützt es private Inhalte?
Nein. Verwenden Sie Authentifizierungs- und Zugriffskontrollen.
Wo soll sie veröffentlicht werden?
Unter /robots.txt über den entsprechenden Ursprung.
Kann ich eine Sitemap hinzufügen?
Ja. Geben Sie absolute HTTP oder HTTPS Sitemap URLs an.
Kann ich mehrere Crawlergruppen erstellen?
Diese Version erzeugt eine Gruppe. Bearbeiten Sie eine vollständige Datei absichtlich, wenn mehr Gruppen benötigt werden.
Sind Pfadübereinstimmungen fallsensibel?
Path Matching folgt Crawler-Regeln; Überprüfen Sie die genaue Kapitalisierung und Spezifität mit einem Tester.
Werden meine Eingaben hochgeladen oder gespeichert?
Die Verarbeitung erfolgt lokal in Ihrem Browser. Dieses Tool lädt keine Eingaben hoch. Downloads bleiben auf Ihrem Gerät; Teilen oder Öffnen in einem anderen Dienst ist Ihre Wahl.
Was sollte ich vor der Verwendung des Outputs überprüfen?
Roboterregeln sichern keine privaten Seiten oder garantieren den Ausschluss von der Suche. Nur eine Gruppe; nicht unterstützte Crawler-spezifische Direktiven werden weggelassen. Überprüfen Sie die Pfadspezifität mit dem separaten Regeltester.
Erkunden Sie das Thema im Blog
Quellen und Verfahren
Verwenden Sie die Verweise unten, um Definitionen und Plattformführung zu überprüfen. Umfang und Grenzen des Modells sind oben erläutert. Lesen Sie unsere redaktionellen Standards.