Beispiel für eine robots.txt
User-agent: *
Disallow: /filter/
Allow: /products/
Sitemap: https://example.com/sitemap.xmlBeispiel für example.com, nicht die tatsächlichen Regeln von Z-Consult. Dies bietet keinen Schutz für private Daten.
Crawling-Regeln
Textversion
- Crawler, der die Regeln beachtet
- robots.txt · User-agent
- Allow → erlaubter Pfad
- Disallow → gesperrter Pfad
Warum das wichtig ist
Die Regeln lenken das Crawling auf die relevanten Bereiche der Website. Sie können Anfragen an unwichtige Varianten begrenzen, schützen aber keine privaten Informationen.
So funktioniert es
User-agent legt fest, für welchen Bot die Regeln gelten. Allow und Disallow definieren erlaubte und gesperrte Pfade. Die Regeln gelten für die konkrete Kombination aus Protokoll, Host und Port, unter der die Datei veröffentlicht ist.
Beispiel
Beispiel: User-agent: * Disallow: /filter/ Damit wird das Crawling von Adressen unter /filter/ für Bots eingeschränkt, die diese Regeln beachten.
Häufige Fehler
Eine für das Crawling gesperrte URL kann dennoch in den Suchergebnissen erscheinen. Kann der Crawler die Seite nicht aufrufen, erkennt er möglicherweise auch deren noindex-Anweisung nicht. Schützen Sie private Daten durch eine wirksame Zugriffskontrolle.
Wie lässt sich das in der Praxis überprüfen?
Die Datei liegt im Stammverzeichnis des jeweiligen Protokolls und Hosts, beispielsweise unter https://example.com/robots.txt. Prüfen Sie die User-agent-Gruppe und die Übereinstimmung des Pfads. Google unterscheidet bei den Regeln zwischen Groß- und Kleinschreibung; bei Allow/Disallow ist die spezifischste passende Anweisung maßgeblich.
Unterschiede und Grenzen
robots.txt steuert das Crawling, nicht die Indexierung oder den Schutz vertraulicher Informationen. Sitemap verweist auf eine Datei mit URLs, erlaubt aber keinen ansonsten gesperrten Pfad. Google unterstützt noindex nicht als robots.txt-Direktive; dafür wird eine zugängliche Meta- oder HTTP-Anweisung verwendet.
Syntax der Direktiven
User-agent wählt die Regelgruppe aus. Disallow legt einen gesperrten Pfad fest, Allow einen erlaubten; ein leeres Disallow sperrt nicht sämtliche URLs. Sitemap verwendet die absolute URL der Sitemap. Kommentare beginnen mit #; die Beispieldatei beschreibt nicht die tatsächlichen Regeln von Z-Consult.
Zugriff auf Ressourcen
Blockierte Bilder, CSS- oder JavaScript-Dateien können verhindern, dass eine Seite richtig verstanden wird. Prüfen Sie nicht nur die HTML-URL, sondern auch die zugehörigen Ressourcen. Die Regeln gelten für den jeweiligen Host und das jeweilige Protokoll, nicht automatisch für alle Subdomains.
Offizielle Quellen
Redaktionelle Verantwortung: Martin Zhelyazkov · Gründer von Z-Consult
Aktualisiert: 5.11.2026
Für Korrekturen oder Fragen: office@z-consult.bg