So funktioniert es
Prüfen Sie den Zugriff und verifizieren Sie den Bot bei Bedarf mit der offiziellen Methode – nicht allein anhand des User-Agents.
Beispiel
Beispiel: Ein Eintrag im Server-Log wird anhand der offiziellen IP-Prüfregeln verifiziert.
Häufige Fehler
Jeder Client kann den Namen Googlebot in einer Anfrage vortäuschen.
Wie lässt sich das in der Praxis überprüfen?
Prüfen Sie die IP-Adresse anhand der offiziell veröffentlichten IP-Bereiche oder per Reverse-DNS-Abfrage mit anschließender Forward-DNS-Abfrage, die dieselbe IP-Adresse zurückliefert. Der User-Agent allein ist kein Identitätsnachweis. Prüfen Sie für die Zugriffsberechtigungen die Regeln für den konkreten Crawler und den tatsächlichen Host.
Unterschiede und Grenzen
Googlebot für die Suche steht nicht für jedes System von Google. Verschiedene Crawler und Product Tokens haben unterschiedliche Aufgaben. Ein durch robots.txt erlaubter Zugriff belegt nicht, dass eine Anfrage stattgefunden hat. Eine tatsächliche Anfrage wiederum belegt keine Indexierung.
Offizielle Quellen
Redaktionelle Verantwortung: Martin Zhelyazkov · Gründer von Z-Consult
Aktualisiert: 5.11.2026
Für Korrekturen oder Fragen: office@z-consult.bg