So funktioniert es
Die Anweisung wird über ein Robots-Meta-Tag oder einen X-Robots-Tag übermittelt. Der Crawler muss die Antwort lesen können.
Beispiel
Beispiel: Eine vorübergehend öffentlich zugängliche Testseite kann mit noindex versehen werden. Personenbezogene Daten erfordern jedoch eine Zugriffskontrolle.
Häufige Fehler
Blockieren Sie das Crawling nicht, wenn der Crawler die noindex-Anweisung erkennen soll.
Wie lässt sich das in der Praxis überprüfen?
Prüfen Sie den HTML-head und den HTTP-Header X-Robots-Tag in der tatsächlichen Antwort. Der Crawler muss auf die Seite zugreifen können, um die Anweisung zu lesen. Nach dem Entfernen von noindex ist ein erneutes Crawling erforderlich; die Änderung wird nicht sofort im Index wirksam.
Unterschiede und Grenzen
Disallow schränkt Abrufe ein, während noindex den Ausschluss aus den Suchergebnissen anweist. Die Kombination kann verhindern, dass noindex gelesen wird. Keine der beiden Anweisungen schützt personenbezogene Daten: Private Inhalte benötigen eine Zugriffskontrolle.
Offizielle Quellen
Redaktionelle Verantwortung: Martin Zhelyazkov · Gründer von Z-Consult
Aktualisiert: 5.11.2026
Für Korrekturen oder Fragen: office@z-consult.bg