Nützliche URLs und unnötige Varianten
- Crawl-Budget
- Nützliche Seiten
- Viele Filtervarianten
So funktioniert es
Behalten Sie relevante URLs, Duplikate und Serverantworten im Blick. Das Thema ist besonders für große oder häufig aktualisierte Websites wichtig.
Beispiel
Beispiel: Ein Shop mit vielen Filterkombinationen begrenzt unnötige crawlbare Varianten.
Häufige Fehler
Mehr Crawling allein bedeutet keine besseren Rankings.
Wie lässt sich das in der Praxis überprüfen?
Nutzen Sie Server-Logs und Crawl Stats, um Anfragen, Antwortzeiten und wiederkehrende URL-Varianten zu prüfen. Trennen Sie sinnvolle Produkt-URLs von endlosen Filterkombinationen. Prüfen Sie zunächst, ob Serverfehler die Erreichbarkeit einschränken, bevor Sie mehr Crawling anstreben.
Unterschiede und Grenzen
Das Crawl-Budget hängt von der Crawling-Kapazität und dem Crawling-Bedarf des Crawlers ab. Eine kleine Website mit einer begrenzten Zahl stabiler Seiten hat in der Regel nicht dieselben Probleme wie ein sehr großer Katalog. Mehr Anfragen bedeuten nicht automatisch mehr indexierte Seiten.
Crawling-Kapazität und Crawling-Bedarf
Google berücksichtigt crawl capacity limit und crawl demand. Langsame oder fehlgeschlagene Antworten können die Zahl der Anfragen begrenzen; Änderungen und der Nutzen der Inhalte beeinflussen den Crawling-Bedarf. Es gibt kein einheitliches, festes Budget, das der Websitebetreiber als tägliches Kontingent festlegt.
Beispiel: Katalog mit Filtern
Ein Katalog mit Größe, Farbe und Sortierung kann zahlreiche URL-Kombinationen für ähnliche Listen erzeugen. Trennen Sie nützliche Filter von leeren und duplizierten Varianten. Die Begrenzung überflüssiger URLs garantiert nicht, dass die frei werdenden Ressourcen für genau die gewünschten Seiten eingesetzt werden.
Offizielle Quellen
Redaktionelle Verantwortung: Martin Zhelyazkov · Gründer von Z-Consult
Aktualisiert: 5.11.2026
Für Korrekturen oder Fragen: office@z-consult.bg