Crawl Budget
Definition: Das Crawl Budget beschreibt die Anzahl von URLs, die Googlebot innerhalb eines bestimmten Zeitraums auf einer Website crawlt. Es setzt sich zusammen aus dem „Crawl Rate Limit" (wie schnell Google crawlt, ohne den Server zu überlasten) und dem „Crawl Demand" (Googles Interesse an bestimmten URLs basierend auf Popularität und Aktualität). Die Optimierung des Crawl Budgets ist besonders für grosse Websites mit zehntausenden oder mehr URLs ein kritischer SEO-Faktor.
Erläuterung
Google kann nicht jede URL jeder Website täglich crawlen. Es gibt ein inhärentes Limit – das Crawl Budget. Für kleine Websites unter 10.000 URLs ist das in der Regel kein Problem. Bei E-Commerce-Shops mit Millionen von Produkt-, Filter- und Kategorienseiten oder grossen Nachrichtenportalen mit riesigen Archiven wird das Crawl Budget zu einem entscheidenden Faktor: Wenn Budget für unwichtige Seiten verschwendet wird, werden wichtige Seiten seltener gecrawlt und aktualisiert.
Die zwei Komponenten des Crawl Budgets
- Crawl Rate Limit: Googles selbst auferlegte Begrenzung, um den Server nicht zu überladen. Kann durch Servergeschwindigkeit beeinflusst werden – schnelle Server = höheres Rate Limit
- Crawl Demand: Wie sehr Google Interesse an einer URL hat – abhängig von Popularität (Links, Traffic), Aktualität (frische Inhalte werden häufiger gecrawlt) und Qualität
Crawl-Budget-Verschwender: Was vermieden werden sollte
- URL-Parameter:
/produkte?farbe=rot&groesse=M&sort=preis– jede Kombination erzeugt eine neue URL; hunderte Duplicates - Session-IDs in URLs:
?sessionid=abc123– erzeugt für jeden Nutzer eine neue URL - Facettierte Navigation ohne Canonicals: E-Commerce-Filter ohne korrekte Kanonisierung
- Endlose Pagination: Archiv-Seiten bis /seite/5000 ohne Mehrwert
- Soft-404-Seiten: Leere oder fehlerhaft ladende Seiten, die HTTP 200 zurückgeben
- Externe Links zu fehlerhaften URLs: Broken Links verschwenden Crawl Budget ohne Ergebnis
Wann ist Crawl Budget kritisch?
- E-Commerce-Shops mit Filternavigation und Millionen von Produkt-URL-Varianten
- Nachrichtenportale mit grossen Archiven und viel täglich neuem Content
- Internationale Websites mit vielen Länder/Sprach-Varianten (Hreflang-Sets)
- Websites, bei denen neue Inhalte nicht schnell genug indexiert werden
Crawl Budget optimieren
- Nicht-indexierungsrelevante URLs per robots.txt oder Noindex blockieren
- URL-Parameter in der Google Search Console konfigurieren
- Redirect-Chains beseitigen – direkte 301-Weiterleitungen statt Ketten
- Servergeschwindigkeit verbessern für höheres Crawl-Rate-Limit
- Interne Links auf wichtige, noch nicht gut gecrawlte Seiten stärken