Marketing Glossar

2.413 Fachbegriffe aus 22 Bereichen des Online Marketings

Crawl Budget

Definition: Das Crawl Budget beschreibt die Anzahl von URLs, die Googlebot innerhalb eines bestimmten Zeitraums auf einer Website crawlt. Es setzt sich zusammen aus dem „Crawl Rate Limit" (wie schnell Google crawlt, ohne den Server zu überlasten) und dem „Crawl Demand" (Googles Interesse an bestimmten URLs basierend auf Popularität und Aktualität). Die Optimierung des Crawl Budgets ist besonders für grosse Websites mit zehntausenden oder mehr URLs ein kritischer SEO-Faktor.

Erläuterung

Google kann nicht jede URL jeder Website täglich crawlen. Es gibt ein inhärentes Limit – das Crawl Budget. Für kleine Websites unter 10.000 URLs ist das in der Regel kein Problem. Bei E-Commerce-Shops mit Millionen von Produkt-, Filter- und Kategorienseiten oder grossen Nachrichtenportalen mit riesigen Archiven wird das Crawl Budget zu einem entscheidenden Faktor: Wenn Budget für unwichtige Seiten verschwendet wird, werden wichtige Seiten seltener gecrawlt und aktualisiert.

Die zwei Komponenten des Crawl Budgets

Crawl-Budget-Verschwender: Was vermieden werden sollte

Wann ist Crawl Budget kritisch?

Crawl Budget optimieren

Praxistipp: Analysieren Sie das Crawl Budget in der Google Search Console unter „Crawl-Statistiken": Wie viele Seiten werden täglich gecrawlt? Wie verteilt sich das auf Ihre Seitentypen? Wenn Googlebot viel Zeit auf Filterseiten, Sortierungsseiten oder Parameter-URLs verbringt, statt auf wichtige Produkt- und Kategorieseiten, ist Crawl-Budget-Optimierung dringend nötig. Blockieren Sie nutzlose URLs konsequent per robots.txt und beobachten Sie, ob sich die Crawl-Rate auf wichtige Seiten erhöht.