Was ist Crawl-Budget?

Das Crawl-Budget ist die Anzahl der Seiten, die Googles Crawler (Googlebot) innerhalb eines bestimmten Zeitraums auf deiner Website besucht. Google begrenzt die Crawling-Aktivität pro Website, um Server nicht zu überlasten. Diese Begrenzung ist dein Crawl-Budget.

Für kleine Websites mit 50 Seiten ist Crawl-Budget kein Thema. Für große E-Commerce-Stores mit Tausenden von Produktseiten, Filtervarianten und URL-Kombinationen kann es ein entscheidender SEO-Faktor sein.

Wann Crawl-Budget relevant wird

Google gibt bei der Zuteilung von Crawl-Budget zwei Faktoren an: Die Crawl-Rate-Limit, also wie schnell der Crawler crawlen darf, ohne den Server zu überlasten, und die Crawl-Demand, also wie stark Google deine Seiten für wichtig genug hält, um sie häufig zu besuchen.

Wenn dein Crawl-Budget erschöpft ist, bevor alle wichtigen Seiten gecrawlt wurden, kann das dazu führen, dass neue oder aktualisierte Seiten nicht zeitnah indexiert werden. Das schadet der SEO-Performance.

Es gibt konkrete Maßnahmen, um das Crawl-Budget effizienter zu nutzen. Erstens: Unnötige URLs aus dem Crawling entfernen. Filter-URLs in Online-Shops generieren oft Tausende von Kombinationen (Farbe+Größe+Marke), die keine eigenständige SEO-Relevanz haben. Diese URLs per Noindex oder Canonical Tag als nicht indexierungswürdig zu markieren oder per robots.txt vom Crawling auszuschließen, schont das Budget für die relevanten Seiten.

Zweitens: Duplicate Content reduzieren. Wenn viele URLs sehr ähnliche Inhalte zeigen, verschwendet Googlebot Budget auf redundante Seiten.

Drittens: Server-Performance verbessern. Je schneller dein Server antwortet, desto mehr Seiten kann Googlebot in derselben Zeit crawlen. Ein hoher TTFB verschlechtert das effektive Crawling-Tempo.

Viertens: Die XML-Sitemap aktuell halten. Eine saubere Sitemap mit allen relevanten URLs hilft dem Crawler, prioritäre Seiten schnell zu finden.

Für Shops mit Millionen von Produkt- und Filtervarianten ist Crawl-Budget-Optimierung ein Kernthema der technischen SEO. Wir adressieren das im Rahmen unserer SEO-Leistungen. Für ein Gespräch über den Zustand deiner Website buche einen kostenlosen Termin.