Beantwortet von der Redaktion von Business.Digital Stand
Wie groß dieses Budget ist, bestimmt Google selbst, im Wesentlichen aus zwei Faktoren: wie schnell dein Server antwortet und wie oft sich Inhalte tatsächlich ändern. Beides kannst du beeinflussen, die Zahl selbst nicht.
Für kleine Websites mit 50 Seiten ist Crawl-Budget kein Thema. Für große E-Commerce-Stores mit Tausenden von Produktseiten, Filtervarianten und URL-Kombinationen kann es ein entscheidender SEO-Faktor sein.
Wann Crawl-Budget relevant wird
Google gibt bei der Zuteilung von Crawl-Budget zwei Faktoren an: Die Crawl-Rate-Limit, also wie schnell der Crawler crawlen darf, ohne den Server zu überlasten, und die Crawl-Demand, also wie stark Google deine Seiten für wichtig genug hält, um sie häufig zu besuchen.
Wenn dein Crawl-Budget erschöpft ist, bevor alle wichtigen Seiten gecrawlt wurden, kann das dazu führen, dass neue oder aktualisierte Seiten nicht zeitnah indexiert werden. Das schadet der SEO-Performance.
Es gibt konkrete Maßnahmen, um das Crawl-Budget effizienter zu nutzen. Erstens: Unnötige URLs aus dem Crawling entfernen. Filter-URLs in Online-Shops generieren oft Tausende von Kombinationen (Farbe+Größe+Marke), die keine eigenständige SEO-Relevanz haben. Diese URLs per Noindex oder Canonical Tag als nicht indexierungswürdig zu markieren oder per robots.txt vom Crawling auszuschließen, schont das Budget für die relevanten Seiten.
Zweitens: Duplicate Content reduzieren. Wenn viele URLs sehr ähnliche Inhalte zeigen, verschwendet Googlebot Budget auf redundante Seiten.
Drittens: Server-Performance verbessern. Je schneller dein Server antwortet, desto mehr Seiten kann Googlebot in derselben Zeit crawlen. Ein hoher TTFB verschlechtert das effektive Crawling-Tempo.
Viertens: Die XML-Sitemap aktuell halten. Eine saubere Sitemap mit allen relevanten URLs hilft dem Crawler, prioritäre Seiten schnell zu finden.
Für Shops mit Millionen von Produkt- und Filtervarianten ist Crawl-Budget-Optimierung ein Kernthema der technischen SEO. Wir adressieren das im Rahmen unserer SEO-Leistungen. Für ein Gespräch über den Zustand deiner Website buche einen kostenlosen Termin. Welche Seiten überhaupt in den Index gehören, klärt Was ist eine Indexierung?.