Was ist ein Log-File-Audit?

Ein Log-File-Audit ist die Analyse der Server-Protokolldateien, um zu verstehen, wie Googles Crawler deine Website besucht. Du siehst, welche Seiten wie oft gecrawlt werden, welche Fehler beim Crawlen auftreten, wo Crawl-Budget auf wertlosen Seiten verschwendet wird und welche wichtigen Seiten zu selten besucht werden.

Server-Logdateien zeichnen jede HTTP-Anfrage an den Server auf, inklusive Zeitstempel, angefragte URL, Statuscode und User-Agent. Googlebot identifiziert sich dabei mit einem spezifischen User-Agent-String, was es möglich macht, seine Aktivitäten herauszufiltern.

Das klingt nach einer technischen Spielerei für SEO-Nerds. Es ist aber ein der wenigen Wege, um direkt zu beobachten, was Google auf deiner Website macht, nicht was du denkst, dass es tut.

Was findest du in einem Log-File-Audit?

Erstens: Crawl-Häufigkeit pro URL. Wenn wichtige Produktseiten nur einmal pro Woche gecrawlt werden, während tausende von Filterseiten täglich besucht werden, deutet das auf ein Crawl-Budget-Problem hin.

Zweitens: Fehler-Häufungen. Wenn bestimmte URL-Muster regelmäßig 404- oder 500-Antworten zurückgeben, sieht das Googlebot. Auch wenn diese URLs in der Search Console nicht auftauchen, weil sie nie indexiert waren.

Drittens: Nicht-existente URLs, die trotzdem gecrawlt werden. Das passiert bei externen Links auf gelöschte Seiten oder bei intern verlinkten URLs, die sich seit einer Umstrukturierung geändert haben.

Viertens: Crawl-Budget-Verschwendung. Wenn Google Ressourcen darauf verwendet, parameter-basierte Duplikate, Suchseiten ohne Ergebnisse oder Staging-Versionen zu crawlen, fehlt dieses Budget für wertvolle Seiten.

Für wen ist ein Log-File-Audit relevant?

Für kleinere Websites mit wenigen hundert Seiten ist es meist nicht notwendig. Ab einigen tausend URLs, besonders bei E-Commerce-Shops mit Filternavigation und großem Produktkatalog, kann ein Log-File-Audit echte Einblicke liefern, die kein anderes SEO-Tool bietet.

Technische Voraussetzung: Zugriff auf die Server-Logdateien, entweder direkt per FTP/SSH oder über das Hosting-Panel. Große Logdateien (mehrere GB) erfordern spezielle Tools zur Analyse, zum Beispiel Screaming Frog Log Analyzer oder Splunk.

Wenn du vermutest, dass dein Crawl-Budget nicht optimal genutzt wird, oder wenn wichtige Seiten trotz guter Inhalte nur langsam indexiert werden, ist ein Log-File-Audit ein sinnvoller nächster Schritt. Im Rahmen unserer SEO-Leistungen führen wir das für größere Websites durch. Beim Termin klären wir, ob deine Website von dieser Analyse profitieren würde.