Log-File-Analyse

Definition: Log-File-Analyse (Server-Log-Analyse) ist eine fortgeschrittene SEO-Technik, bei der die Server-Access-Logs einer Website analysiert werden, um das Crawling-Verhalten von Googlebots und anderen Suchmaschinen-Crawlern direkt zu beobachten. Sie liefert primäre Rohdaten darüber, welche URLs gecrawlt werden, wann, wie oft und mit welchem HTTP-Statuscode – unabhängig von den Schätzwerten der Google Search Console.

Erläuterung

Log-Files sind die verlässlichste Datenquelle für technisches SEO: Während die Google Search Console hochgerechnete Schätzwerte liefert, zeigen Log-Files, was wirklich passiert ist. Jede Anfrage des Googlebots an den Server wird protokolliert – inklusive Zeitstempel, angeforderter URL, User-Agent, HTTP-Statuscode und Antwortgrösse. Diese Daten decken auf, wo Crawl Budget verschwendet wird und welche wichtigen Seiten zu selten oder gar nicht gecrawlt werden.

Was Log-Files für SEO zeigen

Crawl-Häufigkeit pro URL: Welche Seiten crawlt Google täglich? Welche werden wochenlang ignoriert?
HTTP-Statuscodes: Welche URLs liefern 404, 500, oder 301 zurück – und werden trotzdem wiederholt gecrawlt?
Crawl-Budget-Verschwendung: Filter-Parameter-URLs, Session-IDs, interne Suchergebnisseiten, die wertvolles Budget konsumieren
Bot-Typen: Googlebot (Desktop/Smartphone), AdsBot, AhrefsBot, SemrushBot – wer crawlt wie viel?
Peak-Crawling-Zeiten: Wann ist Googlebot besonders aktiv? Hilfreich für Server-Lastplanung
Neue Content-Erkennung: Wie schnell erkennt und crawlt Google neue URLs nach Veröffentlichung?

Log-File-Analyse durchführen

Log-Files erhalten: Hosting-Anbieter oder Server-Administrator; Format meist Apache oder Nginx-Access-Log
Filter auf Googlebot: User-Agent-Filter auf „Googlebot" (Desktop) und „Googlebot-Mobile/Smartphone" setzen
Zeitraum: Mindestens 30 Tage analysieren; bei grossen Shops 90 Tage für aussagekräftige Daten
Tools: Screaming Frog Log File Analyser (günstig, gut für kleine/mittlere Sites), Botify (Enterprise, sehr umfangreich), DeepCrawl, oder Python/Pandas für manuelle Analyse

Typische Erkenntnisse und Massnahmen

Parameter-URLs dominieren Crawls: robots.txt-Disallow oder GSC-Parameter-Konfiguration; JavaScript-basiertes Filtering ohne URL-Änderung
Wichtige Seiten selten gecrawlt: Interne Verlinkung stärken; in XML-Sitemap aufnehmen; externe Links aufbauen
Viele 404-Fehler: Weiterleitungen implementieren; interne Links aktualisieren
Veraltete URLs weiter gecrawlt: 301-Weiterleitungen prüfen; interne Links auf neue URLs aktualisieren

Log-File-Analyse vs. Google Search Console

GSC liefert Schätzwerte und zeigt max. 16 Monate Crawling-Daten – aber keine Rohdaten
Log-Files sind unverfälschte Primärdaten aus erster Hand – zuverlässiger für technische Diagnosen
GSC eignet sich für: Indexierungsstatus, Coverage-Reports, URL-Inspektion
Log-Files eignen sich für: Crawl-Budget-Analyse, Bot-Identifikation, Crawl-Frequenz pro URL

Praxistipp: Führen Sie eine Log-File-Analyse durch, wenn Google wichtige Seiten Ihrer Website nicht oder zu selten indexiert. Analysieren Sie den Googlebot-Filter und suchen Sie nach URLs, die sehr häufig gecrawlt werden, aber keine SEO-Priorität haben (Filter-Parameter, Sortierungen, Seitenanzahl). Vergleichen Sie diese mit Ihren wichtigsten SEO-Zielseiten: Wenn Parameter-URLs mehr gecrawlt werden als Ihre Kategorieseiten, blockieren Sie die Parameter in robots.txt oder der GSC-Konfiguration – das gibt Googlebot mehr Ressourcen für Ihre wirklich wichtigen Seiten.