Log-Analyse

Definition: Log-Analyse bezeichnet die systematische Auswertung von Protokolldateien (Logs), die von Webservern, Anwendungen und Systemen automatisch erzeugt werden. Server-Logs enthalten einen Eintrag für jeden HTTP-Request mit IP-Adresse, Zeitstempel, HTTP-Methode, URL, Statuscode, Antwortgröße und User-Agent. Log-Analyse ist die einzige Datenquelle die unabhängig von JavaScript-Tracking und Analytics-Tools alle serverseitigen Requests erfasst – inklusive Bot-Traffic, Crawler und Ad-Verification-Tools. Für SEOs bietet die Log-Analyse direkte Einblicke in Googlebots Crawling-Verhalten: welche URLs werden gecrawlt, wie oft, mit welchem Ergebnis. Für Entwickler und Marketing-Teams liefert sie Diagnose-Daten für Fehler, Performance-Engpässe und Sicherheitsvorfälle.

Erläuterung

Server-Logs sind die Rohdaten aller Serverinteraktionen – unverfälscht und unabhängig von Analytics-Konfiguration. GA4 und GTM erfassen nur was JavaScript-fähige Nutzer auslösen; Server-Logs erfassen alles: Bot-Traffic, direkte API-Calls, Fehler vor dem Page-Rendering, Ressourcenanfragen für CSS/JS/Bilder. Für die SEO-Praxis ist besonders wertvoll: Googlebots User-Agent «Googlebot/2.1» ist eindeutig identifizierbar und zeigt exakt welche Seiten, wie oft und wann gecrawlt werden.

Server-Log-Formate

Combined Log Format (Apache/Nginx Standard): 93.184.216.34 - - [25/Mar/2026:10:23:14 +0100] "GET /produkte/shirt-blau HTTP/1.1" 200 4821 "https://example.com/kategorie" "Mozilla/5.0 (compatible; Googlebot/2.1)"; Felder: IP, Ident, User, Zeitstempel, Request, Statuscode, Bytes, Referer, User-Agent
JSON-Logs: Strukturierte Logs als JSON-Objekte; {timestamp: "2026-03-25T10:23:14Z", method: "GET", path: "/produkte", status: 200, duration_ms: 45, user_agent: "Googlebot/2.1"}; einfacher zu parsen als Combined Format; Standard in modernen Cloud-Umgebungen (GKE, ECS, Cloud Run)
Log-Rotation: Logs wachsen schnell – täglich rotieren und komprimieren; access.log.1.gz für gestern; in Cloud-Umgebungen: Logs direkt in Cloud Storage (S3, GCS) oder Log-Management-Dienst streamen; lokale Log-Dateien für große Sites schnell Gigabyte groß

Tools für Log-Analyse

Screaming Frog Log File Analyser: Desktop-Tool speziell für SEO-Log-Analyse; importiert Apache/Nginx/IIS-Logs; filtert nach Googlebot, Bingbot, anderen Crawlern; zeigt gecrawlte URLs, Statuscode-Verteilung, Crawl-Frequenz; vergleichbar mit Google Search Console aber direkter Datenzugriff; kostenlose Lite-Version bis 1.000 URLs
ELK-Stack (Elasticsearch/Logstash/Kibana): Open Source Log-Management-Plattform; Logstash: Log-Parsing und Transformation; Elasticsearch: Index und Abfragen; Kibana: Dashboard und Visualisierung; für Echtzeit-Log-Analyse und Alerting; Aufwand für Setup und Betrieb hoch; für große Sites und DevOps-Teams geeignet
Cloudflare Analytics / CDN-Logs: Cloudflare Enterprise: vollständige Log-Weitergabe via Logpush an S3/BigQuery; enthält alle Requests inklusive Bot-Traffic und blockierte Requests; für Sites mit Cloudflare deutlich einfacher als Server-Logs direkt; Basis-Plan: nur aggregierte Statistiken
AWStats / GoAccess: AWStats: klassisches Log-Analyse-Tool mit HTML-Reports; GoAccess: Echtzeit-Terminal-Dashboard für nginx/apache-Logs; beide kostenlos; einfacher Einstieg ohne komplexes Setup; weniger Flexibilität als ELK aber ausreichend für grundlegende Analyse

SEO-Log-Analyse: Crawl-Budget

Googlebots Crawl-Budget verstehen: Log-Filterung nach User-Agent «Googlebot»; Crawl-Frequenz pro URL: wird die Startseite täglich gecrawlt, Produktseiten wöchentlich, Archivseiten nie?; zu wenige Crawls wichtiger Seiten → Indexierungsprobleme; zu viele Crawls unwichtiger Seiten → Crawl-Budget-Verschwendung
Crawl-Budget-Optimierung: Facettierte Navigation (/filter?color=rot&size=M) erzeugt Millionen URLs die alle gecrawlt werden; Log-Analyse zeigt wie viel Crawl-Budget für Parameter-URLs verbraucht wird; Lösung: robots.txt-Disallow für URL-Parameter oder crawl-delay; noindex für Seiten die gecrawlt aber nicht indexiert werden sollen
Statuscode-Analyse: 404-Fehler für Seiten die noch gecrawlt werden: verwaiste interne Links oder externe Backlinks; 301-Redirect-Ketten: A→B→C kostet Crawl-Budget und PageRank; 500-Fehler während Googlebot-Crawl: Indexierungsverlust; 200-Responses für noindex-Seiten: Crawl-Budget verwendet aber keine Indexierung

Marketing-Diagnose-Anwendungsfälle

Tracking-Skript-Verfügbarkeit: Logs zeigen ob GTM-Container, GA4-Script, Meta-Pixel-JS korrekt ausgeliefert werden; 404 für Tracking-Ressourcen direkt sichtbar; auch ohne Analytics-Tool identifizierbar; bei CDN: Logs der Ursprungs-Server vs. CDN vergleichen
Performance-Analyse: Durchschnittliche Antwortzeit pro URL-Muster; /checkout: 200ms Ziel; /api/products: 50ms Ziel; langsame Seiten (>2s) in Logs identifizieren ohne Produktions-Profiling-Tool; Korrelation mit Conversion-Daten: langsame Checkout-Pages = weniger Conversions
Bot- und Spam-Traffic: Logs zeigen Bot-User-Agents deutlich; Ad-Verification-Bots (IAS, DoubleVerify) crawlen Landingpages vor Kampagnen; Konkurrenz-Scraper erkennbar; Security-Analyse: DDoS-Versuche, Brute-Force-Logins in Logs sichtbar

Praxistipp: Fordern Sie für Ihre wichtigsten Websites Zugang zu den Server-Logs an (bei Managed-Hosting: oft per SFTP oder Download im Control Panel). Analysieren Sie mit GoAccess (kostenlos, einfach) die letzten 30 Tage: (1) Welcher Anteil des Traffics sind Bots? (2) Welche URLs haben die meisten 404-Fehler? (3) Welche Seiten werden von Googlebot gecrawlt vs. ignoriert? Für gezielte SEO-Log-Analyse: Screaming Frog Log Analyser kombiniert mit einem Google Search Console-Export zeigt Diskrepanzen zwischen gecrawlten und indexierten URLs – die größte SEO-Diagnosechance die viele Teams ungenutzt lassen.