Bot-Filter

Definition: Ein Bot-Filter (auch Spider-Filter oder Crawler-Filter) ist in Web-Analytics-Systemen eine Funktion oder Konfiguration, die automatisierte Zugriffe auf eine Website – sogenannte Bots, Crawler, Spider oder Web-Robots – identifiziert und aus den Analysedaten ausfiltert, sodass sie die gemessenen Metriken nicht verfälschen. Das Internet-Daten-Traffic besteht zu einem erheblichen Anteil aus nicht-menschlichem Traffic: Suchmaschinen-Crawler (wie Googlebot oder Bingbot) indexieren Websites für Suchmaschinen, Monitoring-Tools prüfen Verfügbarkeit und Performance, Sicherheitsscanner suchen nach Schwachstellen, und eine wachsende Zahl von bösartigen Bots versucht, Klickbetrug zu betreiben, Daten zu scrapen oder Schwachstellen auszunutzen. Ohne Bot-Filterung werden all diese maschinellen Zugriffe als reguläre Nutzerinteraktionen in den Analytics-Daten erfasst, was zu verzerrten Sitzungszahlen, unnatürlich hohen Absprungraten, Verfälschungen bei der Verweildauer und falschen Conversion-Raten führt. Bot-Filter sorgen dafür, dass Analytics-Berichte ausschließlich das Verhalten echter menschlicher Nutzer widerspiegeln, und sind damit ein grundlegendes Element der Datenqualitätssicherung in der Web-Analyse.

Erläuterung

In Google Analytics 4 ist die Bot-Filterung standardmäßig aktiviert und kann nicht deaktiviert werden. GA4 nutzt dabei eine Kombination aus mehreren Erkennungsmethoden: Zunächst wird der Traffic mit der IAB/ABC International Spiders and Bots List abgeglichen, einer branchenweiten, gepflegten Datenbank bekannter Bot-User-Agents. Darüber hinaus setzt GA4 eigene Machine-Learning-Modelle ein, die verdächtige Verhaltensweisen erkennen – etwa zu schnelle Klicksequenzen, unnatürliche Navigationsmuster oder auffällige geografische Muster. Dieser proaktive Ansatz unterscheidet GA4 von seinem Vorgänger Universal Analytics, bei dem die Bot-Filterung manuell unter den Property-Einstellungen aktiviert werden musste und ausschließlich auf der IAB-Liste basierte.

Trotz dieser automatischen Filterung ist es möglich, dass ein Teil des Bot-Traffics nicht erkannt und weiterhin in die Daten einbezogen wird. Besonders fortgeschrittene Bots verhalten sich zunehmend menschenähnlich – sie rendern JavaScript, navigieren mit realistischen Mauszeiger-Bewegungen und variieren ihre Anfrage-Muster. Diese sogenannten "headless browser"-Bots oder "advanced persistent bots" können selbst ausgefeilte Erkennungssysteme überlisten.

Neben der automatischen Bot-Filterung auf Analytics-Ebene empfiehlt sich für eine vollständige Abwehr auch eine Filterung auf Server- und Netzwerkebene. Web Application Firewalls (WAF), Rate-Limiting-Mechanismen und der korrekte Einsatz der robots.txt-Datei reduzieren Bot-Traffic bereits, bevor er die Website und das Analytics-System überhaupt erreicht. IP-basierte Filter in GA4 können genutzt werden, um bekannte interne IP-Adressen – etwa Büro-Standorte, Testserver oder Monitoring-Dienste – aus den Berichten auszuschließen.

Ein häufiges Problem in der Praxis ist der sogenannte "Ghost-Spam" oder "Referral-Spam", bei dem Spammer manipulierte Daten direkt an die Google-Analytics-Measurement-Protocol-Schnittstelle senden, ohne die Website überhaupt zu besuchen. In GA4 ist dieses Problem durch die Einführung von API-Secrets für das Measurement Protocol weitgehend eingedämmt – in Universal Analytics war es hingegen ein verbreitetes und hartnäckiges Problem.

Arten von Bot-Traffic und ihre Auswirkungen

Suchmaschinen-Crawler: Googlebot, Bingbot, Yandexbot und ähnliche Crawler indexieren Website-Inhalte. Sie sind für die Suchmaschinen-Sichtbarkeit wichtig und gelten als "gute" Bots. Werden sie nicht herausgefiltert, erhöhen sie Seitenaufrufzahlen ohne echten Nutzer-Intent.
Monitoring- und Test-Bots: Tools wie Uptime Robot, Pingdom oder GTmetrix rufen Seiten in regelmäßigen Intervallen auf, um Verfügbarkeit und Performance zu prüfen. Sie erzeugen kurze Sitzungen mit null Sekunden Verweildauer, die die Absprungrate massiv erhöhen können.
Scraping-Bots: Automatisierte Programme, die Inhalte, Preise oder Kontaktdaten systematisch von Websites extrahieren. Sie können erhebliche Mengen an Fake-Traffic erzeugen und den Server belasten.
Click-Fraud-Bots: Bösartige Bots, die bezahlte Anzeigen oder Affiliate-Links anklicken, um Werbebudgets zu erschöpfen oder Provisionen zu erschleichen. Sie verfälschen nicht nur Analytics-Daten, sondern verursachen auch direkte finanzielle Schäden.
Interne Zugriffe: Mitarbeiter, Entwickler und Tester des eigenen Unternehmens, die die Website im Rahmen ihrer Arbeit aufrufen, sind zwar keine "Bots" im technischen Sinne, sollten aber ebenfalls aus den Analytics-Daten ausgeschlossen werden.

Erkennungsmerkmale und Gegenmaßnahmen

Verdächtige User-Agents: Bot-User-Agents enthalten häufig Bezeichnungen wie "bot", "crawler", "spider" oder den Namen des jeweiligen Tools. GA4 filtert bekannte User-Agents automatisch aus seiner Datenbank.
Null-Sekunden-Sitzungen: Sitzungen mit einer gemessenen Dauer von null Sekunden (nur eine Seite aufgerufen, kein weiterer Engage-Event) können ein Hinweis auf Bot-Traffic sein, sind aber nicht zwingend – auch echte Nutzer können ohne Interaktion eine Seite verlassen.
Unnatürliche Traffic-Spitzen: Plötzliche, unerklärliche Spitzen bei den Sitzungszahlen aus unbekannten geografischen Regionen oder von unbekannten Referrern sind oft Anzeichen für Bot-Traffic.
IP-Filter in GA4: Unter Datenstrom-Einstellungen können interne IP-Adressen als Filter hinterlegt werden, um eigene Zugriffe systematisch auszuschließen.

Praxistipp: Überprüfen Sie in GA4 regelmäßig den Akquise-Bericht auf ungewöhnliche Referral-Quellen oder auffällige Muster bei Absprungrate und Sitzungsdauer. Ergänzen Sie die automatische Bot-Filterung durch IP-Filter für alle Bürostandorte und bekannten Monitoring-Dienste. Richten Sie in Google Analytics 4 unter den Datenstrom-Einstellungen einen internen Traffic-Filter ein und markieren Sie eigene Zugriffe über den Data Layer mit einem entsprechenden Parameter, damit Entwicklertests niemals in die Produktionsdaten einfließen.