A/B-Test

Definition: Ein A/B-Test ist ein kontrolliertes Online-Experiment bei dem zwei Varianten (A = bestehende Version «Kontrolle»; B = veränderte Version «Variante») einer Webseite, Landingpage, E-Mail oder digitalen Anzeige gleichzeitig und per Zufallsauswahl an zwei Nutzersegmente ausgespielt werden um statistisch fundiert zu ermitteln welche Variante eine definierte Zielmetrik besser erfüllt. Charakteristika: Randomisierung (Nutzer werden zufällig einer Variante zugewiesen); Parallelitität (A und B laufen gleichzeitig, kein zeitlicher Versatz); Isolationsprinzip (idealerweise wird nur ein Element verändert um kausale Zuordnung zu gewährleisten); statistische Auswertung (Ergebnis gilt erst bei Erreichen von Stichprobengröße und statistischer Signifikanz, üblicherweise 95%). Abgrenzung: Multivariate Test (mehrere Elemente gleichzeitig in allen Kombinationen); Split-URL-Test (zwei verschiedene Seiten-URLs statt Varianten auf derselben URL); Personalisierung (dauerhaftes Ausspielen verschiedener Versionen an Segmente, kein Experiment).

Erläuterung

Die methodischen Grundlagen des A/B-Tests stammen aus der experimentellen Statistik des frühen 20. Jahrhunderts: Ronald A. Fisher (britischer Statistiker und Genetiker, 1890–1962; University College London, später Cambridge) entwickelte das Konzept des randomisierten kontrollierten Experiments in «The Design of Experiments» (1935, Oliver and Boyd) – Fishers Grundprinzipien (Randomisierung, Replikation, Blockbildung) sind bis heute die Basis statistischer Testverfahren. William Sealy Gosset (irischer Statistiker und Chemiker bei der Guinness-Brauerei in Dublin, 1876–1937) publizierte 1908 unter Pseudonym «Student» den t-Test in «Biometrika» zur Analyse kleiner Stichproben: der Student's t-Test ist Grundlage der frequentistischen Auswertung von A/B-Tests. Im digitalen Marketing wurde das A/B-Testing im Wesentlichen durch Google und Amazon popularisiert: Amazon (gegründet 1994 in Seattle von Jeff Bezos) wurde ab 2000 zur experimentierenden Organisation – Greg Linden (Amazon-Ingenieur) beschreibt in seinem Blog dass Amazon Ende der 1990er Jahre bereits hunderte simultane A/B-Tests auf seiner Website durchführte; Ron Kohavi (später Forschungsleiter bei Microsoft, vorher eBay und Amazon) formalisierte in seiner Arbeit die statistische Methodik des Online-Controlled-Experiments und publizierte mit Kolleginnen wegweisende Papers zu A/B-Testing-Best-Practices. Microsoft (gegründet 1975, Redmond, Washington) setzt laut Kohavis Publikation «Trustworthy Online Controlled Experiments» (2020, Cambridge University Press) über 10.000 A/B-Tests pro Jahr auf Bing und anderen Microsoft-Diensten ein.

Statistische Grundlagen des A/B-Tests

• Frequentistischer vs. Bayesianischer Ansatz: Frequentistisch (klassisch): testet Nullhypothese («kein Unterschied zwischen A und B»); p-Wert: Wahrscheinlichkeit das beobachtete Ergebnis oder ein extremeres zu sehen wenn die Nullhypothese wahr ist; p < 0,05 (α = 5%) = statistisch signifikant bei 95% Konfidenz; Problem: p-Wert sagt nicht wie groß der Effekt ist; führt zu «Peeping-Problem» wenn Test zu früh gestoppt wird; Bayesianisch (modern): berechnet Wahrscheinlichkeit dass Variante B tatsächlich besser ist; gibt «Probability to be Best» aus (z.B. «87% Wahrscheinlichkeit dass B besser ist»); erlaubt früheres Stoppen des Tests wenn Gewissheit hoch genug; Verwendung in Plattformen: VWO und AB Tasty bieten beide Ansätze; Optimizely nutzte primär bayesianisch («Stats Engine»)
• Stichprobengröße und Testdauer: Stichprobenkalkulation vor Teststart obligatorisch: Minimum Detectable Effect (MDE): wie groß muss der Unterschied sein um ihn zu messen? kleinere MDE = mehr Traffic notwendig; Baseline-Conversion-Rate: höhere Baseline = kleinere Stichprobe notwendig; Statistical Power (1-β): 80% Power Standard; verhindert falsche Negative (Type-II-Fehler); α-Level: 5% Standard (95% Konfidenz); Tools: Evan Miller's A/B-Test Sample Size Calculator (kostenlos, evancalculation.com); VWO A/B Test Duration Calculator; Testdauer: mindestens 1 vollständiger Business-Zyklus (typisch 2 Wochen); erfasst Wochentagseffekte; nie kürzer als 7 Tage unabhängig von Stichprobengröße; nie nach 4 Wochen weiterführen ohne Review
• Häufige A/B-Test-Fehler: «Peeping-Problem»: Test stoppen sobald eine Variante führt; führt zu 25–50% falscher Gewinner-Rate; Lösung: Mindest-Stichproben-Regel einhalten; Simultane Test-Interferenz: mehrere Tests gleichzeitig auf derselben Seite (Interaktionseffekte möglich); Testing-Saison-Bias: Test in ungewöhnlichem Zeitraum (Weihnachten, Feiertage) starten; Ergebnisse nicht auf Normalbetrieb übertragbar; «No Effect»-Bias: Testergebnisse die keine Verbesserung zeigen werden oft ignoriert; Null-Ergebnis ist auch valides Testergebnis; verhindert Implementierung wertloser Änderungen; zu kleine Änderungen testen: kleinste sinnvolle Änderung sollte 5–20% Effekt auf Conversion haben um messbar zu sein

A/B-Test-Prozess und Organisation

• Strukturierter A/B-Test-Prozess: Schritt 1 – Datenanalyse: Google Analytics, Hotjar Heatmaps, Session Recordings; Identifikation von Seiten mit hohem Traffic und niedriger Conversion oder hoher Absprungrate; Schritt 2 – Hypothesen-Formulierung: «Wenn wir [Element ändern], dann wird [Metrik] steigen, weil [psychologischer/UX-Grund]»; Backlog nach ICE-Score oder PIE-Framework priorisieren; Schritt 3 – Test-Setup: Stichprobengröße kalkulieren; Testdauer festlegen; GA4-Event für Konversionsziel sicherstellen; Schritt 4 – Durchführung: QA in verschiedenen Browsern und Geräten; tägliches Monitoring auf technische Fehler (nicht auf Ergebnisse!); Schritt 5 – Auswertung: Warten bis Mindest-Stichprobe und -Dauer erreicht; statistische Signifikanz prüfen; Segmentierungsanalyse (Gerät, Traffic-Quelle, neuer vs. Bestandsnutzer); Schritt 6 – Implementierung und Lernen: Gewinner-Variante permanent implementieren; Test-Ergebnis dokumentieren (auch Null-Ergebnisse)
• A/B-Testing-Tools im Vergleich: Optimizely (US, gegründet 2010, jetzt Episerver): Enterprise; Server-Side-Testing; Feature-Flags; ab 50.000 USD/Jahr; VWO (Wingify, Indien, 2010): Mid-Market; gutes Preis-Leistungs-Verhältnis; ab 200 USD/Monat; AB Tasty (Frankreich, 2013): europäisch; DSGVO-fokussiert; Mid-Market; auf Anfrage; Convert Experiences (Niederlande): datenschutzfreundlich; ab 800 USD/Monat; Adobe Target: Teil Adobe Experience Cloud; Enterprise; für bestehende Adobe-Kunden; Google Optimize (eingestellt September 2023): war kostenlos; Nutzer müssen zu kommerziellen Alternativen migrieren; Für Einsteiger: GrowthBook (open source); Kameleoon (europäisch, günstiger Einstieg)