Stichprobengröße

Definition: Die Stichprobengröße im CRO-A/B-Test bezeichnet die Anzahl der Besucher die jede Testvariante erhalten muss, damit das Experiment mit einer definierten statistischen Teststärke (Power) einen realistischen Mindesteffekt (Minimum Detectable Effect, MDE) zuverlässig nachweisen kann. Bestimmende Faktoren: Baseline-Conversion-Rate (p₁): je niedriger, desto mehr Stichprobe erforderlich; Minimum Detectable Effect (MDE): der kleinste relative Uplift der betriebswirtschaftlich relevant ist; je kleiner der MDE, desto größer die erforderliche Stichprobe; Signifikanzniveau α: üblich 0,05; bei α = 0,01 (99% Konfidenz) um 56% größere Stichprobe; Teststärke (Power = 1 − β): üblich 80% (β = 0,20); bei 90% Power um 27% größere Stichprobe als bei 80%; Varianzen der Messgröße: CVR hat geringere Varianz als RPV; RPV-Tests benötigen 2–4× mehr Stichprobe. Grundformel (Zwei-Proportionen-z-Test): n = (z_α/2 + z_β)² × (p₁(1−p₁) + p₂(1−p₂)) / (p₁−p₂)²; bei α = 0,05 und Power 80%: z_α/2 = 1,96; z_β = 0,84; (z_α/2 + z_β)² ≈ 7,85. Testlaufzeit-Berechnung: Laufzeit (Tage) = (2 × n) / täglicher Unique-Traffic der Testseite; Mindestlaufzeit: 2 vollständige Kalenderwochen um Wochentags-Saisonalität zu erfassen.

Erläuterung

Die formale Herleitung der Stichprobengrößenformel für A/B-Tests stammt aus der klassischen Hypothesentest-Theorie: Jerzy Neyman und Egon Pearson («On the Use and Interpretation of Certain Test Criteria», Biometrika, 1928; «On the Problem of the Most Efficient Tests of Statistical Hypotheses», 1933) formalisierten die Konzepte von α-Fehler (Typ I), β-Fehler (Typ II) und Teststärke (Power) die heute alle Stichprobenkalkulationen für A/B-Tests fundieren. Jacob Cohen (New York University; «Statistical Power Analysis for the Behavioral Sciences», 1969; zweite Auflage 1988) popularisierte die Power-Analyse für Nicht-Statistiker und etablierte die konventionellen Schwellenwerte: Power ≥ 0,80 und α = 0,05. In der CRO-Praxis machte Evan Miller («How Not To Run An A/B Test», 2010; Evan Miller Sample Size Calculator, 2011) die Stichprobenberechnung für A/B-Tests erstmals öffentlich mit einem einfachen Online-Tool zugänglich das nur drei Eingaben erfordert: Baseline-CVR, MDE, und Signifikanzniveau. Ron Kohavi, Diane Tang und Ya Xu («Trustworthy Online Controlled Experiments», Cambridge University Press, 2020) dokumentierten in einer Auswertung von Tausenden internen Experimenten bei Microsoft, Amazon und Airbnb dass der Median-Uplift in A/B-Tests typischerweise unter 10% relativer CVR-Änderung liegt – was bedeutet dass MDE-Annahmen von 20%+ in der Stichprobenplanung systematisch zu klein geplante Tests erzeugen. Microsoft Research publizierte mit CUPED (Controlled-experiment Using Pre-Experiment Data; Deng et al., KDD 2013) eine Varianzreduktionsmethode die durch Verwendung von Nutzerverhalten vor dem Test als Kovariate die erforderliche Stichprobengröße um typischerweise 30–50% reduziert – ohne statistische Validität zu kompromittieren. Mehrere führende Experimentation-Teams (Booking.com, Airbnb, Netflix) integrieren CUPED als Standard in ihre Testing-Infrastruktur, was bei konstantem Traffic die effektive Test-Kapazität substanziell erhöht.

Stichprobengrößen-Tabellen und Berechnungsbeispiele

Stichprobengrößen nach Baseline-CVR und MDE (α = 0,05; Power 80%; 50/50 Split): Baseline-CVR 1,0%; MDE 20% rel. (Variante = 1,2%): n = ~45.000/Variante; Testlaufzeit bei 1.000 Besuchern/Tag: 90 Tage; Baseline-CVR 2,0%; MDE 15% rel. (Variante = 2,3%): n = ~25.000/Variante; bei 2.000/Tag: 25 Tage; Baseline-CVR 3,0%; MDE 10% rel. (Variante = 3,3%): n = ~40.000/Variante; bei 3.000/Tag: 27 Tage; Baseline-CVR 3,0%; MDE 20% rel. (Variante = 3,6%): n = ~10.000/Variante; bei 3.000/Tag: 7 Tage (aber Mindest-2-Wochen-Regel trotzdem anwenden); Baseline-CVR 5,0%; MDE 10% rel. (Variante = 5,5%): n = ~27.000/Variante; bei 5.000/Tag: 11 Tage; Baseline-CVR 10,0%; MDE 5% rel. (Variante = 10,5%): n = ~87.000/Variante; bei 10.000/Tag: 17 Tage; wichtige Regel: wenn Traffic für MDE = 10% nicht ausreicht: entweder MDE auf 20% erhöhen (kleinere Effekte ignorieren) oder Traffic bündeln (nur eine Testseite statt mehrerer parallel)
Stichprobenplanung-Workflow vor Teststart: Schritt 1: Baseline-CVR aus GA4 der letzten 4 Wochen für die Testseite und Ziel-Event bestimmen; nicht den Gesamtsite-Durchschnitt nehmen; Schritt 2: MDE festlegen basierend auf betriebswirtschaftlicher Schwelle; Frage: «Welchen minimalen CVR-Uplift in Prozent bräuchten wir damit die Implementierungskosten sich innerhalb von 6 Monaten amortisieren?»; Schritt 3: Stichprobengröße berechnen (Evan Miller Calculator; AB Tasty Calculator; Optimizely automatisch); Schritt 4: Tagestraffic der Testseite aus GA4 abfragen (Unique Users; nicht Pageviews); Schritt 5: Laufzeit = (2 × n) / Tagesunique; auf volle Wochen aufrunden; Schritt 6: wenn Laufzeit >8 Wochen: MDE überprüfen; wenn Test trotzdem sinnvoll: durchführen; wenn MDE unrealistisch klein: Test wegen zu geringem ROI verwerfen; Schritt 7: Teststartdatum und -enddatum dokumentieren; kein vorzeitiger Stop erlaubt
Effekt von Variablen auf die Stichprobengröße: Verdopplung der Baseline-CVR (von 1% auf 2%): reduziert Stichprobe um ~45% weil Varianz der Binomial-Verteilung bei mittleren p-Werten höher ist als bei extremen; Halbierung des MDE (von 20% auf 10% relativer Uplift): erhöht Stichprobe um ~4× (quadratischer Zusammenhang); Erhöhung Power von 80% auf 90%: erhöht Stichprobe um ~27%; Erhöhung Konfidenz von 95% auf 99%: erhöht Stichprobe um ~56%; wechseln von CVR auf RPV als Zielmetrik bei σ²(RPV) = 5× σ²(CVR): erhöht Stichprobe um ~5× für gleiche Power; Reduktion der Varianz durch CUPED: typisch −30–50% Stichprobenbedarf bei gleicher Power; Ungleicher Split (statt 50/50 ein 90/10 Split): erhöht Gesamtstichprobe erheblich; 90/10 braucht ~5× mehr Gesamttraffic als 50/50 für gleiche Power

Niedrig-Traffic-Strategien und MVT-Stichprobenprobleme

Strategien für niedrig-Traffic-Websites (<5.000 Besucher/Monat): Problem: bei 3.000 Besuchern/Monat und Baseline-CVR 2%: MDE 10% erfordert 50.000 Besucher/Variante = 33 Monate Laufzeit; unrealistisch; Strategie 1 – MDE erhöhen: akzeptieren dass nur Effekte ≥30% rel. zuverlässig gemessen werden können; bei 3% CVR und MDE 30% (Variante 3,9%): n ≈ 3.000/Variante = 2 Monate; Strategie 2 – Makro-Conversion auf Mikro-Conversion wechseln: statt Purchase (CVR 2%) auf Add-to-Cart (CVR 8%) als primäre Metrik; bei 8% Baseline und MDE 15%: n ≈ 4.500 statt 25.000; niedrigere Varianz ermöglicht kürzere Tests; Strategie 3 – Traffic-Bündelung: statt 5 gleichzeitige Tests jeweils 10 Tage: 1 Test 50 Tage (gleicher Traffic aber höhere Stichprobe pro Test); Strategie 4 – Bayesianische Tests: erlauben Entscheidung mit geringerer Stichprobe durch explizite Quantifizierung von «Expected Loss»; VWO SmartStats; nicht für exakte p-Wert-Aussagen geeignet aber für Praxis-Entscheidungen ausreichend; Strategie 5 – Heuristic Testing: bei zu wenig Traffic für statistische Tests: UX-Tests (Nutzerinterviews, Usability-Tests) statt statistische A/B-Tests; Hypothesen durch qualitative Forschung validieren ohne statistische Signifikanz zu beanspruchen
MVT-Stichprobenprobleme: Multivariater Test mit k Variablen je 2 Ausprägungen = 2^k Kombinationen; jede Kombination benötigt volle Stichprobe n; 3 Variablen (2^3 = 8 Kombinationen): 8 × 40.000 = 320.000 Besucher/Test; 4 Variablen (2^4 = 16): 640.000 Besucher; Taguchi-Methode (orthogonale Arrays; Google Website Optimizer 2007–2012): reduziert Kombinationsanzahl; 4 Variablen × 2 Ausprägungen: statt 16 nur 8 Kombinationen nötig; aber: Interaktionseffekte nicht vollständig schätzbar; Empfehlung Ron Kohavi: MVT nur bei sehr hohem Traffic (>100.000 Besucher/Woche auf Testseite) sinnvoll; für alle anderen: sequenzielle A/B-Tests der Einzelelemente; MVT bei niedrigem Traffic: SRM-Risiko steigt mit Kombinationsanzahl; gleichmäßige Verteilung von Traffic auf viele Kombinationen technisch anspruchsvoller
CUPED und fortgeschrittene Varianzreduktion: CUPED (Controlled-experiment Using Pre-Experiment Data; Deng, Xu, Kohavi, Walker; Microsoft Research; KDD 2013): Idee: verwende Nutzerdaten aus der Zeit vor dem Test als Kovariate um die Varianz der Zielmetrik zu reduzieren; Annahme: Nutzerverhalten vor dem Test korreliert mit Verhalten während des Tests; Pre-Experiment-CVR eines Nutzers sagt seine Test-CVR vorher; Varianzreduktion proportional zu ρ² (Quadrat der Pearson-Korrelation zwischen Pre- und Experiment-Wert); typische Korrelation: ρ = 0,5–0,7 → Varianzreduktion 25–49% → entsprechend weniger Stichprobe nötig; Implementierung: verfügbar nativ in Optimizely Feature Experimentation und Statsig; manuell implementierbar über Regression Adjustment; Voraussetzung: ausreichende Vorab-Beobachtungsperiode (mindestens 2–4 Wochen Pre-Experiment-Daten pro Nutzer); Stratified Sampling als Alternative: Traffic stratifizieren nach z. B. Device-Typ oder New/Return User; sichert proportionale Verteilung; Varianzreduktion durch homogenere Gruppen

Praxistipp: Erstellen Sie eine einfache Entscheidungsmatrix für Stichprobenplanung: tragen Sie in einer Google-Sheets-Tabelle Ihre Baseline-CVR (aus GA4) und den verfügbaren Monats-Traffic ein und berechnen Sie für MDE-Werte von 5%, 10%, 15%, 20%, 25% und 30% die erforderliche Laufzeit. Dann markieren Sie rot alle Zeilen wo die Laufzeit mehr als 8 Wochen beträgt – diese Tests sind bei Ihrem aktuellen Traffic-Niveau nicht valide durchführbar. Fokussieren Sie sich ausschließlich auf Tests, die innerhalb von 3–6 Wochen abschließbar sind. Wenn kein einziger Test grün markiert ist, wechseln Sie vorübergehend von Purchase-CVR auf Add-to-Cart-CVR als Zielmetrik: die höhere Baseline-Rate reduziert den Stichprobenbedarf um typischerweise 60–75%.