Geo-Experiment
Definition: Ein Geo-Experiment (auch: geografisches Experiment oder Geo-Test) ist ein kontrolliertes Feldexperiment, bei dem geografische Einheiten – typischerweise Städte, Postleitzahlgebiete, Bundesländer oder Länder – als experimentelle Analyseeinheiten verwendet werden. Ein Teil dieser Regionen wird einer Marketingmaßnahme ausgesetzt (Testgruppe), während der andere Teil keine Veränderung erfährt (Kontrollgruppe). Durch den Vergleich der Entwicklung beider Gruppen während und nach der Interventionsperiode lässt sich der kausale Inkrementaleffekt der Maßnahme schätzen. Geo-Experimente sind besonders wertvoll in einer datenschutzbewussteren Welt, in der Tracking auf Nutzerebene durch Cookie-Beschränkungen, iOS-Privacy-Updates und DSGVO zunehmend eingeschränkt ist. Sie bilden eine methodische Brücke zwischen dem Goldstandard des randomisierten kontrollierten Experiments (RCT) und der Messrealität des heutigen digitalen Marketings. Google hat mit dem GeoX-Framework (Vaver & Koehler, 2011) und dem gleichnamigen R-Paket eine strukturierte, Open-Source-Methodik für Geo-Experimente entwickelt, die in der Praxis weit verbreitet ist. Meta und andere Plattformen bieten ähnliche Werkzeuge an. Geo-Experimente finden Einsatz in der TV-Werbewirkungsforschung, im Incrementality Testing für digitale Werbung und im Marketing Mix Modeling als Kalibrierungsdatenpunkt.
Erläuterung
Die Grundlogik des Geo-Experiments folgt dem Differenz-in-Differenzen-Prinzip (DiD): Man vergleicht nicht nur den absoluten Unterschied zwischen Test- und Kontrollregion nach dem Experiment, sondern berücksichtigt auch die Vorher-Unterschiede (Baseline-Differenz). Der geschätzte kausale Effekt ergibt sich aus: (Änderung in Testregion) minus (Änderung in Kontrollregion). Entscheidend für die interne Validität ist die Vergleichbarkeit der Regionen vor Beginn des Experiments; dies wird durch sorgfältige Matching-Verfahren oder durch Balanced-Assignment-Algorithmen sichergestellt.
Die Auswahl der Test- und Kontrollregionen ist der kritischste Schritt. Ker et al. beschreiben in Googles veröffentlichten Richtlinien, dass Regionen idealerweise anhand von mindestens 52 Wochen historischer Zeitreihendaten gematchet werden sollten, um saisonale Effekte und strukturelle Brüche zu kontrollieren. Häufig verwendete Matching-Kriterien sind: historisches Umsatzvolumen, demografische Zusammensetzung, Kategorie-Penetration und Mediennutzungsverhalten. In Deutschland werden für Geo-Experimente oft Bundesländer oder Nielsen-Gebiete als Analyseeinheiten verwendet, da sie eine ausreichende Marktgröße und geringe regionale Spillover-Effekte aufweisen.
Ein strukturelles Problem aller Geo-Experimente ist der Spillover-Effekt: Wenn Konsumenten aus Kontrollregionen durch Werbung in der Testregion beeinflusst werden (z. B. durch grenzübergreifende Mediennutzung oder Online-Werbung), wird der Effekt unterschätzt. Geografisch isolierte Märkte oder Insel-Länder wie Österreich oder die Schweiz eignen sich deshalb besonders als Kontrollgruppen für deutschsprachige Kampagnen. Brodersen et al. (2015) schlugen mit der Bayesian Structural Time Series (BSTS)-Methode, implementiert im R-Paket CausalImpact, eine robuste Alternative vor, die auch ohne klassische Kontrollgruppe auskommt.
Planungsschritte eines Geo-Experiments
- Hypothese und KPI-Definition: Klare Formulierung, welcher Inkrementaleffekt (z. B. Umsatzlift, Website-Visits) gemessen werden soll und wie groß der Effekt mindestens sein muss, um geschäftlich relevant zu sein.
- Power-Analyse: Berechnung der benötigten Anzahl von Regionen und der erforderlichen Experimentdauer, um einen minimalen detektierbaren Effekt (MDE) mit ausreichender statistischer Power zu identifizieren.
- Regionen-Matching: Automatisiertes oder manuelles Pairing von Test- und Kontrollregionen auf Basis historischer Zeitreihendaten; Validierung durch Pre-Experiment-Simulation.
- Randomisierung: Zufällige Zuweisung der gematchten Paare zu Test- oder Kontrollbedingung, um Selektionsverzerrungen zu vermeiden.
- Ausführung: Implementierung der Kampagnenänderung exklusiv in Testregionen; strikte Kontrolle, dass keine Konfundierungsvariablen (z. B. parallele Promotion) eingeführt werden.
- Auswertung: Differenz-in-Differenzen-Analyse oder BSTS-Modellierung; Berechnung von Konfidenzintervallen und p-Werten für den geschätzten Inkrementaleffekt.
Anwendungsszenarien
- TV- und Out-of-Home-Werbung: Da klassische Medien keine Nutzer-ID-basierte Attribution erlauben, sind Geo-Experimente das primäre Kausalinferenz-Werkzeug für diese Kanäle.
- Incrementality Testing für digitale Werbung: Test des inkrementellen Effekts von Search Ads, Display oder Social Ads auf Online- und Offline-Conversions, ohne auf Plattform-Attribution zu vertrauen.
- Preiselastizitätsmessung: Lokale Preisänderungen in Testregionen zur Messung der Preiselastizität ohne flächenweite Preisexposition.
- Store-Launch-Effekte: Messung der Omnichannel-Halo-Effekte neuer Filialeröffnungen auf den Online-Umsatz.
- MMM-Kalibrierung: Verwendung der Geo-Experiment-Ergebnisse als Ground Truth für die Validierung von Marketing Mix Models.