A/B-Test (E-Mail)

Definition: Ein A/B-Test – auch Split-Test genannt – ist im E-Mail-Marketing ein kontrolliertes Experiment, bei dem zwei Varianten einer E-Mail (Variante A und Variante B) an je eine zufällig ausgewählte Teilgruppe der Empfängerliste versendet werden. Ziel ist es, statistisch belastbar zu ermitteln, welche Variante vorher definierte Leistungskennzahlen (KPIs) wie Öffnungsrate, Klickrate oder Conversion-Rate besser erfüllt. Die siegreiche Variante wird anschließend an die verbleibenden Empfänger ausgespielt oder dient als Grundlage für künftige Kampagnen. A/B-Tests gelten als das wichtigste Werkzeug zur datengestützten, kontinuierlichen Optimierung im E-Mail-Marketing. Im Gegensatz zur reinen Intuition erlauben sie Marketern, Entscheidungen auf Basis empirischer Erkenntnisse zu treffen – und damit den Return on Investment jeder Kampagne systematisch zu steigern.

Erläuterung

A/B-Tests lassen sich auf nahezu jeden Bestandteil einer E-Mail anwenden. Am häufigsten werden Betreffzeilen und Preheader-Texte getestet, da sie den ersten Eindruck des Empfängers bestimmen und den größten Einfluss auf die Öffnungsrate haben. Eine veränderte Betreffzeile kann die Öffnungsrate um 10–30 % variieren lassen, ohne dass der eigentliche E-Mail-Inhalt sich ändert. Ebenso relevant sind Tests zu Call-to-Action-Formulierungen, Button-Farben und -Positionen, E-Mail-Layouts (z. B. einspaltiges vs. zweispaltiges Design), Personalisierungsgrad (mit vs. ohne Empfängername), Absendername und -adresse, Versandzeitpunkt und -wochentag sowie die Länge und Struktur des Textkörpers.

Für statistisch valide Ergebnisse sind mehrere Grundvoraussetzungen zu erfüllen. Die Stichproben für Variante A und B müssen ausreichend groß sein – Faustregel: mindestens 1.000 Empfänger pro Variante. Die Aufteilung sollte per Zufallsprinzip erfolgen, um Selektionsverzerrungen zu vermeiden. Außerdem darf pro Test immer nur ein einziges Element verändert werden; werden gleichzeitig Betreffzeile und Absenderadresse geändert, lässt sich nicht mehr ableiten, welche Änderung für die Ergebnisdifferenz verantwortlich war. Die Testablänge – typischerweise vier bis 48 Stunden – muss so gewählt sein, dass ein vollständiger Nutzungszyklus abgedeckt wird. Ein Test, der um 9 Uhr morgens gestartet und nach zwei Stunden ausgewertet wird, erfasst nicht das Verhalten von Nutzern, die erst abends ihre E-Mails lesen.

Statistisch gesehen sollte ein A/B-Test ein Konfidenzniveau von mindestens 95 % erreichen, bevor ein Gewinner erklärt wird. Viele E-Mail-Marketing-Plattformen berechnen diesen Wert automatisch. Wer die Berechnung selbst durchführen möchte, benötigt die Stichprobengröße beider Gruppen sowie die jeweiligen Konversionsraten und kann ein Chi-Quadrat-Test oder einen Z-Test heranziehen.

Testbare Elemente im Überblick

Betreffzeile: Länge, Emoji-Einsatz, Frage vs. Aussage, Personalisierung, Dringlichkeitssignale
Preheader: Ergänzung oder Wiederholung der Betreffaussage, konkrete Nutzenversprechen
Absender: Firmenname vs. persönlicher Name, verschiedene Absenderadressen
Versandzeitpunkt: Wochentag, Uhrzeit, Zeitzone der Zielgruppe
CTA (Call to Action): Formulierung, Farbe, Größe, Position im Layout
Content-Format: Nur Text vs. HTML, Bildlastig vs. textlastig
Personalisierung: Dynamische Anrede, personalisierte Produktempfehlungen
E-Mail-Länge: Kurze Zusammenfassung mit Link vs. ausführlicher Inhalt direkt in der E-Mail

Häufige Fehler beim A/B-Testen

Zu kleiner Stichprobenumfang: Ergebnisse unter 500 Empfängern pro Variante sind kaum statistisch aussagekräftig.
Vorzeitiger Abbruch: Den Test zu beenden, sobald eine Variante vorne liegt, führt zu falsch-positiven Ergebnissen (Peeking Problem).
Mehrere Variablen gleichzeitig: Verhindert die Kausalzuordnung – besser multivariate Tests bei ausreichender Listengröße.
Fehlende Dokumentation: Testergebnisse, die nicht archiviert werden, können nicht als institutionelles Wissen genutzt werden.
Einmaliger Test ohne Replikation: Ein einzelnes Testergebnis kann auf Zufall beruhen; wiederholte Tests erhöhen die Verlässlichkeit.

A/B-Test vs. Multivariater Test

A/B-Test: Testet eine Variable, benötigt weniger Traffic, einfacher auszuwerten – ideal für die meisten E-Mail-Listen.
Multivariater Test: Testet mehrere Variablen gleichzeitig in verschiedenen Kombinationen, benötigt deutlich mehr Empfänger (oft 10.000+), liefert differenziertere Erkenntnisse zu Wechselwirkungen zwischen Elementen.

Praxistipp: Führen Sie A/B-Tests systematisch mit einer schriftlichen Hypothese durch, bevor Sie die Kampagne anlegen. Formulieren Sie z. B.: „Wir erwarten, dass eine fragenbasierte Betreffzeile die Öffnungsrate um mindestens 5 % erhöht, weil sie Neugier weckt." Dokumentieren Sie Ergebnis, Stichprobengröße und Konfidenzniveau in einer zentralen Tabelle. So entsteht über Monate hinweg ein firmeneigenes Wissensarchiv, das neue Hypothesen speist und verhindert, dass bereits gewonnene Erkenntnisse in Vergessenheit geraten. Priorisieren Sie Betreffzeilen-Tests als Einstieg – sie sind schnell aufgesetzt, liefern rasch messbare Ergebnisse und bieten den größten Optimierungshebel mit dem geringsten Aufwand.