Was ist A/B-Testing? Definition, Ablauf & Beispiele

A/B-Testing ist eine Methode, mit der Sie zwei Versionen einer Webseite, App oder E-Mail gegeneinander testen, um herauszufinden, welche besser funktioniert. Eine Hälfte Ihrer Besucher sieht Version A, die andere Version B. Am Ende zählt nicht Ihre Meinung, sondern das Verhalten der Nutzer.

Klingt simpel. Ist es im Kern auch. Die Details — wie lange ein Test laufen muss, wann ein Ergebnis wirklich aussagekräftig ist, was Sie testen sollten — entscheiden aber darüber, ob Sie aus dem Test etwas lernen oder sich nur eine falsche Sicherheit einreden.

Die kurze Definition

A/B-Testing (auch Split-Testing genannt) ist ein kontrolliertes Experiment, bei dem Besucher zufällig auf zwei oder mehr Varianten einer Seite aufgeteilt werden. Jede Variante unterscheidet sich in genau einem Element — zum Beispiel Button-Farbe, Überschrift oder Preis-Darstellung. Anschließend wird gemessen, welche Variante das gewünschte Ziel (Kauf, Klick, Anmeldung) häufiger auslöst.

Wie läuft ein A/B-Test ab?

Ein sauberer A/B-Test folgt immer demselben Muster:

1. Beobachtung — Sie finden eine Stelle mit Optimierungspotenzial, meist über Analytics-Daten oder Nutzerfeedback.
2. Hypothese — Sie formulieren eine konkrete Annahme: „Wenn wir X ändern, steigt Y, weil Z.“
3. Variante bauen — Sie erstellen Version B mit genau einer Änderung gegenüber der Kontrollgruppe (Version A).
4. Traffic aufteilen — Ein Testing-Tool zeigt beiden Gruppen zufällig eine der beiden Versionen.
5. Laufzeit abwarten — Der Test läuft, bis genug Daten für ein belastbares Ergebnis vorliegen.
6. Ergebnis auswerten — Sie prüfen, ob der Unterschied statistisch signifikant ist, und rollen die bessere Variante aus.

Der Punkt, an dem die meisten Teams scheitern, ist Schritt 5. Ein Test nach zwei Tagen mit 40 Besuchern zu stoppen, weil Version B knapp vorne liegt, ist kein A/B-Test — das ist Zufall mit Tabellenkalkulation.

Statistische Signifikanz: Warum sie zählt

Statistische Signifikanz beschreibt, wie sicher Sie sein können, dass ein Unterschied zwischen A und B echt ist und nicht nur Zufall. Üblich ist ein Signifikanzniveau von 95 Prozent: Bei diesem Wert ist die Wahrscheinlichkeit, dass das Ergebnis zufällig zustande kam, kleiner als 5 Prozent.

Zwei Dinge beeinflussen, wie schnell Sie dahin kommen:

• Traffic-Volumen — Wenig Besucher bedeuten lange Laufzeiten oder unsichere Ergebnisse.
• Effektgröße — Kleine Unterschiede (2 Prozent Uplift) brauchen viel mehr Daten als große (20 Prozent Uplift).

Wie Sie Ihre aktuelle Conversion Rate berechnen und welche Bezugsgröße dafür sinnvoll ist, erklärt der Artikel Conversion Rate berechnen.

Als Faustregel: Planen Sie für die meisten Tests mit mindestens zwei bis vier Wochen Laufzeit, um saisonale Effekte (Wochentag, Zahltag, Aktionen) auszugleichen — nicht nur bis die Zahlen „signifikant“ aussehen. Wie Auswertung und Rollout in der Praxis aussehen, beschreibt unser Überblick zur Conversion Rate Optimization.

A/B-Testing vs. Multivariate Testing

Bei einem klassischen A/B-Test ändern Sie ein Element. Beim multivariaten Test (MVT) testen Sie mehrere Elemente gleichzeitig in allen Kombinationen — zum Beispiel Headline, Bild und Button-Text zusammen. MVT liefert mehr Erkenntnis über Wechselwirkungen zwischen Elementen, braucht dafür aber deutlich mehr Traffic. Für die meisten Shops und B2B-Seiten mit begrenztem Traffic ist der klassische A/B-Test der praktikablere Einstieg.

Ein bekanntes Beispiel

Eines der meistzitierten A/B-Tests überhaupt kommt von Google: 2009 testete das Unternehmen 41 verschiedene Blautöne für Links, um herauszufinden, welcher am meisten Klicks bringt. Der damalige Google-UK-Manager Dan Cobley bezifferte den daraus resultierenden Mehrumsatz auf rund 200 Millionen US-Dollar pro Jahr. Die genaue Zahl lässt sich heute nicht mehr unabhängig verifizieren, aber der Test zeigt das Prinzip gut: Selbst winzige Design-Entscheidungen lassen sich messen statt raten.

Weniger anekdotisch, dafür besser belegt: Booking.com führt laut Harvard Business Review jährlich rund 25.000 A/B-Tests durch — an manchen Tagen laufen über 1.000 Experimente gleichzeitig. Testing ist dort kein Nebenprojekt, sondern fester Bestandteil der Produktentwicklung.

Die häufigsten Fehler beim A/B-Testing

• Zu früh stoppen. Ein früher Vorsprung einer Variante kippt oft wieder, wenn der Test weiterläuft.
• Zu viele Variablen gleichzeitig testen. Dann wissen Sie am Ende nicht, welche Änderung den Unterschied gemacht hat.
• Zu wenig Traffic für die gewählte Effektgröße. Kleine Shops sollten große, mutige Varianten testen statt Nuancen wie Button-Schattierungen.
• Ergebnisse ignorieren, wenn sie nicht ins Bild passen. Ein A/B-Test ist nur nützlich, wenn Sie bereit sind, sich von der eigenen Hypothese zu verabschieden.

Womit Sie A/B-Tests umsetzen

Für den Einstieg reichen oft die eingebauten Tools Ihrer Plattform (z. B. Shopify-Apps für Storefronts) oder dedizierte Testing-Tools wie VWO oder Optimizely, die sich per Snippet in bestehende Seiten einbinden lassen. Welches Tool zu Ihrer Situation passt, hängt vor allem von Traffic-Volumen und technischem Setup ab — dazu bald mehr in einem eigenen Tool-Vergleich hier im Blog.

Häufige Fragen

Fazit

A/B-Testing ersetzt Bauchgefühl durch Daten. Die Methode selbst ist simpel: zwei Varianten, ein Unterschied, echte Nutzer entscheiden. Der Wert entsteht in der Disziplin drumherum — sauberen Hypothesen, ausreichender Laufzeit und der Bereitschaft, ein Ergebnis auch dann zu akzeptieren, wenn es der eigenen Idee widerspricht. Wer A/B-Tests dauerhaft einsetzt, betreibt Conversion Rate Optimization als kontinuierlichen Prozess.

Wenn Sie wissen wollen, wo bei Ihnen das größte Testpotenzial liegt, ist ein Growth & Tracking Audit der richtige erste Schritt.