A/B-Testing ist eine Methode, mit der du zwei Versionen einer Webseite, App oder E-Mail gegeneinander testest, um herauszufinden, welche besser funktioniert. Eine Hälfte deiner Besucher sieht Version A, die andere Version B. Am Ende zählt nicht deine Meinung, sondern das Verhalten der Nutzer.
Klingt simpel. Ist es im Kern auch. Die Details — wie lange ein Test laufen muss, wann ein Ergebnis wirklich aussagekräftig ist, was du testen solltest — entscheiden aber darüber, ob du aus dem Test etwas lernst oder dir nur eine falsche Sicherheit einredest.
Die kurze Definition
A/B-Testing (auch Split-Testing genannt) ist ein kontrolliertes Experiment, bei dem Besucher zufällig auf zwei oder mehr Varianten einer Seite aufgeteilt werden. Jede Variante unterscheidet sich in genau einem Element — zum Beispiel Button-Farbe, Überschrift oder Preis-Darstellung. Anschließend wird gemessen, welche Variante das gewünschte Ziel (Kauf, Klick, Anmeldung) häufiger auslöst.
Wie läuft ein A/B-Test ab?
Ein sauberer A/B-Test folgt immer demselben Muster:
- Beobachtung — Du findest eine Stelle mit Optimierungspotenzial, meist über Analytics-Daten oder Nutzerfeedback.
- Hypothese — Du formulierst eine konkrete Annahme: „Wenn wir X ändern, steigt Y, weil Z.“
- Variante bauen — Du erstellst Version B mit genau einer Änderung gegenüber der Kontrollgruppe (Version A).
- Traffic aufteilen — Ein Testing-Tool zeigt beiden Gruppen zufällig eine der beiden Versionen.
- Laufzeit abwarten — Der Test läuft, bis genug Daten für ein belastbares Ergebnis vorliegen.
- Ergebnis auswerten — Du prüfst, ob der Unterschied statistisch signifikant ist, und rollst die bessere Variante aus.
Der Punkt, an dem die meisten Teams scheitern, ist Schritt 5. Ein Test nach zwei Tagen mit 40 Besuchern zu stoppen, weil Version B knapp vorne liegt, ist kein A/B-Test — das ist Zufall mit Tabellenkalkulation.
Statistische Signifikanz: Warum sie zählt
Statistische Signifikanz beschreibt, wie sicher du sein kannst, dass ein Unterschied zwischen A und B echt ist und nicht nur Zufall. Üblich ist ein Signifikanzniveau von 95 Prozent: Bei diesem Wert ist die Wahrscheinlichkeit, dass das Ergebnis zufällig zustande kam, kleiner als 5 Prozent.
Zwei Dinge beeinflussen, wie schnell du dahin kommst:
- Traffic-Volumen — Wenig Besucher bedeuten lange Laufzeiten oder unsichere Ergebnisse.
- Effektgröße — Kleine Unterschiede (2 Prozent Uplift) brauchen viel mehr Daten als große (20 Prozent Uplift).
Als Faustregel: Plane für die meisten Tests mit mindestens zwei bis vier Wochen Laufzeit, um saisonale Effekte (Wochentag, Zahltag, Aktionen) auszugleichen — nicht nur bis die Zahlen „signifikant“ aussehen.
A/B-Testing vs. Multivariate Testing
Bei einem klassischen A/B-Test änderst du ein Element. Beim multivariaten Test (MVT) testest du mehrere Elemente gleichzeitig in allen Kombinationen — zum Beispiel Headline, Bild und Button-Text zusammen. MVT liefert mehr Erkenntnis über Wechselwirkungen zwischen Elementen, braucht dafür aber deutlich mehr Traffic. Für die meisten Shops und B2B-Seiten mit begrenztem Traffic ist der klassische A/B-Test der praktikablere Einstieg.
Ein bekanntes Beispiel
Eines der meistzitierten A/B-Tests überhaupt kommt von Google: 2009 testete das Unternehmen 41 verschiedene Blautöne für Links, um herauszufinden, welcher am meisten Klicks bringt. Der damalige Google-UK-Manager Dan Cobley bezifferte den daraus resultierenden Mehrumsatz auf rund 200 Millionen US-Dollar pro Jahr. Die genaue Zahl lässt sich heute nicht mehr unabhängig verifizieren, aber der Test zeigt das Prinzip gut: Selbst winzige Design-Entscheidungen lassen sich messen statt raten.
Weniger anekdotisch, dafür besser belegt: Booking.com führt laut Harvard Business Review jährlich rund 25.000 A/B-Tests durch — an manchen Tagen laufen über 1.000 Experimente gleichzeitig. Testing ist dort kein Nebenprojekt, sondern fester Bestandteil der Produktentwicklung.
Die häufigsten Fehler beim A/B-Testing
- Zu früh stoppen. Ein früher Vorsprung einer Variante kippt oft wieder, wenn der Test weiterläuft.
- Zu viele Variablen gleichzeitig testen. Dann weißt du am Ende nicht, welche Änderung den Unterschied gemacht hat.
- Zu wenig Traffic für die gewählte Effektgröße. Kleine Shops sollten große, mutige Varianten testen statt Nuancen wie Button-Schattierungen.
- Ergebnisse ignorieren, wenn sie nicht ins Bild passen. Ein A/B-Test ist nur nützlich, wenn du bereit bist, dich von der eigenen Hypothese zu verabschieden.
Womit du A/B-Tests umsetzt
Für den Einstieg reichen oft die eingebauten Tools deiner Plattform (z. B. Shopify-Apps für Storefronts) oder dedizierte Testing-Tools wie VWO oder Optimizely, die sich per Snippet in bestehende Seiten einbinden lassen. Welches Tool zu deiner Situation passt, hängt vor allem von Traffic-Volumen und technischem Setup ab — dazu bald mehr in einem eigenen Tool-Vergleich hier im Blog.
Häufige Fragen
Wie lange sollte ein A/B-Test laufen?
Mindestens einen vollen Geschäftszyklus, meist zwei bis vier Wochen, damit Wochentags- und Zahltagseffekte nicht verzerren. Kürzere Laufzeiten liefern nur bei sehr hohem Traffic verlässliche Ergebnisse.
Wie viele Besucher brauche ich für einen A/B-Test?
Das hängt von deiner aktuellen Conversion-Rate und der erwarteten Effektgröße ab. Als grobe Orientierung: Je kleiner der erwartete Unterschied zwischen den Varianten, desto mehr Besucher brauchst du, um ihn statistisch sauber nachzuweisen.
Ist A/B-Testing nur für große Unternehmen sinnvoll?
Nein. Auch kleinere Shops profitieren, wenn sie sich auf wenige, dafür große Hypothesen konzentrieren statt viele kleine Tests gleichzeitig zu fahren.
Fazit
A/B-Testing ersetzt Bauchgefühl durch Daten. Die Methode selbst ist simpel: zwei Varianten, ein Unterschied, echte Nutzer entscheiden. Der Wert entsteht in der Disziplin drumherum — sauberen Hypothesen, ausreichender Laufzeit und der Bereitschaft, ein Ergebnis auch dann zu akzeptieren, wenn es der eigenen Idee widerspricht.
Wenn du wissen willst, wo bei dir das größte Testpotenzial liegt, ist ein Growth & Tracking Audit der richtige erste Schritt.
