Die meisten Tests scheitern nicht an der Idee, sondern an Laufzeit und Auswertung. Ein A/B-Test ist ein kontrolliertes Experiment, kein Geschmacksurteil mit Zahlen dahinter, und genau diese Unterscheidung entscheidet über den Wert des Ergebnisses. Vorgehen, Werkzeuge und die Grenzen der Methode.

Was ein A/B-Test beantwortet und was nicht

Beim A/B-Test sehen zwei zufällig aufgeteilte Besuchergruppen zwei Fassungen derselben Seite. Am Ende steht, welche Fassung häufiger zum definierten Ziel führt.

Was der Test leistet: Er misst eine Wirkung unter realen Bedingungen, mit echten Besuchern, und trennt sie von saisonalen Schwankungen, weil beide Gruppen im gleichen Zeitraum messen.

Was er nicht leistet: Er erklärt nicht, warum eine Fassung gewinnt. Er sagt nichts über Besucher außerhalb des Testzeitraums. Und er beantwortet keine Frage, die vorher nicht präzise gestellt wurde. Für das Warum brauchen Sie andere Werkzeuge: Aufzeichnungen von Sitzungen, Heatmaps, Nutzerinterviews, Auswertung von Suchanfragen und Support-Anfragen. Beide Zugänge ergänzen sich, sie ersetzen sich nicht.

Testarten im Überblick

Art Was verglichen wird Wann sinnvoll
A/B-Test zwei Fassungen einer Seite, eine Änderung Standardfall, klare Einzelfrage
Split-URL-Test zwei getrennte URLs größere Umbauten, unterschiedliche Templates
Multivariater Test mehrere Elemente in Kombination nur bei viel Traffic, sonst ohne Aussagekraft
Serverseitiger Test über Feature-Flag Varianten in der Anwendung selbst Funktionen, Preislogik, alles ohne DOM-Manipulation

Quelle: Produktdokumentationen der Testanbieter (abgerufen August 2026). Multivariate Tests sind der häufigste Selbstbetrug: Die nötige Stichprobe wächst mit jeder Kombination, und die meisten Websites erreichen sie nicht.

Der Ablauf, der Ergebnisse haltbar macht

Beobachtung vor Idee

Ein Test beginnt mit einer Stelle, an der die Seite messbar verliert. Kandidaten liefern der Trichter in Google Analytics 4, Formularabbrüche, Absprünge auf Seiten mit hohem Anteil bezahlten Traffics und die Suchanfragen auf der eigenen Website. Wer stattdessen mit einer Designidee beginnt, testet Meinungen.

Hypothese, die falsifizierbar ist

Eine brauchbare Hypothese nennt Änderung, Wirkung, Mindesteffekt und Begründung. Beispiel: „Wenn die Anfrage auf drei Pflichtfelder reduziert wird, steigt die Abschlussrate des Formulars um mindestens 15 Prozent, weil die Abbruchquote laut Aufzeichnungen im Feld Telefonnummer am höchsten ist."

Der Mindesteffekt ist der Teil, den die meisten weglassen, und er ist rechnerisch der wichtigste: Ohne ihn lässt sich die nötige Stichprobengröße nicht bestimmen. Anbieter arbeiten hier mit Voreinstellungen, Optimizely etwa mit zehn Prozent Mindesteffekt und 90 Prozent Signifikanzniveau.¹

Laufzeit und Stichprobe

Die nötige Stichprobe folgt aus drei Größen: der aktuellen Conversion Rate, dem angestrebten Mindesteffekt und dem Signifikanzniveau. Jeder Anbieter stellt dafür einen Rechner bereit; das Ergebnis vor dem Start zu kennen, verhindert die meisten Enttäuschungen.

Zur Laufzeit gibt Optimizely eine klare Untergrenze: mindestens ein Geschäftszyklus, also sieben Tage.¹ Der Grund ist nicht Statistik, sondern Verhalten: Montage sehen anders aus als Sonntage, und ein Test über vier Werktage misst eine Teilmenge Ihrer Besucher.

Zwei ehrliche Hinweise dazu:

  • Die verbreiteten Faustregeln „mindestens zwei Wochen" oder „mindestens 100 Conversions je Variante" sind in den Dokumentationen der Anbieter nicht in dieser Form belegt. Sie sind Konvention, nicht Norm.
  • Wenn der Rechner eine Laufzeit von zwölf Wochen ausgibt, ist die Antwort nicht ein längerer Test, sondern eine andere Methode oder eine größere Änderung.

Auswerten ohne Selbstbetrug

Der teuerste Fehler heißt Zwischenschauen: Wer täglich prüft und beim ersten deutlichen Vorsprung abbricht, erhöht die Wahrscheinlichkeit, Zufall für Wirkung zu halten. Wie damit umzugehen ist, hängt vom Verfahren des Werkzeugs ab:

  • Sequenzielle Verfahren sind für laufende Auswertung gebaut. Optimizelys Stats Engine arbeitet nach eigener Darstellung mit jederzeit gültigen Ergebnissen und macht eine vorab festgelegte Fallzahl verzichtbar.¹ Das gilt allerdings nur für dieses Verfahren: Optimizely bietet daneben eine frequentistische Fixed-Horizon-Methode an, die Stichprobengröße und Auswertungsplan wieder ausdrücklich vor dem Start verlangt.¹
  • Bayessche Verfahren liefern Wahrscheinlichkeiten statt Signifikanzen. VWO setzt auf eine bayessche sequenzielle Engine mit konfigurierbarem Mindesteffekt, Toleranzbereich und Fehlerrate, inklusive Korrektur bei mehreren Varianten.²
  • Klassische frequentistische Verfahren verlangen die vorab bestimmte Stichprobe. GrowthBook verwendet Bayes als Standard und bietet sequenzielles Testen ausdrücklich als Schutz gegen Zwischenschauen in der frequentistischen Engine an, weist aber darauf hin, dass früher Abbruch auch bei bayesschen Kennzahlen die Fehlerrate erhöhen kann.³

Und unabhängig vom Verfahren: Ein Test ohne Effekt ist kein verlorener Test. Er schließt eine Hypothese aus, und das ist die Hälfte der Arbeit.

Wann A/B-Tests die falsche Methode sind

Sagen Sie es früh, wenn die Voraussetzungen fehlen. Bei wenigen hundert Zielabschlüssen im Monat wird ein Test mit realistischem Mindesteffekt nie aussagekräftig. Dann liefern andere Wege mehr:

  1. Qualitative Beobachtung. Fünf begleitete Nutzungen decken mehr Reibung auf als ein Test, der nie signifikant wird.
  2. Offensichtliche Mängel beheben. Fehlende Preisangaben, kaputte mobile Formulare, unklare Angebote brauchen keinen Test, sondern eine Korrektur.
  3. Größere Änderungen wagen. Wenn die Stichprobe knapp ist, testen Sie keine Buttonfarbe, sondern eine andere Argumentation, ein anderes Angebot, eine andere Seitenstruktur.
  4. Vorher-Nachher mit Vorsicht. Sequenzielle Vergleiche sind anfällig für Saisonalität und externe Effekte. Als Indiz brauchbar, als Beweis nicht.

Welche Hebel auf Landingpages überhaupt in Frage kommen, ordnet der Beitrag zur Landing Page Optimierung ein. Welche Wirkmechanismen dahinterstehen, behandeln die psychologischen Effekte im Marketing.

Ohne SEO-Schaden testen: was Google verlangt

Ein oft übersehener Teil, obwohl Google dazu eine eigene, im Dezember 2025 aktualisierte Dokumentation führt.⁴ Die Kernpunkte:

  • Kein Cloaking. Googlebot darf keine andere Fassung sehen als Nutzer. Wer Testvarianten nach User-Agent ausliefert, riskiert eine Bewertung als Verstoß.
  • Bei mehreren Test-URLs ein Canonical-Tag auf das Original. Google nennt das ausdrücklich als bessere Lösung als noindex.
  • Während des Tests eine 302-Weiterleitung, keine 301. Eine dauerhafte Weiterleitung signalisiert einen endgültigen Umzug, den Sie nicht vorhaben.
  • Tests nur so lange laufen lassen wie nötig. Ein seit einem Jahr laufender Test ist kein Test, sondern ein Zustand.

Wer im gleichen Zug an der technischen Umsetzung arbeitet, findet die passende Einordnung unter technisches SEO. Ein praktischer Zusatzhinweis: Clientseitige Testwerkzeuge verzögern das Rendern, wenn sie die Variante erst im Browser aufbauen. Bei knappen Ladezeitwerten ist ein serverseitiger Test die sauberere Lösung.

Der Werkzeugmarkt 2026

Zwei Ereignisse haben die Landschaft verändert, und beide sind für Auswahlentscheidungen relevant:

  • VWO und AB Tasty haben ihren Zusammenschluss im Januar 2026 bekannt gegeben, unter Führung eines Kapitalgebers und mit dem Ziel einer gemeinsamen Plattform.⁵ Damit gehen zwei der im europäischen Markt wichtigsten Anbieter zusammen, gemeinsam nach eigenen Angaben mit über 4.000 Kunden. Als europäisch gilt davon nur AB Tasty: VWO gehört zu Wingify mit Sitz in Neu-Delhi, der Kapitalgeber ist in Singapur und Indien verankert. Wer aus Datenschutzgründen gezielt einen Anbieter in der EU sucht, sollte das im Blick behalten. Wer eines der beiden Werkzeuge einsetzt oder auswählt, sollte Roadmap und Vertragslaufzeiten prüfen.
  • **Statsig wurde im September 2025 von OpenAI übernommen.**⁶ Das ist ein Signal für die Richtung, in die sich Experimentieren bewegt: weg von der Oberflächen-Variante, hin zum Feature-Flag in der Anwendung.

Weiter am Markt vertreten sind unter anderem Optimizely, Kameleoon, Convert, GrowthBook und Adobe Target; belastbare Belege für Einstellungen oder Übernahmen bei diesen Anbietern liegen nicht vor.

Zu Google selbst gehören zwei Klarstellungen, weil die Frage regelmäßig kommt:

  • Google Optimize und Optimize 360 wurden am 30. September 2023 abgeschaltet. Google verweist seither auf Integrationen von Drittanbietern mit GA4, namentlich AB Tasty, Optimizely und VWO; für Apps bleibt Firebase A/B Testing.⁷
  • Google Ads bietet Kampagnen-Experimente, mit denen sich Anzeigen, Gebote und Einstellungen vergleichen lassen, bis zu fünf geplante Experimente pro Kampagne, von denen jeweils nur eines laufen kann.⁸ Das sind keine Website-Tests. Für Varianten Ihrer Seiten gibt es bei Google heute kein Werkzeug.

Testen als Routine, nicht als Projekt

Der Ertrag entsteht nicht im einzelnen Test, sondern in der Reihenfolge. Ein Rhythmus, der in der Praxis funktioniert:

  • Eine Liste, nicht ein Bauchgefühl. Alle Testideen mit erwartetem Effekt, Aufwand und benötigter Stichprobe. Priorisiert wird nach Verhältnis, nicht nach Begeisterung.
  • Ein Test pro Seite gleichzeitig. Parallele Tests auf derselben Strecke verfälschen sich gegenseitig.
  • Dokumentation, die den Personalwechsel übersteht. Hypothese, Laufzeit, Stichprobe, Ergebnis, Entscheidung. Ohne diese fünf Zeilen wird dieselbe Frage in zwei Jahren erneut getestet.
  • Gewinner sauber ausrollen und nachmessen. Der Effekt im Test ist eine Schätzung. Was nach dem Rollout übrig bleibt, ist die Wahrheit.

Eine Grenze zum Schluss: Auch eine gewinnende Variante darf nicht mit irreführenden Angaben arbeiten. Maßstab dafür ist auf einer gewöhnlichen Unternehmensseite das Irreführungsverbot des UWG, nicht der Digital Services Act, dessen Artikel 25 sich an Anbieter von Online-Plattformen richtet und ohnehin zurücktritt, wo Lauterkeits- oder Datenschutzrecht greift.⁹ Ein Test, der eine erfundene Verknappung zum Sieger erklärt, hat ein rechtliches Ergebnis produziert, kein Optimierungsergebnis.

Häufige Fragen zu A/B-Tests

Wie lange muss ein A/B-Test laufen?

Mindestens einen vollständigen Geschäftszyklus, also sieben Tage, damit Wochentagseffekte nicht das Ergebnis prägen; so die Empfehlung von Optimizely. Die tatsächlich nötige Dauer folgt aus Conversion Rate, angestrebtem Mindesteffekt und Signifikanzniveau und wird vor dem Start berechnet, nicht während des Tests geschätzt.

Wie viele Besucher brauche ich für einen A/B-Test?

Das lässt sich nicht pauschal beantworten. Die Stichprobengröße hängt von der aktuellen Conversion Rate und dem Effekt ab, den Sie erkennen wollen: Je kleiner der erwartete Unterschied, desto größer die nötige Menge. Verbreitete Faustregeln sind Konvention und in den Anbieterdokumentationen nicht belegt.

Darf ich einen laufenden A/B-Test zwischendurch auswerten?

Das hängt vom statistischen Verfahren ab. Sequenzielle Verfahren sind dafür gebaut. Bei klassischen frequentistischen Auswertungen erhöht das Zwischenschauen mit vorzeitigem Abbruch die Wahrscheinlichkeit falsch positiver Ergebnisse.

Schaden A/B-Tests dem Google-Ranking?

Nicht, wenn Sie Googles Vorgaben einhalten: keine unterschiedlichen Inhalte für Googlebot, bei mehreren Test-URLs ein Canonical-Tag auf das Original, während des Tests 302 statt 301 und keine unbegrenzte Laufzeit.

Gibt es Google Optimize noch?

Nein. Google Optimize und Optimize 360 wurden am 30. September 2023 abgeschaltet. Google verweist auf Drittanbieter mit GA4-Integration; für Apps bleibt Firebase A/B Testing verfügbar.

Quellen

  1. Optimizely, Support-Dokumentation zu Testlaufzeit und Stichprobengröße, zur Stats Engine sowie zur Übersicht der statistischen Verfahren (Stand 20.06.2025).
  2. VWO, Dokumentation zu Enhanced SmartStats (abgerufen August 2026).
  3. GrowthBook, Dokumentation zu statistischen Verfahren und sequenziellem Testen (abgerufen August 2026).
  4. Google Search Central, „Website testing and Google Search" (zuletzt aktualisiert 10.12.2025).
  5. VWO und AB Tasty, Mitteilung zum Zusammenschluss vom 20.01.2026.
  6. OpenAI, Mitteilung zur Übernahme von Statsig vom 02.09.2025.
  7. Google, Hinweis zur Abschaltung von Google Optimize am 30.09.2023 inklusive genannter Nachfolgeoptionen (abgerufen August 2026).
  8. Google Ads-Hilfe, Kampagnen-Experimente (abgerufen August 2026).
  9. Gesetz gegen den unlauteren Wettbewerb, Irreführungsverbot; zur Abgrenzung Verordnung (EU) 2022/2065 (Digital Services Act), Artikel 25 Absatz 1 und 2, Kapitel III Abschnitt 3.

Verwandte Themen