Bayes A/B-Test-Rechner

Interaktiv

Bayes A/B-Test-Rechner

Dieser Rechner benötigt JavaScript. Das Modell dahinter: Je Variante wird die Konversionsrate mit einem Beta(1, 1)-Prior und der Binomial-Likelihood geschätzt; daraus folgen $P(p_B > p_A)$, der erwartete Verlust und das Uplift-Intervall.

Was der Rechner berechnet

Für jede Variante ist der Posterior der Konversionsrate eine Beta-Verteilung: Mit $x$ Conversions bei $n$ Besuchern und flachem Prior gilt $p \mid x \sim \Beta(1 + x,\; 1 + n - x)$. Daraus ergeben sich drei Kennzahlen:

• $P(p_B > p_A)$ – die Wahrscheinlichkeit, dass B die höhere Rate hat. Sie wird exakt mit der geschlossenen Formel für zwei Beta-Verteilungen berechnet (Miller 2015).
• Erwarteter Verlust – wie viel Konversionsrate man im Mittel verschenkt, wenn man sich für eine Variante entscheidet und die andere in Wahrheit besser ist. Für die Wahl von B ist das $\E[\max(p_A - p_B, 0)]$. Diese Größe eignet sich als Entscheidungsregel: Man wählt eine Variante, sobald ihr erwarteter Verlust unter einer vorab festgelegten Toleranz liegt (Stucchio 2015).
• Relativer Uplift $p_B / p_A - 1$ – als Verteilung aus 40.000 Monte-Carlo-Ziehungen, mit Median und 95-%-Intervall.

Zum Vergleich zeigt der Rechner den p-Wert des klassischen Zwei-Stichproben-z-Tests. Er beantwortet eine andere Frage: wie überraschend die Daten wären, wenn beide Varianten gleich gut wären.

So lesen Sie das Ergebnis

1. Regel vorher festlegen. Toleranz für den erwarteten Verlust und den Mindest-Uplift, der geschäftlich zählt, gehören vor den Test – nicht danach.
2. Nicht nur auf $P(B > A)$ schauen. Eine hohe Wahrscheinlichkeit für einen winzigen Vorteil ist etwas anderes als eine mittlere Wahrscheinlichkeit für einen großen. Das Uplift-Intervall zeigt die Größenordnung.
3. Voraussetzungen prüfen. Das Modell nimmt unabhängige Besuche und eine über den Testzeitraum stabile Rate an. Ungleich verteilte Besucher (Sample Ratio Mismatch), Neuheitseffekte oder viele parallel geprüfte Metriken muss man gesondert betrachten.

Die ausführliche Herleitung, typische Fehler und die Frage, wann man einen Test beenden darf, erklärt der Artikel zum Bayes A/B-Test.

Quellen und weiterführende Literatur

1. OnlineMiller, E. (2015): Formulas for Bayesian A/B Testing.
2. BerichtStucchio, C. (2015): Bayesian A/B Testing at VWO. Whitepaper, Visual Website Optimizer.