STATISTIK-FORUM.de

[Cango]

Hallo!

Ich möchte für einen Webshop einen A/B-Test implementieren. Für binomiale Parameter wie die Konversions-Rate habe ich dies schon hinbekommen, allerdings würde ich nun gerne auch schauen, ob sich z.B. der erzielte Umsatz pro Besucher einer Test-Variation signifikant vom bisherigen unterscheidet.

Ich habe also an Werten die Zahl der Besucher, die die bisherige Variante/die zu testende Variante gesehen haben, und welche Bestellungen in welcher Höhe für beide Varianten eingegangen sind - einzelne Werte, aus denen ich natürlich Summen, Durchschnitt, Varianz usw berechnen kann.

Leider konnte ich bisher so gut wie nichts Konkretes darüber finden, wie hier vorzugehen ist, jedenfalls nicht genug, um es anwenden zu können. Meist wird nur auf fertige Lösungen verwiesen, ich würde es aber gerne selbst hinkriegen. Könnt Ihr mich bitte in die richtige Richtung stupsen?

[PonderStibbons]

ob sich z.B. der erzielte Umsatz pro Besucher einer Test-Variation signifikant vom bisherigen unterscheidet.

Nota bene heißt statistisch signifikant nicht relevant, groß, bedeutsam.
Nur, dass man eine Nullhypothese ("in der Grundgesamtheit, aus der die
Daten stammen, ist der Unterschied exakt 0,000000...") verwerfen kann.

Sollte Dich das interessieren, kannst du den Umsatz-Mittelwert zwischen den
beiden Gruppen (Personen in Bedingung A versus Personen in Bedingung B)
mittels t-Test vergleichen. Vermutlich hast Du viele Null-Werte (Personen
ohne Umsatz), aber das wäre in Kauf zu nehmen, sofern die Stichproben
mehrere hundert Fälle umfassen.

Womöglich aber interessiert Dich eine Abschätzung der Größe des
Effekts, nicht nur der Signifikanztest. Dann käme eine Beschäftigung
mit sowas wie dem BEST in Frage http://www.sumsar.net/best_online/

Mit freundlichen Grüßen

PonderStibbons

[Cango]

Danke für Deine Antwort! Meine Idee war, zu sagen: "Wenn es einen Anstieg im durchschnittlichen Umsatz gibt, kann man zu mehr als 95% sagen, dass dieser nicht zufällig ist".

BEST sieht... erstmal komplex aus, ich schätze, ich werde etwas brauchen, um das zu verstehen und dann auch noch umzusetzen. Aber klar, wäre es natürlich schön, auch die Größe des Effekts abschätzen zu können.

[PonderStibbons]

Danke für Deine Antwort! Meine Idee war, zu sagen: "Wenn es einen Anstieg im durchschnittlichen Umsatz gibt, kann man zu mehr als 95% sagen, dass dieser nicht zufällig ist".

Das wäre eine Fehlinterpretation eines statistischen Signifikanztests.
Der kann nicht sagen, ob eine Hypothese zu 95% richtig oder falsch
ist. Sondern ob die Stichproben-Daten zur Nullhypothese passen.

BEST sieht... erstmal komplex aus,

Muss ja nicht sein. Was Du machen kannst, um einen Eindruck zu
gewinnen, wie variabel die Ergebnisse sein können, kannst Du Dir auch
beim t-Test ein 95% Konfidenzintervall für den Mittelwertunterschied
ausgeben lassen. Ist zwar ebenfalls nicht das, wonach es aussieht
(es ist leider nicht "zu 95% liegt der Populations-Unterschied zwischen
diesen beiden Grenzen"), aber reicht vielleicht für den Hausgebrauch.

Mt freundlichen Grüßen

PonbderStibbons

[Cango]

Das wäre eine Fehlinterpretation eines statistischen Signifikanztests.

Okay, vlt. habe ich mich zu flapsig ausgedrückt (oder ich habe es doch nicht verstanden)

Bei der binomialen Fragestellung (z.B. nach der Frage, ob die Konversionsrate gestiegen ist), gehe ich so vor:
- Nullhypothese: Die Konversionsrate der alten Variation ist nicht geringer als die Konversionsrate der zu testenden Variation.
- Ich gehe von einer Normalverteilung aus, berechne den Z-Wert und kann daraus dann berechnen, mit welcher Wahrscheinlichkeit ich die Nullhypothese fälschlicherweise abgelehnt habe (Irrtumswahrscheinlichkeit oder Fehler 1. Art).

Analog dachte ich beim Umsatz (mit der "Hausgebrauchs"-Lösung):
- Nullhypothese: Der Umsatz der alten Variation ist nicht geringer als der Umsatz der zu testenden Variation.
- Wie erhalte ich hier konkret die Wahrscheinlichkeit, dass ich die Nullhypothese fälschlicherweise ablehne?
Wobei sich hier zumindest das Internet zu streiten scheint, welche Verteilung nun ansetzen ist (z.B. http://blog.analytics-toolkit.com/2017/ ... n-aov-rpu/)


Ich denke, ich könnte auch BEST umsetzen, wenn ich konkrete Schritte hätte, denen ich einfach "nachgehen" könnte. Da das Ganze zwar für einen kleinen Webshop ist, aber natürlich damit nicht unkommerziell, wäre für diese Arbeit auch eine Entlohnung möglich.

[PonderStibbons]

- Ich gehe von einer Normalverteilung aus, berechne den Z-Wert und kann daraus dann berechnen, mit welcher Wahrscheinlichkeit ich die Nullhypothese fälschlicherweise abgelehnt habe (Irrtumswahrscheinlichkeit oder Fehler 1. Art).

Nein. Der statistische Signifikanztest sagt, ob Deine Stichproben-Daten unter der Nullhypothese gut
möglich oder auch extrem unwahrschenlich sind. Hast Du die Nullhypothese: "[In der Grundgesamtheit,
aus der die Daten stammen ist] A=B=50%" und Deine Stichprobe liefert 55% zu 45%, dann kannt der Test
ermitteln, wie gut das (bei gegebener Stichprobengröße!) zu der Nullhypothese passt. Passt es nicht gut
(konventionell p < 5%), verwirft man die Nullhypothese.

- Wie erhalte ich hier konkret die Wahrscheinlichkeit, dass ich die Nullhypothese fälschlicherweise ablehne?

Bei statistischen Signifikanztests nie. Die drehen sich nicht um die Wahrscheinlichkeit von Hypothesen angesichts
von Daten, sondern um die Wahrscheinlichkeit von Daten angesichts von Nullhypothesen ("the hypothesis to be nullified").
Ein Signifikanztest ist in der Praxis ein Entscheidungsverfahren über eine Nullhypothese (ablehnen/beibehalten) und
sagt nichts über Größe und Wahrscheinlichkeit "wahrer" Unterschiede aus.

Hingegen die Wahrscheinlichkeit von Hypothesen wird mit der sogenannten Bayes-Statistik ermittelt,
wie bei dem BEST der Fall.

Signifikanztesterei ist einfach durchfzuführen, aber die Ergebnisse sind schwer zu interpretieren,
weil man dauernd um die Ecke denken muss.

Bayes ist schwierig durchzuführen, aber die Ergebnisse sind leicht zu interpretieren, weil sie dem
entsprechen, was einen tatsächlich interessiert ("wie groß ist ein Effekt zu schätzen und wie zuverlässig
ist diese Schätzung").

Wobei sich hier zumindest das Internet zu streiten scheint, welche Verteilung nun ansetzen ist (z.B. http://blog.analytics-toolkit.com/2017/ ... n-aov-rpu/)

Kann ich nichts zu sagen. Für Mittelwertvergleiche nimmt man gewöhnlich den t-Test.

Mit freundlichen Grüßen

PonderStibbons