STATISTIK-FORUM.de

[Benh]

Hallo,

im Rahmen eines A/B-Tests, bei dem eine alte mit einer neuen App-Version verglichen wird, ist eine Stichprobenschaetzung notwendig.
Die abhaengige Variable ist eine Proportion, daher ist der Chi-Quadrat-Test die Wahl. Ich habe die Stichprobengroessenschaetzung mit Hilfe von Formeln und G*Power berechnet und komme damit auf ein anderes Ergebnis als einschlaegige Online-Rechner (z.B. https://www.evanmiller.org/ab-testing/sample-size.html oder https://www.abtasty.com/sample-size-calculator/).
Daher lautet meine Frage: Habe ich alles richtig gemacht und wenn nicht, wo liegt mein Fehler. Koennte das Problem darin liegen, dass ich einen gerichteten Test gemacht habe waehrend die Online-Rechner einen ungerichteten Test annehmen?

Die Hypothese lautet: Bei der neuen App ist die Anzahl der Benutzer, die einen Kauf taetigen mindestens 5% hoeher als bei der alten Version.

Proportion Kaeufe alte App: 80%
Proportion keine Kaeufe alte App: 20%

Das Testkriterium ist also 5% (wir wollen einen Effekt von 5% in 80% (Power) der Faelle entdecken wollen, wenn wirklich ein Effekt da ist.

Ein Anstieg von 5% wuerde zu 84% Proportion von Kaeufen fuehren (80% x 1,05), 16% keine Kaeufe entsprechend.
Die Tabelle saehe dann so aus:
Kauf Kein Kauf
Alt 80 20
Neu 84 16

Die resultierenden statistischen Werte sind:
X-Quadrat: 0.542
Effektgroesse (w): 0.052

Das habe ich dann in G*Power eingegeben (leider kann ich keine Dateien hochladen, aber Screenshot gerne per PN) und komme auf das Ergebnis, dass eine Stichprobengroesse von 2274 noetig ist.
Laut den open verlinkten Online-Rechnern ist eine Stichprobengroesse von 1602 x 2 = 3204 noetig.

Vielen Dank schon mal fuer eure Antworten und beste Gruesse,
ben

[PonderStibbons]

Die abhaengige Variable ist eine Proportion, daher ist der Chi-Quadrat-Test die Wahl.

Nur nebenbei, die AV ist eine kategoriale (binäre) Variable Kauf/Nichtkauf. Die relativen Häufigkeiten sind Aggregationen dieser AV.

Die resultierenden statistischen Werte sind:
X-Quadrat: 0.542

Wieso hast Du einen Chi²-Wert? Es geht um Verhältnisse in Grundgesamtheiten, nicht um Stichprobenstatistiken.

Du musst die Formel verwenden, die nur Anteilswerte enthält, keine Häufigkeiten.
https://de.wikipedia.org/wiki/Effektst% ... d_Cohens_w


HTH

PonderStibbons

[Benh]

Die Stichprobengroessenschaetzung (hier ausgefuehrt in G*Power) benoetigt eine Effektgroesse w. Diese ergibt sich aus der theoretischen Verteilung, wenn der Effekt von 5% eintraete (das ist in der Tabelle dargestellt). Solche oder groessere Effekte moechte ich ja detektieren koennen.