STATISTIK-FORUM.de

[fortuneNext]

Hi,

ich habe zwei Bernulli-Experimente mit unbekannten p1 und p2. Mich interessiert, welche Wahrscheinlichkeit größer ist und wie groß die Größere ist.

Mein Vorgehen ist also, erstmal beide Experimente mit n (ca. 1000?) Durchläufen durchzuführen, um ^p1 und ^p2 zu bekommen. Liegen sie weit auseinander, bin ich mit dem größeren Ergebnis glücklich.

Liegen sie jedoch nah beieinander, muss ich für einen zuverlässigen Vergleich meine Stichprobengröße auf N erhöhen. Wie errechne ich einen guten Wert für N, um mir (mit Wahrscheinlichkeit a?) sicher zu sein, dass das richtige Maximum gewählt wird?

Für mich muss das nicht komplett exakt sein, aber ich stelle mir vor: Ich habe zum Beispiel p1=41,2003% und p2=42,4888%, für n=1000 ist das zu aussagelos. Wie groß muss ich N wählen, damit ich mit in der ersten Nachkommastelle relativ (Wk. a?) sicher sein kann?
(Ich könnte natürlich, wenn die dann immer noch gleich sind, immer wieder die Stichprobengröße erhöhen, aber das ist out of scope).

Relativ einfach kann ich mit den vorhandenen Tabellen errechnen, wie groß die Wahrscheinlichkeit bei gegebenem n ist, dass ich mich um weniger als 0.1% vertan habe - aber wie funktioniert das andersrum, wenn ich festlegen will, um wieviel ich mich vertun darf und die nötige Stichprobengröße herausfinden will?

[PonderStibbons]

Vielleicht geht es in diese Richtung
https://www.medcalc.org/manual/samplesi ... rtions.php
https://select-statistics.co.uk/calcula ... oportions/

Mit freundlichen Grüßen

PonderStibbons

[fortuneNext]

Vielleicht geht es in diese Richtung
https://www.medcalc.org/manual/samplesi ... rtions.php
https://select-statistics.co.uk/calcula ... oportions/

Mit freundlichen Grüßen

PonderStibbons

Das scheint mir schonmal ein guter Hinweis! Allerdings verstehe ich noch nicht so ganz, wofür ich diese "Power" brauche, ich vermute, dass die durch meinen iterativen Ansatz obsolet wird. Ich brauche ja auch keine Power für die andere Richtung (Konfidenzintervalle bei gegebenem n), warum brauche ich sie für diese?

Viele Grüße

[PonderStibbons]

Isz vielleicht doch nicht das Passende. Es handelt sich um die a priori Frage, wie groß eine Stichprobe
sein sollte, damit ein gegebener Unterschied (z.B. 0,1%) zuverlässig ein Konfidenzintervall hat,
das nicht die Null enthält. Du hast anscheinend eine Frage zur Zuverlässigkeit a posteriori,
also "gegeben ein Unterschied +0,1%, wie sicher kann ich sein, dass der Unterschied tatsächlich
> 0 ist". Das geht vielleicht in Richtung Bayes-Statistik, so wie dies
https://www.dynamicyield.com/blog/free- ... lculators/
https://abtestguide.com/bayesian/

Mit freundlichen Grüßen

PonderStibbons

[fortuneNext]

Isz vielleicht doch nicht das Passende. Es handelt sich um die a priori Frage, wie groß eine Stichprobe
sein sollte, damit ein gegebener Unterschied (z.B. 0,1%) zuverlässig ein Konfidenzintervall hat,
das nicht die Null enthält. Du hast anscheinend eine Frage zur Zuverlässigkeit a posteriori,
also "gegeben ein Unterschied +0,1%, wie sicher kann ich sein, dass der Unterschied tatsächlich
> 0 ist". Das geht vielleicht in Richtung Bayes-Statistik, so wie dies
https://www.dynamicyield.com/blog/free- ... lculators/
https://abtestguide.com/bayesian/

Mit freundlichen Grüßen

PonderStibbons

Hmmm, ich hatte eigentlich schon den Eindruck, dass das gut passt. Denn meine Frage ist ja schon, wie groß meine Stichprobe sein muss, um einigermaßen zuverlässig den größeren Wert zu finden.
Prinzipiell würde mir vermutlich auch helfen, zu verstehen, wie ich diese Binomialtabellen umgekehrt berechnen kann, also wie ich ein n finde, sodass ein bestimmtes Intervall mit einer bestimmten Wahrscheinlichkeit getroffen wird. Dann könnte ich mit dieser Größe meine Experimente wiederholen. Wenn ich dann merke, dass die immernoch zu nah beieinander sind, kann ich mir ja immernoch überlegen, ob ich dann nochmal eine größere Stichprobe ziehen will oder ob ichs einfach bei "sind gleich" belasse.

Also Beispiel, was ich mir denke:
Ich habe meine n=1000 Experimente gemacht und habe ^p1 = 0.42 und ^p2 = 0.43 errechnet, also ein Unterschied von 0.01. Ich gucke in den Tabellen nach.
Für p1: P(430) - P(410) = 0,74973 - 0,27174 = 0,47799
Für p2: P(440) - P(420) = 0,90529 - 0,51346 = 0,39183
Ich bin mir also jeweils ziemlich unsicher, dass die Werte auf 0.01 genau sind, was einen Vergleich zwecklos macht.

Also wiederhole ich für N=100k und komme fürs Beispiel vielleicht wieder auf die gleichen ^p1 und ^p2. Ich schaue in den Tabellen nach:
Für p1: P(43000) - P(41000) = 1 - 0 = 1
Für p2: P(44000) - P(42000) = 1 - 0 = 1

Diese Sicherheit genügt mir offensichtlich. (Natürlich könnte ich besser auf 0.5% Genauigkeit gehen, damit kein Überlappungsbereich entsteht.)
Die Frage ist jetzt: Wie wäre ich auf N=100k gekommen? Woher weiß ich vorher, dass es 50k nicht auch getan hätten oder dass ichs aber besser mit 1m probieren sollte? Wie finde ich den optimalen Wert für N für meine gewünschte Sicherheit?

[fortuneNext]

Weitergedacht: Es gibt ja die geschlossene Formel für die Binomialverteilung P(X <= k) = F(n, p, k).


Ich verwende im Prinzip F(n, p, k+a) - F(n, p, k-a), wobei a meine Intervallgröße ist. Eigentlich bräuchte ich nur eine nach n umgestellte Version von F(n, p, k+a) - F(n, p, k-a)...