STATISTIK-FORUM.de

[Ingo]

Hallo zusammen,



ich habe eine kategorische Variable mit zwei Ausprägungen (falsch vs. richtig), bei der ich die Verteilung der Häufigkeiten testen will. Zwei Fragen dazu:



1. Man kann in dem Fall den Binominaltest oder der Chi²-Test anstellen. Der der Chi²-Test wird zwar meist für zwei Stichproben mit größer/ gleich 2 Kategorien dargestellt, jedoch lässt sich dieser Test auch für eine Stichprobe mit nur zwei Kategorien anwenden*. Die erste Frage ist daher, welchen der beiden Tests ich in meinem Fall wähle und wie man die Wahl des einen und nicht des anderen Tests begründet.



2. Ich habe beide Analysen angestellt mit p= .5 beim Binominaltest und gleichverteilten Gruppen beim Chi²-Test. Nach meinem Verständnis sind diese Angaben äquivalent, jedoch kommen beide Tests zu stark unterschiedlichen Ergebnissen (p-Niveaus verschieden). Woran liegt das bzw. was bedeutet das?



* vgl. z.B. hier: http://lehrbuch-psychologie.springer.co ... zungen.pdf





Danke im Voraus und beste Grüße

Igor

[PonderStibbons]

Woran liegt das bzw. was bedeutet das?

Was konkret liegt als abhängige kategoriale Variable vor?
Wie groß ist die Stichprobe?
Bzw. wie groß sind die beiden Gruppen?
Wie lauten konkret die beiden Ergebnisse (p-Werte)?

Mit freundlichen Grüßen

PonderStibbons

[Ingo]

Hallo,

danke für die Antwort.

@ Anhängige Variable:
Es gibt nur eine dichotome Variable "Ergebnis" (falsch vs. richtig). Es gibt somit keine unabhängige oder abhängige Variable.

@ Stichprobenumfang und Gruppengrößen
N= 100, wobei davon 60 richtig und 40 falsch Antworten sind.

@ p-Niveau
Beim Binominaltest ergibt sich hierfür ein p von p= 0,056888 und beim Chi²-Test von 0,045500.
--> Bei einem Alpha von .05 würde ich also in einem Fall die Hypothese, dass nur geraten wurde (also p= .50 bzw. Gruppen gleich groß) ablehnen und im anderen nicht.

Ich verstehe nicht wieso das der Fall ist. Google bringt mich nicht wirklich weiter, weil beim Chi²-Test meist zwei Stichproben mit zwei oder mehr Kategorien besprochen werden. Und wenn der Chi²-Test doch mal eindiminsional bei einer dichotomen Variable behandelt wird, wird er nicht mit dem Binominaltest verglichen.

Bin für Hilfe daher sehr dankbar.

LG
Igor

[Ingo]

Falls das ein hilfreicher Hinweis ist:

Der p-Wert ist beim Chi²-Test scheinbar stets kleiner als der beim Binominaltest.

Wieso ich das denke:
Ich habe mit SPSS Daten aus Berboulli-Verteilung generiert, wobei ich
- die Wahrscheinlichkeit für das kritische Ereignis variiert habe (p= .03, p= .04,...)
- danach die entstandene Zufallsvariable sowohl mit dem Chi²-Test als auch mit dem Binominaltest auf Signifikanz getestet habe (dabei habe ich beim Binominaltest p=.50 und beim Chi²-Test gleich große Gruppen als Nullhypothese angegeben).
- ich habe die oberen beide Schritte immer wieder wiederholt

Dabei zeigte sich, dass das p-Niveau vom Chi²-Test stets kleiner war. Und zwar auch, wenn es keinen Effekt gab (also wenn Daten aus einer Verteilung mit p= .50 stammen und somit die Nullhypothese zutrifft).

Damit wäre der Binominaltest konservativer. Aber was bedeutet das konkret? Kann man beide Tests bei einer gegebenen Fragestellung verwenden wie man auch bei der Frage nach einem Unterschied zwischen zwei Gruppen auch die ANOVA statt einem t-Test anstellen könnte (wobei im letzteren Fall das p-Niveau beider Tests gleich ist).

Danke nochmals

[PonderStibbons]

Der Chi² Test ist weniger exakt als der Binomialtest, er liefert bei kleinen Stichproben
(wie hier) nur asymptotisch genaue Ergebnisse. Insofern wäre by default der Binmialtest
wohl vorzuziehen.

Mit freundlichen Grüßen

PonderStibbons

[bele]

Oh Mann, das ist gemein: Da hast Du mit einem angemessenen Test ein signifikantes Ergebnis und stellst dann fest, dass der exaktere Test knapp über alpha landet. Zur Frage, welcher Test denn jetzt das richtigere Ergebnis liefert, gibt es einmal den Hinweis auf die exakte Binomialverteilung im einen und die asymptotische im anderen Fall.
Ein anderer interessanter Hinweis mag der zur Simulation sein: R bietet in der Funktion chisq.test an, den p-Wert durch Monte-Carlo-Simulation zu bestimmen. Das Ergebnis ist (leider) näher am Binomialtest:

Code: Alles auswählen

> binom.test(c(60,40))$p.value
[1] 0.05688793
> chisq.test(c(60,40))$p.value
[1] 0.04550026
> chisq.test(c(60,40), simulate.p.value = TRUE, B=1e6)$p.value
[1] 0.05698594


HTH,
Bernhard

[Ingo]

Danke für die Antwort!

Wo bzw. mit welchen Stichworten kann man nachlesen, dass bei meiner Frage (1 dichotome Variable) der Binominaltest angemessener ist? Ich arbeite nämlich als Wissenschaftlicher Mitarbeiter und kann solche Aussagen nicht als Behauptungen ohne Begründung in den Raum stellen. Und ich komme nicht dahinter, was der Grund ist, dass der Binominaltest exakter ist. Tatsächlich hätte ich eher das Gegenteil gedacht. Denn:

Beim Binominaltest wird ja auf die Normalverteilung zurückgegriffen, weil diese bei einem hohen N annährungsweise erreicht wird. Ich hätte daher angenommen, dass bei mir gerade der Binominaltest weniger exakt ist, da bei meinem N von 100 die Normalverteilung noch recht unsauber erreicht wird sozusagen.

Weiterhin habe ich aufgrund des Hinweises auf die Stichprobengröße ein N von 100.000 mit p= .499 generiert. Das Ergebnis für p=.50 bzw. gleich große Gruppen zeigte ähnliches: In meinem letzten Durchlauf z.B. war das p beim Binominaltest mit p= .606 nach wie vor größer als beim beim Chi²-Test (p=.604). Spätestens bei solch einem großen N hätte ich eine größere Annäherung beider p-Niveaus erwartet.

[bele]

The Binomial test provides an exact calculation of the P value. The chi-squared test, in contrast, provides an approximation of the P value. Don’t be put off by that: when the assumptions of the test are met, the approximation is very useful.

http://davidquigley.com/talks/2015/bios ... _07.1.html

Dort steht auch:

When the chi-squared test is inappropriate due to small sample sizes or highly unequal cell distribution, one can instead use Fisher’s exact test.

Wobei ich in Deinem obigen Beispiel weder eine Kleine Stichprobengröße noch eine extrem ungleiche Zellenbesetzung sehe.

LG,
Bernhard

[Ingo]

Ganz vielen Dank! Ich fürchte, ich muss meine Recherchierskills verbessern Und das nächste Mal suche ich auf Englisch..

Schönen Tag noch
Igor