STATISTIK-FORUM.de

[skarun]

Hallo Zusammen,

letztens wollte ich anhand eines simulierten Datensatzes einen Post Hoc Test (Nemenyi) ausprobieren und bin dabei auf etwas verwirrendes gestoßen, das ich mir nicht erklären kann. Ich vermute, dass es eine sehr simple Erklärung gibt, aber irgendwie komme ich nicht drauf.

Und zwar habe ich einen Datensatz simuliert, bestehend aus 4 verschiedenen Eisproben, die von 8 Probanden probiert wurden und aufsteigend nach der Süße des Geschmacks (1 bis 4) sortiert wurden. Spaßeshalber habe habe ich die Daten so erstellt, dass jeder Proband exakt die gleiche Reihenfolge für die Eisproben hat.
Beispieltabelle:

Eissorte | Rang | Proband
Eis A | 1 | Proband 1
Eis B | 2 | Proband 1
Eis C | 3 | Proband 1
Eis D | 4 | Proband 1
Eis A | 1 | Proband 2
Eis B | 2 | Proband 2
Eis C | 3 | Proband 2
Eis D | 4 | Proband 2
... usw.

Meine Erwartung beim Post-Hoc Test war, dass sich alle 4 Eissorten signifikant voneinander unterscheiden. Stattdessen war das nicht der Fall.
Ergebnis ( bei a = 0,5):


......| Eis A | Eis B | Eis C |
Eis B | n.s. |_______|_____|
Eis C | _ * _ | _ n.s. |_____ |
Eis D | _ * _ | _ * __ | _ n.s.|

Wie kann ich mir erklären, dass sich nicht alle Sorten signifikant voneinander unterscheiden, wo sie doch alle einheitlich in jeweils unterschiedliche Kategorien sortiert wurden? Immer die benachbarten Kategorien unterscheiden sich komischerweise nicht signifikant voneinander.
Vielen Dank schonmal auf eure Hilfe!

Grüße
Yet

[PonderStibbons]

Welche Software?

Mit freundlichen Grüßen

PonderStibbons

[skarun]

Habe R genutzt (package: "PMCMR") und kann auch bei Bedarf den Code teilen. Aber es scheint sich hier um was softwareunabhängiges zu handelt da es nicht durch beispielsweise blöde Rundungen zu diesem Ergebnis gekommen ist.

[PonderStibbons]

Sorry, falsche Überlegung meinerseits.

Der Unterschied zwischen durchschnittlichem Rang 1,0 (Stimulus A) versus 2,0 (Stimulus B)
in der Stichprobe (sowie zwischen 2,0 und 3,0; 3,0 und 4,0) ist inferenzstatistisch nicht
signifikant. Größere Unterschiede innerhalb der Stichprobendaten, wie z.B. zwischen A und
C (Durchschnittsrang 1,0 versus 3,0) etc. werden inferenzstatistisch signifikant. So weit
nichts besonderes, größere Unterschiede werden statitisch eher signifikant als kleinere.

Mit freundlichen Grüßen

PomnderStibbons

[skarun]

Lieben Dank für die schnelle Antwort!

Aber ab wann ist der Unterschied zwischen den Strichprobendaten denn groß bzw. klein? Es handelt sich ja um Ränge, als um eine Ordinalskalierung, wo die Abstände zwischen den Stufen nicht bekannt sind.

Angenommen das Ergebnis hätte ich in einer Studie erhalten und versuche es nun zu interpretieren. Obwohl die Probanden zu 100% einheitlich entschieden haben, kann ich ja nicht sagen, dass sich die Proben signifikant voneinander unterscheiden. Wie könnte dann aber eine stichhaltige Interpretation von diesem Ergebnis lauten? Oder ist eine andere Testmethode empfehlenswerter?

Viele Grüße
Yet

[PonderStibbons]

Aber ab wann ist der Unterschied zwischen den Strichprobendaten denn groß bzw. klein? Es handelt sich ja um Ränge, als um eine Ordinalskalierung, wo die Abstände zwischen den Stufen nicht bekannt sind.

Bei einer gegebenen Stichprobengröße (hier n=8) versteht es sich, dass es Unterschiede gibt, die noch
durch den Stichproben-Zufall erklärbar wären, und solche, die so groß sind, dass man die Nullhypothese verwirft.

Angenommen das Ergebnis hätte ich in einer Studie erhalten und versuche es nun zu interpretieren. Obwohl die Probanden zu 100% einheitlich entschieden haben, kann ich ja nicht sagen, dass sich die Proben signifikant voneinander unterscheiden.

Eine durchschnittliche Rangdifferenz wie 1,0 versus 2,0 ist bei n=8 nicht groß genug, um die Nullhypothese
zu verwerfen.

Im vorliegenden Fall war der Prozess, der die Daten hervorgebracht hat, 100% eine willkürliche Setzung.
Insofern ergibt ein Signfikantest zur Frage "Nullhypothese beibehalten oder vewerfen?" und dessen
Interpretation natürlich keinen Sinn, Du hast das lediglich als Simulation durchgeführt.

Mit freundlichen Grüßen

PonderStibbons

[skarun]

Danke nochmal für die ausführliche Antwort und deine Hilfe.
Tatsächlich unterscheiden sich beim Post-Hoc Nemenyi Test alle Proben erst signifikant voneinander, sobald ich die Stichprobenzahl meiner Simulation auf n=18 erhöhe.

Viele Grüße und eine schöne Woche
Yet