STATISTIK-FORUM.de

[Lilo]

Hallo Forum,

gleich vorweg: meine Suche ergab keine Treffer, daher der neue Eintrag. Sofern ich mich nur zu dumm angestellt haben sollte, bin ich für Hinweise auf entsprechende Beiträge natürlich dankbar.

Ich möchte 3 Gruppen auf Vergleichbarkeit prüfen, d.h. ich schnappe mir jede einzelne abhängige Variable und alle Kontrollvariablen und möchte sie zwischen allen drei Gruppen einzeln vergleichen mit dem Ziel das ersichtlich wird, dass sie nicht statistisch signifikant sind (die Gruppen also verglichen werden dürfen). Wären es nur zwei Gruppen, hätte ich einen t-Test gewählt (je nach Typ: intervall, ordinal, nominal). Nun sind es aber eben drei Gruppen. Meine erste Überlegung war, beide Treatment-Gruppen jeweils mit der Vergleichsgruppe zu testen. Das mag zwar gehen, erscheint mir aber nicht optimal. So kam ich auf eine Varianzanalyse, aber auf welche? Bei genauerer Betrachtung der angebotenen Verfahren bin ich eben kurz vom Stuhl gefallen. Bitte reicht mir einen Strohhalm.

Lilo

[PonderStibbons]

Einfaktorielle Varianzanalysen gibt es doch nur zwei, die ohne
und die mit Messwiederholung. Eher die Frage ist, welchen
post-hoc Test zum paarweisen Gruppenvergleich im Falle der
"signifikanten" Varianzanalyse Du verwendest. Tukey soll sehr
beliebt sein.

Mit freundlichen Grüßen

P.

[Lilo]

Danke für den Hinweis. Dennoch sind da mE doch noch mehrere Verfahren im Rennen. Für intervallskalierte Daten sollte es eine einfaktorielle ANOVA tun. Bei ordinalen Daten neige ich eher zum H-Test von KW. Der anschließende Post-Hoc-Test ist wiederum abhängig von der Balance (gleiches n in allen Gruppen), sowie der Varianzhomogenität (Levene). Dort eignet sich in meinem Fall (unbalanciert, homogen) Scheffé mE am besten.

Ich hoffe, ich erzähle hier keinen kompletten Blödsinn.

Lilo

[PonderStibbons]

Bei ordinalen Daten neige ich eher zum H-Test von KW.

Der ist keine Varianzanalye, weil auf dem Skalenniveau es keine Varianzen gibt,
aber er ist in gewisser Weise analog (wenn man darauf verzichten kann/will,
Mittelwertunterschiede zu testen).

Dort eignet sich in meinem Fall (unbalanciert, homogen) Scheffé mE am besten.

Scheffe beim H-Test?

Außerdem ist Scheffe sehr konservativ, da braucht man eine ordentliche Stichprobengröße.

Mit freundlichen Grüßen

P.

[Lilo]

Hm, konservativ... Wieder ein neues Kriterium. Als alternative Post-hocs zum H-Test von KW (zu dem von mir genannten Scheffé) habe ich den U-Test sowie Wolcoxon recherchiert. Ansonsten liegen die n's bei 12 < n < 20.

Lilo

[PonderStibbons]

Der Scheffe Test kann nicht als posthoc Test nach einem H-Test verwedet werden, er basiert auf dem F-Test (einfaktorielle Varianzanalyse).

Da Deine Gruppen sehr klein sind, ist Dein Ziel, nachzuweisen, dass die drei Gruppen (bzw. die Populationen, aus denen diese Gruppen stammen)
nicht wesentlich voneinander abweichen, nicht realisierbar. Nichtsignifikante Ergebnisse sind da ebenso gut oder besser mit mangelnder Sensitivität (power)
aufgrund geringer Stichprobengröße erklärbar, wie mit der Unterstellung, die Populationen unterschieden sich nicht.

Mit freundlichen Grüßen

P.

[Lilo]

Ja, Sedlmeier lässt grüßen. Ich muss da dennoch leider durch, da mein DV das erwartet. Bleibt mir nichts anderes übrig, als diesen Umstand später in der Diskussion auseinander zu nehmen. Die Effektstärke wird schließlich auch irgendwann berechnet und bei dieser Gelegenheit kann man dann prima auf die Power und Signifikanz zu sprechen kommen.

[PonderStibbons]

Ja, Sedlmeier lässt grüßen.

Das sagt mir jetzt nicht gar so viel.

Ich muss da dennoch leider durch, da mein DV das erwartet. Bleibt mir nichts anderes übrig, als diesen Umstand später in der Diskussion auseinander zu nehmen.

Du kannst zum einen einmal ein bißchen was zu Äquivalenztests/euivalence testing lesen,
zum anderen eine a piori power Analyse machen - d.h, wie groß wäre die Chance, einen
kleinen (Populations-)Effekt in der Stichprobe nachzuweisen, wenn er denn besteht.

Mit freundlichen Grüßen

P.

[Lilo]

Das sagt mir jetzt nicht gar so viel.

Damit ich auch einmal etwas zurück gebe: Schau mal hier.

Ich verbinde ihn mit zwei wesentlichen Punkten:

1. explorative Datenanalyse und
2. Kritik der Signifikanz zugunsten der Effektstärke.

Letzteres hast Du ja eben letztlich ähnlich artikuliert, wenn ich das richtig verstanden habe.

[PonderStibbons]

Damit ich auch einmal etwas zurück gebe: Schau mal hier.

Sedelmeier kenne ich, nur das mit dem Grüßen war mit unklar.
Ist wohl auch nicht so zentral.

[*] Kritik der Signifikanz zugunsten der Effektstärke.[/list]
Letzteres hast Du ja eben letztlich ähnlich artikuliert, wenn ich das richtig verstanden habe.

Nein. Es ging um Teststärke (power). Ganz konventionell.
Bei einer kleinen Stichprobe ist die power zwansläufig sehr
gering, wenn man kleine Effekte per Signifikanztests
nachweisen möchte. Man müsste also schon eine recht
große Stichprobe haben, um sagen zu können: "Mit diesem
(sagen wir mal) n=180 hätte ich sogar einen sehr kleinen
(Populations-)Effekt der Größe xyz mit 90%iger Wahrscheinlichkeit
nachweisen können. Dass trotz großer Stichprobe und großer
power kein signifikantes Ergebnis herauskam, stützt die Annahme,
dass in der Population der Effekt Null oder fast Null ist."
Im umgekehrten Fall muss man eben einräumen, dass mit
z.B. n=30 die Chance, dass ein kleiner Populationseffekt
nachgewiesen wird, von Anfang an nur 20% betrug.

Mit freundlichen Grüßen

P.