STATISTIK-FORUM.de

[JohannaSch]

Guten Tag!

Ich stehe vor dem "Problem", dass meine Ergebnisse durch eine sehr große Stichprobe *immer* signifikant werden, sodass ich es nicht mehr als Maß für das Annehmen oder Ablehnen der H1 benutzen kann. Die Effektstärken schwanken hingegen von .003 bis .315 - wenn ich also das partielle Eta-Quadrat heranziehe, um Ergebnisse als relevant zu betrachten, welcher Wert würde sich da als Grenze anbieten? Evtl. ein kleiner- bis mittlerer Effekt von .040? Gibt es da irgendwelche Regelungen oder vielleicht noch ganz andere Herangehensweisen?

Viele Grüße,
Johanna

[PonderStibbons]

Ich stehe vor dem "Problem", dass meine Ergebnisse durch eine sehr große Stichprobe *immer* signifikant werden, sodass ich es nicht mehr als Maß für das Annehmen oder Ablehnen der H1 benutzen kann.

Das kannst Du aber doch genauso gut (bzw. genauso schlecht - Nullhypothesentest liefern keine Maße zur
Beurteilung von Forschungshypothesen) wie bei kleineren Stichproben?

Die Effektstärken schwanken hingegen von .003 bis .315 - wenn ich also das partielle Eta-Quadrat heranziehe, um Ergebnisse als relevant zu betrachten, welcher Wert würde sich da als Grenze anbieten?

Das kommt auf das Sachgebiet und den Zweck der Beurteilung an.
Zudem ist auch bei n=1000 ein berechnetes Stichproben-Effektstärkemaß
nur ein begrenzt gültiger Schätzer für die tatsächliche Effektstärke,
da spielt ja immer noch der Zufallsfehler rein.

Evtl. ein kleiner- bis mittlerer Effekt von .040? Gibt es da irgendwelche Regelungen

Meistens werden die Orientierungswerte von Cohen zitiert (und dabei
i.d.R. unterschlagen, dass er nichts davon hielt, sie als allgemeingültig zu
setzen).

Mit freundlichen Grüßen

P.

[JohannaSch]

Das kannst Du aber doch genauso gut (bzw. genauso schlecht - Nullhypothesentest liefern keine Maße zur
Beurteilung von Forschungshypothesen) wie bei kleineren Stichproben?

Bei kleineren Stichproben, wo es mehr Varianz in den p-Werten gibt, würde ich ja die .05-Grenze heranziehen, z.B. um die H1 (Gruppenunterschied) anzunehmen. Bei meinen großen Stichproben (n =1000 vs. n = 428) ergibt sich ein p-Wert von .000, egal was ich teste. Beispielsweise auch beim Levene-Test, sodass ich die Varianzhomogenität alternativ graphisch getestet habe. Dennoch unterscheiden sich natürlich die Effektstärken stark, sodass ich nur diese als Maß für Gruppenunterschiede heranziehen kann, statt p-Wert und Effektstärke.

Das kommt auf das Sachgebiet und den Zweck der Beurteilung an.

Das ist in dem Fall die Messung von Einstellungsunterschieden in 2 Gruppen in einem Fragebogen mit 16 Items und einer 5-stufigen Likert-Skala.

Meistens werden die Orientierungswerte von Cohen zitiert

Im Falle einer ANOVA sind die Orientierungswerte für das partielle Eta-Quadrat .01 = kleiner Effekt, .06 = moderater Effekt, .14 = großer Effekt. Hier bin ich mir nun unsicher, welche Effektstärke ich als Maß für den Gruppenunterschied heranziehen soll!