STATISTIK-FORUM.de

[Maria_fragt]

Hallo Zusammen,

Ich arbeite grade an meiner Bachelorthesis. Es werden drei Gruppen auf Mittelwertsunterschiede hin untersucht. Genutzt wird eine Einfaktorielle ANOVA (keine Messwiederholung oder sonstiges).

Das Ergebnis der Modellprüfung ist nicht signifikant zeigt aber (wenn man so möchte) "eine Tendenz zur Signifkanz". Was mich wundert ist, dass - obwohl das Ergebnis keinen statistische Signifikanz aufweist - trotzdem ein kleiner Effekt laut Effektgrößemaß (eta-quadrat = 0,016) erzielt wurde.

Hieraus ergeben sich für mich folgenden Fragen:

- Liegt ein Fehler in meinen Berechnungen vor oder kann es tatsächlich sein, dass ein Hinweis auf einen "inhaltliche" Effekt vorliegt (mittels Effektstärkemaß) ohne das statistische Signifikanz erreicht wird?

- Wenn ja, wie ist das zu interpretieren? D. h. was bedeutet das tatsächlich?

- Meine Gruppengrößen sind unterschiedlich groß (stärkste Differenz: n = 63 und n = 246). Darf ich hier überhaupt das partielle Eta-quadrat als Effektstärkemaß interpretieren oder muss ich ein anderes Maß zu Rate ziehen? (SPSS gibt mir zusätzlich Epsilon-Quadrat und Omega-Quadrat (einmal als fester Effekt und einmal als Omega-Effekt aus)).

- Ist es generell ratsam das Effektstärkemaß anzugeben, selbst wenn keine statistische Signifikanz (und auch keine Tendenz zur Signifikanz) vorliegt?

Ich bin über jede Antwort sehr dankbar.

[bele]

obwohl das Ergebnis keinen statistische Signifikanz aufweist - trotzdem ein kleiner Effekt laut Effektgrößemaß (eta-quadrat = 0,016)

Zwischen Effektstärkemaß und Signifikanz vermittelt die Fallzahl. Wenn die nicht ausreichend ist, wird selbst ein "starker" Effekt nicht signifikant.
Persönlich würde ich das nicht berichten, aber das bedeutet ja nichts. Es gibt Leute, die haben Spaß an sog. "posthoc Poweranalyse" und wer das mag, für den kann man das auch berichten. Könnte ja auch sein, dass in Zukunft mal jemand Deine Arbeit liest und sich am Effektstärkemaß für seine a priori-Fallzahnschätzung orientieren möchte.

LG,
Bernhard

[PonderStibbons]

- Liegt ein Fehler in meinen Berechnungen vor oder kann es tatsächlich sein, dass ein Hinweis auf einen "inhaltliche" Effekt vorliegt (mittels Effektstärkemaß) ohne das statistische Signifikanz erreicht wird?

Die Nullhypothese besagt, dass das Modell die Fehlervarianz um den Betrag 0,000000000000000 reduziert.

Wenn die Stichprobe ausreichend groß ist (= kleiner oder sehr kleiner Stichprobenfehler), dann reicht auch
eine geringe Varianzaufklärung in der Stichprobe aus, um die Hypothese zu verwerfen, dass die Aufklärung
in der Population exakt = 0,00000000000000 ist.

- Ist es generell ratsam das Effektstärkemaß anzugeben, selbst wenn keine statistische Signifikanz (und auch keine Tendenz zur Signifikanz) vorliegt?

Vielleicht ist es nie ratsam außer für Meta-Analysen. Was soll es darstellen? Es ist nicht die wahre Effektstärke.

Mit freundlichen Grüßen

PonderStibbons

[Maria_fragt]

Vielen Dank für die schnellen Antworten,

ich hoffe ich habe euch richtig verstanden:

- Das ein geringes Effektgrößemaß identifiziert werden konnte, zeigt, dass ein sehr kleiner Effekt identifiziert werden kann, wenn die Stichprobengröße sehr groß ist. Inhaltlich ist es aber so ein kleiner Effekt, dass statsistische Signifikanz dann eher durch die große der Stichprobe "ermogelt" wird. (habs mal in g*Power reingeschmissen und die mindeststichprobengröße sollte für die Ermittlung dieses Effektes n = 459 betragen, ich bin mit meine n = 418 etwas "unterpowert")

- Wäre Eine/Einer so lieb und würde mir hierauf auch noch eine Antwort geben: Meine Gruppengrößen sind unterschiedlich groß (stärkste Differenz: n = 63 und n = 246). Darf ich hier überhaupt das partielle Eta-quadrat als Effektstärkemaß interpretieren oder muss ich ein anderes Maß zu Rate ziehen? (SPSS gibt mir zusätzlich Epsilon-Quadrat und Omega-Quadrat (einmal als fester Effekt und einmal als Omega-Effekt aus)).

Herzlichen Dank

[bele]

Hallo Maria,

ich hoffe ich habe euch richtig verstanden:

- Das ein geringes Effektgrößemaß identifiziert werden konnte, zeigt,...

Nein, da hast Du uns wohl falsch verstanden. Wenn es gar keinen Effekt geben sollte, der Effekt also Null ist, dann wirst Du aufgrund von Zufallseffekten trotzdem irgendein Effektstärkemaß berechnen, das nicht Null ist. Das von Dir errechnete Effektstärkemaß zeigt also gar nichts. Wenn Dein Test nicht signifikant wird kannst Du anhand Deiner Zahlen nicht sagen, ob der wahre Effekt größer, gleich oder kleiner Null ist, ganz egal welcher Wert bei der Berechnung des Effektstärkemaßes herauskommt.

LG,
Bernhard

[Maria_fragt]

Okay, alles klar. Danke für die schnellen Antworten. Liebe Grüße