STATISTIK-FORUM.de

[PsychPaula]

Hallo,

ich gucke mir für meine Masterarbeit an, inwiefern sich die schulischen Einschätzungen von Eltern in Bezug auf das Geschlecht der Kinder unterscheiden. Die Daten wurden bereits für eine andere Studie erhoben. Ich rechne u.a. t-Tests (für unabhängige Stichproben). Nun haben ich bei Rasch et al. (2014) folgendes zur Power gelesen:

"Die Berechnung der Teststärke eines bereits durchgeführten t-Tests ist dann notwendig,
wenn ein nicht signifikantes Ergebnis auftritt und der Stichprobenumfang
nicht im Vorfeld geplant wurde. Die Annahme der Nullhypothese in einem ungeplanten
t-Test ist nur möglich, wenn die Teststärke ausreichend hoch ist. Wie schon das
Signifikanzniveau α ist die Festlegung der akzeptierten Fehlerwahrscheinlichkeit β von
inhaltlichen Überlegungen abhängig. Als Richtlinie schlagen wir eine Teststärke von
1 – β = 0,9 vor. Die Wahrscheinlichkeit, die Alternativhypothese abzulehnen obwohl
sie in Wirklichkeit gilt, liegt dann bei β = 0,1. Die Bestimmung der Teststärke a posteriori
(im Nachhinein) erfordert neben der Anzahl der Beobachtungen immer die
Festlegung eines inhaltlich relevanten Effekts. Wenn keine weiteren empirischen Arbeiten
zu dem Thema vorliegen, ist diese Festlegung schwierig und meist nur mithilfe
der Konventionen (7 Abschn. 3.3.1 und 7 Abschn. 3.3.2) möglich. "

-> Nun meine Frage. Ich habe nun ein nicht signifikantes Ergebnis und dafür die Effektstärke berechnet (d=0.15). Nun möchte ich also mir G*Power die Effektstärke berechnen und habe einen kleinen Effekt (d=0.2) als inhaltlich relevant eingestuft. Ich habe jetzt eine Teststärke von 57% heraus bekommen. Wenn ich von einem mittleren Effekt ausgehen würde, bekäme ich eine Power von 97%. Ich interpertiere das so, dass (im ersten Fall) mit einer Wahrscheinlichkeit von 57% kein kleiner Effekt vorliegt. Was genau kann ich daraus schlussfolgern? Dass ich keine der beiden Hypothesen eindeutig bestätigen kann? Welchen Mehrwert bietet mir eine Poweranalyse in diesem Fall überhaupt?

Liebe Grüße,
Paula

[PonderStibbons]

Ist es erforderlich, dass Du das machst? In Stichproben gibt es keine Effektstärken,
auch wenn man Effektstärkemaße berechnen kann, aber die sind keine
Effektstärken, weil durch den Stichprobenfehler verzerrt (zu groß oder zu klein).

Und Post-hoc power-Analysen ergeben wenig Sinn. Eigentlich keinen.

Mit freundlichen Grüßen

PonderStibbons

[bele]

Hallo Paula,

ich bin zwar kein Psychologe aber das braucht man auch nicht zu sein, um zu wissen, dass Geschlechterrollen so tief in unserer Kultur (und vielleicht auch in unserer Biologie?) verankert sind, dass das irgendeinen Einfluss auf Elterneinschätzungen haben wird. Die Frage ist doch nicht, ob es solche Einflüsse gibt, sondern wie groß sie sind. Die Nullhypothese, dass der Unterschied 0,0000000 beträgt war von vorneherein nur eine Hilfskonstruktion, damit man einen t-Test durchführen konnte.

Die Frage ist doch, ob Kinder in nennenswertem Ausmaß aufgrund ihres Geschlechts unterschiedlich behandelt werden bzw. wie genau Du aufgrund der vorgegebenen Daten diese Ungleichheit messen konntest. Ich nehme an, Du hast neben dem p-Wert von Deinem Statistikprogramm auch ein Konfidenzintervall für den Unterschied gemessen in den Einheiten der Zielgröße (womit auch immer Du Einschätzung gemessen hast) erhalten. Persönlich kann ich mir unter solche Angaben in den Originaleinheiten viel mehr vorstellen als unter den doch recht abstrakten Effektstärken. Persönlich mag ich deshalb eine gute Interpretation des Konfidenzintervalls viel lieber als Fallzahlschätzungen, die zwar scheinbar ein leicht verständliches Ergebnis produzieren, das aber auf weitgehend beliebigen Festlegungen wie der für relevant gehaltenen Effekstärke und dem ausgewählten beta-Fehlerniveau (früher war 80% üblich, jetzt tendiert man wohl mehr zu 90%, warum nicht 95% wie beim Alpha?).

Welchen Mehrwert bietet mir eine Poweranalyse in diesem Fall überhaupt?

Wenn Du eine prospektive Studie gemacht hättest wäre die am Anfang vielleicht hilfreich gewesen (oder auch nicht, da die Beliebigkeit der angenommenen Effektstärkegrenze und des angestrebten beta-Niveaus beliebig bleiben).

Leider kann es sein, dass die Betreuer Deiner Arbeit das völlig anders sehen als ich.

Viele Grüße,
Bernhard

[PsychPaula]

Hallo,

danke für die Einschätzungen. @bele: interessanter Weise sind die Unterschiede gar nicht so klar, wie man erwarten würde. Ich gucke mir Mütter und Väter getrennt an und da sieht man zB dass Väter Jungen tatsächlich besser in Mathe einschätzen, Mütter aber nicht.

Liebe Grüße,
Paula