STATISTIK-FORUM.de

[anniberry]

Hallo ihr lieben,
ich weiß nicht, ob ich t-Tests mit ausgewählten Fällen rechnen muss oder die Zwischensubjekteffekte testen muss.

Meine Studie:
Längsschnitt-Studie mit 2 Messzeitpunkten ohne Kontrollgruppe (alle haben das Treatment erhalten; geht leider nicht anders)
Wenn ich einen t-Test mache und vorher über "Fälle auswählen" erst Frauen und anschließend Männer aussuche und getrennt voneinander teste, erhalte ich bei den Männern einen signifikanten Unterschied der Mittelwerte von Zeitpunkt 1 zu Zeitpunkt 2 (die Unterschiede bei den Frauen sind nicht signifikant)

Wenn ich aber eine ANOVA rechne und "Geschlecht" als Zwischensubjektfaktor eingebe, wird mir ausgegeben, dass das Geschlecht keinen Einfluss hat.

Das gleiche habe ich auch bei anderen Gruppierungen (Schulform, Schulfach) --> Bei dem t-Test erhalte ich bei einer Gruppe signifikante Unterschiede, laut Zwischensubjekteffekt besteht aber kein Einfluss des Faktors.

Welche Rechnung ist denn nun richtig?

Vielen Dank und liebe Grüße,
Anniberry

[PonderStibbons]

Ob sich bei getrennter Rechnung hier ein signifikant und da keins ergibt, ist bedeutungslos.
Der Unterschied zwischen signifikant und nichtsignifikant ist selber nicht signifikant.
Das hat mehrere Gründe. https://www.tandfonline.com/doi/abs/10. ... 006X152649

Nur mal ein Beispiel: wenn eine Subgruppe n=10 hat und die andere n=100, dann würde
exakt derselbe mittelgroße Effekt in der Grundgesamtheit in der kleinen Gruppe mangels
statistischer power höchstwahrscheinlich nicht nachgewiesen, in der großen Gruppe ohne
weiteres. Oder: man könnte p=0,050 (Gruppe 1) versus p=0,0499999 (Gruppe 2) als
"unterschiedlichen Effekt" interpretieren, was ziemlich hergeholt erschiene. Etc. pp.

Wenn Du wissen willst, ob Geschlecht oder anderes einen Effekt hat, musst Du den direkten
Vergleich durchführen.

Mit freundlichen Grüßen

PonderStibbons