STATISTIK-FORUM.de

[Janika]

Hallo ihr Wissenden,

ich habe eine Frage bezüglich Post-Hoc-Teststärkenanalysen.
Und zwar habe ich eine MANOVA berechnet
Pillai V = 0.4 (Effektgröße f²= 0.67)
N = 20
Gruppen: 2
AV = 8

Das Gesamtmodell wird bei mir nur marginal signifikant: F(8, 11) = 2.76, p = .061, ηp² = .668

Jetzt würde ich gerne eine Post-hoc-Teststärkenanalyse berechnen, um zu überprüfen ob mein Test underpowered war.
Muss ich bei G*Power mein Alpha eingeben (hier .061) oder das angenommene .05?

Die andere Frage bezieht sich darauf, ob ich anschließend noch für die separaten ANOVAs auch jeweils die Teststärke berechne, oder ob es reicht, die vom Gesamtmodell anzugeben.

Danke für eure Hilfe.

[PonderStibbons]

Jetzt würde ich gerne eine Post-hoc-Teststärkenanalyse berechnen, um zu überprüfen ob mein Test underpowered war.

Gibt es, ohne Ironie gefragt, irgendeine Referenz, die nachvollziehbar darstellt, dass eine "post-hoc Poweranalyse" irgendeinen Sinn ergibt?
Ich habe bisher keine gefunden.

Das die Studie unterdimensioniert ist, zeigt doch schon die Stichprobengröße.

Muss ich bei G*Power mein Alpha eingeben (hier .061) oder das angenommene .05?

Die andere Frage bezieht sich darauf, ob ich anschließend noch für die separaten ANOVAs auch jeweils die Teststärke berechne

Was für separate ANOVASs denn?

Mit freundlichen Grüßen

PonderStibbons

[Janika]

Nach Döring und Bortz (2016) sollte bei Vorliegen eines nicht signifikanten Ergebnisses zunächst überprüft werden, ob eine ausreichende Teststärke, konventionell mindestens .80, erreicht wurde, um mangelnde Teststärke bzw. eine nicht aussagekräftige Studie zu identifizieren.Nur wenn die Teststärke ausreichend war, darf ein nicht-signifikantes Ergebnis dazu veranlassen, die Nullhypothese beizubehalten und die spezifische Forschungshypothese zu verwerfen. Stellt sich jedoch bei der Post-hoc-Teststärkeanalyse heraus, dass die Teststärke unzureichend war („underpowered study“), so muss die gesamte Studie als nicht aussagekräftig im Hinblick auf den angezielten Hypothesentest eingeordnet werden.

Dass ich eine relativ kleine Stichprobe habe ist klar.
Deshalb hier die Anwendungsfrage welchen Alpha-Wert ich bei G*Power eingebe ( mein Alpha (hier .061) oder das angenommene .05).

Die separaten ANOVAs beziehen sich auf die Einzelvergleiche der abhängigen Variablen, die in die MANOVA eingegangen sind.
(Das Gesamtmodell wurde ja marginal signifikant. Separate ANOVAs haben mir dann für zwei Variablen signifikante Gruppenunterschiede gezeigt. Die anderen 6 Variablen weisen keine signifikanten Unterschiede auf --> hier dann eben die Frage, ob ich auch für diese ANOVAs die Teststärke berechne).

[PonderStibbons]

Nach Döring und Bortz (2016) sollte bei Vorliegen eines nicht signifikanten Ergebnisses zunächst überprüft werden, ob eine ausreichende Teststärke, konventionell mindestens .80, erreicht wurde, um mangelnde Teststärke bzw. eine nicht aussagekräftige Studie zu identifizieren.Nur wenn die Teststärke ausreichend war, darf ein nicht-signifikantes Ergebnis dazu veranlassen, die Nullhypothese beizubehalten und die spezifische Forschungshypothese zu verwerfen. Stellt sich jedoch bei der Post-hoc-Teststärkeanalyse heraus, dass die Teststärke unzureichend war („underpowered study“), so muss die gesamte Studie als nicht aussagekräftig im Hinblick auf den angezielten Hypothesentest eingeordnet werden.

Das ist dann eine nachgezogene a priori power-Analyse. Die post-hoc Analyse verwendet, wenn ich richtig orientiert bin, Stichproben-Effektstärkemaße als "Effektstärken", was widersinnig ist, weil es die tatsächlichen Effektstärken nur in der Population gibt.

Dass ich eine relativ kleine Stichprobe habe ist klar.

Die ist nicht relativ klein, sondern sehr klein. Damit kann man eine 0,8 power allenfalls bei großen bis sehr großen Populations-Effekten annehmen. Insofern würde ich mir die ganze Rechnerei sparen.

Die separaten ANOVAs beziehen sich auf die Einzelvergleiche der abhängigen Variablen, die in die MANOVA eingegangen sind.

Wozu denn das nun? Entweder sind die einzelnen Variablen für sich relevant, dann muss man von vornherein ANOVAs rechnen.
Oder die Variablen repräsentieren gemeinsam ein Konstrukt, dann sind ANOVAs der einzelnen Bestandteile gar nicht angebracht.

(Das Gesamtmodell wurde ja marginal signifikant.

Ich weiß leider nicht, was marginal signifikant konkret sein soll, aber wenn das Ergebnis der MANOVA sowieso egal ist, dann kannst Du wie gesagt doch gleich mit 6 ANOVAs planen, ohne erst noch eine MANOVA zu rechnen.

Separate ANOVAs haben mir dann für zwei Variablen signifikante Gruppenunterschiede gezeigt.

Wenn man oft genug rechnet, bleibt das wohl nicht aus.

Mit freundlichen Grüßen

PonderStibbons

[bcetindra]

Thanks for solution