STATISTIK-FORUM.de

[Patrick_T]

Hallo,

folgender Tatbestand:

Ich habe meine ungerichtete Unterschiedshypothese mit dem t-Test untersucht. (UV = dichotom/nominal, AV = intervallskaliert)
Vor.: alle Varianzen gleich (F-Test nicht sign), nomalverteilt (da Stichprobe der Gruppen n1= 100 und n2 = 239), StiPro unabhängig

Ich habe keinen signifikanten Unterschied feststellen können (t(337) = -0,605, p = .545), daher habe ich daraufhin die Teststärke und Effektstärke (beides mit G*Power) berechnet.
Diese liegt mit einer Effektstärke von gerade einmal d = .07 bei 1-Beta = .09 (nein, kein Schreibfehler...)

Auch die ANOVA brachte ähnliche Ergebnisse (F = 0.366, Quadratsumme = 0,130, p = .545) und bei der Teststärkenprüfung kamen ebenso schlechte Ergebnisse heraus (f = 0.03, 1-Beta = 0.09).

Nach Bortz/Döring kann ich nun nicht einmal die Nullhypothese annehmen, weil ja meine Teststärke super klein ist. Richtig?
Ich habe auch nochmal den Mann-Whitney-U-Test durchgeführt, kamen aber wie erwartet ähnliche Ergebnisse bei raus. (U = 11526,500, z = -0.515, p = .606, d = 0.07, 1-Beta = 0,09)

Bei der Stichprobemumfangsplanung habe ich schon bemerkt, dass meine Stichprobe viel zu klein ist- das wird das Problem sein. Bedeutet das aber jetzt, dass meine Daten letztendlich unbrauchbar sind? Wie interpretiert man denn sowas? Und gäbe es noch einen anderen Test, der mir mit mehr Teststärke vielleicht helfen könnte, wenigstens die Nullhypothese anzunehmen?

DANKE!

Viele Grüße
Patrick

[strukturmarionette]

Hi,

Nach Bortz/Döring kann ich nun nicht einmal die Nullhypothese annehmen, weil ja meine Teststärke super klein ist.

- Wo schreiben die sowas?
- Wie lautet deine Arbeitshypothese?

Gruß
S.

[Patrick_T]

Hi, danke für die schnelle Antwort!

Hier: Bortz/Döring, 2016

"Ein nicht-signifikantes Signifikanztestergebnis darf nicht vorschnell zum Anlass genommen werden, eine Forschungshypothese zu verwerfen und die Nullhypo- these anzunehmen. Denn ein nicht-signifikantes Ergebnis kommt nicht nur zustande, wenn kein oder nur ein ver- nachlässigbar kleiner Effekt in der Population existiert, sondern sehr häufig auch einfach dadurch, dass die Studie auf einem zu geringen Stichprobenumfang und damit auf zu geringer Teststärke fußt, um überhaupt einen Po- pulationseffekt aufdecken zu können. Wenn ein nicht-signifikantes Ergebnis vorliegt, muss
deswegen zunächst geprüft werden, ob denn eine ausrei- chende Teststärke (konventionell mindestens 1?ˇ D :80) erreicht wurde. Nur wenn die Teststärke ausreichend war, darf ein nicht-signifikantes Ergebnis dazu veranlassen, die Nullhypothese beizubehalten und die spezifische For- schungshypothese zu verwerfen. Stellt sich jedoch bei der Post-hoc-Teststärkeanalyse heraus, dass die Teststär- ke unzureichend war („underpowered study“), so muss die gesamte Studie als nicht aussagekräftig im Hinblick auf den angezielten Hypothesentest eingeordnet werden. Denn bei nicht-signifikantem Ergebnis darf man sich nicht für die H1 entscheiden, bei mangelnder Teststärke jedoch auch nicht für die H0, so dass letztlich gar keine Entscheidung im Hinblick auf das aus H1 und H0 beste- hende Hypothesenpaar möglich ist"

Meine Arbeitshypothese lautet:
Es gibt einen Unterschied in der Ausprägung des Stressempfindens von meditierenden und nicht meditierenden digitalen Arbeitnehmerinnen und Arbeitnehmern.

[bele]

Hallo Patrick,

wenn bei der Stichprobengröße kein Unterschied zu finden ist und p so groß bleibt, dann ist da sehr wahrscheinlich kein relevanter Effekt und damit solltest Du Dich abfinden.

Nach Bortz/Döring kann ich nun nicht einmal die Nullhypothese annehmen,

Richtig.

weil ja meine Teststärke super klein ist. Richtig?

Falsche Begründung. Nullhypothesen kann man nicht annehmen. Die Nullhypothese in Deinem Fall lautet, dass der Unterschied im Stressempfinden zwischen beiden Gruppen genau 0,0000000000000000000000000000000000000000000000000000000000000000000000000 beträgt. Nur noch mit viel mehr Nullen als ich hier aufgeschrieben habe. So etwas absurdes kann man nie annehmen.

Das Ergebnis Deiner Arbeit lautet: Der Unterschied im Stressempfinden zwischen beiden Gruppen ist so winzig, dass man noch viel, viel größere Gruppen bräuchte, um ihn überhaupt nachzuweisen. Vermutlich lohnt sich also i. d. R. nicht, nur wegen des Stressempfindens nicht, viele Stunden in Meditation zu investieren.

Neben dem Effekstärkemaß solltest Du das Konfidenzintervall für den absoluten Unterschied angeben. Das verdeutlicht, wie gering der Unterschied sein könnte und dass es immer noch genauso gut möglich ist, dass Meditierende mehr Stressempfinden haben.

LG,
Bernhard

[Patrick_T]

Hi Bernhard, vielen Dank! Ich habe nun folgende Ergebnisse:

Laut Levene-Test der Varianzgleichheit mit F = 3.45 bei einem Signifikanzniveau von p = .057 lag bei der Variablen Stressempfinden keine Varianzhomogenität vor. Aus diesem Grund verwendete ich die Ergebnisse des Welch-Tests, welche in der Zeile für ungleiche Varianzen angezeigt wurde. Es zeigte sich kein statistisch signifikanter Unterschied zwischen der Ausprägung des Stressempfindens der Gruppe Meditierende und der Kontrollgruppe Nicht-Meditierende, t(326) = -1.028, peinseitig = .153. Das Stressempfinden der Teilstichprobe Meditierende war in der Untersuchung 1.028 Einheiten geringer als das der Teilstichprobe Nicht-Meditierende. Die wahre Differenz lag dabei laut 95 %-Konfidenzintervall zwischen -2.32 und 0.73. (95 % CI [-2.32; 0.73]). Das bedeutet, das Stressempfinden der Gruppe Meditierende war sowohl geringer (-2.32) als auch höher (0.73) als bei der Gruppe Nicht-Meditierende.

Die Alternativhypothese, dass das Stressempfinden von meditierenden Arbeitnehmerinnen und Arbeitnehmern geringer ist, als das der nicht meditierenden Arbeitnehmerinnen und Arbeitnehmer, musste verworfen werden (p > .05).

In meiner Stichprobenumfangsplanung ging ich von einem mittelstarken Effekt (d = 0.50), einem Signifikanzniveau von α = .05 sowie einer Teststärke von 1-β = .80 aus und ermittelte dafür einen optimalen Stichprobenumfang von n = 102. Es sollte nun anhand der tatsächlichen Effekt- und Teststärkeergebnissen der Untersuchung das Beta-Fehlerniveau überprüft sowie berechnet werden, wie groß die Stichprobe hätte sein müssen, um einen möglichen Effekt mit einer Teststärke von 1-β = .80 in der Stichprobe aufzudecken. Zur Überprüfung des Beta-Fehlers, d.h. ob nach Ablehnung der H1 die Nullhypothese angenommen werden konnte, musste ich zunächst die Teststärke berechnen und β bestimmen. Die Berechnung der Effektstärke Cohen’s d mit G*Power ergab d = 0.13 (M1 = 16.57, M2 = 17.36, SD1 = 6.49, SD2 = 5.69), was eine erhebliche Differenz zum erwarteten mittelstarken Effekt darstellte (d = 0.50). Nach Einteilung von Cohen (1988) lag der Wert unterhalb einer Effektstärke für einen kleinen Effekt (d = 0.2). Die Berechnung der Teststärke über G*Power ergab 1- β = .28 (einseitig, d = 0.13, α = .05, n1 = 92, n2 = 234). Das bedeutete, dass die Wahrscheinlichkeit für ein statistisch signifikantes Ergebnis, wenn in Wirklichkeit ein Populationseffekt bestünde, bei 28 % lag. Die Wahrscheinlichkeit, H1 abzulehnen und H0 anzunehmen, obwohl in Wirklichkeit H1 galt (β -Fehler), lag bei 91 %. Die optimale Effektstärke lag bei der vorliegenden Stichprobe für ein statistisch signifikantes Ergebnis, wenn in Wirklichkeit ein Populationseffekt bestünde, bei d = 0.31 (einseitig, α = .05, 1- β = .80, n1 = 92, n2 = 234). Die optimale Stichprobe lag mit der tatsächlichen Effektstärke bei n = 1808, n1 = 511 und n2 = 1297 (einseitig, α = .05, 1- β = .80, Allocation ratio n2/n1 = 2.54).
Schließlich verwerfe ich die Alternativhypothese (α > .05), kann jedoch durch die in der Stichprobenumfangsplanung angenommenen Werte auch nicht die Nullhypothese annehmen (β > .20).

...ich hoffe, dass das so durchgeht.

VG
Patrick