STATISTIK-FORUM.de

[Effektstark]

Hallo zusammen

Ich möchte im Rahmen meiner Bachelorarbeit die Effektstärken einer Entwicklung (von prä zu post) innerhalb einer Gruppe berechnen. Diese von einzelnen Gruppen eines RCTs oder einer Prä-Post-Studie (= nur eine Interventionsgruppe, keine Kontrollgruppe) zu berechnen, gestaltet sich schwierig.

Beispiel: Eine Gruppe von Personen mit Schlafstörung (n = 15) macht während mehreren Wochen eine Trainings-Intervention. Vorher und nachher wurde von den Probanden*innen ein Fragebogen (PSQI) ausgefüllt, dessen Werte nun verglichen werden. Prä-Wert: 11.25 ±2.12 & Post: 7.16 ±3.18. Zur Berechnung der Effektstärke hätte ich nun die Formel von Cohen's mit einer gepoolten Standardabweichung genommen:

SMD = Cohen's d = (x post - x prä) / s pooled ... dabei wäre s pooled = √(s1^2 + s2^2) / 2

Das Ergebnis wäre: SMD -1.513 (95% CI -2.661 bis - 0.366) ... laut Cohen's (1988) eine hohe Effektstärke.

Diese Formel ergab jedoch auch bei nicht signifikanten Ergebnissen (wenn p <0.05) starke Effektstärken an. Ich habe zwar auf folgender Website gelesen, dass man bei nicht-signifikanten Werten, den Cohen's gar nicht berechnen soll (https://lindaregber.com/cohens-d/#:~:te ... polt%20ist.) aber auch schon Gegenstimmen gehört. Die Berechnung einfach wegzulassen erscheint mir jedoch nicht sinnvoll.

Auf der Website psychometrica (https://www.psychometrica.de/effektstaerke.html#cohc) kann die klassische Formel von Cohen's d (oben genannt) mit dem Rechner 1 berechnet werden. Dort ist jedoch notiert, dass ein Prä-Post-Vergleich besser mit Rechner 4 oder 5 gemacht werden sollte, wo der Korrelationskoeffizient verwendet wird. Dieser ist jedoch in meinen gewählten Studien nicht immer angegeben. Es heisst zwar, dass bis r = 0.5 die gleichen Werte herauskommen, was aber nach meiner Berechnung nicht stimmt. Also kann ich auch nicht einfach 0.5 für r schreiben (wäre ja auch ein Bias). Deshalb meine Frage an euch:
- Welche Formel soll nun verwendet werden? Müsste ich den Korrelationskoeffizienten jeweils berechnen?

Dazu noch:
- Würdet ihr die Effektstärken von nicht signifikanten Werten berechnen?
- Sollte der SMD jeweils noch mit dem MICD (minimal clinically important difference) verglichen werden?

So, lange Rede kurzer Sinn: Ich brauche Hilfe. Würde mich sehr freuen, wenn ich diese hier finden würde!

Liebe Grüsse

[PonderStibbons]

Das Ergebnis wäre: SMD -1.513 (95% CI -2.661 bis - 0.366) ... laut Cohen's (1988) eine hohe Effektstärke.

Effektstärken beziehen sich auf Grundgesamtheiten. In Stichproben setzt sich der Wert des
Effektstärke-Maßes zusammen aus dem echten Effekt plus Stichprobenzufall. In kleineren
Stichproben ist dieser Zufall immens, worauf auch das Konfidenzintervall hinweist. Man kann
solche Maße in Stichproben nicht einfach als "Effektstärke" deklarieren und dann auch noch
mit Cohens Etiketten versehen. Wozu soll das bei einer Einzelstudie (im Unterschied zu
einer Meta-Analys) denn dienen?

Diese Formel ergab jedoch auch bei nicht signifikanten Ergebnissen (wenn p <0.05) starke Effektstärken an.

Nochmal: Du hast keine Effektstärke berechnet, sondern einfach das Maß Cohen's d statt
in einer Grundgesamtheit für eine Stichprobe berechnet.

Die Unart zu behaupten, dass wenn die willkürlich 5%-Schwelle unterschritten ist, sich ein
unsicherer, vom Stichprobenzufall dominierter Wert magischerweise in einen exakten Wert
verwandelt, scheint immer noch verbreitet zu sein, wenn ich Deine Quelle richtig verstehe.

- Würdet ihr die Effektstärken von nicht signifikanten Werten berechnen?

Weder für signifikante nicht nichtsignifikante, zumindest wenn die Stichprobe nicht sehr groß ist.

Wie gesagt, wozu soll das dienen? Vielleicht gibt es ja doch einen Sinn, der es rechtfertigt.

Mit freundlichen Grüßen

PonderStibbons

[Effektstark]

Herzlichen Dank für deine schnelle Antwort. Ich sehe meinen Denkfehler!

Gerade vorab noch eine Info zu meiner Arbeit. Ich mache ein Evidence Summary, in welches ich Systhematische Reviews, Metaanalysen, RCT und Prä-Post-Studien einschliesse. Ich habe die Signifikanz anhand von p-Werten, möchte aber gerne die Stärke der einzelnen Entwicklungen und klinische Relevanz und schliesslich in den Vergleich stellen. Deswegen wollte ich erst den SMD, als Effektgrösse, berechnen und habe wohl den Begriff Effektstärke gleichgesetzt.

- Also: Ich habe den SMD berechnet, aber keine Effektstärke. Vofür kann ich denn den SMD brauchen? Einfach um zu bestimmen, ob der Effekt klein, mittel oder gross ist? (Cohen 1988)

"Weder für signifikante nicht nichtsignifikante, zumindest wenn die Stichprobe nicht sehr groß ist."
- Ab wann gilt die Stichprobe als gross?

"Die Unart zu behaupten, dass wenn die willkürlich 5%-Schwelle unterschritten ist, sich ein
unsicherer, vom Stichprobenzufall dominierter Wert magischerweise in einen exakten Wert
verwandelt, scheint immer noch verbreitet zu sein, wenn ich Deine Quelle richtig verstehe."
=> Habe ich richtig verstanden, dass du die gegebenen Informationen auf Psychometrica, die ich angegeben habe, nicht stimmen?

Kann ich aus meinen Daten trotzdem eine Effektstärke berechnen? siehe Link: https://statistikguru.de/rechner/cohens-d.html
gleiches Beispiel:
Prä-Wert: 11.25 ±2.12 & Post: 7.16 ±3.18
SMD -1.513 (95% CI -2.661 bis - 0.366)
=> Effektstärke r: 0.603

Ich hoffe, ich habe nicht vollkommenen Non-Sense geschrieben. Statistik ist definitiv kein Vertiefungsfach in unserem Studiengang.

Liebe Grüsse und nochmals DANKE!

[Effektstark]

Zudem stellt sich die Frage, mit welcher Formel der SMD von prä und post Wert berechnet werden sollte.

[PonderStibbons]

Gerade vorab noch eine Info zu meiner Arbeit. Ich mache ein Evidence Summary, in welches ich Systhematische Reviews, Metaanalysen, RCT und Prä-Post-Studien einschliesse. Ich habe die Signifikanz anhand von p-Werten, möchte aber gerne die Stärke der einzelnen Entwicklungen und klinische Relevanz und schliesslich in den Vergleich stellen.

Wenn man über verschiedene Studien hinweg Ergebnisse synthetisieren möchte, dann kann
die Berechnung von Effektstärkemaßen sinnvoll sein. ich wusste nicht, dass es sich hierum
handelt. Allerdings weiß ich dann nicht, was die p-Werte dabei zu suchen haben. p-Werte
sind keine Effektstärkemaße, die man über Studien hinweg vergleichen kann.

"Weder für signifikante nicht nichtsignifikante, zumindest wenn die Stichprobe nicht sehr groß ist."
- Ab wann gilt die Stichprobe als gross?

Das 95% Konfidenzintervall für einen Mittelwert ist +/- 1,96 * SD/Wurzel(n). Daran sieht man
sofort, dass satt dreistellige Stichprobengrößen anfangen, dem Populationsparameter
halbwegs zuverlässig zu entsprechen.

=> Habe ich richtig verstanden, dass du die gegebenen Informationen auf Psychometrica, die ich angegeben habe, nicht stimmen?

Ich weiß nicht, welche Informationen gemeint sind. Ich dachte, das wäre eine Quelle
für die Berechnungsformeln.

Zudem stellt sich die Frage, mit welcher Formel der SMD von prä und post Wert berechnet werden sollte.

Offfensichtllich ist das willkürlich, es sei denn, Du hast ein bestimmtes Erkenntnisziel
(wie z.B. "wie stark verändert sich etwas relativ zur Ausgangssituation"; das wiese
auf nur die Standardabweichung zu t1 im Nenner hin).

Mit freundlichen Grüßen

PonderStibbons

[Effektstark]

Vielen Dank!

1. Der p-Wert zeigt in unserem Fall nur die Signifikanz der einzelnen Werte an und inwiefern sie im Vergleich zu der Kontrollgruppe sign. sind.

2. Ja die Informationen kamen von dieser Quelle, dass hast du richtig Verstanden.

Das Ziel der Arbeit ist zu erfassen, ob sich die Schlafqualität (gemessen an einem Fragebogen: PSQI und einer Schlafmessung: Polysomnography) nach einer Intervention (>8Wochen) von aerobem Training (bspw. Ausdauertraining) verbessert. Zudem wollen wir diese in den Vergleich zu anaerobem Training (bspw. Krafttraining). Also wir wollen eine Entwicklung betrachten und einen Vergleich aufstellen.
"das wiese auf nur die Standardabweichung zu t1 im Nenner hin" => könntest du diese Teil etwas ausführen?

Liebe Grüsse

[PonderStibbons]

1. Der p-Wert zeigt in unserem Fall nur die Signifikanz der einzelnen Werte an und inwiefern sie im Vergleich zu der Kontrollgruppe sign. sind.

Für eine Zusammenfassung vieler Studien zum selben Thema sind p-Werte wenig bis gar nicht nützlich.
Letztlich hängt es nur von der Stichprobengröße ab, ob eine Testung inferenzstatistisch in p < 0,05
resultiert oder nicht.

"das wiese auf nur die Standardabweichung zu t1 im Nenner hin" => könntest du diese Teil etwas ausführen?

Habe ich doch geschrieben, für welche Art von Frage das nützlich wäre: "wie stark verändert sich etwas relativ zur
Ausgangssituation". Eine Ausgangssituation wäre so etwas wie "vorher war der Mittelwert 30 und die Standardabweichung
10; wie stark, ausgedrückt in Standardabweichungen der Ausgangslage, verändert sich der Mittelwert". Ob das auch hier
die beste Herangehensweise ist, weiß ich nicht.

Mit freundlichen Grüßen

PonderStibbons

[Effektstark]

Herzlichen Dank für deine schnellen Antworten & grosse Mühe! Toll bist du im Forum so engagiert (der leicht provozierendem Touch ist auch amüsant ). Nochmals DANKE!!!

Liebe Grüsse