STATISTIK-FORUM.de

[garryman90]

Hallo,

den Titel fortführend: ... wenn ich eine Reihe von Testzeitpunkten habe, die nur am Ende nicht-signifikant im t-test sind? Folgende Konditionen:

- 2 Abhängige Variablen, gleiche Gruppengrüße (n=250), normalverteilt
- Likertskala intervallskaliert (1-5), bereits eine aus mehreren Mittelwerten gebildet Skala mit Kommastellen (es liegen 5 Subskalen vor)
- Es liegt eine Intervention (quasi-experimentell) vor, pre-postdesign, die zu baseline und 4 mal nach Intervention gemessen wird
- 95% CI, die t-tests (für gepaarte stichproben) werden je zu Zeitpunkt (ZP)1 berechnet, also: ZP1-ZP2, ZP1-ZP3, ZP1-ZP4.
- Daraus berechne ich d Effektstärken um sie grafisch darzustellen
- Alle t-tests geben p-Werte < 0,05, mit Ausnahme ZP1-ZP4, hier liegt der p-Wert bei 0,2.
- Generell soll man keine Effektstärke berechnen, wenn die Mittelwertunterschiede nicht signifikant sind
- In diesem Kontext macht der Abfall aber Sinn und ich möchte die Effektstärke berichten (ihr Effekt (0,11) ist unter 0,2, also kein Effekt, ich will sie aber ins Diagramm packen, da der letzte Zeitpunkt ja wichtig ist, um zu zeigen, dass die Intervention an Effekt verliert)

Ich handhabe das derzeit so, dass ich die Effektstärke dennoch berechne und den gepaarten t-test verwende. Ist das wissenschaftlich korrekt oder wie muss tatsächlich vorgegangen werden?

Vielen Dank!

[bele]

Ich sehe kein Problem darin, eine Effektstärke auch da zu berechnen, wo der Effekt nicht signifikant ist, wenn die Grafik das erfordert. Vielleicht bietet Dein Programm auch die Möglichkeit, Konfidenzintervalle für d zu berechnen? Dann könntest Du die abtragen und damit visuell deutlich machen, dass dieser Vergleich nicht signifikant würde.

LG,
Bernhard

[garryman90]

Danke für die zügige Antwort. Ich bin noch unerfahren im breiten Spektrum Statistik, lese mich jeden Tag ein paar Stunden mehr ein (Quereinstieg). Mein Programm ist SPSS. Diesbezüglich eine Frage bei Konfidenzintervallen für Effektstärken:

Ich habe das bisher bei wissenschaftlichen Berichten nicht beobachtet und auch einmal hier irgendwo gelesen, dass man Konfidenzintervalle nicht für Effektstärken angibt, das diese auf der Grundgesamtheit basieren sollen (hier ist der Link: allgemeine-fragen-f5/konfidenzintervall-fur-effektstarke-bei-abhangigen-stichprob-t8273.html ). Ich habe tatsächlich für alle meine Effekstärken Konfidenzintervalle. DIese habe ich über die Berechnung meiner Effektstärke auf https://www.psychometrica.de/effektstaerke.html erhalten.
Hier habe ich für mein Design die Methode 4 gewählt, die unter anderem eine Korrektur der Korrelation vornimmt. Habe auch mit 0.5 Korrelation zum Vergleich gerechnet, es ist recht ähnlich. Taschenrechner für normale cohens d Berechnung war auch ähnlich. Meine große Fallzahl spricht für die Korrektur, denke ich (in meinem Beispiel nur 250, geht in anderen Fällen über 1000 hinaus).

Also konkrete Fragen hierzu sind:

- Ist die Anwendung der Formel auf der Website für mein Studiendesign wirklich korrekt (leichte Ungewissheit plagt mich seit langem diesbezüglich)? Ich trage alle Werte des SPSS t-tests dort ein.
- Sind Konfidenzintervalle für Effektstärken im wissenschaftlichen Bericht angemessen? Oder nur für Mittelwerte. Bisher beinhaltet mein Bericht nur [t(df) = x.xx, p < 0.xx, d = x.xx].

Vielen Dank!

[bele]

Hallo Garryman,

Ich bin noch unerfahren im breiten Spektrum Statistik, lese mich jeden Tag ein paar Stunden mehr ein (Quereinstieg).

Das kenne ich: Bin auch Quereinsteiger und ewig lernender.

hier irgendwo gelesen, dass man Konfidenzintervalle nicht für Effektstärken angibt, das diese auf der Grundgesamtheit basieren sollen (hier ist der Link: allgemeine-fragen-f5/konfidenzintervall-fur-effektstarke-bei-abhangigen-stichprob-t8273.html ).

Meine Erfahrung mit PonderStibbons ist, dass er ein sehr schlauer Mensch mit tiefgründigem und breitem Statistikwissen ist, der seine Worte gut abwägt. Es lohnt sich, seine Beiträge gründlich zu lesen. In dem von Dir verlinkten Thread macht Ponder erstmal den Unterschied zwischen Effektstärke und Effektstärkemaß auf. Das ist eine nicht allgemein übliche sprachliche Korrektheit. Du könntest durchaus Quellen zurate ziehen, die da sprachlich nachlässiger sind. Präzise Sprache hilft aber beim präzisen Denken. Nach der Sprachkorrektur stellt er die Frage, wozu ein Konfidenzintervall des Effektstärkemaßes gut sein könnte. Da der Threaderöffner sich nach dem Abkippen seines Problems nicht mehr gemeldet hat, gibt es darauf keine Antwort. Ich würde sagen: Wenn man ein Effektstärkemaß interessant findet, dann sollte man sich auch fragen, wie präzise man die Effektstärke damit erfasst hat. Im NHST Kontext macht man das mit 95%-CIs. Zum anderen: Wenn Du mir sagst, dass Du Effektstärkemaße plotten willst, dann nehme ich das hin, ohne es zu hinterfragen. Du solltest für Dich schon darüber nachdenken, warum Du so einen Plot haben willst.

Im weiteren schreibt Ponder in dem Beitrag, dass man Effektstärkemaßkonfidenzintervalle nicht als Signifikanztest braucht, weil das der t-Test ja schon erledigt hast. Du aber hast gefragt, wie Du mit der Signifikanz in einer Grafik der Effektstärke(maße) umgehen sollst. Gegeben, dass Du diesen Plot haben willst und die Signifikanz aus dem Plot ersichtlich sein soll, sehe ich da keinen Widerspruch.

Das Plotten von Effektstärkemaßen als CI war aber auch nur eine Anregung. Ich behaupte nicht, dass das die eine richtige Heransgehensweise ist. Du könntest auch die Effektstärkemaße im signifikanten Fall mit einem schwarzen Kreis und im nicht signifikanten Fall mit einem grauen Dreieck zeichnen und entsprechende Erläuterungen in die Bildunterschrift aufnehmen. Man kann bestimmt noch viele andere Wege finden, wenn man will.

Sind Konfidenzintervalle für Effektstärken im wissenschaftlichen Bericht angemessen? Oder nur für Mittelwerte.

"Den wissenschaftlichen Kontext" gibt es nicht. Hörensagen zufolge muss man in der Psychologie zu jedem t-Test ein d angeben, in dem von mir gelesenen Ausschnitt der medizinischen Literatur ist das nicht wirklich gängig. Konfidenzintervalle für Effektstärkemaße habe ich in medizinischen Publikationen noch keine gesehen, dass SPSS keine ausgibt deutet wahrscheinlich darauf hin, dass sie in Psychologie und Sozialwissenschaften unüblich sind (in Wahrheit weiß ich nicht, ob SPSS das kann, wofür Du die Webseite benutzt hast, weil ich kein SPSS habe).

Hoffe, dass die Verwirrung auch ein wenig hilfreich war,
LG,
Bernhard

[garryman90]

Nochmals danke für die ausführliche Antwort.

Ich werde PonderStibbons mal eine private Nachricht schicken und ihn um kurze Aufklärung bitten. Weshalb ich Fehler unbedingt vermeiden will, ist, weil meine Ergebnisse ins Peer-Review gehen werden.
Um etwas Kontext zu geben, ich komme auch aus der Medizin und benutze die Website nur, weil sie ein großartiges tool hat, die Berechnungen sind für Psychologie und Medizin ja dennoch gleich. SPSS besitzt keine Effekstärkeberechnung, da geht es nur bis zum Signifikanztest. Wahrscheinlich, weil es alleine für spezifische Effektstärkemaße, wie cohens d, unterschiedliche Berechnungen gibt.

Im Zweifelsfall werde ich keine Konfidenzintervalle angeben.
Den Unterschied zwischen Effektstärkemaß und Effektstärke habe ich nochmal bewusst berücksichtigt. Ich halte die Aussagen von PonderStibbons für ziemlich eindeutig. --> "Effektstärken haben keine Konfidenzintervalle, denn sie sind Beschreibungen von Grundgesamtheiten, nicht von Stichproben.", das ist seine Aussage. Mein Effektstärkemaß ist cohens d, wie bereits gesagt. Ich würde mich damit ja zufrieden geben, aber wenn ich mich bei Google etwas umsehe, dann komme ich auf Links, wie Wikipedia ( https://de.wikipedia.org/wiki/Effektst%C3%A4rke ), wo eindeutig von Konfidenzintervallen für Effektstärken gesprochen wird. Die Tatsache, dass die Berechnungswebsite von mir die CIs ebenfalls mit ausgibt, ist ebenfalls verwirrend.
PonderStibbons erklärt meine Annahme ziemlich genau: "Falls die Vorstellung zugrunde liegt, ein aus Stichprobendaten errechnetes Konfidenzintervall erlaube die Schlussfolgerung, dass mit 95% Wahrscheinlichkeit die "wahre" Effektstärke zwischen den Grenzen A und B lieg: das wäre schlichtweg falsch." - Ich verstehe leider nicht warum. Meine Konfidenzintervalle für Mittelwerte basieren auch nur auf einer Stichprobe, da ich die Grundgesamtheit (alle Deutschen in meinem Fall) unmöglich erfassen kann. Wieso soll das für die Effektstärke anders funktionieren?

Ich werde dann im Bereicht erwähnen, dass die Mittelwertunterschiede nach dem t-test für ZP1 zu ZP4 zwar nicht mehr signifikant sind, aufgrund des absteigenden Trends von ZP1 zu ZP4 aber anzunehmen ist, dass es sich nicht um eine zufällige Verteilung handelt, sondern dass der Effekt der Intervention einfach sehr gering geworden ist.

Ich will einfach ausschließen, dass das eine schlichtweg falsche statistische Herangehensweise ist.

Mein Hauptproblem scheint aber ja beantwortet zu sein, ich werde die Effektstärke für nicht-signifikante Mittelwertunterschiede berechnen, mit Hinweis darauf.

Vielen Dank!

[bele]

Hallo!

Weshalb ich Fehler unbedingt vermeiden will, ist, weil meine Ergebnisse ins Peer-Review gehen werden.

Erwarte weder, dass der Reviewer automatisch Dein Feind ist, noch, dass Du bei beliebig viel Vorbereitung das Review ohn Änderungsw+nsche durchkriegst. Du kannst auch einfach mal einreichen und schauen, was Dein Reviewer empfiehlt.

Im Zweifelsfall werde ich keine Konfidenzintervalle angeben.

Kann man sicher so entscheiden.

"Effektstärken haben keine Konfidenzintervalle, denn sie sind Beschreibungen von Grundgesamtheiten, nicht von Stichproben.",

Richtig, in der klassischen Statistik geht man davon aus, dass es eine konkrete Effektstärke gibt. Die ist fix und hat keinen Schwankungsbereich.

komme ich auf Links, wie Wikipedia ( https://de.wikipedia.org/wiki/Effektst%C3%A4rke ), wo eindeutig von Konfidenzintervallen für Effektstärken gesprochen wird.

Das habe ich oben gemeint. Die Konfidenzintervall gelten für den Effektstärkeschätzer, aber es ist weit verbreitet, das sprachlich lax zu sein.

"Falls die Vorstellung zugrunde liegt, ein aus Stichprobendaten errechnetes Konfidenzintervall erlaube die Schlussfolgerung, dass mit 95% Wahrscheinlichkeit die "wahre" Effektstärke zwischen den Grenzen A und B lieg: das wäre schlichtweg falsch."

Oh Gott, das ist ein riesiges Thema, das Du nicht wirklich aufmachen möchtest. Die Definition eines CI ist nicht: Da liegt der Wert zu 95% drin. Der Wert ist, wie ich eben schrieb, fix. Entweder er ist in dem Intervall, oder er ist es nicht. Da werden keine Wahrscheinlichkeiten für Modelliert. Es gilt vielmehr: Wenn man den Versuch n mal wiederholen könnte, dann würde in dem so berechneten Intervall 95% von n mal der wahre Wert drin liegen. Man kann Beispiele erfinden,...

Ich verstehe leider nicht warum. Meine Konfidenzintervalle für Mittelwerte basieren auch nur auf einer Stichprobe, da ich die Grundgesamtheit (alle Deutschen in meinem Fall) unmöglich erfassen kann. Wieso soll das für die Effektstärke anders funktionieren?

Du schätzt den Mittelwert der Population anhand des Mittelwerts der Stichprobe. Der Mittelwert der Population ist fix, zum Mittelwert der Stichprobe kannst Du ein Konfidenzintervall angeben. Gleiches gilt für die Effektstärke. Die Effektstärke der Stichprobe ist fix, Zu Deinem Effektstärkeschätzer kannst Du ein Konfidenzintervall angeben.

LG,
Bernhard

[garryman90]

Interessant. Vom Begriff Effektstärkeschätzer höre ich erstmals. Das Prinzip von CI verstehe ich, denke ich. Ich ging zumindest nicht davon aus, dass der Wert mit einer Wahrscheinlichkeit im Intervall liegt. Ich werde erst mal so weitermachen, habe aber vielen Dank für die Hilfe. Wenn ich weiterhin über das Thema lese, wird es irgendwann auch ganz einfach Klick machen.

Ich werde bestimmt noch viele Fragen haben, bevor ich selbst Leuten helfen kann.

LG
Garryman90