STATISTIK-FORUM.de

[L9292L]

Hallo,
Im Rahmen meiner Studie habe ich vermutet, dass Kinder von Müttern mit einer Fehlgeburt mehr Regulationsstörungen aufweisen, als die von Müttern ohne Fehlgeburt. Die Regulationsstörung wurde anhand von zwei AVs "positiver Affekt" und "Selbstregulation" gemessen, also wurden zwei t-Test gemacht. Jetzt ist das worst-case-Scenario eingetroffen und es zeigen sich nicht nur nicht-signifikante Effekte sondern die Kontrollgruppe scheidet in beiden AVs schlechter ab . bei beiden zeigen sich sehr hohe Effektstärken von .90... stimmt es, dass eine hohe Effektstärke bei nicht signifikanten Ergebnissen darauf hindeutet, dass das Ergebnis mit einer größeren Stichprobe signifikant werden könnte? Bin mir nämlich nicht sicher ob ich das in der Diskussion meiner Arbeit berichten sollte, weil das ja schon sehr fatal ist, wenn die Kontrollgruppe bei so einem Thema schlechter abschneidet Oder soll ich mich einfach nur auf die nicht signifikanten Werte beziehen und es dabei belassen?
LG

[PonderStibbons]

bei beiden zeigen sich sehr hohe Effektstärken von .90

Je nun, das sind keine Effektstärken. Effekstärken gibt es nur un der Grundgesamtheit.
In Stichproben kann man zwar solche Effektstärkemaße berechnen, wenn man Lust dazu
hat, aber die Ergebnisse sind keine Effektstärken, weil durch den Stichprobezufall größer
oder kleiner als der tatsächliche Effekt. Dies gilt insbesondere bei kleinen Stichproben
(im Schnitt große Zufallsschwankungen). Daher ist es eigentlich meist sinnlos, das bei
kleinen Stichproben zu interpretieren.

... stimmt es, dass eine hohe Effektstärke bei nicht signifikanten Ergebnissen darauf hindeutet, dass das Ergebnis mit einer größeren Stichprobe signifikant werden könnte?

Nein. Das würde behaupten, dass d=0,9 in etwa die tatsächliche Effektstärke
(in der Grundgesamtheit) darstellt. Aber der statistische Signifikanztests brachte
das Ergebnis, dass man nichtmal einen von Null unterschiedlichen Effekt
annehmen kann. Mich wundert allerdings, dass so ein Unterschied nicht statistisch
signifikant wurde. Ist die Stichprobe derart winzig? Dann wäre der t-Test womöglich
nicht die passende Wahl. Und falls die Gruppen unterschiedlich groß
sind, sollte der t-Test zumindest mit Welch-Korrektur durchgeführt werden.

Bin mir nämlich nicht sicher ob ich das in der Diskussion meiner Arbeit berichten sollte, weil das ja schon sehr fatal ist, wenn die Kontrollgruppe bei so einem Thema schlechter abschneidet Oder soll ich mich einfach nur auf die nicht signifikanten Werte beziehen und es dabei belassen?

Die Deskriptivstatistik wirst Du trotzdem machen müssen.

LG

wtf

Mit freundlichen Grüßen

PonderStibbons

[bele]

...und es zeigen sich nicht nur nicht-signifikante Effekte sondern die Kontrollgruppe scheidet in beiden AVs schlechter ab
[...]
..., weil das ja schon sehr fatal ist, wenn die Kontrollgruppe bei so einem Thema schlechter abschneidet

Wenn Du Deinen Signifikanztest ernst nimmst, dann ist das so fatal nicht. Du hast ja wahrscheinlich beidseitig getestet und wenn der beidseitige Test nicht signifikant wird heißt das ja gerade eben, dass man noch nicht wissen kann, ob die Beobachtung, was besser und was schlechter ist, sich auf die Allgemeinheit übertragen lässt.

...stimmt es, dass eine hohe Effektstärke bei nicht signifikanten Ergebnissen darauf hindeutet, dass das Ergebnis mit einer größeren Stichprobe signifikant werden könnte?

Auch ein Vollmond kann darauf hindeuten, dass das Ergebnis mit einer größeren Stichprobe signifikant werden könnte. Oder auch Neumond oder zu- oder abnehmender Mond. Größere Stichproben fördern immer die Chance auf ein signifikantes Ergebnis. Aus irgendeinem unerfindlichen Grunde ist es üblich, Effektstärkemaße ohne Konfidenzintervall anzugeben. Wenn Du ein Konfidenzintervall berechnen kannst, dann tu das ruhig mal und Du wirst feststellen, es ist sehr, sehr weit. Genau deshalb darf man das nicht überinterpretieren.

Bin mir nämlich nicht sicher ob ich das in der Diskussion meiner Arbeit berichten sollte, weil das ja schon sehr fatal ist, wenn die Kontrollgruppe bei so einem Thema schlechter abschneidet Oder soll ich mich einfach nur auf die nicht signifikanten Werte beziehen und es dabei belassen?

Was ist der Sinn Deiner Arbeit? Wahrscheinlich ist es eine Abschlussarbeit an einer Hochschule, mit der Du zeigen willst, dass Du die Grundlagen wissenschaftlichen Arbeitens gelernt hast. Nun, zu den Grundlagen des wissenschaftlichen Arbeitens gehört eben auch, dass man Studien macht weil man vorher noch nicht genau weiß, was herauskommt. Meines Erachtens kannst Du Wissenschaftlichkeit durch differenzierte Darstellung aller Aspekte einer Auswertung mit anschließender wertender Diskussion besser belegen als durch gezieltes Weglassen unliebsamer Aspekte.
Das sieht natürlich ganz anders aus, wenn Du später mal von einem Finanzgeber bezahlt werden solltest, um positive Studien für ein Produkt oder eine erwünschte Meinung zu produzieren. Da tritt Wissenschaftlichkeit dann manchmal hinter andere Interessen zurück. Deshalb wollen die Arzneimittelzulassungsbehörden für die Coronaimpfstoffe auch die Rohdaten und nicht nur die Auswertungen der Pharmafirmen sehen.

Kurzum: Zeig, dass Du es richtig gelernt hast und auch zu ungewollten Studienergebnissen stehen kannst. Vernünftige Professoren werden das schätzen, wenn Du Ihnen erklärst, dass es nicht nur Fehler erster Art sondern auch Fehler zweiter Art gibt und Vorschläge machst, wie Folgestudien das Thema klären könnten.

JMTC,
Bernhard