STATISTIK-FORUM.de

[MoNa19]

Hallo zusammen

Ich habe mal wieder eine Frage, bei deren Beantwortung ich mir nicht sicher bin:

Angenommen ihr führt die Replikation einer Studie durch. Das zentrale Ergebnis, welches repliziert werden soll, ist eine Korrelation zwischen dem Aggregat einer bereits etablierten Skala und dem Wert eines Tests zur Messung einer bestimmten Eigenschaft. Wie würde denn nun ein Profi -der ich leider nicht bin- an die Analyse der Daten herangehen? Die Korrelation zwischen den beiden Werten berechenen ist klar, allerdings kann das doch nicht alles sein ?! Gibt es da irgendwelche standardmäßigen, überprüfenden Verfahren, die noch durchgeführt werden sollten - und mir als nicht-Statistikerin leider nicht bewusst sind.

Bitte verzeiht mir meine laienhafte Ausdrucksweise, ich hoffe ihr versteht trotzdem was ich meine.
Vielen Dank für eure Antworten!

Liebe Grüße
Mona

[strukturmarionette]

Hi,

an die Analyse der Daten herangehen?

- welche Daten, welche Studie?

Gruß
S.

[bele]

Hallo MoNa19,

ein ganzes Stück weiter wärest Du schon, wenn Du nicht nur die Korrelation in der Erststudie und in Deiner Replikatstudie nebeneinanderstellen würdest, sondern wenn Du von beiden Korrelationen jeweils ein 95%-Konfidenzintervall vergleichen würdest.

LG,
Bernhard

[PonderStibbons]

Das zentrale Ergebnis, welches repliziert werden soll, ist eine Korrelation zwischen dem Aggregat einer bereits etablierten Skala und dem Wert eines Tests zur Messung einer bestimmten Eigenschaft.

Da könnten ein paar technische Angaben und eine klarere Beschreibung
von Ziel und Zweck hilfreich sein.
Ist der Test intervallskaliert, d.h. war es eine Pearson-Korrelation?
Was meinst Du konkret mit replizieren, was soll repliziert werden?
Die Höhe des Koeffizienten? Der mögliche Umstand, dass der Koeffizient
ein inferenzstatsistisch signifikantes Testergebnis erhalten hat
(in der Grundgesamtheit nicht = 0 ist)? Was anderes?
Werden beide Analysen mit vollständig unterschiedlichen Stichproben
gemacht? Wie groß sind die Stichproben?

Mit freundlichen Grüßen

P.

[MoNa19]

Zuerst einmal Danke für eure Hilfe

Ich hatte mir auch schon überlegt, ein Konfidenzintervall zu berechnen. Das Thema "Replizierbarkeit" wissenschaftlicher Studien ist ja in den letzten Jahren doch recht stark in den Diskussionsfokus gerückt. Die Empfehlungen zur Verbesserung der Situation beinhalten dabei neben der Angabe der Effektstärke ja auch fast immer die Berechnung eines Konfidenzintervalls. Soweit die Theorie - in der Praxis sieht es bei mir aber leider so aus, dass ich zwar grundsätzlich weiß, wozu ein KI berechnet wird bzw. wie es interpretiert wird. Ich weiß aber leider nicht genau, wie ich das jetzt auf meine Studie anwenden kann?!

Hier noch ein paar genauere Angaben:
Ziel des Projekts war die Reproduzierbarkeit eines zentralen Ergebnisses aus einer bereits publizierten Studie zu überprüfen. Das zu replizierende Ergebnis der Originalstudie ist eine Pearson-Korrelation zwischen einer gebräuchlichen Skala, die die Einstellung der Vpn zu einem bestimmten Thema misst, und dem Ergebnis eines Tests, der eine kognitive Fähigkeit messen sollte. Die Antworten zur Einstellung wurden mit einer 7-stufigen Likert-Skala erfasst, die Fragen des Tests mussten die Teilnehmer selbst in ein Feld eintragen und wurden später so kodiert, dass ein Summenwert die Anzahl der richtigen Antworten angab und die Ausprägung der kognitiven Fähigkeit darstellte. Die zu testende Hypothese lautete dann: je höher die kognitive Fähigkeit ausgeprägt ist, desto geringer (negativer) die Einstellung zu dem bestimmten Thema.

Auf der Grundlage des Original-Ergebnisses habe ich zuerst mit einer Teststärkenanalyse über G*Power die optimale Stichprobengröße bestimmt. Bei einer angestrebten Power von 95% (alpha=.05, einseitige Testung) ergab das ein N=200. Da das ganze eine Online-Studie war, war es auch kein Problem diese Stichprobengröße zu erreichen.

Liebe Grüße,
Mona

[PonderStibbons]

Das Thema "Replizierbarkeit" wissenschaftlicher Studien ist ja in den letzten Jahren doch recht stark in den Diskussionsfokus gerückt. Die Empfehlungen zur Verbesserung der Situation beinhalten dabei neben der Angabe der Effektstärke ja auch fast immer die Berechnung eines Konfidenzintervalls.

Effektstärken kann man auf Basis von Stichprobendaten nicht angeben, allenfalls Effektstärkemaße.
Die Unterscheidung ist wichtig wie die Unterscheidung zwischen Stichprobe und Population.

Konfidenzintervalle werden tatsächlich als die Lösung von etwas angesehen? Da sie keine Aussage
machen, wo der "wahre" Wert eines Parameters liegt, eigentlich nur das Gegenstück von Signifikanztests
sind, klingt das nach einer veralteten Empfehlung auf Basis von Missverständnissen.

Ziel des Projekts war die Reproduzierbarkeit eines zentralen Ergebnisses aus einer bereits publizierten Studie zu überprüfen. Das zu replizierende Ergebnis der Originalstudie ist eine Pearson-Korrelation

Da stellt sich erneut die Frage, was genau da repliziert werden soll. Die einfachste
Lösung wäre ein Test, ob sich die Koeffizienten inferezstatistisch signifikant
unterscheiden. Der ließe sich seriös durchführen, wenn die Stichprobengrößen
aus beiden Studien zusammengenommen ausreichende power gewährleisten,
um mit hiher Wahrscheinlichkeit einen relevanten Unterschied nachzuweisen.

Nebenbei

zwischen einer gebräuchlichen Skala, die die Einstellung der Vpn zu einem bestimmten Thema misst, und dem Ergebnis eines Tests, der eine kognitive Fähigkeit messen sollte. Die Antworten zur Einstellung wurden mit einer 7-stufigen Likert-Skala erfasst,

Vermutlich ist gemeint, mit einer Likert-Skala, die aus 7stufigen Items besteht?

Mit freundlichen Grüßen

P.

[MoNa19]

Danke für deine Antwort und deinen Erklärungsversuch, PonderStibbons. Allerdings verstehe ich nicht genau, was du meinst. Das liegt aber wohl eher an mir und ich bin mir auch nicht sicher, ob hier eine genauere Erklärung weiter helfen würde. Bei sowas brauche ich meistens jemanden, der mir das idiotensicher erklärt oder viel Zeit, und beides habe ich im Moment nicht.

Ich hätte allerdings nochmal eine Frage zu den Konfidenzintervallen um sicher zu gehen, dass ich das jetzt richtig verstanden habe: Ich würde jetzt also das Konfidenzintervall für die Korrelation der Originalstudie und der Replikationsstudie berechnen. Diese beiden vergleiche ich dann miteinander und wenn sich beide Intervalle nicht überschneiden unterscheiden sie sich die Korrelationskoeffizienten signifikant?! Aber was genau folgere ich daraus? Ob die Replikation gelungen ist oder nicht?

[bele]

Wenn Du die erste Studie ganz oft wiederholen könntest, dann würde in 95% ein Korrelationskoeffizient in diesem Intervall herausgekommen und wenn Du Deine Replikationsstudie ganz oft wiederholen könntest, dann würde in 95% ein Korrleationskoeffizient in dem anderen Intervall herauskommen. Wenn es keine Schnittmenge zwischen beiden Korrelationskoeffizienten gibt, dann spricht das gegen die Replizierbarkeit, wenn beide sich weit überlappen spricht das nicht gegen die Replizierbarkeit. Ein formeller Test für den Vergleich von Korrelationskoeffizienten, wie von PonderStibbons angeregt, wäre, wie PonderStibbons schreibt, das Gegenstück dazu. Zwei verschiedene Seiten einer Medaille mit graduellen Vor- und Nachteilen. Ob Du nur eins davon oder beides drucken willst, bleibt Dir überlassen. Viele Leser wollen am Schluss einer Auswertung einen p-Wert sehen, und das spräche für einen formellen Test.

http://www.quantpsy.org/corrtest/corrtest.htm
https://www.google.de/#q=test+compariso ... efficients

LG,
Bernhard

[MoNa19]

Bernhard, super Erklärung. Hab sogar ich verstanden Danke.
Allerdings hatte ich zwischenzeitlich noch folgende Lösung zur Berechnung der Konfidenzintervalle gefunden: http://www.statistik-und-beratung.de/2013/06/korrelationen-vergleichen/
Kann man das auch so machen?

Falls ihr noch Geduld mit mir habt: was ist das für ein formeller Test? Wie genau müsste ich da vorgehen?

LG
Mona

[bele]

So kann man das mit den Konfidenzintervallen machen. Das Vorgehen mit dem Test könnte so aussehen: Füttere den von mir verlinkten online-Rechner mit den Angaben aus Deinen Studien und lass Dir einen p-Wert berechnen.
Einen Thanks-Button findest Du in jedem Post oben rechts.

LG,
Bernhard