STATISTIK-FORUM.de

[Hanibal]

Hallo, danke für eure Zeit!

Ich habe den ICC [2,1] einer Bewertungsskala von Studien ausgerechnet. Nun wollte ich fragen ob ich diesen mit den ICC [2,1] Werten aus bereits existierenden Studien vergleichen kann. Ich dachte an einen z- oder t-Test.
Ist dies möglich? Ziel wäre zu schauen ob die Werte differenzieren, die ich gefunden habe.

[PonderStibbons]

Wozu einen Test? Du willst Qualitätsmerkmale von einzelnen Studien vergleichen,
nicht Aussagen über Grundgesamtheiten treffen.

Mit feundlichen Grüßen

PonderStibbons

[bele]

Hallo PonderStibbons,

ich finde die Idee eines Tests von ICC so abwegig nicht. Wenn ich die Sprachentwicklung von Kindern in der einen Studie von Müttern beurteilen lasse und in der anderen Studie von Pädagogen, dann kann man doch die Frage stellen, ob Mütter (als Grundgesamtheit) mit einer höheren Übereinstimmung beurteilen als Pädagogen (als Grundgesamtheit).

Der Anleitung zu einem Zusatzpaket zu R entnehme ich folgendes Zitat:

The results for the Lower and Upper Bounds for ICC(2,k) do not match those of SPSS 9 or 10, but do match the definitions of Shrout and Fleiss. SPSS seems to have been using the formula in McGraw and Wong, but not the errata on p 390. They seem to have fixed it in more recent releases (15).

Starting with psych 1.4.2, the confidence intervals are based upon (1-alpha)% at both tails of the confidence interval. This is in agreement with Shrout and Fleiss. Prior to 1.4.2 the confidence intervals were (1-alpha/2)%

http://personality-project.org/r/html/ICC.html

Demnach halten schlaue Leute die Idee von 95%-Konfidenzintervallen für ICC für sinnvoll und damit gehen sie wohl davon aus, dass ICC nicht nur einzelne Studien beschreiben, sondern auch Stichproben aus Grundgesamtheiten darstellen.

Liege ich da falsch?

An Hannibal wäre dann die Frage zu richten, ob die anderen Studien den zu vergleichenden ICC nur als Punktschätzung oder mit Unsicherheitsangaben berichten.


LG,
Bernhard

[strukturmarionette]

Hi,

Ist dies möglich?

- Meine Spekulation wäre, dass du Dich mit MetaAnalysen beschäftigst?

Gruß
S.

[Hanibal]

Hallo zusammen, danke für eure Rückmeldungen!

Ein Ziel meiner Arbeit wäre es einen Aspekt der Inter-Rater-Reliabilität (ICC 2,1 mit CI95) einer Stichprobe aus Masterstudenten, die mithilfe der PEDro-Skala RCT-Studien werten, mit den ICC 2,1 Werten von Experten, die ebenfalls mit CI 95 hinterlegt sind, zu vergleichen.

Die ICC sind folgendermassen aufgebaut:

jeder Rater rated jedes RCT
randomisierte Rater
Einzelwert

-> Shrout and Fleiss ICC 2,1

Da es sich beides um Stichproben der Grundgesamtheit handelt dachte ich, dass ein t-Test vielleicht möglich wäre oder ist das völlig abwegig oder würdet ihr nur die beiden ICC CI 95 auf "Schneidung" anschauen oder anhand der ICC-Wertung von Fleiss bewerten?

H0 Keine Differenz zw ICC
H1 Differenz

- alpha Wert 0.05 oder 0.01