STATISTIK-FORUM.de

[Midori]

Hallo zusammen,

ich habe schon in einigen Büchern nachgeschaut und bisher nix gefunden, deshalb meine Frage an euch, ob ihr mir da weiterhelfen könnt. Wie würdet ihr den Spearman Rangkorrelationskoeffizient interpretieren bei einer Inter-Rater-Reliabilität (also wann findet ihr, ist die Reliabilität schlecht, mittel, gut)? Gibt es da irgendeine Konvention (die man im Idealfall noch als Quelle angeben könnte)?

Vielen Dank und Gruss,
Midori

[Michael]

Hallo,

die Interrater-Reliablität gibt man normalerweise nicht mit Spearman an, sondern mittels Intraclass-Koeffizienten (bei numerischen Maßen).

Weiteres findest Du in:

Wirtz, M. & Caspar, F. (2002). Beurteilerübereinstimmung und Beurteilerreliabilität. Göttingen: Hogrefe

Wirtz, M. (2004). Bestimmung der Güte von Beurteilereinschätzungen mittels der Intraklassenkorrelation und Verbesserung von Beurteilereinschätzungen. Die Rehabilitation, 43(6), 384-389.

McGraw & Wong (1996). Forming inferences about some intraclass correlation coefficients. Psychological Methods, Vol 1(1), Mar 1996, 30-46.

LG,
Michael

[Midori]

Hallo Michael

Vielen Dank für die rasche Antwort.

Ich habe Rangdaten, ein Teil wurde von 2 Personen gerated und ein Teil von 3 Personen. Habe deshalb die Rangkorrelation für 2 Rater und bei 3 Rater Kendalls W genommen und letzeren dann auch in eine Rangkorrelation umgerechnet für eine bessere Vergleichbarkeit. Habe mich dabei an Bortz, Lienert & Bohnke, 2000 und an Wirtz & Caspar, 2002 orientiert.

Allerdings habe ich eben nichts spezifisch für die Interpretation gefunden, ab wann so ein Wert etwa OK ist... Hast du oder sonst jemand da eine Idee?

Merci & LG,
Midori

[Michael]

Hallo Midori,

habe gerade bei Wirtz und Caspar nochmal nachgelesen. Auf Seite 25 wird kurz diskutiert, dass es allgemeingültige Kriterien nicht geben könne und man sich an inhaltlichen Überlegungen bzw. ähnlichen Studien orientieren solle...

Zu Kendall schreiben sie noch (S.155), dass beachtet werden müsste, dass Kendall i.d.R. deutlich kleiner als Spearman ausfällt (0.66fache), folglich dürften auch "niedrigere" Werte eher ok. sein.

Mehr habe ich leider auch nicht.

LG,
Micha

[Midori]

Hallo Micha,

merci für die Antwort und fürs Nachschauen!
Habe Kendalls W in Spearmans r umgewandelt, damit die Ergebnisse vergleichbar sind.
Ich frage mal noch im allgemeinen Forum nach, vielleicht weiss da noch jemand etwas darüber. Ich häbe nämlich keine Anhaltspunkte, welche Werte so OK wären, deshalb ist das etwas schwierig... (keine vergleichbaren Studien, oder dann haben sie ein völlig anderes Mass verwendet)

LG,
Midori

[DocX]

Hallo,

gibt es da inzwischen weitere Erkenntnisse? Ich möchte nämlich auch die Interraterreliabilität berechnen und da wär's natürlich schön, wenn ich mit den berechneten Werten irgendwas anfangen kann
Danke schon mal!