STATISTIK-FORUM.de

[Moro]

Hallo an alle, vielleicht finde ich bei Euch Hilfe…

Die vereinfachte Ausgangslage:
Ich möchte mit dem Intra Class Coefficienten (ICC) überprüfen, inwieweit 10 Beurteiler 5 Objekte übereinstimmend geratet haben.
Da die Beurteiler die Skala von 1= "sehr gut" bis 5="sehr schlecht" unterschiedlich ausgenutzt haben (manche haben z.B. nur 2-4 vergeben, andere von 1-5), empfehlen Wirtz & Caspar (2007) die Rohwerte vorher zu z-transformieren. Dadurch würde die Reliabilität der Urteile normalerweise höher ausfallen.

Jetzt das Problem:
Wenn ich mit den z-transformierten Rohdaten rechne, bekomme ich einen negativen und zudem total niedrigen ICC heraus. Im Gegensatz dazu ist der ICC mit den Originaldaten wesentlich höher. Habe auch noch die z- transformierten Daten noch mal positiv transformiert (alle +5), damit die Daten zur Berechnung des ICCs nicht negativ sind, hatte aber nicht wirklich einen Effekt.

Versteht jemand von Euch was ich falsch gemacht habe? Muss ich noch irgendeinen Trick bei SPSS anwenden bei z- transformierten Daten?
Danke!

Hier ein Beispielauszug, dann ist's anschaulicher:


Rohdaten:
Rater 1/ Rater 2/ Rater 3/ Rater 4/ Rater 5/ Rater 6
Objekt 1: 4/ 4/ 3/ 3/ 4/ 5
Objekt 2: 2/ 2/ 4/ 3/ 2/ 2
Objekt 3: 3/ 3/ 2/ 2/ 3/ 3
Objekt 4: 2/ 1/ 2/ 2/ 2/ 1
Objekt 5: 3/ 3/ 2/ 3/ 3/ 5
--> ICC = 0,53 (p=0,00)

z- transformierten Werten:
Rater 1/ Rater 2/ Rater 3/ Rater 4/ Rater 5/ Rater 6
Objekt 1: 0,25355/ 0,25355/ -1,01419/ -1,01419/ 0,25355/ 1,52128
Objekt 2: -0,3644/ -0,3644/ 2,06493/ 0,85027/ -0,3644/ -0,3644
Objekt 3: 0,44448/ 0,44448/ -1,03712/ -1,03712/ 0,44448/ 0,44448
Objekt 4: 0,94868/ -0,94868/ 0,94868/ 0,94868/ 0,94868/ -0,94868
Objekt 5: -0,19365/ -0,19365/-1,1619/ -0,19365/ -0,19365/ 1,74284
--> ICC= -0,13 (p=0,88)

z- transformierten Werten und positiver linearer Transformation:
Rater 1/ Rater 2/ Rater 3/ Rater 4/ Rater 5/ Rater 6
Objekt 1: 5,25/ 5,25/ 3,99/ 3,99/ 5,25/ 6,52
Objekt 2; 4,64/ 4,64/ 7,06/ 5,85/ 4,64/ 4,64
Objekt 3: 5,44/ 5,44/ 3,96/ 3,96/ 5,44/ 5,44
Objekt 4: 5,95/ 4,05/ 5,95/ 5,95/ 5,95/ 4,05
Objekt 5; 4,81/ 4,81/ 3,84/ 4,81/ 4,81/ 6,74
--> ICC= -0,12 (p=0,956)