ich habe folgenden Fall: Je 150 Studenten haben eine Art Leistungskontrolle geschrieben und die Studenten haben sich untereinander bewertet. Konkret heißt das, dass jede Leistungskontrolle eines Studenten von 5 anderen aus der Gruppe bewertet wurde (Randomisierte Zuordnung).
--> Zu jeder Leistungskontrolle (150 Stück) liegen also aus der Peer Group 5 Ratings vor. Somit hat jeder Student 5 andere Studenten (bzw. deren Leistungskontrollen) bewertet.
Jetzt Frage ich mich ob man errechnen kann, inwieweit die Rater (also die Studenten) untereinander übereinstimmen.
Mein Problem ist, dass es zwar 150 Rater gibt, aber nicht jeder Rater jeden Fall bewertet hat, sondern nur 5. Zu jedem Fall liegen zwar 5 Ratings vor, aber es waren aus der Peer Group ja immer andere Leute.
Ich hoffe ich habe mein Anliegfen klar fomuliert
Nun würde ich also gerne wissen, wie man die Reliabilität der Daten überprüfen kann?
Kann ich mit dem ICC (und wenn ja mit welchem??) die Übereinstimmung von Ratern errechnen? Denn jeder Rater hat 5 andere Studenten bewertet, aber in Summe sind es ja 150 Studenten. Also für einen Fall liegen 5 Ratings vor.
Macht es da überhaupt Sinn die Reliabilität zu messen?
Ich hatte mich schon etwas eingelesen und bin auf den ICC gestoßen. Weiß aber nicht, ob a) das wirklich das richtige Maß ist, b) welchen ich verwenden kann und c) wie die Daten für SPSS vorbereitet sein müssen.
Ich hoffe es kann jemand helfen
