Hallo zusammen
Ich hätte eine Frage darüber, wie man "von Hand" die exackte prozentuale Übereinstimmung wie auch das "adjacent agreement" (Übereinstimmung wenn Skailenwerte gleich oder +/-1 sind)berechnet.
Szenario:
100 Rater haben ein einziges Item auf einer 5er-Skala beurteilt. Gänige Verfahren zur Bestimmung der Interrater-Reliabilität funktionieren nicht, weil ich nur 1 Item habe. Deshalb möchte ich einfach "von Hand" die prozentuale Übereinstimmung messen.
Fiktive Resultate:
Antwort 1 = 20 Nennungen
Antwort 2 = 20 Nennungen
Antwort 3 = 50 Nennungen
Antwort 4 = 10 Nennungne
Antwort 5 = 0 Nennungen
Könnte mir da jemand helfen, mit welcher Formel man das macht, insbesondere, wenn man so viele Rater hat.