Hallo,
ich brauche dringend Hilfe bei der Berechnung der Interrater-Reliabilität meiner Bachelorarbeit.
Und zwar habe ich Videos mit einem Kategoriensystem mit 8 Kategorien bewertet. Dies habe ich mit der Papierversion gemacht. Also für jedes Auftreten einen Strich auf dem Papier. Für eine genauere Unterteilung habe ich alle 2 Minuten die Spalte gewechselt. Die Daten sind also in der folgenden Form:
Zeit 0-1 2-3 4-5 usw.
Kat.1 2 1 3
Kat.2 1 4 2
Kat.3 4 2 2
Kat.4 0 3 1
Kat.5 1 0 2
Kat.6 5 2 1
Kat.7 0 0 3
Kat.8 1 1 2
Die Zahlen sind also die Häufigkeiten des Auftretens in dem Zeitraum. Das habe ich dann auch noch von einem 2ten Beobachter. Nun ist mein Problem, dass ich ja nicht nur ein klassisches Kappa habe, bei dem ich pro Einheit eine Kategorie habe. Ich kann aber auch kein gewichtetes Kappa nutzen, da ich ja nicht nur ein Urteil habe, sondern ja die 8 Kategorien, die sich gegenseitig beeinflussen, ich muss also die geschätzte zufällige Übereinstimmung rausrechnen. Aber wie mache ich das bloß? Ich kann ja schon berechnen, wieviele Übereinstimmungen es gibt, aber ich kann nie sagen, welche Kategorie genutzt wurde, wenn ich keine Übereinstimmnung habe. Ich hoffe ich habe das Problem so geschildert, dass man es nachvollziehen kann!
Kann mir jemand Helfen?
Ich würde das auch mit Excel berechnen oder mit R, wenn es möglich ist. Die große Frage ist nur wie ist es möglich.
Und danke schonmal für die Hilfe!
Viele Grüße
Sabine