Ich hab einen ganz dringenden Rat nötig. Ich schreib gerade meine Masterarbeit, qualitative Arbeit.
Ich hab die Interraterreliabilität mit Hilfe des Krippendoorffs Alpha ausgerechnet und steh jetzt vor einem Problem, weil ich wegen zwei Codierungsmöglichkeiten 2 verschiedene Krippendorffs Alpha raushab.
Ein Mal hab ich es wie im Manual gemacht und hab sich überschneidende Codes benutzt, zB:
Unit/ ObsA/ ObsB
1 .... 1 ...... 1
2 .... 1 ...... 0
3 .... 0 ...... 0
etc.
Dabei kam ein Krippendorffs Alpha von .81 raus.
Meine Zweitkodiererin hat auch gerade eine qualitative Masterarbeit mit Berechnung des Krippendorffs Alpha geschrieben und gab mir den Tipp, ich solle sich nicht-überschneidende, einzigartige Codes (außer eben bei Übereinstimmung eines Paars) verwenden, weil SPSS vielleicht die Kategorien nicht unterscheiden könne. Gesagt getan, alles in einzigeartige Codes umgewandelt, zB
Unit/ ObsA/ ObsB
1 .... 11 .... 11
2 .... 21 .... 20
3 .... 30 .... 30
etc.
Tatsächlich hat das einen Unterschied gemacht und dabei kam ein Krippendorffs Alpha von .86 raus.
Bei beiden Codevarianten hatte ich natürlich dieselbe Anzahl an Pairs, Übereinstimmungen und Nicht-Übereinstimmungen, selben restlichen Einstellungen. Bereits geprüft, daran liegts nicht.
Woher kommt das (vor allem verwundert mich, dass bei der zweiten Variante der Wert höher ist) und noch viel wichtiger, welchen Wert soll ich nun nehmen?
Wäre ganz toll, wenn ihr mir ganz schnell helfen könntet, ich muss in 5 Tagen abgeben
