STATISTIK-FORUM.de

[SaschaD]

Ich möchte die Inter-Rater-Rel., aufgrund von fehlender Intervallskalierung, mit Krippendorfs Alpha, Fleiss Kappa, Gwet’s AC2 bzw. Kendalls W berechnen

Es gibt 2 zu ratende Fallvignetten (jeweils anhand von diversen Items), Ziel ist es die Inter-Rater-Rel. dieser Items zu berechnen.

Meine Frage: Ist es zwingend erforderlich, dass jeder zufällige Rater (Online-Studie) beide Fallvignetten raten muss

oder reicht es aus, dass jeder einzelne zufällige Rater nur eine (randomisiert zugewiesene) Fallvignette rated (aufgrund von Zeit- und Aufwandsersparnis)?

Und im Falle von Intervallsklalierung, wäre oben beschriebenes Procedere via ICC(1) statistisch durchführbar oder müsste jeder Rater beide Fallvignetten raten?

Ich würde mich über eine kurze Antwort sehr freuen.

Vielen Dank und beste Grüße im Voraus