Interrater-Reliabilität für einzelne Items, kategorial

Interrater-Reliabilität für einzelne Items, kategorial

Beitragvon Ann1.0 » Fr 8. Feb 2019, 19:03

Hallo Alle,
schon einmal vielen Dank für eure Hilfe.
Ich habe folgende Frage: Ich lasse ca. 100 Items von 5 Beobachtern in jeweils eine von sechs Kategorien einteilen. Das Skalenniveau ist also Nominalskala. Danach möchte ich für jedes Item entscheiden zu welcher Kategorie es am wahrscheinlichsten passt. Wie gut es passt würde ich gerne mit einem statistischen Kennwert angeben. Items, die nicht gut in eine Kategorie passen sollen dann nämlich aussortiert werden.

Eine Tabelle könnte folgendermaßen aussehen:

________Person 1__Person 2__Person 3__Person 4__Person 5__Beurteilerübereinstimmung____Kategorie
Item 1______1_______6________1________1________2______________60%?_______________1? oder keine?
Item 2______3_______4________3________3________3______________80%?_______________3
Item 3______5_______2________2________5________4______________40%?_______________2 oder 5 -> keine
Item 4______1_______1________1________1________1______________100%?______________1
...

In dem Fall würde ich Item 2 und 4 auf jeden Fall aufnehmen. Item 3 wird auf jeden Fall rausgeschmissen. Bei Item 1 weiß ich es nicht genau (vielleicht gibt es einen Normwert dafür?).

Weitere Infos:
- Das Ziel soll letztendlich die Zuordnung von Items zu übergeordneten Faktoren für einen Fragebogen sein.
- Ich gehe davon aus, dass die Kategorien/Faktoren alle etwas miteinander korrelieren, da sie gemeinsam in meinem Fall pychopathologische Symptome erfassen. Aber Faktor 1 und 2 stehen sich nicht näher als Faktor 2 und 5.
- Ich versuch theoriegeleitet Items eines Fragebogens für die Erstellung eines neuen Fragebogens zu verwenden. Das Rating ist ein Expertenrating. Die Experten entscheiden also welches Item wahrscheinlich welches Konstrukt (Faktor) erfasst. Oder auch ob das Items keines der 5 Konstrukte erfasst. Nachdem das Rating erfolgt ist und ich die Items einem Faktor zugeordnet habe, werde ich dann eine Konfirmatorische Faktorenanalyse (KFA) machen. Allerdings nur mit den Items, die eindeutig einem Konstrukt zugeordnet werden konnten. Dadurch kann ich schauen wie gut das Modell passt, oder ob ein Item gar nicht auf dem Faktor lädt.
- Vielleicht könnte man auch für jedes einzelne Item Krippendorffs Alpha zum Beispiel berechnen? Ich suche nach Konventionen, mit denen ich meine Entscheidung begründen kann, damit sie nicht subjektiv entschieden erscheint.
Ann1.0
Einmal-Poster
Einmal-Poster
 
Beiträge: 1
Registriert: Fr 8. Feb 2019, 18:44
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post

Re: Interrater-Reliabilität für einzelne Items, kategorial

Beitragvon Andre76 » Do 23. Mai 2019, 12:00

Hallo Ann,

ich bin hier mit einer fast gleichen Fragestellung unterwegs. Schade, dass dir noch niemand geantwortet hat.
Bei meiner Expertenbefragung ist zusätzlich das Problem, es gibt kaum Varinaz innerhalb der Expertenbewertungen. Die Reliabilitätsanalysen bei SPSS reagieren also nicht.
Wie hast du dein Problem bislang gelöst. Ist ja schon ein paar Tage her...

Grüße André
Andre76
Beobachter
Beobachter
 
Beiträge: 10
Registriert: Mo 9. Mär 2015, 10:25
Danke gegeben: 1
Danke bekommen: 1 mal in 1 Post


Zurück zu Reliabilitätsanalyse

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste