STATISTIK-FORUM.de

[encarnizado]

hi community, ich habe eine frage zum ICC.

und zwar habe ich einen pool von 235 bildern, die von 842 observern bewertet worden sind (likert-skala) jedoch haben die observer nicht alle bilder, sondern 10 zufällig ausgewählte bewertet. macht also bei 8420 gesamtbewertungen durchschnittlich ca. 36 ratings pro bild.

nun möchte ich herausfinden, ob es beurteilerübereinstimmungen gibt.

ich habe es mittlerweile geschafft, dass datenblatt im spss so aussehen zu lassen, dass sich der ICC theoretisch anwenden lässt (jede spalte ein observer, jede zeile ein bild) - konkret kommt hier der ICC 1,k, oder kurz der "unjustierten, einfaktoriellen intraklassen-korrelationskoeffizienten", zum zug. andere verfahren sind soweit ich weiß ja auch gar nicht zulässig, da ja nicht nur eine menge rater mitmischen, sondern auch fehlende werte im spiel sind, wie man auf dem screenshot erkennt. und letzteres ist nun (womöglich?) auch mein problem:

wenn ich den ICC berechnen möchte, gibt mir SPSS folgende meldung aus: "Zu wenige Fälle (N=0) Für die Analyse" - das wars.

hat jemand eine ahnung, wie man dieses problem umschiffen könnte? ich bin beinahe am verzweifeln.
als alternative fiele mir noch krippendorffs alpha ein, aber da stößt jedoch die SPSS-software an ihre grenzen.

wäre super, wenn mir da jemand helfen könnte.
liebe grüße

[Albrecht]

fehlende Werte Problem würde ich genauer analysieren.

[encarnizado]

fehlende Werte Problem würde ich genauer analysieren.

ähm, danke für den tipp (?!) - wie ich eingangs schrieb, denke ich auch, dass es daran liegt.
nachdem ich nach langer suche jedoch immer noch keine antwort finden konnte, und mit meinem latein am ende bin, habe ich mich an dieses forum gewandt.
die antwort "analysiere das problem genauer" ist aber leider nicht allzu hilfreich für mich.

[Albrecht]

Das ist nur hilfreich, wenn man es macht.
In welchem Umfang liegen fehlende Werte vor? Was bedeutet fehlende Werte?
Hat ein Beurteiler nur vergessen 1 Bild oder 9 Bilder vergessen zu bewerten? Oder umgekehrt die Frage, wie viele Rater haben eine vollständige Bewertung abgegeben?
Welses ICC wurde außerdem in SPSS konkret ausgewählt?

[encarnizado]

hey hey, danke für die antwort.
also eigentlich steht alles schon im ersten posting. ich habe leider keine ahnung, welche information noch nützlich wäre, die ich nicht bereits gepostet habe.
"fehlende werte" bedeutet für meinen fall eben, dass mindestens 225 von allen 235 bildern nicht bewertet worden sind, da jeder rater nur zehn bilder vorgesetzt bekam. also pro rater flossen 4.26% ratings hinsichtlich der untersuchungsgrundlage ein.
eine vollständige bewertung im sinne von "es gibt rater, die alle 235 bilder bewertet haben" gibt es gar nicht.

könnte es sein, dass vielleicht die darstellung der daten (siehe screenshot im ersten posting) falsch gewählt ist?

[Albrecht]

Also wenn alle Rater jeweils 10 Bilder tatsächlich bewertet haben, gibt es keine fehlenden Werte.
Fehlende Werte sind solche, wo jemand etwas hätte bewerten sollen, es aber nicht getan hat.

"also eigentlich steht alles schon im ersten posting.."
Sorry, aber das ist nicht der Fall.

[encarnizado]

okay das ist schon mal gut zu wissen für das verständnis - nur, wie stellt man das dann in SPSS dar?

die ratings müssen ja irgendwie mit den bildern verknüpft werden, deshalb muss es zu den 842 variablen (ratern) doch notwendigerweise 235 bilder (fälle) geben, oder? und wenn man dass dann so ordnet, wie ich es ursprünglich für richtig gehalten habe (siehe screenshot im ersten post), erkennt SPSS dann so viele fehlende fälle.

ich hätte zunächst gedacht, für jede bewertung, die nicht vorhanden ist, eine "0" einzutragen, aber da würde ich ja auch in teufels küche kommen.

[Albrecht]

Welses ICC wurde außerdem in SPSS konkret ausgewählt?

[encarnizado]

Einfach, zufällig. also der icc (1,k)
aber bei sämtlichen anderen variationen des ICC gibt SPSS die selbe fehlermeldung aus.
(hab den fehler im threadtitel und startposting gerade gefunden und korrigiert)

[Albrecht]

Es gibt keine Option im SPSS-Menü, die so heißt.