STATISTIK-FORUM.de

[encarnizado]

Einfach, zufällig.

analysieren -> skalierung -> reliabilitätsanalyse -> statistiken.

[Albrecht]

Okay, also prinzipiell ist das richtig. Ich dachte, mir war nicht klar, dass Du "einfach, zufällig" als Menüoption meintest.

Du wirst nicht über alle Rater diesen Koeffizienten berechnen können, da die Schnittmenge zwischen allen Ratern in der Regel Null sein wird, weil pro Rater nur 10 Bilder bei einer großen Menge von Bildern.
Vermutlich musst Du dann die Daten vorselektieren. Alle Bilder mit wenigen Beurteilungen raus aus der Analyse. Konzentriere Dich dann auf eine Menge von Bildern,

Dann musst Du folgendes machen. Du konzentrierst Dich, sagen wir mal auf genau 20 Bewertungen pro Bild. Diese 20 wählst Du zufällig aus allen Bildbewertungen für dieses eine Bild aus.
Anschließend hast Du so eine Matrix

Rating 1 Rating 2 Rating 3 Rating 4 Rating 5 Rating 6 Rating 7 Rating 8 ....................... Rating 20
Bild1
Bild2
Bild3
Bild4
Bild5
..
Bild100
....
Bild200
....

Dann kannst Du den Koeffizienten berechnen. In diesem Fall nimmst Du quasi an, dass alle Rater unterschiedlich sind d.h. dass ein Rater ein Urteil nur einmal abgegeben hat. Das stimmt nicht 100%-ig, wird aber aufgrund der Ziehung mit sehr hoher Wahrscheinlichkeit der Fall sein.

[encarnizado]

okay, besten dank. ich werde mir das mal durch den kopf gehen lassen.
ich habe schon in vergangenheit die bilder mit den meisten bewertungen ausgesiebt, dachte jedoch, dass es nicht zulässig ist. wie kann ich denn argumentieren, dass ich nur die bilder mit (wie in deinem beispiel) 20 bewertungen nehme?

[Albrecht]

Sorry, missverständnis. Man nimmt nicht nur Bilder mit 20 Bewertungen.
Wenn ein Bild 56 Bewertungen hat, dann werden zufällig 20 daraus ausgewählt.
Du müsstest alle Bilder, die weniger als 20 Bewertungen haben aussieben.
Alle die 20 oder mehr haben weiter behalten. Allerdings bei mehr als 20 Bewertungen musst Du zufällig 20 Bewertungen ziehen.
(Ich bin auf 20 gekommen, da der Mittelwert 36 war und 20 ist als Anzahl der Bewertungen groß genug. Es bedeutet aber auch, dass die meisten Bilder in der Analyse verbleiben. Du könntest Dich aber auch für 15 oder für 25 Bewertungen entscheiden.)

[encarnizado]

mh, ich bin doch noch irgendwie am grübeln. ich habe jetzt also sämtliche bilder mit weniger als 30 bewertungen ausgesiebt.
habe ich richtig verstanden, dass ich nun pro bild jeweils GENAU DIE 30 ratings nehme und die miteinander vergleiche?

...also quasi bei der berechnung "so tue" als ob ich 30 unterschiedliche rater mit 235 verschiedenen bewertungen habe? (bei der berechnung des ICCs steht ja für jede variable ein rater)

das kommt mir so willkürlich vor irgendwie.

[Albrecht]

Okay, wie viel Prozent der ursprünglichen Bilder verbleiben dann? (ist aber nur eine Nebenfrage.... schön wäre es sicher, wenn 80 oder 90% weiter in der Analyse verbleiben).

Bei den Bildern, die genau 30 Ratings haben, kannst Du nur diese nehmen, ja. Bei den anderen, sagen wir Bild X mit 41 Bewertungen, musst du 30 von diesen 41 Ratings zufällig(!) ziehen.
Das könnte über das SPSS-Menü gehen, wenn nicht musst Du die SPSS-Syntax bemühen.

Du bildest am besten 30 neue Variablen und weist denen dann die Ratings zufällig zu.

"...also quasi bei der berechnung "so tue" als ob ich 30 unterschiedliche rater mit 235 verschiedenen bewertungen habe? (bei der berechnung des ICCs steht ja für jede variable ein rater)"
Genau, Du hast 200 Bilder (oder wie auch immer) und diese Bilder wurden von jeweils 30 unterschiedlichen Ratern bewertet.

[encarnizado]

Okay, wie viel Prozent der ursprünglichen Bilder verbleiben dann? (ist aber nur eine Nebenfrage.... schön wäre es sicher, wenn 80 oder 90% weiter in der Analyse verbleiben).

sind immer noch 85%. das ist gut!

mit der syntax bin ich nicht so fit, aber ich kann ja random.org bemühen. ist zwar ein bisschen beknackt, aber hauptsache ich weiß nun, wie zu verfahren. danke erneut!

in dem zusammenhang frage ich mich folgendes: ich habe vor geraumer zeit die daten so modifiziert, dass ich den kleinesten gemeinsamen nenner von ratings genommen habe (ich glaube es waren 17) und genau von diesen 17 den ICC berechnet. käme ich da denn aufs selbe ergebnis hinaus?

[Albrecht]

ja, das wäre zumindest ein ähnliches ergebnis unde ein ähnliches vorgehen.