STATISTIK-FORUM.de

[Blado]

Hallihallo liebe Gemeinde,

ich habe eine Frage, an der ich mich jetzt schon lange aufhalte und irgendwie nicht zur gewünschten Lösung komme.

An 41 Probanden wurde mit zwei Ratern anhand einer Likertskala (somit ordinalskalenniveau) verschiedene Items untersucht, welche einzelnd und als TOTAL ausgewertet werden sollen.

Jetzt soll die Interraterkorrelation dieser zwei Rater berechnet werden.
Spaßeshalber haben wir vorweg die Interne Konsistenz mit Cronbachs Alpha für alle Items und das Total, berechnet und diese waren hoch signifikant und lagen im 0,9 Bereich.

Jetzt gibt es unterschiedliche Möglichkeiten die Interraterreliabilität zu messen:
Kappa ist das gängige Maß, jedoch bin ich mir gerade unsicher ob es nur für Nominalskalenniveau sinnvoll ist. Es leifert kleinste Werte, im 0,2 Bereich obwohl es ja zwischen 0-1 liegen sollte. In SPSS steht jedoch eine Signifikanz von 0,000 was ja soviel heißt wie alpha < 0,01 also sehr signifikant. Aber wie stimmt das mit dem Wert von 0,2 überein?

Der Korrelationskoeffizient nach Spearman ist ein Zusammenhangsmaß zwischen den Rangordnungen und liefert gute Werte. Meines Erachtens ist er jedoch nicht spezifisch für die Interraterkorrelation und ähnelt dem Cronbachs alpha Werten. Ist hier überhaupt ein signifikanter Unterschied zwischen den Beiden Verfahren....?

Die dritte Möglichkeit ist das Kendall-W. Hier erhalte ich bei den Einzelitems keine signifikanten Ergebnisse jedoch mein Total ist vollkommen ok und signifikant. Wie kann das sein?

Ich hänge mal ein Item aus der SPSS Analyse mit an als Bild. Ich weiss nicht genau irgendwie ist da der Wurm drinnen und ich habe sicherlich einen Denkfehler, den ich gerade nicht alleine lösen kann.....und hoffe auf Eure kompetente Antwort, nachdem mir die Bücher hier nicht weiter geholfen haben Vielleicht sind die Werte ja auch schön und ich könnte mich freuen......ich weiß grade nicht was ich davon halten soll...vielleicht kann mir ja jemand diese angehängte Tafel kurz erklären und es gibt nur einen richtigen Weg...aktuell gibt es so viele Möglichkeiten und ich weiß nicht was das richtige ist.....vielleicht könnt Ihr ja mein Wochenende retten...!

Danke im Vorraus und ein schönes Wochenende

[PonderStibbons]

Jetzt soll die Interraterkorrelation dieser zwei Rater berechnet werden.

Dann nimm doch den Spearman als Maß. Signifikanztests sind dabei reichlich
überflüssig, wen sollte es schon überraschen, dass die Bewertung derselben
Objekte mit derselben Skala über 2 Rater hinweg eine Übereinstimmung
> 0,0000 aufweist. Die Größe des p-Wertes hängt da allein von der Fallzahl ab.

Interessant könnte es noch sein, eventuelle Unterschiede der Beurteilungstendenzen
zu analysieren, das ginge über den Wilcoxon-Vorzeichenrangtest, also Test für abhängige
Messungen.

Mit freundlichen Grüßen

P.

[Blado]

Guten Abend,

danke für die schnelle Antwort.

Ja an Spearman hatt ich auch gedacht, war aber irritiert darüber, weil ja eine Normalverteilung vorraussetzung ist oder? Und ich Ihn desshalb woander ausgeschlossen hatte. Er liefert aber die besten Werte durchgängig. Ist denn die Normalverteilung bei einer Likkertskala mit 1,2,3,4 also mit fehlender Mitte und der 8,9 als logisch nicht möglich oder nicht überprüft, gegeben? Wenn ich jetzt Spearman nehmen würde, dann kann ich die signifikanz aber nicht verwerten oder? Sie ist bei allen Items bei 0,000.das liegt ja anscheinend an der geringen Fallzahl und ist somit nicht erwähnenswert oder?
Zudem habe ich heute mal den Wilcoxon-Vorzeichenrangtest durchgerechnet( Zunächst dachte ich ich könnte ihn nur bei zwei Variablen die ich vergleichen will, wie z.B. Haarschampoo und Schuppenwuchs verwenden. Aber nach deiner Aussage scheint er ja auch für die Inetrraterkorelation verwendbar zu sein). Interessant ist, dass er fast genau die Werte liefert wie der Kendall W. Die Einzelitems sind nicht signifikant und das TOTAL ist wieder super bei <0,01. Vielleicht sollte ich nur den TOTAL als ergebnis liefern.....die Einzelitems sind ja nicht ausschlaggebend.
Ist denn dann der Wilcoxon-Vorzeichenrangtest oder der Test nach Kendall W besser geeignet?
Wie kann es sein das die Tests so unterschiedlich ausfallen?

Danke und einen schönenn Abend

[PonderStibbons]

Ja an Spearman hatt ich auch gedacht, war aber irritiert darüber, weil ja eine Normalverteilung vorraussetzung ist oder?

Nein. Das lässt sich auch ziemlich leicht nachlesen,
wikipedia oder so.

Zudem habe ich heute mal den Wilcoxon-Vorzeichenrangtest durchgerechnet( Zunächst dachte ich ich könnte ihn nur bei zwei Variablen die ich vergleichen will, wie z.B. Haarschampoo und Schuppenwuchs verwenden. Aber nach deiner Aussage scheint er ja auch für die Inetrraterkorelation verwendbar zu sein).

Dieser Test hat mit Korrelation nichts zu tun. Ich schrieb doch
eigens, eventuelle Unterschiede der Beurteilungstendenzen
wären mit dem Wilcoxon überprüfbar.

Eine Rang-Korrelation zeigt, ob die beiden Beurteiler
die Objekte in die selbe Reihenfolge bringen. Der
Wilcoxon dagegen prüft, ob Unterschiede der zentralen
Beurteilungstendenz vorliegen. Wenn dieselben 3 Objekte
vom ersten Rater mit den Skalenwerten 1, 2, 3 beurteilt
werden und vom zweiten mit den Werten 4, 5, 6, dann
besteht eine perfekte Korrelation, aber der eine Rater
beurteilt grundsätzlich viel niedriger als der andere.

Mit freundlichen Grüßen

P.

[Claas]

Hi

An 41 Probanden wurde mit zwei Ratern anhand einer Likertskala (somit ordinalskalenniveau) verschiedene Items untersucht, welche einzelnd und als TOTAL ausgewertet werden sollen.

Heißt TOTAL, dass die einzelnen Items irgendwie aggregiert werden?
Wenn ja, behandelst Du Deine Items allerdings gar nicht als ordinalskaliert - denn mit ordinalskalierten Variablen machen mathematische Operationen wie Mittelwerts- oder Summenbildung keinen Sinn (denn diese erfordern äqidistante Merkmalsausprägungen).
Wenn Du Dich dazu entschließt, die likertskalierten Items als intervallskaliert zu betrachten (ich denke, die Diskussion dazu kann ich als bekannt voraussetzen), bietet sich für die Interraterkorrelation die Berechnung des Intraklassenkorrelationskoeffizienten an.
Grüße
Claas

[Blado]

Hey dankeschön erstmal, der Hinweis war super ,

ich glaube das wars... Ich habe jetzt mal nicht die Mittelwerte genommen sondern die Likertskala an sich. So sehen die Ergebnisse auch mit Kappa ganz anders aus. Alle über 0,61 und nur eins bei 0,45 was ja auch noch akzeptabel ist. mindestens....und nach Landis und Koch ( J. R. Landis, G. G. Koch: The measurement of observer agreement for categorical data. In: Biometrics. 33, 1977, 159–174) ist man damit schon mal bei einer mittelmäßigen Übereinstimmung. ( "0,41-0,60 = „mittelmäßige (moderate) Übereinstimmung“, 0,61-0,80 = „beachtliche (substantial) Übereinstimmung“, 0,81-1,00 = „(fast) vollkommene ((almost) perfect) Übereinstimmung“.)
Aber auch die Werte der ICC mit dem TOTAL als Mittelwert sehen super aus. Die Frage ist jetz nur noch welche Werte sind besser in die Arbeit auf zu nehmen.

Hierzu nochmal eine Frage zur Erstellung:

Ich habe also den Mittelwert erstellt aufgrund dessen, dass ich ein Item habe, welches durch Unteritems zustande kommt.
Angenommen ich habe 4 Unteritems mit der Likertskale z.B. die Werte 4;1;1;3 so würde sich ein Mittelwert von 2,25 ergeben. Somit Intervall ICC.
Der Bogen ist jetzt aber aus der Psychologie und das höschste der gerateten Unteritems ist ausschlaggebend für das Item. In diesem Fall also 4. Dann bleibt die ordinalskale erhalten.

Welche Variante ist nun sinnvoller dar zu stellen? Oder bei der Interraterreliabilität als höherwertiger zu erachten.

Zudem habe ich noch eine Frage......hoffe das ist kein Problem..
Auch bei der Errechnung des ICC oder der anderen Variante des Kappa kommen Signifikanzen bei 0,000 raus. Laut "PonderStibbons" hängt die Größe des p-Wertes ja allein von der Fallzahl ab. Somit ist das Ergebnis zu erklären. Wie kann ich jedoch eine verwertbare Signifikanz angeben? Oder lässt man sie lieber ganz weg? Oder diskutiert man sie ....?

Danke für Eure Gedult....aber ich bin ein Stück weiter...Jupi.....
Grüße