STATISTIK-FORUM.de

[mejorixxx]

Hallo zusammen

Ich bräuchte eure Hilfe bei einer Korrelationsberechnung.

Idee: 90 Schüler und 5 Experten beurteilen eine Schülerpräsentation anhand von 10 Kriterien. Ich will nun schauen, ob die Beurteilungen ähnlich sind, ob sie also korrelieren.

In Spss habe ich die Daten so aufbereitet:
+----------+--------------+---------------+
| | Durchschnitt | Durchschnitt |
| | Schüler | Experten |
+----------+--------------+---------------+
| Einstieg | 3 | 3.5 |
+----------+--------------+---------------+
| Stimme | 4 | 3 |
+----------+--------------+---------------+
| Inhalt | 2 | 3 |
+----------+--------------+---------------+
| ... | ... | ... |
+----------+--------------+---------------+


Meine 2 Fragen:
- Darf ich die verschiedenen Kriterien zusammennehmen, um in SPSS die generelle Korrelation zu rechnen? Ich würde hier ja ganz verschiedene Variablen (Einstieg, Stimme etc.) auf einmal miteinbeziehen?
- Kann ich einfach den Durchschnittswert nehmen?
- Würde es andere Möglichkeit geben, um zu schauen, ob die Schüler-Bewertungen valide sind?

[bele]

Hallo mejorixxx

Ich will nun schauen, ob die Beurteilungen ähnlich sind, ob sie also korrelieren.

Das "also" in diesem Satz lässt mich aufhorchen und vermuten, dass Du Dich mit den Haken und Ösen des Vergleichs verschiedener Beurteilungen noch nicht ausreichend beschäftigt hast. Wenn die Experten beispielsweise überall 5 Punkte vergeben und die Schüler überall 5 Punkte vergeben, wäre das dann "ähnlich"? Wenn die Experten überall nur einen Punkt vergeben, die Schüler aber zehn, wäre das dann ähnlich? Ist Dir bewusst, dass bei beiden Situationen die Korrelation gleich hoch ist?

Korrelation kann ein geeignetes Maß sein, Beurteilerübereinstimmung zu beurteilen aber ob es das ist, hängt von den Bedingungen des Einzelfalls ab. Ich schlage vor, dass Du Dir mal in der Wikipedia etwas zur Interraterreliabilität durchliest und die dort genannten Begriffe und Maße recherchierst und mit dem so gewonnenen Verständnis die Idee mit der Korrelation zweiter Spalten nach Mittelwertsbildung nochmal hinterfragst.

Kann ich einfach den Durchschnittswert nehmen?

Die Frage kommt sehr spät, gehört sie doch ganz an den Anfang. Das hängst erstmal davon ab, welches Skalenniveau Du Deinen Ausgangsdaten zuschreibst und da Du uns über die Ausgangsdaten nichts gesagt hast, können wir nicht mitreden. Grundsätzlich verlierst Du bei der Mittelwertsbildung die Information, wieviele Schüler und wieviele Experten es waren und ob die Schüler sich alle einig waren oder ob es zwischen den Schülern starke Schwankungen gegeben hat. Kann sein, dass Du das so haben willst, vielleicht ist es aber schlauer, sich erst noch mit anderen Maßzahlen als der Korrelation zu beschäftigen, bevor man sowas entscheidet.

Darf ich die verschiedenen Kriterien zusammennehmen, um in SPSS die generelle Korrelation zu rechnen? Ich würde hier ja ganz verschiedene Variablen (Einstieg, Stimme etc.) auf einmal miteinbeziehen?

So verschieden ja auch wieder nicht. Es sind verschiedene Leistungen, die beurteilt wurden aber sie wurden ja wahrscheinlich immer alle auf der gleichen Antwortskala beurteilt. Also rein rechnerisch kannst Du die Korrelation zwischen diesen beiden Spalten berechnen, aber ob sie wirklich ausdrückt, was Du wissen willst und ob es klug ist, die Information über die Schwankungsbreite innerhalb der Schülerschaft als Information zu verwerfen etc. wäre auch wichtig. Nur weil man es rechnen kann/darf, ist das allein noch kein Grund, das zu tun.

Würde es andere Möglichkeit geben, um zu schauen, ob die Schüler-Bewertungen valide sind?

Meinst Du, ob eine Schüerbewertung valide ist, oder ob der Durchschnitt von 90 Schülerbewertungen valide ist? Wenn jetzt die Schülerschaft in sich zwar zu einem anderen Ergebnis käme als die fünf Experten, aber alle Schüler immer gleicher Meinung wären, wäre das nicht auch eine Art von Validität? Ein Maß für Interrater-Validität innerhalb der Schüler wäre wahrscheinlich keine dumme Idee. Die Interraterreliabilität der Experten könnte hier als Vergleichsgröße dienen. Ich könnte mir auch gut vorstellen, für jede Zeile Deiner Tabelle zu untersuchen, wie weit Schüler und Experten voneinander weg liegen (beispielsweise als Mittelwertdifferenz plus Cohens d plus t-Test). Vielleicht sind die Schüler bei Einstieg und Inhalt ja ganz gut, bei Stimme aber richtig schlecht? Also da gibt es schon reichlich andere Auswertungen, die sich anbieten.

LG,
Bernhard