STATISTIK-FORUM.de

[Mburg]

Hallo,
erst mal beschreibe ich kurz meine Arbeit: Querschnittserhebung von zwei Semestern Medizinstudenten, per Fragebogen mit mehreren, meist fünfstufigen Items. N = ca. 500, außerdem ist eine Gruppenzugehörigkeit (Praktikumsgruppe) erfasst worden, es gibt ca. 60 Gruppen mit ca. 5-10 Personen. Ich habe jede Menge Analysen auf Individuums-Ebene durchgeführt, als solche sind die Daten ja auch erhoben. Einige Fragestellungen möchte ich mit Aggregationsdaten durchführen. Eine Möglichkeit wäre natürlich, für jede der 50 Gruppen einen Mittelwert ihrer Mitglieder zu bilden. Mir ist klar, dass bei einer Mittelwertbildung sehr viel Information verloren geht, nämlich die Variabilität innerhalb einer Gruppe.

Beispielfrage: "Wie produktiv ist Ihre Gruppe?".
Beispielszenario:
Gruppe 1 besteht aus 5 Personen, die die Gruppe sehr unproduktiv finden, und 5, die die Gruppe sehr produktiv finden.
Gruppe 2 besteht aus 10 Personen, die die Gruppe alle gleichermaßen durchschnittlich produktiv finden.

Gleicher Mittelwert, unterschiedliche Varianz, klar. Nur um die Ausgangslage zu verdeutlichen Ich möchte gerne legitimieren, dass ich die Daten per Mittelwert zusammenfasse. Das wäre bspw. möglich, wenn ich zeigen kann, dass die Varianz innerhalb der Gruppen gering ist.

Was ich suche, ist ein Maß der Übereinstimmung innerhalb einer Gruppe. Ist die Intraklassen-Korrelation (ICC) hier das richtige für mich? Interrater-Reliability? Interrater-Agreement? Ich bin in einer Studie auf den folgenden Ausdruck gestoßen: "James, Demaree, and Wolf’s (1984) multiple-item within-group interrater reliability index". Oder möglicherweise einfach über die Standardabweichung der Gruppe argumentieren? Ist mein N (5-10) zu klein für derartige Berechnungen?

Die mir zugeteilte statistische Beratung der Uni konnte mir leider nicht weiterhelfen.

Nochmal zusammengefasst: Wie kann ich die Übereinstimmung mehrerer Personen-Meinungen zu einem Zeitpunkt in einer Gruppe so erfassen, dass ich einen standardisierten Wert (z.B. zwischen 0 und 1) erhalte?

Vielen herzlichen Dank

[PonderStibbons]

Eine Möglichkeit wäre natürlich, für jede der 50 Gruppen einen Mittelwert ihrer Mitglieder zu bilden.

Bei 5stufigen Items wäre der Median das Maß der zentralen Tendenz.

Ich möchte gerne legitimieren, dass ich die Daten per Mittelwert zusammenfasse. Das wäre bspw. möglich, wenn ich zeigen kann, dass die Varianz innerhalb der Gruppen gering ist.

Wieso? Was ändert sich denn an den Eigenschaften eines Mittelwerts,
wenn die Streuung groß ist? Allerdings ist beides streng genommen hier
unzulässig.

Mit freundlichen Grüßen

PnderStibbons

[Mburg]

Mannomann, ganze Antwort nicht gespeichert, weil bereits automatisch ausgeloggt, also auf ein Neues:

Vielen herzlichen Dank für die schnelle Antwort. Stimmt, der Median wäre das korrekte Maß und ja, die Eigenschaften des Mittelwerts ändern sich nicht. Die Varianz hat aber offenbar eine Bedeutung für meine Untersuchungen. Ich habe eine Korrelation von Daten basierend auf den Individualdaten mit einer Korrelation basierend auf Gruppenmittelwerten verglichen. Die Korrelation von Gruppenmittelwerten ist höher als die von Individualdaten. Das kann, so habe ich gelesen, zu einem ökologischen Fehlschluss führen. Zum Verständnis, folgendes habe ich untersucht:

X Studierende in Y Gruppen in Lernformat A und B (alle Studierende sind parallel sowohl in A als auch in B unterrichtet worden):
Die subjektive Produktivität in A und B wurde mit der fünf-stufigen Skala erfasst.

1. Korrelation (Kendall-Tau-b): Individuelle Werte der X Studierenden, Produktivität in A und B
2. Korrelation (Spearman): Gruppenmittelwerte der Y Gruppen, Produktivität in A und B <----- deutlich höhere Korrelationen

Ich denke, das deutet bereits darauf hin, dass die Varianz innerhalb manchen Gruppen groß ist und deshalb deutlich unterschiedliche Korrelationen entstehen.
Nur, das würde ich gerne in Zahlen ausdrücken. Es sind zu viele Gruppen als dass ich für jede einzeln beschreiben kann, "Also in dieser Gruppe ist sowohl die Übereinstimmung innerhalb der Lernformate hoch und der Zusammenhang der Produktivität A und B gut.. in dieser Gruppe nicht, es existieren Meinungsverschiedenheiten" usw.


Viele Grüße

[PonderStibbons]

Die Korrelation von Gruppenmittelwerten ist höher als die von Individualdaten.

Ja, die sind reliabler. Aber es handelt sich natürlich auch um 2 unterschiedliche
Betrachtungsebenen.

Das kann, so habe ich gelesen, zu einem ökologischen Fehlschluss führen.

Worin sollte der bestehen?

Ich denke, das deutet bereits darauf hin, dass die Varianz innerhalb manchen Gruppen groß ist und deshalb deutlich unterschiedliche Korrelationen entstehen.
Nur, das würde ich gerne in Zahlen ausdrücken.

Ich muß gestehen, dass ich evtl. nicht genau verstanden habe, was Du
in Zahlen ausdrücken willst, aber um Clustereffekte in Studien
zu beschreiben, kann man den Intracluster Correlation Coefficient
berechnen, vielleicht geht es darum.

Mit freundlichen Grüßen

PonderStibbons

[Mburg]

Hallo,

Ja, die sind reliabler. Aber es handelt sich natürlich auch um 2 unterschiedliche
Betrachtungsebenen.

Genau. Ich bin in meinen Annahmen zunächst davon ausgegangen, dass Gruppenebene und Individualebene in ihren Zusammenhängen etwa übereinstimmen. Mehrere Personen bewerten ja ein und die selbe Gruppe. Offenbar ist es nicht so trivial.

Worin sollte der (ökologische Fehlschluss) bestehen?

Aufgrund meiner Mittelwertskorrelation könnte man sagen: Wenn eine Gruppe im Lernformat A (un)produktiv ist, ist sie das auch im Lernformat B.
Das gilt jedoch nicht für die Individuen (da geringere Korrelation).Ein Beispiel in Zahlen:

Gruppe 1, Mittelwert 2,2 in beiden Lernformaten A und B, bestehend aus
Person I: A = 4, B = 0
Person II: A = 4, B = 1
Person III: A = 0, B = 4
Person IV: A = 1, B = 2
Person V: A = 2, B = 4
(zu lesen: Person gibt der Produktivität im Lernformat A den Wert 4 (hoch), in Format B den Wert 0 (niedrig) usw.)

Korreliere ich die Mittelwerte vieler solcher Gruppen, komme ich zu dem Ergebnis, dass diese für die beiden Lernformate deutlich zusammenhängen. Korreliere ich hingegen die Individualdaten, ist der Zusammenhang sehr gering. So gibt es Personen, die ihre Gruppe in A produktiv finden, in B überhaupt nicht; Personen, die die Gruppe in beiden Lernformaten gut finden usw. Da ich diesen Unterschied erkannt habe, ist der Fehlschluss "ausgeschlossen", aber mehr als ihn zu beschreiben, fällt mir zur Zeit nicht ein.

.. kann man den Intracluster Correlation Coefficient
berechnen, vielleicht geht es darum.

Danke. Ich dachte gerade kurz, dass der ICC das ist, was ich kürzlich ausgerechnet habe, aber es ist der Within-group-interrater-reliability-Index, als Maß der Übereinstimmung in den einzelnen Gruppen. Dort habe ich Werte zwischen 0,5 und 0,99, in der Hälfte der Gruppen < 0,9. Hatte ihn dann aber wieder verworfen. Ich wusste nicht, wie ich dieses Ergebnis weiter verwerten kann. Offenbar stimmen die Individuen innerhalb einer Gruppe nicht immer überein und daher verbietet sich in meinen Augen die Mittelwerts-Korrelation. Meine ursprüngliche Annahme (s.o.) ist jedenfalls nicht haltbar.
Es wäre schön, wenn ich die Aggregation trotzdem durchführen und den Cluster-Effekt "einbauen" könnte. Vielleicht mit einer partiellen Korrelation?

Ich muß gestehen, dass ich evtl. nicht genau verstanden habe, was Du
in Zahlen ausdrücken willst

Ja, das liegt wohl daran, dass ich es selbst nicht genau weiß.
Ich hatte eine vage, naive Idee, dass man eine "Berechnung" durchführt und dann die Aggregation der Daten zulässig ist. Ich hatte eine Studie gefunden, die mit dem o.g. Within-group-interrater-reliability-Index ihre Datenaggregation rechtfertigt, sie haben aber nur Index-Werte zwischen 0,87 und 0,93.

Ich möchte schlussendlich sagen können: "Produktivität ist ein gruppenspezifisches Merkmal, welches in unterschiedlichen Lernformaten gleich bleibt" (oder eben nicht)

PS: Das ganze in Grün gibt es für "Wohlfühlen" und "Vorhandensein von gegenseitiger Unterstützung". Tatsächlich glaube ich, dass Produktivität nicht gruppen-spezifisch, sondern lehrformat-spezifisch ist, und Wohlfühlen und Unterstützung viel mehr gruppen-spezifisch sind! Die Korrelationen sind für diese beiden Aspekte auch viel ausgeprägter als für Produktivität.

Viele Grüße