Zwei Beurteilergruppen vergleichen

Fragen, die sich auf kein spezielles Verfahren beziehen.

Zwei Beurteilergruppen vergleichen

Beitragvon Hans_G » Mo 2. Mai 2016, 23:58

Versuchspersonen sollen mehrere Weine auf einer Skala (z. B. 0-100) bewerten. Die Versuchspersonen sind entweder Experten oder Laien auf dem Gebiet der Weinbewertung. Frage: Sind die Beurteilungen der Experten besser als die der Laien.

Das Maß, wie gut eine Person einen Wein beurteilt, definiere ich als den quadrierten Abstand seiner Beurteilung von dem Mittelwert seiner Gruppe:
Beurteilungsleistung von Versuchsperson i aus Gruppe j für Wein k =
D. h., je größer dieser Wert, desto schlechter die Beurteilung.

1. Reduziere ich das Problem auf einen Wein, könnte ich einen t-Test für unabhängige Stichproben mit der oben definierten Beurteilungsleistung als abhängige und Gruppe als unabhängige Variable durchführen. Das Ergebnis könnte ich dann auf Populationen von Laien und Experten generalisieren, aber nur im Hinblick auf diesen einen Wein.

2. Jetzt könnte ich aber auch für jeden Wein die Beurteilungsleistung der Gruppen zusammenfassen, indem ich für sie die Mittelwerte berechne. Für Wein k in der Gruppe j wäre das:
Das wäre also identisch mit der Varianz der Beurteilungen innerhalb der Gruppe. Mit diesen Daten kann ich einen gepaarten t-Test durchführen. (D. h. Ich würde für jeden Wein die Differenz zwischen den Beurteilungsvarianzen der Gruppen nehmen usw.) Damit kann ich zwar auf die Population Weine generalisieren, aber die Versuchspersonen in den Beurteilergruppen müssen immer dieselben sein.

Ich möchte aber auf Populationen von Beurteilern und Population Weinen generalisieren. Das Modell würde ich so beschreiben: fixed Between-Subjekt-Faktor für Gruppe, Repeated-Measures- Faktor für Wein, wobei ich gleichzeitig sagen würde, dass dieser Faktor random und nicht fixed ist. Allerdings kenne ich die Unterscheidung random vs. fixed Faktoren für Repeated-Measures gar nicht - gib es das überhaupt?

Für die Nicht-Repeated-Measures-ANOVA weiß ich, dass die Unterscheidung fixed vs. random entscheidend sein kann. Würde man z. B. das Problem so ändern, dass für jeden Wein eine neue Gruppe Laien und eine neue Gruppe Experten anträte, hätte man ein Mixed-Design ohne Repeated-Measures mit Gruppe als fixed (A) und Wein als random Faktor (B). Beim F-Test wäre der Error-Term für Gruppe (A) dann
Hans_G
Grünschnabel
Grünschnabel
 
Beiträge: 3
Registriert: Mo 2. Mai 2016, 23:24
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post

Re: Zwei Beurteilergruppen vergleichen

Beitragvon PonderStibbons » Di 3. Mai 2016, 09:29

Allerdings kenne ich die Unterscheidung random vs. fixed Faktoren für Repeated-Measures gar nicht - gib es das überhaupt?

Nö.

Mit freundlichen Grüßen

P.
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 11368
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 51
Danke bekommen: 2504 mal in 2488 Posts

Re: Zwei Beurteilergruppen vergleichen

Beitragvon Hans_G » Mi 4. Mai 2016, 18:41

Ein "gewöhnliches" Repeated-Measures-Modell mit Gruppe als Between-Subjekt-Faktor und Wein als Within-Subjekt-Faktor scheint mir aber hier nicht ganz korrekt zu sein. Angenommen, die Weinpopulation besteht aus 7 Weinen und die folgende Tabelle gibt die Mittelwerte der Bewertungsleistung je Gruppe und Wein wieder:
Code: Alles auswählen
Wein-Nr. | a | b | c | d | e | f | g
-------------------------------------
Experten | 1 | 2 | 4 | 2 | 4 | 1 | 0
Laien    | 3 | 2 | 0 | 2 | 0 | 3 | 4


In der Population aller Weine gibt es keinen Haupteffekt für Gruppe (marginale Mittelwerte in beiden Gruppen = 2). Wenn aber eine Stichprobe aus der Weinpopulation genommen wird (z. B. Weine a und b), dann unterscheiden sich die Mittelwerte der Gruppen (im Beispiel: 1.5 vs 2.5). D. h. genau wie in einem Between-Subject-Design mit einem fixed und einem random Faktor, spiegelt sich der Interaktionseffekt zwischen den beiden Faktoren im Haupteffekt des fixed Faktors (hier also im Haupteffekt für Gruppe) wider.

Bei einer gewöhnlichen Repeated-Measures-ANOVA würde man als Error-Term für den Haupteffekt Gruppe nehmen. Meine Frage ist, wäre der korrekte Error-Term in diesem Falle ?

Ich habe ja beim ersten Post keine explizite Frage formuliert. Mich würde interessieren, ob meine Argumentation richtig ist und ob ich die Fragestellung mit der hier spezifizierten Repeated-Measures-ANOVA analysieren kann (die Themen Skalenproblematik und Sphärizität mal außer acht gelassen).

Viele Grüße, Hans
Hans_G
Grünschnabel
Grünschnabel
 
Beiträge: 3
Registriert: Mo 2. Mai 2016, 23:24
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post

Re: Zwei Beurteilergruppen vergleichen

Beitragvon Hans_G » Fr 6. Mai 2016, 17:03

Mir klingt es eher so als würdest Du untersuchen, ob Experten einander in ihrer Weinbewertung ähnlicher sind als Nichtexperten.


Du hast mit Deiner Interpretation meiner Variablendefinition vollkommen recht. Ich hatte mir dazu im Vorfeld auch schon mehr Gedanken gemacht: Man könnte den wahren Wert einer Weinscore formal definieren, indem man sagt, es sei der Mittelwert aller Weinbeurteilungen der Population Menschen (meinetwegen auch Weintrinker). Diese Population beinhaltet sowohl Experten als auch Laien. Man könnte also die wahre Weinscore auch schätzen, indem man den Mittelwert aller Versuchspersonen (Laien und Experten) nimmt. Dann muss man sich aber definitiv Gedanken im Falle unterschiedlich großer Stichproben von Laien und Experten machen, denn wenn man einen ungewichteten Mittelwert berechnet würde, hätte die größere Stichprobe einen Vorteil bei dem Maß quadrierter Abstand zu diesem Mittelwert.

Ich kann mit der Interpretation: "In welcher der beiden Gruppen sind die Bewertungen einander ähnlicher?" ganz gut leben. Ich interessiere mich bei meiner Frage hauptsächlich für das Varianzanalytische Problem (Repeated-Measures/ fixed/random Faktoren).
Hans_G
Grünschnabel
Grünschnabel
 
Beiträge: 3
Registriert: Mo 2. Mai 2016, 23:24
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post


Zurück zu Allgemeine Fragen

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 4 Gäste