Rangreihen vergleichen / auf Richtigkeit prüfen?

Fragen, die sich auf kein spezielles Verfahren beziehen.

Rangreihen vergleichen / auf Richtigkeit prüfen?

Beitragvon minty » Sa 12. Mär 2016, 11:57

Hallo liebes Forum!

Ich schreibe gerade meine Masterarbeit und bin dabei auf ein kleines Problem gestoßen, bei dem meine Betreuerin mir nicht weiterhelfen kann.

Meinen Teilnehmerinnen habe ich eine Liste von 40 Produkten vorgelegt und gefragt, wie häufig sie diese jeweils konsumieren. Dann wurden Sie gebeten, die von Ihnen konsumierten Produkte in eine Rangreihe hinsichtlich eines bestimmten Merkmals zu bringen. Damits nicht so abstrakt wird, nehmen wir mal an, es war der Alkoholgehalt. Die Teilnehmerinnen sollten also die Produkte ordnen von 1) höchster Alkoholgehalt bis x) geringster Alkoholgehalt. Wie viele und welche Produkte bewertet werden sollen, war also für jede Teilnehmerin unterschiedlich. Es gibt eine "korrekte" Rangreihe, da ich den Alkoholgehalt aller Produkte kenne.
Bild

Ursprünglich war mein Plan, mir von jeder Person die "Top 3" anzusehen,zu überprüfen, ob die mit dem korrekten Ranking übereinstimmen und die Personen dann in "richtig eingeschätzt" vs. "falsch eingeschätzt" einzuteilen.

Meine Betreuerin hat nun beschlossen, sie fände es schön, wenn das irgendwie "genauer" wäre. Was genau sie sich darunter vorstellt, weiß sie leider selbst auch nicht. Vermutlich was mit Prozentangaben.
Unsere erste Idee war sowas:
Bild
Scheint uns aber auch irgendwie suboptimal. Da muss es doch was besseres geben?

Meine Frage: Ich möchte eine von meiner Teilnehmerin gebildete Rangreihe mit der "korrekten" Rangreihe vergleichen und sehen, WIE richtig meine Teilnehmerin mit ihrer Einschätzung lag. Welche Möglichkeiten habe ich? Gibts ein Standardvorgehen für solche Fragestellungen?

Ich freue mich über jeden Tipp, Vorschlag, Stups in die richtige Richtung (vielleicht steh ich ja auch nur komplett auf dem Schlauch..). Danke fürs Lesen!

Liebe Grüße & schönes Wochenende!
minty
Grünschnabel
Grünschnabel
 
Beiträge: 4
Registriert: Sa 12. Mär 2016, 11:23
Danke gegeben: 2
Danke bekommen: 0 mal in 0 Post

Re: Rangreihen vergleichen / auf Richtigkeit prüfen?

Beitragvon mango » Sa 12. Mär 2016, 12:23

Hallo, wie wärs denn, jede einzelne Antwort nach ihrem Rangabstand zum wahren Rang zu bewerten und dann die Beträge zu addieren?

Kleiner Hinweis: Dir ist bewusst, dass du durch die Tatsache, dass die Personen unterschiedliche Produkte bewerten sollten, die Vergleichbarkeit stark eingeschränkt ist?
mango
Elite
Elite
 
Beiträge: 330
Registriert: Fr 2. Mai 2014, 16:55
Danke gegeben: 3
Danke bekommen: 55 mal in 55 Posts

folgende User möchten sich bei mango bedanken:
minty

Re: Rangreihen vergleichen / auf Richtigkeit prüfen?

Beitragvon PonderStibbons » Sa 12. Mär 2016, 13:42

Für jeden Probanden eine Spearman-Rangkorrelation
zwischen der korrekten Rangreihe der bewerteten
Produkte und der durch den Probanden geschaffenen
Rangreihe.

Mit freundlichen Grüßen

P.
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 11368
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 51
Danke bekommen: 2504 mal in 2488 Posts

folgende User möchten sich bei PonderStibbons bedanken:
minty

Re: Rangreihen vergleichen / auf Richtigkeit prüfen?

Beitragvon minty » Sa 12. Mär 2016, 14:46

Wow, danke für eure schnellen Antworten!

mango hat geschrieben:Hallo, wie wärs denn, jede einzelne Antwort nach ihrem Rangabstand zum wahren Rang zu bewerten und dann die Beträge zu addieren?

Das ist eine gute Idee, danke! Ich glaube, das probiere ich aus und schlage es meiner Betreuerin mal vor.

mango hat geschrieben:Kleiner Hinweis: Dir ist bewusst, dass du durch die Tatsache, dass die Personen unterschiedliche Produkte bewerten sollten, die Vergleichbarkeit stark eingeschränkt ist?

Ja, absolut! Es war ja auch eigentlich nicht geplant, dass ich das mache.. der eigentliche Fokus der Arbeit liegt ganz wo anders. Diese Daten wurden mehr "nebenbei" miterhoben, aber aus mir nicht nachvollziehbaren Gründen hat sich meine Betreuerin jetzt darauf versteift, dass ich irgendwas damit berechnen soll :|


PonderStibbons hat geschrieben:Für jeden Probanden eine Spearman-Rangkorrelation
zwischen der korrekten Rangreihe der bewerteten
Produkte und der durch den Probanden geschaffenen
Rangreihe.

Aaaah, danke für den Tipp! Das war dann wohl das "auf dem Schlauch Stehen" :lol: Werd ich gleich mal versuchen.


Liebe Grüße
minty
Grünschnabel
Grünschnabel
 
Beiträge: 4
Registriert: Sa 12. Mär 2016, 11:23
Danke gegeben: 2
Danke bekommen: 0 mal in 0 Post

Re: Rangreihen vergleichen / auf Richtigkeit prüfen?

Beitragvon minty » Mo 14. Mär 2016, 08:49

Hallo, ich bins nochmal :)

Habe jetzt wie vorgeschlagen mal für ein paar Teilnehmerinnen eine Spearman-Rangkorrelation berechnet, war gar nicht so schwierig wie befürchtet ;)

Allerdings bin ich mir bei der Interpretation nicht ganz sicher.. passt das so?
r = 1.0 -> Teilnehmerin hat komplett richtig eingeschätzt/gereiht
r = .5 -> TN hat nicht komplett richtig eingeschätzt
r = 0 -> TN lag mit ihrer Einschätzung ganz falsch (das Ergebnis hatte ich bisher nur einmal und da war keiner der Rangplätze "richtig" vergeben)

Was ist bei einer negativen Korrelation in meinem Fall? "Fälscher als falsch" gibts ja eigentlich nicht? Oder kann ich das als "Noch weiter weg von der richtigen Lösung als die TN mit r=0." verbuchen?

Leider hab ich auch in keiner meiner Unterlagen und auch bei meiner Google-Recherche nichts genaueres zu den Voraussetzungen gefunden - darf ich überhaupt so eine Spearman-Rangkorrelation rechnen, wenn meine Teilnehmerin nur 2 Produkte gereiht hat? Da kann ja eigentlich nur 1 oder -1 rauskommen.. (Online bin ich irgendwo in einer Präsentation über n>5 als Quellenangabe gestolpert, aber ohne Quellenangabe)

Ich würde mich sehr freuen, wenn ihr mir da noch weiterhelfen könntet :)
Liebe Grüßen & einen guten Start in die Woche!
minty
Grünschnabel
Grünschnabel
 
Beiträge: 4
Registriert: Sa 12. Mär 2016, 11:23
Danke gegeben: 2
Danke bekommen: 0 mal in 0 Post

Re: Rangreihen vergleichen / auf Richtigkeit prüfen?

Beitragvon PonderStibbons » Mo 14. Mär 2016, 09:45

Was ist bei einer negativen Korrelation in meinem Fall?

Bei 0 haben die beiden Rangreihen nichts miteinander zu tun. Bei minus hat ein
Proband die Neigung, die Reihenfolge umgekehrt zu dem zu bilden, was korrekt ist.

Leider hab ich auch in keiner meiner Unterlagen und auch bei meiner Google-Recherche nichts genaueres zu den Voraussetzungen gefunden - darf ich überhaupt so eine Spearman-Rangkorrelation rechnen, wenn meine Teilnehmerin nur 2 Produkte gereiht hat?

Darf man, ergibt aber vermutlich inhaltlich wenig Sinn bzw.
die Vergleichbarkeit ist hin. Bei 3 Produkten resultiert Rangreihe
A B C versus B A C in einem rho=0,5, obwohl nur 1 Rangplatzwechsel
vorliegt.

(Online bin ich irgendwo in einer Präsentation über n>5 als Quellenangabe gestolpert, aber ohne Quellenangabe)

Das bezieht sich vielleicht eher darauf, ob man Signifikanztests
sinnvoll durchführen kann, aber ca. ab da hätte ich vermutet, dass
ein Spearman-Koeffizient aussagekräftig wird. Betrifft das überhaupt
nennenswert viele Probanden, wieviele haben denn nur 2, 3 oder 4
Produkte bewertet?

Mit freundlichen Grüßen

P.
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 11368
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 51
Danke bekommen: 2504 mal in 2488 Posts

Re: Rangreihen vergleichen / auf Richtigkeit prüfen?

Beitragvon minty » Mo 14. Mär 2016, 12:24

Danke für deine Antwort!

PonderStibbons hat geschrieben:
Bei 0 haben die beiden Rangreihen nichts miteinander zu tun. Bei minus hat ein Proband die Neigung, die Reihenfolge umgekehrt zu dem zu bilden, was korrekt ist.

Ergibt Sinn, danke!

PonderStibbons hat geschrieben: Darf man, ergibt aber vermutlich inhaltlich wenig Sinn bzw. die Vergleichbarkeit ist hin. Bei 3 Produkten resultiert Rangreihe A B C versus B A C in einem rho=0,5, obwohl nur 1 Rangplatzwechsel vorliegt.

Klingt nachvollziehbar.. schade.

PonderStibbons hat geschrieben: Betrifft das überhaupt nennenswert viele Probanden, wieviele haben denn nur 2, 3 oder 4 Produkte bewertet?

Betrifft leider doch einige. Ich hab insgesamt von ~400 Personen solche Rankingdaten, mehr als die Hälfte hat 4 oder weniger Produkte bewertet. Ca 75 Personen nur zwei Produkte, über 100 nur drei..

Sieht ja eher nicht so gut aus für mich :lol: Wenn ich vorher gewusst hätte, dass meine Betreuerin diese Art Analyse will, hätte ich die Erhebung ganz anders geplant. Ich bin sehr dankbar für die Hilfe dabei, aus diesem "Chaos" noch irgendwas zu machen!

Jetzt werde ich mal mangos Variante für ein paar Teilnehmerinnen durchrechnen, vielleicht "passt" das ja.. :)

Liebe Grüße!
minty
Grünschnabel
Grünschnabel
 
Beiträge: 4
Registriert: Sa 12. Mär 2016, 11:23
Danke gegeben: 2
Danke bekommen: 0 mal in 0 Post


Zurück zu Allgemeine Fragen

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 11 Gäste

cron