Unterschiedsmaß für Rangfolgen (inkl. Signifikanz)

Fragen, die sich auf kein spezielles Verfahren beziehen.

Unterschiedsmaß für Rangfolgen (inkl. Signifikanz)

Beitragvon burninleo » Do 5. Mär 2015, 11:35

Hallo,

ich arbeite gerade an einer Auswertung (von Sekundärdaten) und stehe leider wie der Ochs vorm Berg. Und zwar fällt mir einfach kein Verfahren ein, um meine Hypothese zu testen...

Die Hypothese lautet: Messverfahren A führt zu einer anderen Medienagenda (eine Rangfolge) als Messverfahren B.

Die Daten liegen within-subject vor. Und zwar wurde jede VPN zu 15 Medienthemen gefragt...

(Messung A)
... wie wichtig ist Ihnen persönlich Umweltschutz? (1..5)
... wie wichtig ist Ihnen persönlich Infrastruktur? (1..5)
... wie wichtig ist Ihnen persönlich Innenpolitik? (1..5)
... wie wichtig ist Ihnen persönlich Außenpolitik? (1..5)
u.s.w.
(Messung B)
... wie wichtig wird in den Medien Umweltschutz dargestellt? (1..5)
... wie wichtig wird in den Medien Infrastruktur dargestellt? (1..5)
... wie wichtig wird in den Medien Innenpolitik dargestellt? (1..5)
... wie wichtig wird in den Medien Außenpolitik dargestellt? (1..5)
u.s.w.

Mir liegt also für jede Person ein Variablenset zur persönlichen Wichtigkeit vor (Set A) und ein zweites zur Wichtigkeit in den Medien (Set B). Beide sind mit einem Messfehler behaftet (nehmen wir mal an, dieser ist zufällig).

Es ist nun ein leichtes, für jede VPN eine Korrelation zwischen Set A und Set B zu berechnen. Sieht man mal davon ab, dass diese Korrelation häufiger ri=1 ist, lässt sich auch die mittlere Korrelation zwischen den beiden Sets bestimmen. Sie liegt irgendwo bei .3 - denn relativ häufig ist die individuelle Korrelation nahe 0 oder gar negativ.

Ich kann auch abzählen, wie häufig die individuelle Korrelation positiv oder negativ ist. Aber nachdem der individuelle Messfehler schon groß ist, ist die individuelle Korrelation ebenso mit einem großen Messfehler behaftet (sie streut im Stil einer Normalverteilung um einen Wert von .3 herum).

Ich könnte auch für alle 15 Variablen-Paare einen Mittelwert-Vergleich mit T-Test rechnen - und würde dann bei den meisten Themen einen signifikanten Unterschied zwischen den Messungen finden.


Das alles erlaubt mir aber keine intuitiv nachvollziehbare Prüfung meiner Hypothese - nämlich dass sich die Rangfolgen (und nicht die einzelnen Variablen) unterscheiden. Und zwar über einen zufälligen Messfehler hinaus.

Daher meine Frage: Gibt es ein geeignetes Verfahren, um Rangfolgen zu vergleichen? Oder habe ich einen entscheidenden Denkfehler?

Danke für Hinweise!
BurninLeo
burninleo
Grünschnabel
Grünschnabel
 
Beiträge: 2
Registriert: Mi 18. Dez 2013, 22:30
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post

Re: Unterschiedsmaß für Rangfolgen (inkl. Signifikanz)

Beitragvon PonderStibbons » Do 5. Mär 2015, 13:20

Das wäre ein Test, ob der aggregierte Wert der n intraindividuellen
Rangkorrelationen (z.B. die mediane Rangkorrelation über alle n
Probanden hinweg) kleiner ist als der Wert, der aufgrund von
Messfehlern (also notwenigerweise rho < 1) zu erwarten wäre?
Kann man dann mit einem Einstichprobentest analysieren
(Einstichproben-Wilcoxon-Vorzeichenrangtest). Ich weiß nicht,
welche Reliablität man für die Messungen ansetzen kann
(vielleicht 0,7 o.ä.?). Ich schätze allerdings mal, dass der
Stichproben-Wert 0,3 bei jeder plausiblen Reliabilitätsannahme
ein Zeichen dafür ist, dass die Rangfolgen sich über das
Fehlerrauschen hinaus systematisch unterscheiden.

Oder Du testest themenweise (15mal) mit dem Wilcoxon-Vorzeichenrangtest
oder dem Vorzeichentest (Testvariable: Rang (!) der jeweiligen Frage
in set 1 vs. set 2). Dann hättest Du auch gleich zusätzliche Angaben
zu den einzelnen Themen ("Umwelt hat individuell höheren Rang
als medial").

Mit freundlichen Grüßen

P.
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 11368
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 51
Danke bekommen: 2504 mal in 2488 Posts

Re: Unterschiedsmaß für Rangfolgen (inkl. Signifikanz)

Beitragvon burninleo » Fr 6. Mär 2015, 11:32

Hallo,

herzlichen Dank für die Antwort! Das hat geholfen, den Knoten im Kopf zu lösen :)

Die Messung liegt für jeden Teilnehmer zu zwei Messzeitpunkten vor - auch wenn wir von einer begründeten Veränderung (> Messfehler) ausgehen, ist das zumindest mal ein guter erster Anhaltspunkt für die Reliabilität.

Ich muss mal grübeln, wie man den erwarteten mittleren Korrelationskoeffizienten bei gegebener Reliabilität berechnen kann. Vermutlich werden ich direkt die mittlere Korrelation zwischen den beiden Erhebungswellen (s. oben) als minimalen Grenzwert heranziehen (konservativer Grenzwert). Solltest du eine bessere Idee haben, wie man von der Reliabilität zur erwartbaren Korrelation kommt: Ich freue mich über Tipps!

Danke und viele Grüße
BurninLeo
burninleo
Grünschnabel
Grünschnabel
 
Beiträge: 2
Registriert: Mi 18. Dez 2013, 22:30
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post


Zurück zu Allgemeine Fragen

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 11 Gäste

cron