STATISTIK-FORUM.de

[DoctorD]

Hallo, ich versuche gerade, meinen Test auf Reliabilität zu überpfrüfen. Ich habe die selben Leute innerhalb von einer Woche den selben Test 2 mal ausfüllen lassen. Allerdings bin ich mir bei der Interpretation nicht sicher:

Die Frage lautete: Kennen Sie einen Pfandsammler persönlich?
Antwortmöglichkeiten: Ja/Nein

Ich habe das Ergebnis des 1. Tests mit dem 2. Test verglichen. Auf Grund der kleinen Stichprobe habe ich den Fisher Test gewählt.

Als Ergebnis erhalte ich als zweiseitige Signifikanz 0,118. Wie ist dieses Ergebnis im Hinblick auf meinen Test zu bewerten?

[PonderStibbons]

Da dieselben Leute zweimal befragt wurden, handelt es sich um abhängige
Stichproben. Daher ist der Fisher-Test nicht anwendbar. Allenfalls McNemars
Test. Für Reliabilitätsaussagen ist ein Signifikanztest hier allerdings fehl am
Platze. Ein Signifikanztest überprüft hier die Nullhypothese, dass der Zusammenhang
zwischen erster und zweiter Messung in der Grundgesamtheit exakt
= 0.0000... beträgt.
Korrektur:
Bei McNemars Test lautet die Nullyhpothese sinngemäß, dass sich positive
und negative Änderungen die Waage halten.


So eine Nullhypothese zurückzuweisen, ist banal
und sagt nichts über die Messwiederholungsreliabilität aus. Sollte sie
nicht zurückgewiesen werden, heißt das erstmal nur, dass die Stichprobe
zu klein war. Reliabilitätsprüfungen mit kleinen Stichproben wirken
ohnedies verzichtbar, was soll man angesichts des großen Stichprobenfehlers
bündiges über die Qualität der Messung aussagen können? Bei einer ausreichend
großen Stichprobe könnte man als Reliabillitätsmaß vielleicht an
einen Korrelationskoeffizienten wie Phi denken, aber da mir
Reliabilitätsüberprüfungen einzelner Items noch nie untergekommen
sind, ch auch ihren Sinn und Zweck nicht auf Anhieb vor Augen habe,
weiß ich nicht, ob das zweckdienlich und lege artis ist.

Mit freundlichen Grüßen

P.

[DoctorD]

Es geht mir darum, zu überprüfen, ob die Leute beim ersten und beim zweiten Mal das gleiche angeben.

Danke für den Hinweis auf Mc Nemar, ich glaube der misst das, was ich messen will, da abhänige Stichprobe, eine dichotome Variable und zweimal untersucht.

Gibt es eine Alternative?

[PonderStibbons]

Es geht mir darum, zu überprüfen, ob die Leute beim ersten und beim zweiten Mal das gleiche angeben.

Da kannst Du ein Übereinstimmungsmaß berechnen,
oder evtl. einen Korrelationskoeffizienten für 4feldertafeln.

Danke für den Hinweis auf Mc Nemar, ich glaube der misst das, was ich messen will, da abhängige Stichprobe, eine dichotome Variable und zweimal untersucht.

Ich gaube, die Botschaft ist nicht angekommen? Es ist recht sinnlos,
einen Signifikanztest zu rechnen, wenn Du etwas über Reliabilität
aussagen willst, zumal nicht-signifikante Ergebnisse bei kleinen
Stichproben auch noch uninterpretierbar sind. McNemars testet
übrigens auch nicht Konstanz der Messungen, sondern ob es
von t1 zu t2 eine signifikante Änderung in einer Richtung gegeben
hat (siehe Korrektur oben).

Mit freundlichen Grüßen

P.

[DoctorD]

Ok, vielleicht bekomm ich das mit der Signifikanz ja doch noch irgendwann in meinen Kopf. Ich liste hier mal meine Nachforschungen zu deinen Vorschlägen auf, möglicherweise habe ich wieder was verwechselt/nicht verstanden:

Ich möchte die Intrarater-Reliabilität messen: "An einem bestimmten Objekt wird durch ein Messinstrument zweimal dieselbe Messung vorgenommen. Die Ergebnisse sollten gleich sein. Bsp: Ein Proband wird von einem Interviewer zweimal und zu unterschiedlichen Zeitpunkten befragt."

"Cohens Kappa [...]. Dieses Maß kann aber auch für die Intrarater-Reliabilität verwendet werden, bei dem derselbe Beobachter zu zwei verschiedenen Zeitpunkten die gleiche Messmethode anwendet."

Allerdings finde ich in der zitierten Literatur keinen Hinweis, wie die Methode auf den selben Beobachter anzuwenden ist.