STATISTIK-FORUM.de

[Sunnyvfl]

Hallo zusammen,
ich bin etwas verzweifelt mit der Analyse für meine Masterarbeit.
Für diese habe ich nämlich ein Training untersucht, wobei zwei Korrektoren die Feedbackfähigkeiten von sowohl Trainingsteilnehmern als auch einer Kontrollgruppe an drei verschiedenen Messmomenten bewerten sollten. Um die Feedbackfähigkeiten zu messen, habe ich den Teilnehmern Situationen geschildert, auf die sie Feedback geben sollten. Die Beurteilung erfolgte über 4 verschiedene Kriterien (deskriptiv, spezifisch, konstruktiv und subjektiv formuliert), die anhand eines selbstentworfenen Likert-Scale beurteilt werden sollten. Zur Überprüfung dieses Messverfahrens habe ich zuerst die interrater-Reabilität überprüft. Diese scheint in Ordnung zu sein. Danach habe ich Mittelwerte beider Korrektoren für alle Situationen per Kriterium berechnet und dann per Kriterium Cronbach's alpha berechnet. Die Werte hierfür sind:

Deskriptiv: .75
Spezifisch: .37
Konstruktiv: .59 , wenn die 3. Situation ausgeschlossen wird, erhöht sich alpha auf .63
Subjektiv formuliert: .69

Nun wollte ich eigentlich eine Summe der Kriterien pro Messung machen, um so mittels einer repeated-measures-ANOVA zu schauen, ob die Teilnehmer sich im Gegensatz zur Kontrollgruppe verbessert haben. Da das item spezifisch aber nicht zuverlässig zu sein scheint, will ich dieses von der Summe ausschließen. Würdet ihr das auch so machen?
Und was mache ich mit dem Kriterium konstruktiv? Ist es sinnvoll dort bloß die dritte Situation aus der Summe auszuschließen?



Ich würde mich sehr über eine Antwort freuen und mir wäre wirklich sehr damit geholfen.

[Holgonaut]

Hi,

die Beschreibung Deiner Studie ist schwer zu verstehen.

Grundsätzlich ist die Hauptursache für ein niedriges alpha, dass die verschiedenen items, die in die Analyse eingehen, nicht einen gemeinsamen Faktor messen.
Es reicht nicht, dass sie ein "Thema" (z.B. deskriptiv) betreffen - sie müssen durch die selbe latente Ursache bedingt sein (strenggenommen müssen sie sogar
dieselbe Faktorladung haben.

Du hast daher eher einen Index der items, die jeweils verschiedene Dinge betreffen. Ich würde spontan vorschlagen die re-test-Reliabilität in der Kontrollgruppe zu berechnen.
Diese müsste ja die Messungen zu t1 und t2 ausgefüllt haben?

Grüße
Holger

[Sylvi]

Hallo Holger,

ich habe ein ähnliches Problem. ich habe eine reliabilitätsanalyse für meine relvanten skalen durchgeführt, die in der berechnung mit eingebunden sind.
jedoch ist auch ein index teil der berechnung, welcher aus 2 items berechnet wird, die etwas unterschiedliches messen. als kam eine niedriges alpha heraus. letztendlich kann man für den index nicht mit hilfe des alphas die interne konsistenz bestimmen.

gibt es andere möglichkeiten den index auf seine messgenauigkeit zu prüfen? im handbuch des fragebogens gibt es keine informationen dazu.

über konfir. faktorenanalyse??

(ich habe nur einen messzeitpunkt, nur eine stichprobe...)

viele grüße Sylvi

[Holgonaut]

Hi Sylvi,

leider hast du schlechte Karten. Eine Faktorenanalyse testet ja gerade, ob die items einen gemeinsamen Faktor messen. Bei einem
Index hast du nur eine Chance über einen re-test- und sei es mit einer Substichprobe...

Grüße
Holger

[Sylvi]

Vielen Dank Holger,
für deine schnelle Antwort.
du meinst also, ich könne meine stichprobe zum beispiel in 2 stichproben aufteilen und die reliabilität des indexes dann durch den vergleich schätzen..?
leider weis ich gar nicht wie man das mit spss macht. viell. kannst du ne ganz kurze anleitung schrieben?
viele Grüße Sylvi

[Holgonaut]

Hi,

nein, natürlich nicht. Was soll das bringen? Ich meinte, du befragst einen Teil der Stichprobe (z.B. N=30) noch mal und berechnest die re-test -Reliabilität.

Grüße
Holger

[Sylvi]

ja, sorry, ich habe das gerade verwechselt. re-Test war ja gleiche messung zu verschiedenen zeitpunkten...
ok, leider passt es nicht in das zeitmanagement, von daher werde ich versuchen, eine sinnvolle begründung für die fehlende Reliabilität des Idexes zu finden.
danke für deinen tip, zumindest kenne ich jetzt eine möglichkeit!
viele Grüße Sylvi