STATISTIK-FORUM.de

[Albrecht]

Hallo liebe Gemeinde,

wie würde man vorgehen, wenn man Items auf eine Stichprobe wirft und die Items mitten in der Erhebung abändert, bspw. nur ein Teil in den Items, bspw. statt "Spieler" schreibt man dann "Spielerinnen und Spieler".
Mit welcher Methode würdet ihr versuchen zu zeigen, dass das keinen Einfluss auf die Daten hat?
Es kann sein, dass es speziell Unterschiede in der Beantwortung durch die Geschlechter gibt.

Viele Grüße

[PonderStibbons]

Ich würde nicht versuchen zu zeigen, dass das keinen Einfluss hat, sondern versuchen
herauszufinden, ob es einen Einfluss hat.

Nächstliegend wäre eine Vergleich der Antworten zwischen den Teilstichproben (denen
mit Version 1 und 2, respektive). Setzt voraus, dass die Stichproben ausreichend groß sind,
sonst wären "nicht-signifikante" Vergleiche durch zu niedrige power erklärbar.

Mit freundlichen Grüßen

P.

[Albrecht]

Also wir haben leider eine genügend große Stichprobe. Sonst würde sich die Frage für uns nicht stellen.
Am ersten Tag haben wir knapp 200 Datensätze online erhoben. Spät abends haben wir dann die erneuerte Umfrage gestartet. Jetzt am zweiten Tag haben wir "nur" 90 Datensätze mit den neuen Items gesammelt. Wir werden also noch genug sammeln.

Nun haben wir ca. 90 Items. Wären denn t-Tests für die Items empfehlenswert oder gibt es eine Möglichkeit die Skalen zu vergleichen?
Oder sollte man die t-Tests direkt für die Skalen anwenden? (Wenn es passt, wollen wir mit allen Items eine CFA durchführen. Das ist das Endziel.)

Erschwerend kommt hinzu, dass sich die Stichprobe von Tag 1 und Tag 2 verändert hat. Wir befragen natürliche Klumpen, können nachverfolgen wer wann teilnimmt. Am ersten Tag haben nur die wenigen, großen Gruppen teilgenommen. Am zweiten Tag und auch in der Folge wird es so sein, dass eher die Kleinen befragt werden. D.h. Unterschiede in den Items wären sogar schon zu erwarten. Gibt es da nicht irgendeine Möglichkeit, mit gleichem Cronbachs Alpha zu argumentieren oder gleiche Trennschärfe der Items?

Schöne Grüße

[PonderStibbons]

Da bin ich leider überfragt.

[Albrecht]

Okay, ich bin auf weitere Möglichkeiten aufmerksam gemacht worden. Ich poste diese Mal:
- ein Finite Mixture Model anwenden, das die Abhängigkeiten berücksichtigt
- den Nachweis lokaler stochastischer Unabhängigkeit mithilfe eines IRT-Modells erbringen
- das Ganze in zwei separaten Modellen unterbringen, also gar nicht erst versuchen, die beiden Erhebung miteinander zu kombinieren.

Ich weiß nicht, wie praktisch und plausibel die einzelnen Empfehlungen sind. Vielleicht dient es aber als Anregung, falls jemand noch über das Problem stolpert.