STATISTIK-FORUM.de

[steveb]

Guten tag allerseits

Ich vergleiche zwei Lehrmethoden A und B z.B. beim Erste-Hilfe-Kurs.
150 vpn
Kompetenz der vpn wird dann mit einem test von 14 items erhoben, z.B. "Hat den Puls kontrolliert, ja/nein".
Für jedes korrekte ja gibt es einen Punkt, maximalscore also 14 Punkte.

Dummerweise, werden während des Erhebungszeitraumes die Richtlinien geändert und zwei der 14 items werden sowohl aus den Lehrinhalten als auch aus den Prüfungen (ersatzlos) gestrichen. Jetzt habe ich 50 vpn (von den 150) mit nur 12 Testitems und einem maximalscore von 12.

Ein erstes Chi-Quardat zeigt, dass sich die 12er und die 14er auf die Lehrmethoden A und B anteilig gleich verteilen, da ist an der Front schon mal Ruhe.

Meine Frage ist: kann ich die scores der 14er und die scores der 12er jeweils z-transformieren und dann mit den z-Werten so verfahren, als sei nichts gewesen? Als habe ich wieder eine einzige Stichprobe von 150 vpn und 150 vergleichbare scores? Oder liege ich da falsch?

Manchmal hat man eben einen Knoten im Hirn.

Besten Dank schon mal

[PonderStibbons]

Dummerweise, werden während des Erhebungszeitraumes die Richtlinien geändert und zwei der 14 items werden ... aus den Lehrinhalten ... (ersatzlos) gestrichen.

Demnach hast Du 4 Gruppen: Methode A mit 14 Inhalten, Methode B mit 14 Inhalten,
Methode A mit 12 Inhalten, Methode B mit 12 Inhalten. Was spricht gegen 2 getrennte
Analysen?

Mit freundlichen Grüßen

P.

[steveb]

Ich hab's bewusst einfach gehalten

Die ganze story geht so:

UV1: Lehrmethode A und B.
UV2: Abstand Messzeitpunkt zu Kurs: 6, 12, 18 Monate

AV1: score Theorie (nur hier sind die zwei items ausgefallen)
AV2: score Praxis
AV3: score "AED"

Jetzt habe ich eh schon eine zwei-faktorielle multivariate Varianzanalyse am Hals (die mich ein wenig erschreckt) und ich wollte sie nicht noch verkomplizieren, indem ich unter score Theorie noch mal zwei Gruppen aufspanne. Natürlich könnte man gleich noch eine UV3: alte vs. neue Richtline aufmachen... und hätte eine 3fak-MANOVA... ohje, ohje...

[PonderStibbons]

Deine Aussage war, der Lehrinhalt habe sich geändert. Ist das also nicht der Fall?

Von Verkomplizieren kann übrigens keine Rede sein. Mein Vorschlag war, dieselbe
Analyse zweimal durchzuführen, einmal anhand der Daten der ersten Gruppe, dann
anhand der Daten der 2. Gruppe. Wäre ich Reviewer, würde ich eine solche Replikation
innerhalb derselben Studie begrüßen. Das Zusammenwerfen unterschiedlicher Treatments
und Messungen leuchtet mir dagegen nicht auf Anhieb ein.

Mit freundlichen Grüßen

P.

[steveb]

Zu einem bestimmten Stichtag haben sich die Richtlinien sowohl der Lehrinhalte als auch der Prüfungen geändert. Da die Prüfungen ja in einigem Abstand von den Kursen stattfanden (zumindest die hier interessierenden Tests) haben wir sogar die unschöne Situation, dass einige 14er unterrichtete später als 12er geprüft wurden. (welche Vpn. DAS allerdings sind, ist glaube ich in meinem Datensatz nicht mehr zu entnehmen, und ist eventuell eine info, die ich - nun ja - vernachlässigen werde.

Zum zweiten Absatz:

Hmmmm... (freundliches hmmmm), das habe ich so noch nicht betrachtet...

Sprich die ganze MANOVA zwei mal, richtig? Das könnte in der Tat eine interessante Bereicherung sein.

Bonferroni-alpha-Fehler Korrektur? Wegen 2 Tests der selben Hypothese? Und hoffentlich hab ich in meinen Zellen dann noch genug Leute...

(falls das alles einen etwas eingerosteten Eindruck macht: ja, macht es zu recht. Sehr dankbar für die Hilfe!)

[PonderStibbons]

Wie, das ist kein Messwiederholungsdesign, sondern zu den einzelnen Messzeitpunkten
sind es unterschiedliche Leute? Wie geht man denn da mit drop-outs um (was sich
natürlich als Frage auch bei einem Mw-Design stellen würde)?

Mit freundlichen Grüßen

P.

[steveb]

Ja, korrekt, es ist kein Messwiederholungsdesign. Jede Vpn. wird nur ein mal gemessen (auf den drei AVs). Und vermutlich ist das so, weil es irgendwann hieß, so antreten zur Messung, wie lange ist Dein Kurs schon her? aha. Das ganze Ding ist quasiexperimentell bis zum geht-nicht-mehr, ich sehe nirgends einen Zufallsprozess, aber sei's drum. Ich versuche gerade in ein wirres Chaos zu bringen.

Ich wünschte, ich hätte auf alle Fragen auch schon Antworten (z.B. drop-outs) Ich bin vor 10 Jahren aus der Uni (Psychologie), da fand ich mich ganz frisch in Statistik. Seit dem heiße ich im Bekanntenkreis "Stefan-du-kannst-das-doch". Jetzt kommt eine Bekannte mit ihrer Diss. und ich soll das Ding retten. Und nur um mal den Level klar zu machen: sie hat das obige Design mit zig t-tests (!) aufgedröselt, ohne Bonferroni, also kommt das jetzt alles in die Tonne und ich schau, was (ob) man da noch sinnvolles draus machen kann. Meine obige Frage ist eines von einigen losen Enden, aber irgendwo muss man ja anfangen...

[PonderStibbons]

Ich habe keine Faustregel für Mindestzellbesetzungen in der ANOVA parat.
Könnte sein 5 oder 8 oder so. Bei n=50 in 6 Gruppen könnte es vielleicht
noch hinhauen.

Wenn eine Replikationsstudie (die wegen des unterschiedlichen Lehrplans
meines Erachtens wünschenswert wäre) nicht machbar ist, dann könnte
man pragmatisch für alle Probanden die 12er-Messung als AV verwenden
(2 Items aus der 14er-Skala herausnehmen).

Mit freundlichen Grüßen

P.

[steveb]

Danke Dir, ja, alle auf 12er Standard zu bringen hatte ich auch als Notlösung im Paket.

Aber sag mir doch bitte noch: warum geht mein ursprünglicher Gedanke mit der z-Transformation nicht? Wenn ich mich recht erinnere macht die "verschiedene Verteilungen vergleichbar". Die habe ich ja hier, eine mit nem theoretischen Mittel von 7, eine mit 6, rechnet sich raus, Streuungen dito. Und sollten die resultierenden z-Werte nicht genau das sein, was ich mir wünsche?

[PonderStibbons]

Je nun, mit der z-Standardisierung kriegst Du es auch vergleichbar, wenn
die erste Gruppe Weitsprung gemacht hat und die zweite Gruppe 14 Fragen
beantwortet hat. Eine von vornherein dasselbe beinhaltende Messung
konstanter Länge scheint mir einleuchtender, aber vielleicht bin ich einfach
zu faul zum grübeln. Allerdings müsstest ja Du begründen, wieso die
Standardisierung statthaft sein sollte.

Mit freundlichen Grüßen

P.