STATISTIK-FORUM.de

[benyo]

Hallo Statistik-Geminde!

Ich habe diverse Fragebogen (2 Gruppen zu 2 Zeitpunkten) erhoben und rechne eine Anova mit Messwiederholung, schaue also nach der Interaktion Gruppe*Zeit*Fragebogen.
Sagen wir mal ich habe einen Fragebogen zur Lebensfreude und einen zur Depressivität.

Nun sagte mein Supervisor ich solle alle Fragebogen so umkodieren, dass sie positiv miteinander korrelieren, also zu "Lebensfreude" und "Abwesenheit von Depression".

ABER: Damit zerschieße ich mir doch die 3-Fach-Interaktion. Warum sollten die Ergebnisse nur so interpretierbar sein?

Hoffe das war verständlich erklärt?

Vielen Dank!

Ben

[strukturmarionette]

Hi,

Nun sagte mein Supervisor

- was ist denn das? wo gibts das?

ich solle alle Fragebogen so umkodieren, dass sie positiv miteinander korrelieren,

- das ist kompletter Unsinn

ABER: Damit zerschieße ich mir doch die 3-Fach-Interaktion.

- s.o.

Du könntest zunächst vielleicht zunächst ein einem seriösen Lehrbuch über Fragebogenkonstruktion das Thema zu Antwortkategorien /Itempolungen nachlesen.

Gruß
S.

[benyo]

Hallo, erstmal Danke für die Antwort.

- was ist denn das? wo gibts das?

Siehe z. B.: https://www.dict.cc/deutsch-englisch/Doktorvater.html

Du könntest zunächst vielleicht zunächst ein einem seriösen Lehrbuch über Fragebogenkonstruktion das Thema zu Antwortkategorien /Itempolungen nachlesen.

Die Frage bezieht sich ja nicht auf eine Umpolung auf Itemebene. Dass einzelne umgepolte Items in Richtung aller anderen Items umkodiert werden müssen (z. B. zur Erstellung eines Gesamtskalenwertes) ist ja klar.

Leider waren zwei Personen aus zwei verschiedenen Arbeitsgruppen der Meinung, dass man zusätzlich die Gesamtscores aller Fragebogen in eine Richtung kodieren sollte, was mich natürlich verwirrt hat.

Die 2-Fach-Interaktion Gruppe*Zeit (gemittelt über alle Fragebogen) bliebe ja erhalten, so dass ich in der Post-Hoc-Analyse prüfen kann, welcher Fragebogen nun im einzelnen signifikant ist. Anders kann ich mir da keinen Reim drauf machen...

Gruß, Ben

[PonderStibbons]

Ich habe diverse Fragebogen (2 Gruppen zu 2 Zeitpunkten) erhoben und rechne eine Anova mit Messwiederholung, schaue also nach der Interaktion Gruppe*Zeit*Fragebogen.

Was ist denn Fragestellung, das Ziel, der Zweck dahinter? Warum soll die Differenz der Fragebögen analysiert werden?

ABER: Damit zerschieße ich mir doch die 3-Fach-Interaktion.

Was meist Du mit zerschießen?

Die 2-Fach-Interaktion Gruppe*Zeit (gemittelt über alle Fragebogen) bliebe ja erhalten, so dass ich in der Post-Hoc-Analyse prüfen kann, welcher Fragebogen nun im einzelnen signifikant ist. Anders kann ich mir da keinen Reim drauf machen...

Was meinst Du mit einem einzelnen signifikanten Fragebogen?

Wie gesagt ist die Fragestellung, das Ziel, der Zweck der Analyse nicht ersichtlich.

Mit freundlichen Grüßen

PonderStibbons

[benyo]

Was ist denn Fragestellung, das Ziel, der Zweck dahinter? Warum soll die Differenz der Fragebögen analysiert werden?

Kurz zum Design: Es gibt eine Experimentalgruppe- & eine Kontrollgruppe, die vor und nach einer Intervention (Pre/Post) diverse Fragebogen bearbeiten. Die Intervention ist eine Achtsamkeitsintervention - die Kontrollgruppe erhält natürlich eine Kontrollintervention (keine Achtsamkeitsintervention). Einige Fragebogen erfassen "positiv" gepolte Konstrukte (Achtsamkeit, Lebensfreude etc.), einige "negative" (Depression, Angst). Alle Konstrukte sind assoziiert mit einer Veränderung der Achtsamkeit. Dementsprechend sollte nach der Intervention eine 3-Fach-Interaktion zu beobachten sein (Gruppe*Zeit*Fragebogen), also die Gruppen unterscheiden sich signifikant zwischen den zwei Zeitpunkten (Pre vs. Post), bezogen auf alle "positiven" vs. "negativen" Konstrukte (da Achtsamkeit & Lebensfreude steigen und Depression & Angst abnehmen).

ABER: Damit zerschieße ich mir doch die 3-Fach-Interaktion.

Wenn ich jetzt alle "negativ" gepolten Fragebogen umpole, verschwindet die signifikante 3-Fach-Interaktion natürlich, da in der Experimentalgruppe Achtsamkeit & Lebensfreude und Depression & Angst steigen und in der Kontrollgruppe alles abnimmt (die Linien kreuzen sich nicht mehr, sondern laufen "parallel").

Was meinst Du mit einem einzenen signifikanten Fragebogen?

Da in der Interaktion nicht erkennbar ist, welche Variable sich genau verändert hat (Achtsamkeit, Lebensfreude, Depression oder Angst, oder alle), teste ich das post-hoc.

Übrigens handelt es sich hier um ein Mixed-Model, da ich ja Within-Subject (Zeit) und Between-Subject (Gruppe) Effekte untersuche.

Gruß, Ben

[PonderStibbons]

Alle Konstrukte sind assoziiert mit einer Veränderung der Achtsamkeit. Dementsprechend sollte nach der Intervention eine 3-Fach-Interaktion zu beobachten sein (Gruppe*Zeit*Fragebogen), also die Gruppen unterscheiden sich signifikant zwischen den zwei Zeitpunkten (Pre vs. Post), bezogen auf alle "positiven" vs. "negativen" Konstrukte (da Achtsamkeit & Lebensfreude steigen und Depression & Angst abnehmen).

Ein dreifache Interaktion wäre hier, dass der Unterschied zwischen den Fragebögen sich von Zeitpunkt 1 zu Zeitpunkt 2 verändert, und dass diese über die Zeit hinweg stattfindende Veränderung des Unterschiedes zwischen den Fragebögen je nach Gruppe unterschiedlich stark ist. Nur geht es schon damit los, dass der Unterschied zwischen den Fragebögen nicht interpretierbar erscheint, da es sich um unterschiedliche Konstrukte und unterschiedliche Items und womöglich sogar um unterschiedliche Anzahlen von Items handelt. ich weiß also nicht, was das bedeuten soll, Umpolung hin oder her.

Mit freundlichen Grüßen

PonderStibbons

[benyo]

Ein dreifache Interaktion wäre hier, dass der Unterschied zwischen den Fragebögen sich von Zeitpunkt 1 zu Zeitpunkt 2 verändert, und dass diese über die Zeit hinweg stattfindende Veränderung des Unterschiedes zwischen den Fragebögen je nach Gruppe unterschiedlich stark ist.

Ich glaube wir meinen das Gleiche

Hier mal konkret, was ich mache:

GLM
time1test1pos time1test2pos time1test3pos time1test4pos time1test5neg time1test6neg time1test7neg
time2test1pos time2test2pos time2test3pos time2test4pos time2test5neg time2test6neg time2test7neg
BY group
/WSFACTOR=Time 2 Polynomial Test 7 Polynomial
/METHOD=SSTYPE(2)
/PRINT=HOMOGENEITY
/CRITERIA=ALPHA(.05)
/WSDESIGN=Time Test Time*Test
/DESIGN=group
/PLOT=PROFILE(Test*Time*group).

Outputs:
- ANOVA: http://prntscr.com/hyih1g
- Experimentalgruppe: http://prntscr.com/hyii0w
- Kontrollgruppe: http://prntscr.com/hyii89

Ist es jetzt klarer geworden?

[PonderStibbons]

Du hast eine Analyse durchgeführt mit den Messwiederholungsfaktoren Zeitpunkt (2 Stufen) und "Fragebogen" (7 Stufen).
Demnach sind es 7 Fragebögen, nicht 2.

Nur habe ich immer noch keine Ahnung, was es bedeuten soll, dass ein 7stufiger Messwiederholungsfaktor Fragebogen
hier auftritt. Welchen Sinn hat der Faktor, was soll er bedeuten? Eine Messwiederholungs-Varianzanalyse ist dafür gedacht,
dass dieselbe Response-Messung unter verschiedenen Bedingungen (Stimuli, Zeitpunkten...) durchgeführt wird. Du hast aber
nicht 1 Messung, sondern 7 verschiedene: Der Messwiederholungsfaktor befasst sich mit der Frage, ob die Mittelwerte der
7 Fragebogen unterschiedlich sind. Wozu dient das? Zudem wird ist mangels anderweitiger Angaben anzunehmen, dass die
7 Fragebögen nicht alle dieselbe Skala verwenden. Und sie messen unterschiedliche Konstrukte.

Zudem, wieso ist die Wechselwirkung dieses Fragebogen-Faktors mit Zeitpunkt und Gruppe von Interesse?
Wird angenommen, dass die Messwerte auf den 7 Fragebögen mit der Zeit stärker auseinanderdriften bzw. dass sie sich
annähern?

Oder ist die Überlegung, Haupteffekte von "Zeitpunkt" bzw. "Gruppe" zu identifizieren bzw. die Wechselwirkung von
Gruppe*Zeitpunkt, und zwar auf die Gesamtheit der Fragebögen? Demnach wären der Faktor "Fragebogen" und alle
Interaktionen mit dem Faktor "Fragebogen" irrelevant, die 7 Fragebögen würden gemeinsam ein Konstrukt
repräsentieren (und sollten demnach auch gleich gepolt sein). Wobei ich einräumen muss, für solch eine Verwendung
von Messwiederholungs-Varianzanalysen kenne ich keine Referenzen, wüsste auf Anhieb auch nicht, ob das so geht.

Mit freundlichen Grüßen

PonderStibbons

[benyo]

Demnach sind es 7 Fragebögen, nicht 2.

Richtig, das wäre für meine eigentliche Frage auch irrelevant gewesen und ist es doch immer noch, da es doch unerheblich ist, ob es eine Interaktion zwischen 2 oder 7 Faktorstufen ist!?!?

Nur habe ich immer noch keine Ahnung, was es bedeuten soll, dass ein 7stufiger Messwiederholungsfaktor Fragebogen hier auftritt. Welchen Sinn hat der Faktor, was soll er bedeuten?

Das hat den Zweck die Gesamtvarianz aller Daten in einem Modell zu behalten und nicht 7 Einzelanalysen durchzuführen.

Du hast aber nicht 1 Messung, sondern 7 verschiedene: [...] Wozu dient das? Zudem, wieso ist die Wechselwirkung dieses Fragebogen-Faktors mit Zeitpunkt und Gruppe von Interesse?
Wird angenommen, dass die Messwerte auf den 7 Fragebögen mit der Zeit stärker auseinanderdriften bzw. dass sie sich annähern?

Wie oben beschrieben ist die a priori Hypothese, dass beide Gruppen sich über die Zeit für alle "positiven" Konstrukte im Gegensatz zu allen "negativen" Konstrukten konträr zueinander entwickeln (Interaktion).

Oder ist die Überlegung, Haupteffekte von "Zeitpunkt" bzw. "Gruppe" zu identifizieren bzw. die Wechselwirkung von Gruppe*Zeitpunkt, und zwar auf die Gesamtheit der Fragebögen? Demnach wären der Faktor "Fragebogen" und alle Interaktionen mit dem Faktor "Fragebogen" irrelevant, die 7 Fragebögen würden gemeinsam ein Konstrukt repräsentieren (und sollten demnach auch gleich gepolt sein).

Genau das meinte ich oben mit: "Anders kann ich mir da keinen Reim drauf machen...".

Wobei ich einräumen muss, für solch eine Verwendung von Messwiederholungs-Varianzanalysen kenne ich keine Referenzen, wüsste auf Anhieb auch nicht, ob das so geht.

Das ganze ist an Linear-Mixed-Model-Berechnungen in R angelehnt und wird meist, wie Du schon sagtest, mit einem mehrstufigem Faktor mit verschiedenen Bedingungen angewendet. Ich finde es nicht so abwegig verschiedene Fragebogen als ein Faktor zu betrachten, vor allem, wenn sie alle ein Konstrukt "repräsentieren" bzw. deren Veränderung mit dem Konstukt assoziiert werden.

Mal eine ganz andere Frage: Wie würdest Du diese Daten berechnen?

Gruß, Ben

PS: https://www.duden.de/rechtschreibung/Bogen (siehe Beispiel 7.) Daran erkennt man "normalerweise" Psychologen

[PonderStibbons]

Richtig, das wäre für meine eigentliche Frage auch irrelevant gewesen und ist es doch immer noch, da es doch unerheblich ist, ob es eine Interaktion zwischen 2 oder 7 Faktorstufen ist!?!?

Für die Problembeschreibung ist es relevant. Wozu auch irreführende Angaben machen, bringt ja nichts.

Wie oben beschrieben ist die a priori Hypothese, dass beide Gruppen sich über die Zeit für alle "positiven" Konstrukte im Gegensatz zu allen "negativen" Konstrukten konträr zueinander entwickeln (Interaktion).

Das müsste sich unabhängig von der Polung zeigen, aber Umpolung erscheint dann in der Tat nicht erforderlich.

Ich finde es nicht so abwegig verschiedene Fragebogen als ein Faktor zu betrachten, vor allem, wenn sie alle ein Konstrukt "repräsentieren" bzw. deren Veränderung mit dem Konstukt assoziiert werden.

Ich finde keine Lösung des Problems, dass die Skalen unterschiedlich sind. Wie soll man
Veränderungen auf unterschiedlichen Skalen miteinander in Beziehung setzen.

Mal eine ganz andere Frage: Wie würdest Du diese Daten berechnen?

Ich kenne den Hintergrund, das Konstrukt, die Messverfahren und die Deskriptivtatistiken nicht.

Mit freundlichen Grüßen

PonderStibbons