Vorher-Nachher-Vergleich mit Kontrollgruppe

Vorher-Nachher-Vergleich mit Kontrollgruppe

Beitragvon Bini07 » Mi 7. Aug 2013, 10:24

Hallo zusammen,

ich versuche die Wirkung eines ganz bestimmten Elements auf einer Printanzeige zu analysieren.
Hierzu habe ich eine Experimental- und eine Kontrollgruppe per Randomisierung gebildet.
Die Kontrollgruppe hat die 'normale' Printanzeige ohne das zu untersuchende Element gesehen, die Experimentalgruppe die Printanzeige inkl. dieses Elements. Die Gruppen sollten sich also nur bezüglich dieses einen Elementes unterscheiden. Die abhängigen Variablen sind die affektive, kognitive und konative Einstellung zur Marke.
Außerdem fand für beide Gruppen eine Vorher-Nachher-Messung (innerhalb eines Fragebogens) statt. Die Daten sind nicht normalverteilt, die Experimentalgruppe umfasst eine Stichprobengröße von n=98, die Kontrollgruppe n=60.

Die Veränderungen innerhalb der beiden Gruppen (within-subjects design) habe ich mit dem Wilcoxon-Test geprüft und in der Experimentalgruppe sind andere signifikante Veränderungen zu beobachten als in der Kontrollgruppe. Hierdurch lässt sich zunächst darauf schließen, dass dieses eine Element tatsächlich Auswirkungen auf die Wirkung der Printanzeige hat. So weit so gut.

Allerdings kommt es durch die Printanzeigen auch in der Kontrollgruppe zu Veränderungen der Einstellungsdimensionen zwischen den Messzeitpunkten. Hier stellt sich mir nun die Frage, inwiefern die Veränderungen in der Experimentalgruppe tatsächlich auf dieses eine Element zurückzuführen sind oder nicht doch durch die Printanzeige selbst hevorgerufen werden. Kann ich die Wirkung der 'reinen' Printanzeige über die Kontrollgruppe irgendwie kontrollieren? Mein Ansatz war folgender: Ich habe zunächst die Veränderungen in den beiden Gruppen als neue Variablen berechnet (Werte der Einstellungsdimensionen Nachher minus Vorher) und dann einen Mann-Whitney-U-Test auf signifikante Unterschiede zwischen den Gruppen durchgeführt. Allerdings ergibt das Ergebnis hier ganz andere signifikante Veränderungen als die Wilcoxon-Tests zuvor... (z.B. der Wilcoxon-Test ergab, dass sich die affektive Einstellung sowohl in der Experimental- als auch in der Kontrollgruppe nicht signifikant verändert. Der U-Test zeigt hingehen, dass die Veränderungen zwischen den Gruppen signifikant sind???).

Habe ich hier einfach bei der Interpretation einen Denkfehler oder muss ich das Problem ganz anders angehen?

Entschuldigt die lange Nachricht.... ;)
Ich freue mich auf eure Ideen
Bini07
Grünschnabel
Grünschnabel
 
Beiträge: 4
Registriert: Mi 7. Aug 2013, 09:50
Danke gegeben: 1
Danke bekommen: 0 mal in 0 Post

Re: Vorher-Nachher-Vergleich mit Kontrollgruppe

Beitragvon PonderStibbons » Mi 7. Aug 2013, 11:14

Varianzanalyse mit Messwiederholung a.k.a. mixed ANOVA, mit dem
Zwischensubjektfaktor Gruppe und dem Innersubjektfaktor Messzeitpunkt.
Die Wechselwirkung der Faktoren zeigt, ob sich die Gruppen über die
Zeit unterschiedlich verändern.

Mit freundlichen Grüßen

p.
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 11368
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 51
Danke bekommen: 2504 mal in 2488 Posts

Re: Vorher-Nachher-Vergleich mit Kontrollgruppe

Beitragvon Bini07 » Do 8. Aug 2013, 10:48

Hallo P.,

vielen Dank für deine schnelle Antwort!
Für meine allgemeinen Analysen zwischen EG und KG funktioniert die ANOVA super!
Allerdings möchte ich auch Gruppenvergleiche durchführen und schauen, ob dieses eine Werbeelement in bestimmten Subgruppen Wirkung zeigt.
Diese sind allerdings recht klein (15<n<30). Kann ich die ANOVA hier trotzdem durchführen, obwohl meine Daten nicht normalverteilt sind? Oder sollte man in diesem Fall doch lieber auf nicht-parametrische Tests zurückgreifen und analysieren, inwiefern sich die Differenz der Vorher-Nachher-Messung zwischen den Gruppen unterscheidet?

Lieben Gruß
Bini07
Grünschnabel
Grünschnabel
 
Beiträge: 4
Registriert: Mi 7. Aug 2013, 09:50
Danke gegeben: 1
Danke bekommen: 0 mal in 0 Post

Re: Vorher-Nachher-Vergleich mit Kontrollgruppe

Beitragvon PonderStibbons » Do 8. Aug 2013, 11:08

Kann ich die ANOVA hier trotzdem durchführen, obwohl meine Daten nicht normalverteilt sind?

Das die Daten aus normalverteilten Grundgesamtheiten stammen sollen, war
mir als Bedingung für dieses Verfahren gar nicht geläufig.
https://statistics.laerd.com/spss-tutor ... istics.php
Oder sollte man in diesem Fall doch lieber auf nicht-parametrische Tests zurückgreifen und analysieren, inwiefern sich die Differenz der Vorher-Nachher-Messung zwischen den Gruppen unterscheidet?

Notfalls. Da es anscheinend ein randomisiertes Design ist, dürfte es zumindest
keine Probleme wegen ungleicher Ausgangswerte geben.

Mit freundlichen Grüßen

P.
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 11368
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 51
Danke bekommen: 2504 mal in 2488 Posts

Re: Vorher-Nachher-Vergleich mit Kontrollgruppe

Beitragvon Bini07 » Do 8. Aug 2013, 14:49

Leider sind die Ausgangswerte trotz Zufallseinteilung der VP in die Gruppen teilweise sehr unterschiedlich :(

Nun habe ich gelesen (Robson et al. 2001: http://ssmon.chb.kth.se/safebk/, Anhang B.2.1, S. 105 ff.), dass es bei ungleichen Ausgangswerten am sinnvollsten ist, die prozentuale Veränderung der Vorher-Nachher-Werte zwischen den EG und KG zu analysieren.

In meinem Fall würde ich für jede abhängige Variable eine neue Variable mittels der prozentualen Veränderung berechnen und für diese jeweils einen Mann-Whitney-U-Test durchführen. Wäre das eine sinnvolle Alternative zur ANOVA?
Bini07
Grünschnabel
Grünschnabel
 
Beiträge: 4
Registriert: Mi 7. Aug 2013, 09:50
Danke gegeben: 1
Danke bekommen: 0 mal in 0 Post

Re: Vorher-Nachher-Vergleich mit Kontrollgruppe

Beitragvon PonderStibbons » Do 8. Aug 2013, 15:43

Leider sind die Ausgangswerte trotz Zufallseinteilung der VP in die Gruppen teilweise sehr unterschiedlich :(

Wie kann das sein? Und was heißt das konkret (in Mittelwerten und Standardabweichungen ausgedrückt)?
Nun habe ich gelesen (Robson et al. 2001: http://ssmon.chb.kth.se/safebk/, Anhang B.2.1, S. 105 ff.), dass es bei ungleichen Ausgangswerten am sinnvollsten ist, die prozentuale Veränderung der Vorher-Nachher-Werte zwischen den EG und KG zu analysieren.

Kommt mir auf Anhieb extrem unsinnig vor (jemand, der von 15 auf 5 Verletzungen
fällt hat in % eine geringere Veränderung als jemand, der von 5 auf 1 fällt), aber
vielleicht gibt es tatsächlich eine tragfähige Begründung.

Ich sehe wie gesagt noch nicht, warum Du keine MW-ANOVA rechnen solltest.
Normalverteilungsbetrachtungen der Ausgangsvariablen sind dafür ja unerheblich.

Mit freundlichen Grüßen

P.
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 11368
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 51
Danke bekommen: 2504 mal in 2488 Posts

Re: Vorher-Nachher-Vergleich mit Kontrollgruppe

Beitragvon Bini07 » Do 8. Aug 2013, 15:59

PonderStibbons hat geschrieben:
Leider sind die Ausgangswerte trotz Zufallseinteilung der VP in die Gruppen teilweise sehr unterschiedlich :(

Wie kann das sein? Und was heißt das konkret (in Mittelwerten und Standardabweichungen ausgedrückt)?


In Mittelwerten und Standardabweichungen heißt das für eine meiner konkreten abhängigen Variablen in der Vorher-Messung folgendes:

EG: Mean = 55,2378; SD = 25,73830
KG: Mean = 65,3000; SD = 25,67964

Laut dem U-Test ist diese Abweichung signifikant (z = -2.46; p<0,05)

Die Analyse mit der prozentualen Veränderung habe ich inzwischen für eine Variable ausprobiert und es kommen tatsächlich unsinnige Werte heraus (konkret heißt das hier: Ich habe mir vor der Durchführung des U-Tests die Mittelwerte für EG und KG der berechneten Variablen anzeigen lassen und der Mittelwert der prozentualen Veränderung der EG war hier positiv, obwohl der Wilcoxon-Test innerhalb dieser Gruppe zuvor eine absolute negative Veränderung des Mittelwerts ergab).
Bini07
Grünschnabel
Grünschnabel
 
Beiträge: 4
Registriert: Mi 7. Aug 2013, 09:50
Danke gegeben: 1
Danke bekommen: 0 mal in 0 Post

Re: Vorher-Nachher-Vergleich mit Kontrollgruppe

Beitragvon PonderStibbons » Do 8. Aug 2013, 16:17

Wenn Deine Gruppenzuteilung zuverlässig randomisiert erfolgte, dann kann
Dein Signifikanztest ja nur ein falsch-positives Ergebnis ergeben haben.
Wenn es der einzige markante Unterschied ist, sollte das die Auswertung
nicht allzu sehr beeinträchtigen.

Mit freundlichen Grüßen

P.
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 11368
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 51
Danke bekommen: 2504 mal in 2488 Posts

folgende User möchten sich bei PonderStibbons bedanken:
Bini07


Zurück zu Nichtparametrische Tests

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 3 Gäste

cron