Kovarianzanalyse trotz nicht signifikanter ANOVA?

Alles zu (M)ANOVA, ALM...

Kovarianzanalyse trotz nicht signifikanter ANOVA?

Beitragvon Micki » Mi 16. Sep 2015, 12:58

Hallo liebes Forum,

ich bin was SPSS angeht echt eine Niete und komme durch meine Recherche irgendwie nicht recht auf einen grünen Zweig... Darum hoffe ich ihr könnt mir evtl. weiterhelfen. Ich bin über jeden Tipp dankbar.

Ich habe eine nominale UV mit 3 Ausprägungen (2 Experimentalgruppen [Geschichte vs. nicht narrativer Text] + 1 Kontrollgruppe [kein Text]) und eine AV (5er Likert-Skala).
Nun wollte ich schauen ob sich die schriftliche Textdarstellung (UV) auf die Motivation für gemeinnütziges Engagement (AV) auswirkt.
Meine Stichprobe umfasst insgesamt 74 Teilnehmer (EG1=23 / EG2=25 / KG=26), nach dem ich einen extremen Ausreißer (mit *) in EG1 ausschließen musste.

Die Gruppen sind unverbunden, jeweils normalverteilt und die Varianzen sind homogen, deswegen habe ich eine univariate Varianzanalyse gewählt.

Nun habe ich keinen signifikanten Unterschied zwischen meinen drei Gruppen als Ergebnis herausbekommen. Kann ich dann also sagen, dass die UV keinen Einfluss auf die AV hat, da sich ja die Experimentalgruppen nicht von der Kontrollgruppe unterscheiden. Darum macht es weiter keinen Sinn einen Post-Hoc-Test durchzuführen.

Zusätzlich wollte ich noch einen Mediatoreffekt und diverse metrische Kontrollvariablen mittels Kovarianzanalyse überprüfen. Macht dies dann nun überhaupt noch sinn? Also ich vermute einen Mediatoreffekt zu rechnen hat sich erübrigt, aber ich könnte doch trotzdem schauen ob weitere metrische Einflussvariablen sich auf die AV auswirken oder?


Vielen Dank schonmal für Tipps und Ratschläge!
LG Micki
Micki
Grünschnabel
Grünschnabel
 
Beiträge: 2
Registriert: Mi 16. Sep 2015, 12:08
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post

Re: Kovarianzanalyse trotz nicht signifikanter ANOVA?

Beitragvon PonderStibbons » Mi 16. Sep 2015, 14:08

ich bin was SPSS angeht echt eine Niete

Das ist zum Glück nicht ganz so schlimm, weil Deine Fragen
keinen direkten Bezug zur Software SPSS haben.
Ich habe eine nominale UV mit 3 Ausprägungen (2 Experimentalgruppen [Geschichte vs. nicht narrativer Text] + 1 Kontrollgruppe [kein Text]) und eine AV (5er Likert-Skala).

Das ist keine Likert-Skala. Eine Likert-Skala besteht aus mehreren Items
vom Likert-Typ, deren Antworten summiert werden. Siehe z.B. den
wikipedia-Eintrag zu Likert-Skalen. Der Unterschied ist deswegen
wichtig zu beachten, weil Diskussionen zum Skalenniveau von Likert-
Skalen (ordinal oder intervallskaliert) sonst fälschlicherweise bezogen
werden auf das Skalenniveau von einzelnen Items des Likert-Typs
(ordinal).

Die Gruppen sind unverbunden, jeweils normalverteilt

Das ist bei einer (wie gesagt ohnedies eigentlich ordinalen)
5-erskala absolut unmöglich.
und die Varianzen sind homogen, deswegen habe ich eine univariate Varianzanalyse gewählt.

H-Test wäre wegen des Skalenniveaus der AV näherliegend.
Nun habe ich keinen signifikanten Unterschied zwischen meinen drei Gruppen als Ergebnis herausbekommen.

Das ist leider nicht so ganz informativ, es kann p=0,050 bedeuten
ebenso wie p=0,99.
Kann ich dann also sagen, dass die UV keinen Einfluss auf die AV hat, da sich ja die Experimentalgruppen nicht von der Kontrollgruppe unterscheiden. Darum macht es weiter keinen Sinn einen Post-Hoc-Test durchzuführen.

Falls die Zuweisung zu den drei Gruppen randomisiert erfolgte,
wirkt die Interpretation gerechtfertigt. Allerdings ist nicht-Signifikanz
nicht ganz dasselbe wie "es hat keinen Einfluss". Streng genommen
war es nur nicht möglich, die Nullhypothese zu verwerfen. Vielleicht ist
es ein falsch-negatives Ergebnis wegen zu geringer power. Der post-hoc
Test entfällt hier aber so oder so.
ich könnte doch trotzdem schauen ob weitere metrische Einflussvariablen sich auf die AV auswirken oder?

Zu welchem Zweck genau? Es könnte je nachdem sinnvoll sein,
unsinnig sein, oder von dem Ergebnis der ersten Analyse ohnedies
unabhängig sein.
LG
wtf

Mit freundlichen Grüßen

P.
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 11367
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 51
Danke bekommen: 2504 mal in 2488 Posts

Re: Kovarianzanalyse trotz nicht signifikanter ANOVA?

Beitragvon Micki » Mi 16. Sep 2015, 18:15

Vielen Dank für die schnelle Antwort!
Da war ich ja doch noch zu ungenau :)

Also meine AV besteht aus 20 Items vom Likert Typ. Jedes Item stellt eine Aussage über den zu untersuchenden Sachverhalt dar. Abgefragt wurden diese Items dann auf einer Skala von 1=trifft voll zu bis 5=trifft überhaupt nicht zu. Ich habe auch eine Reliabilitäts- und Faktorenanalyse drüber laufen lassen. Danach habe ich auf Ratschlag eines Statistik-Dozenten hin keinen Summenscore gebildet sondern den Mittelwert. Die Begründung lag im Einbezug fehlender Werte.

Das Ergebnis der Varianzanalyse ist F (2/71), p=.742, also definitiv nicht signifikant.

Kann ich statistisch überprüfen, woran es liegen könnte, dass ich kein signifikantes Ergebniss habe? oder kann ich dies nur aufgrund theoretische Begründungen, aber nicht mittels statistischer Tests in SPSS?

Ich habe noch 4 metrische Kontrollvariablen (KVn). Mit jeder einzelnen habe ich dann eine Kovarianzanalyse gerechnet. Nur bei zwei kamen signifikante Ergebnisse raus.
Bei KV1 war der Regrssionskoeffizient dann höchst signifikant (p=.000) und auch das korrigierte Modell (p=.000). Allerdings blieb die UV weiterhin nicht signifikant (K1 p=.772). Das einzige was dabei auffällt, ist dass der Regressionskoeffizient der UV leicht angestiegen ist. Wenn ich in einem weiteren Modell die Interaktion zwischen UV*KV1 einbaue dann sinkt der Regressionskoeffizient der UV stark ab (p=.455) aber bleibt dennoch nicht signifikant. Die Interaktion ist ebenfalls nicht signifikant (p=.283). Dieses zweite Modell besitzt ein R²=.259 , das erste nur ein R²=.23.
Heißt dass nun dass die KV1 nur alleine Einfluss auf die AV hat, da ja der Haupteffekt signifikant ist? und es gibt keine Interaktion. Kann man den abgesunkenen Wert der UV irgendwie interpretieren oder ist das hier unrelevant, da es beides nicht signifikante Werte sind?

Bei KV2 war der Regrssionskoeffizient ebenfalls höchst signifikant (p=0.000) und auch das korrigierte Modell (p=.001). Auch hier blieb die UV zunächst nicht signifikant (p=.654). Der Wert der UV ist dabei leicht abgesunken. Im zweiten Modell ist eine starke Veränderung zu sehen. Die UV ist nun nur noch ganz leicht nicht signifikant (P=.068) und die Interaktion UV*KV2 ist signifikant (p=.042).
Dies bedeutet doch nun, dass ich hier eine Interaktion bzw. einen Moderatoreffekt habe, welcher den Einfluss der Uv auf die AV positiv beeinflusst?

Wenn der Regressionskoeffizient einer Kontrollvariable im Modell signifikant ist (p<.05) aber das korrigierte Modell nicht, bedeutet, das ich kann den Effekt der Kontrollvariable nicht interpretieren, da das Gesamtmodell nicht signifikant ist?

Diesen Interaktionsterm (UV*KV2) speichere ich dann als nicht "standardisierte Residuen" ab und füge es dann wieder als Kovariate in weitere Modelle die ich rechnen möchte richtig?


Mit freundlichen Grüßen und bestem Dank nochmal
Micki
Micki
Grünschnabel
Grünschnabel
 
Beiträge: 2
Registriert: Mi 16. Sep 2015, 12:08
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post

Re: Kovarianzanalyse trotz nicht signifikanter ANOVA?

Beitragvon PonderStibbons » Mi 16. Sep 2015, 20:52

Kann ich statistisch überprüfen, woran es liegen könnte, dass ich kein signifikantes Ergebniss habe? oder kann ich dies nur aufgrund theoretische Begründungen, aber nicht mittels statistischer Tests in SPSS?

Ich muss gestehen, ich weiß nicht, worauf Du abhebst? Dass du in einer randomisierten Studie ein eindeutig nicht-signifikantes Ergebnis hast, könnte daran liegen, dass in der Grundgesamtheit kein Effekt existiert.

Heißt dass nun dass die KV1 nur alleine Einfluss auf die AV hat, da ja der Haupteffekt signifikant ist?

Ja, aber wieso ist das für Dich interessant? Ich verstehe die Rolle der Kovariate hier nicht ( die keine Kontrollvariable ist, wenn ich die Bedeutung des Begriffes richtig erinnere - Kontrollvariablen spielen eine Rolle in nichtrandomisierten Designs, bei denen systematische Unterschiede zwischen Gruppen hinsichtlich eben sicher Variablen vermutet werden, die zugleich einen Einfluß auf die AV habe [sollten]).

und es gibt keine Interaktion. Kann man den abgesunkenen Wert der UV irgendwie interpretieren oder ist das hier unrelevant, da es beides nicht signifikante Werte sind?

Ich wüßte leider nicht, was es da zu interpretieren gäbe.

Dies bedeutet doch nun, dass ich hier eine Interaktion bzw. einen Moderatoreffekt habe, welcher den Einfluss der Uv auf die AV positiv beeinflusst?

Mag sein. Oder Scheinbefund aufgrund von sehr vielen Tests.

Diesen Interaktionsterm (UV*KV2) speichere ich dann als nicht "standardisierte Residuen" ab und füge es dann wieder als Kovariate in weitere Modelle die ich rechnen möchte richtig?

Leider verstehe ich nicht, was Du damit meinst.

Mit freundlichen Grüßen

P.
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 11367
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 51
Danke bekommen: 2504 mal in 2488 Posts


Zurück zu Varianzanalysen

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 6 Gäste

cron