STATISTIK-FORUM.de

[wirting23]

Hallo liebe Forumsmitglieder,

ich arbeite derzeit an meiner Abschlussarbeit und stoße dabei immer wieder auf ein Problem, dessen Lösung ich nicht auf den Grund komme. Die Situation ist wie folgt:

Ich habe eine 2x2 between-subjects ANOVA durchgeführt mit den Phänomenen X und Y als unabhängige Variablen und Z als abhängige Variable. Dabei erhalte ich als Ergebnis, dass der Effekt von X sowie die Interaktion X*Y signifikant sind. [Da ich weniger als 3 Gruppen habe kann ich leider keine Post-Hoc Tests in SPSS durchführen, weshalb ich im Folgenden die Mittelwerte via t-Tests vergleiche (ist die Norm bei uns am Lehrstuhl in diesem Fall).]

Dazu ist zu sagen, dass dem Ganzen ein Experiment mit zwei Manipulationen zugrunde liegt. Ich habe also 4 Gruppen im Experiment (ohne Man., mit X, mit Y, mit X & Y). Nun bekomme ich im t-Test heraus, dass der Unterschied der Mittelwerte zwischen "ohne Man" und "mit X" nicht signifikant ist.

Ich habe vermutet, dass der Grund für die Signifikanz von X in der ANOVA darauf zurückzuführen ist, dass in diesem Fall (der wird im Einzelnen ja wie eine einfakorielle ANOVA berechnet) die Interaktion von X und Y mit reinspielt, ich also quasi die Mittelwerte von den beiden Gruppen ohne X-Manipulation (d.h. "ohne Man." und "mit Y") mit denen der beiden Gruppen mit X-Manipulation (d.h. "mit X" und "mit X & Y") verglichen.

1 Frage: Ich schließe daraus, dass die X-Manipulation allein keinen Signifikanten Effekt hat, obwohl die ANOVA dem Anschein nach etwas anderes aussagt. Ist das korrekt?

2. Frage: Ich habe in den übrigen t-Tests herausbekommen, dass "ohne Man." versus "mit X & Y" und "mit Y" versus "mit X und Y" sich in den Mittelwerten signifikant unterscheiden. Bedeutet das, dass nur die Interaktion signifikant ist? Oder, dass Y als Moderator für den Effekt X-->Z bzw. X als Moderator für den Effekt Y-->Z auftritt?

(Zusatzinfo: Die Mittelwerte von "mit X" versus "mit X und Y" sind nur ganz knapp nicht signifikant. Vielleicht hilft das bei Frage 2)

Vielen Dank im Voraus!

[PonderStibbons]

Es gibt keine höhere Macht, die dafür sorgt, dass etwas existiert,
wenn p=0,049, aber nicht mehr existiert, wenn p=0,050. Das sind
nur Konventionen. Der Unterschhed zwischen "signifikant" und
"nichtsignifikant" ist selbst nicht signifikant. http://www.stat.columbia.edu/~gelman/re ... ignif4.pdf

Unter anderem bedeutet der Vergleich von 2 Zellen in einem 2x2-Design,
dass (bei gleicher Besetzung aller 4 Zellen) nur die Hälfte der
Probanden für diese Unteranalyse zur Verfügung steht.

(ist die Norm bei uns am Lehrstuhl in diesem Fall)

Das leuchtet mir für 2x2 nicht ein. Kann es sein, dass Du hier etwas
verwechselst?

Aber wenn es schon unsinnigerweise so sein muss, dann ziehe es doch
wenigstens als einfaktorielle Varianzanalyse mit 4 Gruppen und post-hoc-
Tests auf.

Mit freundlichen Grüßen

PonderStibbons

[wirting23]

Vielen Dank für deine Antwort.

Es gibt keine höhere Macht, die dafür sorgt, dass etwas existiert,
wenn p=0,049, aber nicht mehr existiert, wenn p=0,050. Das sind
nur Konventionen. Der Unterschhed zwischen "signifikant" und
"nichtsignifikant" ist selbst nicht signifikant. http://www.stat.columbia.edu/~gelman/re ... ignif4.pdf

Das heißt, bei einem Wert von p=0.060 könnte ich sagen, dass eine nicht sign. Tendenz besteht oder wie würde man das fachlich korrekt ausdrücken?

Das leuchtet mir für 2x2 nicht ein. Kann es sein, dass Du hier etwas
verwechselst?

2x2 habe ich gewählt, da ich zwei Phänomene (X und Y) mit je zwei Ausprägungen(0 und 1 jeweils) hatte und daraus in meinem Experiment vier Fälle gebildet habe. Ich habe also einmal nichts manipuliert, einmal nur X, einmal nur Y und einmal beides. In meinen Daten werden die beiden Phänomene als zwei verschiedene Variablen geführt, die das Gesamtsample jeweils entweder mit 0 oder 1 beschreiben.

Wäre es falsch, hier die 2fakt. ANOVA anzuwenden? Mir wurde seitens der Uni dazu geraten und anschließend über t-Tests die Mittelwertdiff`en zwischen den 4 Fällen zu betrachten. Ist das nicht vertretbar in diesem Fall?

Und unabhängig davon ob post hoc der t-test: Wenn X sign. ist laut 2f ANOVA und anschließend der Mittelwert von den Fällen "ohne Man." sich nicht sign. von dem von "mit X" unterscheidet, liegt das ja vermutlich daran, dass in der ANOVA das gesamte Sample mit einbezogen wurde und beim Vergleich der beiden einzelnen Fälle Y ausgeklammert wurde. Kann ich dann sagen, dass die Signifikanz von X in der ANOVA durch Y zu begründen ist, also X allein im Mittelwert nicht sign. unterschiedlich ist zur Kontrollgruppe ist sondern nur die Interaktion von X und Y?

[PonderStibbons]

Das heißt, bei einem Wert von p=0.060 könnte ich sagen, dass eine nicht sign. Tendenz besteht oder wie würde man das fachlich korrekt ausdrücken?

Statistisch signifikant ist laut Konvention was unter der a priori festgelegten
Schwelle liegt. Ich persönlich halte nichts von Geeiere wie "Tendenz", dann
kann man es auch gleich lassen. Ich wollte darauf hinweisen, dass
verschiedene Signifikanztests am selben Datensatz widersprüchliche
erscheinende Ergebnisse bringen können und man sich deswegen nicht
wundern muss.

Das leuchtet mir für 2x2 nicht ein. Kann es sein, dass Du hier etwas
verwechselst?

2x2 habe ich gewählt, da ich zwei Phänomene (X und Y) mit je zwei Ausprägungen(0 und 1 jeweils) hatte und daraus in meinem Experiment vier Fälle gebildet habe. Ich habe also einmal nichts manipuliert, einmal nur X, einmal nur Y und einmal beides. In meinen Daten werden die beiden Phänomene als zwei verschiedene Variablen geführt, die das Gesamtsample jeweils entweder mit 0 oder 1 beschreiben.

Mir leuchtet nicht, ein, wieso man bei einem 2x2-Design die einzelnen Zellen vergleicht.
Die Tests der Faktoren und Wechselwirkungen sollten ausreichen, um die untersuchten
Fragestellungen zu beantworten. Oder man macht stattdessen gleich eine einfaktorielle
Varianzanalyse mit 4 Gruppen.

Und unabhängig davon ob post hoc der t-test: Wenn X sign. ist laut 2f ANOVA und anschließend der Mittelwert von den Fällen "ohne Man." sich nicht sign. von dem von "mit X" unterscheidet, liegt das ja vermutlich daran, dass in der ANOVA das gesamte Sample mit einbezogen wurde und beim Vergleich der beiden einzelnen Fälle Y ausgeklammert wurde. Kann ich dann sagen, dass die Signifikanz von X in der ANOVA durch Y zu begründen ist, also X allein im Mittelwert nicht sign. unterschiedlich ist zur Kontrollgruppe ist sondern nur die Interaktion von X und Y?

Lass es doch einfach bleiben, das erspart derartige Verrenkungen. Oder Dein Lehrstuhl
soll Dir klipp und klar sagen, was man eigentlich durch die Zellvergleiche gewinnen soll,
welche zusätzlichen Antworten auf welche Fragen man erhält. Die Zellvergleiche
und die 2-faktorielle Varianzanalysen stellen unterschiedliche Fragen und beantworten
sie anhand unterschiedlicher Stichproben (Gesamt versus Substichproben), die Ergebnisse
muss man nicht mit Gewalt auf einen Nenner bringen. Man kann auch nüchtern darstellen,
dass ein Vergeich Zelle A versus B halt keinen inferenzstatistische signifikanten Unterschied
erbrachte. Eine Vorgabe "teste Du erstmal alles und hinterher grüble über eine stimmige
Erzählung" wäre dagegen unseriös.

Mit freundlichen Grüßen

PonderStibbons

[bele]

Das heißt, bei einem Wert von p=0.060 könnte ich sagen, dass eine nicht sign. Tendenz besteht oder wie würde man das fachlich korrekt ausdrücken?

Ja, könntest Du sagen. Sagen auch viele. Ist trotzdem fragwürdig. So komisch, dass ein berühmter Cartoonzeichner sich das mal vorgenommen hat:


https://xkcd.com/1478/

[wirting23]

@ PonderStibbons

Mir leuchtet nicht, ein, wieso man bei einem 2x2-Design die einzelnen Zellen vergleicht.
Die Tests der Faktoren und Wechselwirkungen sollten ausreichen, um die untersuchten
Fragestellungen zu beantworten. Oder man macht stattdessen gleich eine einfaktorielle
Varianzanalyse mit 4 Gruppen.

Habe ich verstanden soweit, danke!

Lass es doch einfach bleiben, das erspart derartige Verrenkungen. Oder Dein Lehrstuhl
soll Dir klipp und klar sagen, was man eigentlich durch die Zellvergleiche gewinnen soll,
welche zusätzlichen Antworten auf welche Fragen man erhält. Die Zellvergleiche
und die 2-faktorielle Varianzanalysen stellen unterschiedliche Fragen und beantworten
sie anhand unterschiedlicher Stichproben (Gesamt versus Substichproben), die Ergebnisse
muss man nicht mit Gewalt auf einen Nenner bringen. Man kann auch nüchtern darstellen,
dass ein Vergeich Zelle A versus B halt keinen inferenzstatistische signifikanten Unterschied
erbrachte. Eine Vorgabe "teste Du erstmal alles und hinterher grüble über eine stimmige
Erzählung" wäre dagegen unseriös.

Leider muss ich das laut Lehrstuhl so machen und leider bekomme ich auch keine explizite Antwort darauf. Ich stimme dir aber voll und ganz zu in dem Punkt.

Ich verstehe soweit, dass es sich um zwei unterschiedliche Fragen (und jeweils Stichproben) handelt. Gibt es eine Möglichkeit diese in eine Gesamtaussage zu integrieren? "Der direkte Effekt von X ist sign., die Interaktion zudem auch." wäre ja die eine Aussage und "Die anschließenden t-Tests zeigen aber, dass X nur in Kombination mit Y sign. wird, allein ist X nicht sign., die Interaktion aber schon" eine mögliche Aussage aus dem zweiten Test. Im Endeffekt schließe ich daraus ja nur, dass ich mir nicht klar darüber sein kann ob X sign. ist oder wie könnte man das besser sagen? Eine Formulierung dafür würde mir dabei schon echt weiterhelfen.

Außerdem: Aufgrund mehrerer t-Tests würde ja auch die Gefahr Fehler erster Art steigen, sehe ich das richtig?

[strukturmarionette]

Hi,

Ich habe eine 2x2 between-subjects ANOVA durchgeführt

- Sicher?

dass Y als Moderator für den Effekt X-->Z bzw. X als Moderator für den Effekt Y-->Z auftritt?

- Wie würden Deine Moderatorhypothesen fachlich fomuliert lauten?

N?; n´s?

Gruß
S.

[wirting23]

Hallo!

- Sicher?

Ja, sicher. Zweifaktorielle ANOVA mit zwei Stimuli (X und Y), die jeweils zwei Ausprägungen haben (nennen wir sie x1;x2 und y1;y2).

N= 185
n jeweils knapp um die 45, relativ ähnlich (zwischen 42 und 48).

- Wie würden Deine Moderatorhypothesen fachlich fomuliert lauten?

Nehmen wir Z als abhängige Variable: "Der Effekt von X auf Z wird durch Y moderiert. Er wird stärker (schwächer) für Gruppen mit Eigenschaft Y (ohne Eigenschaft Y)."

@strukturmarionette Ich habe vorhin bei meiner Recherche noch einen alten Thread zu exakt diesem Thema gesehen, den du 2011 schon einmal bearbeitet hast. Leider ohne eindeutige Lösung:
varianzanalysen-f9/anova-post-hoc-tests-t491.html

Ich bekomme bei der ANOVA und beim t-Test auch teilweise etwas unterschiedliches heraus. Nur wie geht man jetzt damit um?

In meinem Fall: Y1X1 - Y1X2 ist nicht signifikant, aber Y2X1 - Y2X2 ist es.

1. Was sagt mir das im Zusammenhang mit der Signifikanz von X1-X2 aus der ANOVA?

2. Was sagt mir das über den Interaktionseffekt, wenn Y1X1 - Y2X1 und Y1X2 - Y2X2 nicht signifikant sind?

3. Was bringt mir die Aussage, dass Y1X1 - Y2X2 signifikant ist?

[strukturmarionette]

Hi,

was spräche dagegen, bei Deiner einen (offenbar) intervallskalierten AV und Deinen zwei kategorialen dichotomen UVs eine Multiple Lineare Regression zu berechnen?
Vielleicht klärten sich damit die Sachverhalte.

Gruß
S.

[PonderStibbons]

Da müsste dann aber anscheinend noch die Wechselwirkung als Variable mit rein.