STATISTIK-FORUM.de

[domii]

Hallo zusammen,

ich habe eine für viele wahrscheinlich ziemlich simple Frage zur ANCOVA und der Auswahl/Integration der Kovariate aber ich bin jetzt schon mehrere Stunden am Suchen und finde leider keine eindeutige Antwort.

Konkret würde ich gerne wissen, anhand von welchen Kriterien ich entscheide, ob ich eine Kovariate als Kontrollvariable ins Design aufnehme? Hierbei meine ich nicht die Prüfung auf Homogenität der Regressionssteigungen oder ob die Kovariate über die Gruppen hinweg ähnlich sind, sondern was eine Variable dazu qualifiziert in das Design als Kovariate aufgenommen zu werden, bevor die gerade beschriebenen Prüfungen erfolgen. Entscheide ich das ganz einfach anhand des Einflusses der Kovariate auf die AV mittels linearer Regression? Also wenn ein signifikanter Einfluss der Kovariate (in diesem Fall ist Kovariate ja UV) auf die AV besteht, dann kann ich die Kovariate auch in das Design aufnehmen? Die vermuteten Einflüsse habe ich anhand von Papern aufgestellt und basierend auf deren Fragedesign erhoben. Es sind also keine aus der Luft gegriffenen potenzielle Einflussfaktoren. Ich möchte diese aber nicht einfach alle aufnehmen, um Overfitting zu vermeiden.

Gerne möchte ich noch eine zweite Frage anschließen. In meiner Thesis habe ich die Hypothese aufgestellt, dass ein Mediationseffekt zwischen UV auf AV vorliegt, was ich in SPSS anhand der Mediation via PROCESS auch bestätigen konnte. Einzeln untersucht ist der Haupteffekt (UV auf AV) nur signifikant auf dem 10% Niveau, während der Einfluss des Mediators auf die AV auf dem 1% Niveau signifikant ist und ein korrigiertes R^2 von 0,21 hat. Der Einfluss der UV auf den Mediator ist sig auf dem 5% Niveau. Jetzt die Frage: Wenn meine UV in der ANCOVA mit Kontrollvariablen nun plötzlich nicht mehr signifikant ist aber das Gesamtmodel auf 5% Niveau signifikant ist, ist die nicht vorhandene Signifikanz der UV dann schlimm? Muss ich bei der ANCOVA meinen Mediator auch als Kovariate aufnehmen?
Hintergrund der zweiten Frage ist, dass die UV in der ANCOVA mit allen Kovariaten immer noch signifikant auf dem 10% Niveau ist, während alle anderen Kovariate p>.10 sind. Bei Hinzufügen des Mediators als Kovariate ist die UV nicht mehr signifikant, während der Mediator eine sig von p<,01 hat und die Kontrollvariable "Alter" (war vorher nicht sig) plötzlich signifikant ist (p=0,02). Weiß nicht wie ich das zu interpretieren habe...

Ich wäre euch unheimlich dankbar, wenn ihr mir weiterhelfen könntet.

[PonderStibbons]

Die vermuteten Einflüsse habe ich anhand von Papern aufgestellt und basierend auf deren Fragedesign erhoben.

Gut.

Ich möchte diese aber nicht einfach alle aufnehmen, um Overfitting zu vermeiden.

Auch gut. Mach die Auswahl aus inhaltlichen Überlegungen oder aufgrund der Referenzstudien.
Wenn Du es anhand von Testungen an demselben Datensatz auswählst, hast Du ebenfalls
overfitting, nur mit dem Unterschied, das man es nicht mehr sehen kann.

Mit freundlichen Grüßen

PonderStibbons

[domii]

Großen Dank für den Reply!

Auch gut. Mach die Auswahl aus inhaltlichen Überlegungen oder aufgrund der Referenzstudien.
Wenn Du es anhand von Testungen an demselben Datensatz auswählst, hast Du ebenfals
overfitting, nur mit dem Unterschied, das man es nicht mehr sehen kann.

Nur um das nochmal in anderen Worten auszudrücken, die Kontrollvariablen können solange aufgenommen werden, solange man dies inhaltlich rechtfertigen kann (theoretische Überlegungen und Referenzstudien), auch wenn sie in meiner Untersuchung keinen direkt signifikanten Einfluss auf die AV haben? Das Gesamtmodell muss aber weiterhin signifikant sein richtig?

Add On: Wenn die Kovariate im Gesamtmodell keinen oder nur einen minimalen Beitrag zum partiellen Eta^2 haben und damit den Erklärungsgehalt des Models nicht wirklich verbessern, dann sollte man sie doch auch rauslassen oder nicht?

Zusätzlich würde ich gern noch zur Handhabung der ANCOVA sowie zum Umgang mit den Ergebnissen etwas fragen:
Wenn meine UV in der ANCOVA mit Kontrollvariablen nun plötzlich nicht mehr signifikant ist aber das Gesamtmodel auf 5% Niveau signifikant ist, ist die nicht vorhandene Signifikanz der UV dann schlimm + muss ich bei der ANCOVA eigentlich meinen Mediator (siehe Hintergrund aus ursprünglichen Post) auch als Kovariate aufnehmen?
Hintergrund hier ist, dass die UV in der ANCOVA mit allen Kovariaten immer noch signifikant auf dem 10% Niveau ist, während alle anderen Kovariate p>.10 sind. Bei Hinzufügen des Mediators als Kovariate ist die UV nicht mehr signifikant, während der Mediator eine sig von p<,01 hat und die Kontrollvariable "Alter" (war vorher nicht sig) plötzlich signifikant ist (p=0,02). Weiß nicht wie ich das zu interpretieren habe... Eigentlich bestätigt dies ja die Mediationsvermutung oder nicht?

[PonderStibbons]

Wenn die Kovariate im Gesamtmodell keinen oder nur einen minimalen Beitrag zum partiellen Eta^2 haben und damit den Erklärungsgehalt des Models nicht wirklich verbessern, dann sollte man sie doch auch rauslassen oder nicht?

Ich kenne Deine Stichprobengröße nicht. Wenn sie nicht zu klein ist, kann man
den einen oder anderen Freiheitsgrad opfern. Herumschrauben an Modellen mit
anhand von Signifikanzen, Stichproben-Varianzaufklärung oder sonstwelchen vom
Stichproben-Zufall beeinflussbaren Größen finde ich nicht sinnvoll. Man nimmt
Kovariaten aus Gründen auf und lässt sie halt drin.

Was das andere angeht, stellt sich ein ähnliches Problem, es fliegen die
5%- und 10%-Signifikanzen und UVs und AVs und Kovariaten und Mediatoren
fröhlich umeinander, so dass ich's leider nicht mehr nachvollziehen kann
(und mag), oder besser gesagt noch soviel daran verstehe, dass Du Deine
Analyse anscheinend an Ergebnisse anfpasst. Falls es in der Studie um den
Test eines hypothetiserten Mediatoreffektes geht und Du aus bestimmten
Gründen auch Kontrollvariablen einführst (deren Sinn es ist, Scheinkorrelationen
zu verhindern und die deshalb scheinbare Effekte der eigentlich interessierenden
Variablen zu verringern oder zum verschwinden zu bringen), dann führe doch
die Analyse nach Plan durch und berichte was herausgekommen ist. Du bist
nicht verpflichtet, aus statistischem Rauschen unbedingt was herauszuquetschen,
das nach Effekten aussieht.

Mit freundlichen Grüßen

PonderStibbons

[domii]

Ich kenne Deine Stichprobengröße nicht.

Bei der Untersuchung handelt es sich um ein between-subject Design mit zwei Gruppen (A/B) und einer Gesamtstichprobe von 121 Personen (A=60/B=61). Die Gruppenzuteilung erfolgte nach Zufall.

Man nimmt Kovariaten aus Gründen auf und lässt sie halt drin.

Sorry für die blöde Frage aber was sind denn noch Gründe, außer theoretische Überlegungen und Referenzstudien? Das Einzige, was mir einfällt, wäre halt nur das Eta-Quadrat. Wenn die Kontrollvariable keinen wesentlichen Erklärungsgehalt hat, dann macht meinem Verständnis nach keinen Sinn diese überhaupt in das Model aufzunehmen. Ich muss vlt. dazu sagen, dass ich selber noch nicht viel Erfahrung mit quantitativer Forschung habe und mir daher etwas schwer tue Dinge in diesem Zusammenhang richtig einzuordnen.

Mein Take-Away ist hier nach deinen Antworten folgender: Kovariate werden aufgrund von theoretischen Überlegungen und Referenzstudien aufgenommen. Bei der ANCOVA werden diese auch alle als Kontrollvariablen eingebunden. Die Einbindung ist unabhängig davon, ob sie einzeln betrachtet überhaupt einen signifikanten Einfluss auf die zu untersuchende AV haben oder ob sie zum Erklärungsgrad des Gesamtmodells beitragen. Habe ich das so richtig verstanden und wiedergegeben?

Was das andere angeht, stellt sich ein ähnliches Problem, es fliegen die
5%- und 10%-Signifikanzen und UVs und AVs und Kovariaten und Mediatoren
fröhlich umeinander, so dass ich's leider nicht mehr nachvollziehen kann(...)

Das Wirrwarr tut mir Leid. Die Untersuchung sieht wie folgt aus:

H1: Der Stimulus aus Gruppe B hat einen größeren positiven Effekt auf die AV(Y) als der Stimulus aus Gruppe A.
Ergebnis H1 via t-test für unabh. Stichproben: Mittelwertunterschied von 0,6; p=0,085.

H2: Der positive Einfluss von Stimulus X auf Y wird über M mediated.
Ergebnis H2 via Mediation mit PROCESS für SPSS:
Outcome Variable M: R-Quadrat=0,053 | (X -> M): p=0,02
Outcome Variable Y: R-Quadrat=0,182 | (M -> Y): p=0,00 | (X -> Y): p=0,42
Outcome Variable Y: R-Quadrat=0,032 | (X -> Y): p=0,085
Partially standardized indirect effects of X on Y: Effect=0,1641.
BootLLCI und BootULCI haben bei direct und indirect kein 0 Wert, womit die Mediation ja bestätigt ist.

Warum ich nun zur ANCOVA frage ist wegen des Haupteffekts H1. Das Signifikanzniveau kann ich ja im Prinzip noch verbessern, indem ich die erhobenen Kontrollvariablen ins Model aufnehme und deren Einfluss damit neutralisiere. Muss ich hier nun auch meinen Mediator als Kovariate schon aufnehmen?
Wenn ich den Mediator nicht aufnehme, dann ist der Stimulus X die einzige "signifikante" Variable (leider nur p=0,085) und alle Kontrollvariablen sind p>0,10. Wenn ich den Mediator aufnehme, dann sind der Mediator (p=0,00) und auf einmal die Variable "Alter" (p=0,02) signifikant aber mein Stimulus X nicht mehr. Das Gesamtmodell ist bei beiden Varianten signifikant. Das R-Quadrat ist mit Mediatorintegration als Kovariate deutlich besser als ohne.

[PonderStibbons]

Muss ich hier nun auch meinen Mediator als Kovariate schon aufnehmen?

Wenn ich die Frage und das Konzept richtig verstehe, dann in einem eigenen Schritt.
Für die Untersuchung eines Mediatoreffektes im Regressionsmodell kann man den
Vergleich der Wirkung von X ohne versis mit Mediator heranziehen.

Mit freundlichen Grüßen

PonderStibbons

[domii]

Perfekt, vielen Dank!

Eine Frage hätte ich jedoch noch. Und zwar, ist mein Take-Away zur Auswahl der Kontrollvariablen hier unten so richtig?

Sorry für die blöde Frage aber was sind denn noch Gründe, außer theoretische Überlegungen und Referenzstudien? Das Einzige, was mir einfällt, wäre halt nur das Eta-Quadrat. Wenn die Kontrollvariable keinen wesentlichen Erklärungsgehalt hat, dann macht meinem Verständnis nach keinen Sinn diese überhaupt in das Model aufzunehmen. Ich muss vlt. dazu sagen, dass ich selber noch nicht viel Erfahrung mit quantitativer Forschung habe und mir daher etwas schwer tue Dinge in diesem Zusammenhang richtig einzuordnen.

Mein Take-Away ist hier nach deinen Antworten folgender: Kovariate werden aufgrund von theoretischen Überlegungen und Referenzstudien aufgenommen. Bei der ANCOVA werden diese auch alle als Kontrollvariablen eingebunden. Die Einbindung ist unabhängig davon, ob sie einzeln betrachtet überhaupt einen signifikanten Einfluss auf die zu untersuchende AV haben oder ob sie zum Erklärungsgrad des Gesamtmodells beitragen. Habe ich das so richtig verstanden und wiedergegeben?

[domii]

push