STATISTIK-FORUM.de

[Conina]

Hi Forum,

eine ganz allgemeine Frage zu SEM:
Wie kann es sein, dass Modelle einen sehr guten Fit zeigen (nach RMSEA, CFI, X²), obwohl 2 von 3 latenten Prädiktoren nicht signifikant sind (& zwar deutlich, also nicht nur knapp vorbei)?
Der CFI liegt bei 1.000, der RMSEA bei 0.000, p (X²) = 0.9849. Diese Werte machen mich irgendwie unruhig

Hier ein paar Infos zum Modell:
Ein Kriterium, zwei Prädiktoren und deren Interaktion als dritter Prädiktor. Jede latente Variable wird durch 3 Indikatoren (Parcels) gemessen. Die zwei Prädiktoren 1. Ordnung dürfen korrelieren, die Interaktion nicht (da orthogonalisiert). Die Modelle haben 50 Freiheitsgrade, es liegt also nicht daran, dass sie genau identifiziert wären.

[Holgonaut]

Hi,

der Modellfit und die Vorhersagekraft haben nichts mit einander zu tun. Die Parameter im Modell werden so geschätzt, dass
die Kovarianzen zwischen den Variablen möglichst gut repliziert wird. Bei dir gibt es keine sign. Kovarianzen oder Korrelationen,
ergo sind die geschätzten Effekte nicht-signifikant. Das Modell bildet also (wenn es korrekt ist), die Realität (=keine Zusammen-
hänge) ab.

Weitere Anmerkungen:
a) Parcels solltest du nicht verwenden, sondern die rohen Indikatoren. Parcels setzen voraus, dass alle Indikatoren tatsächlich
homogen sind, d.h. dieselbe latente Variable messen. Anstatt das einfach anzunehmen, sollte diese Annahmen Teil des
Modelltests sein
b) Du hast keine Kontrollvariablen im Modell; solltest du aber - und zwar nicht irgendwelche Standardvariablen, sondern
diejenigen, die mögliche Alternativ-Erklärungen für Beziehungen zwischen den unabhängigen Variablen und der abhängigen
Variablen sein könnten (confounder)
c) Wegen der Identifikation: Unterscheide zwischen Freiheitsgraden, die aus den Messmodellen kommen und denjenige,
die auf latenter Ebene vorliegen. Deine Freiheitsgrade kommen alle aus den Messmodellen, während das latente Modell
saturiert ist und df=0 hat. Für den Test kausaler latenter Strukturen (und deshalb macht man die Sache ja) braucht
es Restriktionen auf der latenten Ebene - also Pfade, die auf 0 fixiert sind.


Grüße
Holger

[Conina]

Vielen Dank, das sind sehr hilfreiche Antworten! Beim drauf-rumdenken kommt mir noch die ein oder andere Frage in den Sinn:

der Modellfit und die Vorhersagekraft haben nichts mit einander zu tun. Die Parameter im Modell werden so geschätzt, dass
die Kovarianzen zwischen den Variablen möglichst gut repliziert wird. Bei dir gibt es keine sign. Kovarianzen oder Korrelationen,
ergo sind die geschätzten Effekte nicht-signifikant. Das Modell bildet also (wenn es korrekt ist), die Realität (=keine Zusammen-
hänge) ab.

Heißt das, auch wenn ich modelliere, die AV sei durch die UV beeinflusst, kann das Modell gut passen, weil der Pfad frei geschätzt wird, also auch Null annehmen kann?

a) Parcels solltest du nicht verwenden, sondern die rohen Indikatoren. Parcels setzen voraus, dass alle Indikatoren tatsächlich
homogen sind, d.h. dieselbe latente Variable messen. Anstatt das einfach anzunehmen, sollte diese Annahmen Teil des
Modelltests sein

Ja, ein guter Einwand. Ich habe mich dennoch für Parcels entschieden (to parcel or not to parcel? ).

b) Du hast keine Kontrollvariablen im Modell; solltest du aber - und zwar nicht irgendwelche Standardvariablen, sondern
diejenigen, die mögliche Alternativ-Erklärungen für Beziehungen zwischen den unabhängigen Variablen und der abhängigen
Variablen sein könnten (confounder)

Hm, darüber muss ich noch ein bisschen nachdenken. Ich habe im Vorfeld den Design Effekt /ICC bestimmt (die Clusterung wäre ja auch ein möglicher confounder) und andere Variablen, die die untersuchten Beziehungen beeinflussen könnten, in multiplen Regressionen mitlaufen lassen. Da sie keine Effekte hatten habe ich sie dann nicht mehr in die SEM integriert (sparsames Modell) - würdest Du das anders machen?

c) Wegen der Identifikation: Unterscheide zwischen Freiheitsgraden, die aus den Messmodellen kommen und denjenige,
die auf latenter Ebene vorliegen. Deine Freiheitsgrade kommen alle aus den Messmodellen, während das latente Modell
saturiert ist und df=0 hat. Für den Test kausaler latenter Strukturen (und deshalb macht man die Sache ja) braucht
es Restriktionen auf der latenten Ebene - also Pfade, die auf 0 fixiert sind.

Ui! Woher weißt Du das (ist schon ein bisschen her, dass ich die SEM-Grundlagen gelernt habe & ich fuchse mich grade etwas mühsam wieder rein)? Liegt es also daran, dass die Indizés so gut sind (es gibt aber schon in manchen Modellen leichte Abweichungen von den perfekten Werten)? Hinsichtlich der Interaktionen habe ich solche Restriktionen (darf nicht mit den interagierenden Faktoren korrelieren), aber das reicht wohl nicht? Uiui, hier muss ich wohl nochmal draufgucken!

Herzlichen Dank Holgonaut!
LG, Conina

[Holgonaut]

Hi Conina,

Heißt das, auch wenn ich modelliere, die AV sei durch die UV beeinflusst, kann das Modell gut passen, weil der Pfad frei geschätzt wird, also auch Null annehmen kann?

Ja, genau, der Pfad ist "nicht-sign. von Null verschieden", weil die Kovarianz zwischen UV und AV das ist. SEM dient ja dazu, dass die exisitierenden beobachteten Kovarianzen dekomponiert
werden in die Pfade. Es kann durchaus aber sein, dass man eins nicht-sign. Kovarianz hat, die daraus entsteht, weil die UV mit der AV über sign. - aber gegenläufige Pfade verbunden ist
(z.B. verschiedene Mediatoren). Die hast du aber nicht - also weiß man nicht, ob es keinen Effekt gibt, oder ob sich Pfade mit gegenläufigen Richtungen überlagern.

Ich habe im Vorfeld den Design Effekt /ICC bestimmt (die Clusterung wäre ja auch ein möglicher confounder) und andere Variablen, die die untersuchten Beziehungen beeinflussen könnten, in multiplen Regressionen mitlaufen lassen. Da sie keine Effekte hatten habe ich sie dann nicht mehr in die SEM integriert (sparsames Modell) - würdest Du das anders machen?

Sinnvoller wäre, die in das Modell reinzunehmen. Warum erst Regression, wenn man alles in einem haben kann? Außerdem ist dieses Eliminieren von Kontrollvariablen mit n.s. Effekten immer etwas problematisch, weil selbst, wenn eine Kontrollvariable n.s. Effekte hat, sind die ja nicht Null. Das heißt, sie hat - wenn auch marginale - Kontrollfunktion. Aber der bias bei Ausschluss wird sicher nicht dicke sein

Woher weißt Du das

Naja, du sagest, du hast zwei Prädiktoren und ein Kriterium. Auch wenn du eine Restriktion hast, ist die nicht hilfreich. Aber das ist bei solchen Modellen, wo die Interaktion ja im Vordergrund steht, die Regel. Allgemein ist es so: je mehr Variablen du "upstream" hast, die einen Effekt auf Deine Prädiktoren hast (aber keine auf die AVn), umso mehr wird die kausale Richtung des Effekts der Prädiktoren gestärkt (sofern man den Fit/Misfit ernst nimmt, der auf eine Verletzung dieser
Restriktionen hinweist).

Gruß
Holger

[Conina]

Vielen Dank Holgonaut! Antwort folgt, jetzt muss ich erstmal ein bisschen nachdenken

LG!

[Conina]

Hi Holgonaut,

Du hattest geschrieben, es sei hilfreich, wenn ich mein Modell mal poste. Hier ist es:

Ich denke immer noch auf den Freiheitsgraden herum. Heißt das, der Modellfit wird nicht richtig geschätzt, weil ich zuwenig Restriktionen im Strukturmodell habe?
Den letzten Satz Deines Posts verstehe ich nicht so richtig, grübel grübel

Vielen Dank & LG

[Holgonaut]

Hi Conina, das Modell sieht erst mal gut aus und dass es eine Interaktion gibt, die signifikant ist, ist doch schön

Ich weiß jetzt nicht mehr, ob du irgendwie Kontrollvariablen berücksichtigt hattest. Da fehlts halt etwas. D.h. auf dem "Kontinuum der kausalen Evidenz" ist es so eher
direkt neben einfachen Korrelationen. D.h. die Gefahr besteht einfach, dass es einen omitted variable bias gibt (bzw. confounder bias).

Das mit den Freiheitsgraden: Nein, das ist kein Fehler, da wird nichts falsch geschätzt. Nur kommen die df halt aus den Messmodellen. Wenn du nur die latente Struktur ansiehst - also deine 3 Prädiktoren und die 1 AV, so ist diese Struktur saturiert - d.h. es gibt keine (latenten) Parameter, die fixiert sind. Das ist unschön.

Stell dir das folgende Beispiel vor (aus Kline, 2015). Du hast ein partielles Mediationsmodell: A hat einen indirekten Effekt auf C über B sowie einen direkten. HIer hast du ebenfalls 0 Freiheitsgrade: Du hast 3 Variablen (ergo 3*2/2 = 3 Korrelationen dieser Variablen) und 3 Pfade (welche, kannst du mal kurz selbst überlegen

Du kannst jetzt a) durch permutieren der Pfeile in verschiedene Richtungen und durch b) Fehlerkovarianzen (die ausgeschlossene Drittvariablen) Dutzende Modelle herstellen, die das vorliegende Muster von Korrelationen erklären. Es gibt *keine testbaren Restriktionen*, weil die df = 0 sind. Daran würde auch die Tatsache nix ändern, dass A, B und C latent sind, durch mehrere Indikatoren gemessen wurden und das Gesamtmodell eben doch eine positive Zahl an Freiheitsgraden hat. Das heißt, du könntest z.B. den Effekt von A auf B einfach umdrehen - der Fit wäre der selbe, oder den Effekt von C auf A, oder würdest eine Fehlerkovarianz zwischen B und C einfügen (die deren Beziehung adressiert). Kline gibt in seinem Artikel - wenn meine Erinnerung stimmt - für dieses Modell 27 äquivalente Modelle an, die die vorliegende Datenstruktur erkären. Dabei ändert er bei jedem Modell aber immer nur einen Aspekt (also dreht z.B. einen Pfeil um). Kombiniert man diese (z.B. 1 Pfeil + 1 Fehlerkovarianz), sind es noch viel mehr.

Die Moral: Modelle, die einen starken Evidenzcharakter haben, haben "Löcher im Käse" - d.h. fixierte Effekte bzw. Restriktionen. Jede Restriktion schließt eine ganze Reihe von äquivalenten-gleich-fittenden Modellen aus. Wenn du z.B. ein volles Mediationsmodell hat, das sich gegenüber dem o.g. durch eine einzige Restriktion mehr unterscheidet (A--> C = 0), fallen alle Konkurrenzmodelle, deren Inhalt die Kovarianz von A und C adressieren, weg (also A-->C; C->A; und Z-->C+A, wobei Z jetzt ein ignorierter confounder ist, der C und A beeinflusst). Zu dem fallen aber auch Alternativmodelle weg, die was mit dem indirekten Effekt zu tun haben. So wäre z.B. das Modell A <-- B --> C noch möglich (weil äquivalent), aber nicht mehr A --> B <-- C und auch nicht A --> B <-- Z --> C. Wenn also ein Modell mit dieser einen Restriktion fitted, sind eine Menge Konkurrenzmodelle ausgeschlossen.

Die Restriktionen auf der Messebene testen die Struktur der Beziehungen zwischen latenten und manifesten Variablen (und somit die Validität der Messmodelle) - die Restriktionen auf der latenten Ebene aber testen die kausale Struktur der latenten Variablen. Deshalb sind auch Regressionen nicht so stark (bzgl. der Evidenz) weil sie ebenfalls keine df haben und völlig falsche Strukturen (Pfeilrichtungen und omitted confounders) nicht entdeckbar sind. Effekte in Regressionsmodellen sind dann valide, wenn alle wichtigen Kontrollvariablen drin sind. Das ist aber nun Glaubenssache. In SEM ist das (z.Teil) testbar. "Z.Teil" heißt, es kommt darauf an auf welche Beziehungen ein confounder/omitted variables einen Einfluss hat. Was den vorderen/linken ("upstream") Teil anbelangt, ist das meist schwer; besser testbar sind die rechten / downstream - Teile von Modellen. Daher ist der B-->C Effekt auch stärker testbar (wenn das Modell wie oben erklärt vollständig mediiert ist), als der A-->B-Teil hier sind weiterhin alle Alternativen denkbar (also B-->A oder A <--Z --> B)....Deshalb haben die Ökonometriker ja Instrumentalvariablen entwickelt, die wiederum einen Effekt auf A haben. Und damit kann dann wiederum die A-B-Beziehung etwas in den Schwitzkasten genommen werden...

Das alles war jetzt ein "nice-to-know"-Exkurs - hilft dir aber nix, weil du keine Restriktionen hast. Was du noch tun könntest (falls du das nciht schon getan hast -sorry für mein Gedächtnis), wäre Kontrollvariablen mitzutesten, die zumindest für *diese* Variablen ausschließen, dass die Beziehungen deiner Modellvariablen spurious ist nur nur wegen der Kontrollvariablen entstanden ist. Solche Kontrollvariablen sind Variablen, die mit Deinen Modellvariablen (UV UND AV) korrelieren.

HTH
Holger

Kline, R. B. (2015). The mediation myth. Basic and Applied Social Psychology, 37(4), 202–213. doi:10.1080/01973533.2015.1049349

[Conina]

Wow - Danke Holger für die tiefgehende und elegante Antwort!
Ich glaube, ich verstehe was Du meinst und muss jetzt noch ein bisschen darauf herumdenken. Vielen Dank!

...und einen schönen Sonntagabend!
LG,
Conina