STATISTIK-FORUM.de

[Cati25]

Hallo,
ich schreibe gerade an meiner Diplomarbeit und stehe leider vor einem Problem.
Ich vergleiche drei Modelle bzgl. ihrer Güte mittels CFA.

Die Fit-Indizes sprechen für das dritte Modell, allerdings möchte mein Betreuer, dass ich untersuche, ob das dritte Modell signifikant besser ist.
Wie mache ich das denn?? Irgendwie muss ich wohl Δ Chi-Quadrat berechnen, ich hab allerdings keine Ahnung, wie ich das mache...Geschweige denn, wie ich das Ergebnis interpretiere. Mit Amos klappt der Modellvergleich leider nicht, ich hab es schon mit diversen youtube-Anleitungen versucht

Ich wäre euch wirklich super dankbar, denn momentan bin ich wirklich ratlos....

Viele Grüße

[Holgonaut]

Hi,

erst mal solltest du nach einem Modell streben, das nicht nur bzgl. der Fitindizes gut fittet, sondern auch nach dem Chi-Quadrat-Test. So lange das Modell Probleme anzeigt, weißt du nicht,
wie gravierend diese Probleme sind. Es kann durchaus sein, dass die Fitindizes zwar für ein bestimmtes Modell sprechen - dieses aber misspezifizierter ist als das Modell mit den scheinbar schlechteren Fitindizes.

Ein Chi-Quadrat-Differenztest kann man machen, wenn beide Modelle genestet sind - d.h. wenn das eine Modell sich vom anderen nur dadurch unterscheidet, dass es einige Parameter mehr (oder weniger) hat, dass das andere Modell nicht hat. Unterscheiden sich beide Modelle aber darin, dass z.B. M1 einen Effekt von A auf B hat (aber keinen von A auf C), während M2 einen Effekt von A auf C hat (aber keinen auf B), dann sind sie nicht genestet.

Der Test geht per hand ganz einfach: Einfach die Differenz der beiden Chi-Quadrat-Tests nehmen und anhand der Differenz der Freiheitsgrade bewerten. Den p-Wert bekommst du mit Excel raus:
=CHIVERT(chi2-Wert, df)

Die Logik ist, dass ein Chi-Quadrat-Differenz-Wert selbst chi-Quadrat-verteilt ist.

Aber auch hier gilt. Ein wirklich statistischer Vergleich setzt voraus, dass das baseline-Modell korrekt ist!

Grüße
Holger

[Lisa36]

Super, genau nach dieser Frage und Antwort habe ich gesucht! Danke!

[Carolin]

Ein ähnliches Problem habe ich auch:

In meinem Modell 1 haben x1-x4 über y1-y4 auf y5.
In Modell 2 möchte ich gerne ZUSÄTZLICH die direkten Pfade von x1-x4 auf y5 testen.

--> Da ich nur Pfeile hinzugefügt und keine Variablen verändert habe, ist doch noch von einem hierarchischen Modell zu sprechen, oder?

Modell 1 hat einen chi2-Wert von 63,804 (df=26) und Modell 2 von 53,045 (df=21) also macht das eine Differez von 10,759 (df-Differenz=5) und p=0,056. Verstehe ich das richtig, dass dann das 2. Modell gerade so NICHT signifikant besser ist? Oder andersherum?

Danke schon mal!

[Holgonaut]

Hi,

a) beide Modelle fitten nicht gut. Das kann bei deinem Modell zwei Ursachen haben: (1) Du schließt direkte Effekte fälschlicherweise aus, die es aber gibt oder / und (2) du hast die Fehlerterme der y-Variablen nicht korrelieren lassen, und dies ist ebenfalls falsch.

Strengenommen kannst du dann keinen Chi-Quadrat-Signifikanz-Test machen, weil dafür das Baseline-Modell fitten muss.

b) Deine Interpretation ist korrekt: Das Schätzen der direkten Effekten verbessert das Modell nicht. Also ist wohl Annahme 2 oben korrekt.

Grüße
Holger

[Amosine]

Hallo,

Ich hätte eine Frage zu dieser topic. Und zwar wie interpretiere ich folgende Werte, um meine Modelle miteinander zu vergleichen:

Modell A:
Chi2: 3058,651
Cmin/DF: 2,249
DF: 1360

Modell B:
Chi2: 3739,161
Cmin/DF: 2,723
DF: 1373

Anhand der Model Fit Indices wirkt Modell A klar überlegen.
Aber ich möchte dies noch statistisch unterstreichen.

Ich muss Chi2-ModellB minus Chi2-ModellA rechnen: das ergibt 680,51
Dann die Differenz der DF: ergibt 13
Mittels der CHIVERT Formel bekomme ich einen Wert gleich 0 heraus.

Dann würde ich in der C2 Tabelle bei 13df und 0,99 nachschlagen, oder?
Das wäre dann der Wert 27,69

Was sagt mir dieses Ergebnis nun für die genaue Interpretation aus?

Vielen Dank!

Amosine

[Holgonaut]

Hallo Amosine,

bei dir gilt das gleiche wir im vorherigen posting. Beide Modelle fitten nicht und haben damit irgendwelche Probleme.
Die solltest du versuchen herauszufinden. Die df zeigen, dass es sehr große Modelle sein müssen. Da ist das natürlich die Suche nach der
Nadel im Heuhaufen.

Den chi-Quadrat-Differenztest kannst du nur machen, wenn beide Modelle genestet sind - also wenn das eine quasi im anderen drin steckt und sich nur
durch ein paar parameter unterscheidet.
Desweiteren (das hatte ich oben beschrieben) erfordert der test, dass das baseline-Modell fittet.

Bei nicht genesteten Modellen ist die Praxis, den AIC oder BIC zum Vergleich heranzuziehen. Ich halte dies für keinen sinnvollen Weg. Wenn beide Modelle
irgendwie falsch sind, muss das "unfittere" (in Termini eines höheren AIC/BIC) nicht das "falschere" sein).

Grüße
Holger

[Amosine]

Hallo Holger,

Danke für deine Antwort.
Die Modelle unterscheiden sich in ihrer Faktorenanzahl. Die Itemanzahl ist gleich groß. Gilt es damit es genestet?
Wie du bereits erkannt hast, handelt es sich um sehr große Modelle (18 Faktoren - über 50 Items).
RMSEA, TLI etc. sind aber durchaus innerhalb der empfohlenen Bereiche und sind somit als gut bis mittelmäßig, aber auf jeden Fall als akzeptabel zu bewerten.
Die Kovarianzen haben den Model-Fit auch nochmal weiter verbessert.
Theoretisch sind die Modelle einwandfrei, sodass ich jetzt nicht wüsste, nach was ich suchen könnte, um das Chi zu verbessern.

Wäre es möglich die beiden genannten Modelle mit diesen Werten zu vergleichen?

Vielen Dank und liebe Grüße,

Amosine

[Holgonaut]

Hi,

nein, sie sind nicht genestet.

Und über die Evaluationskriterien (Fit indizes vs. Chi-Quadrat-Test) gibt es eine Debatte in der Literatur und ich sehe eher auf der Seite des Chi-Quadrat-Tests.
Von da aus würde ich noch etwas Mühe investieren - auch vor dem Hintergrund meiner Erfahrung, dass Modelle mit mehr als 3 items pro Faktor immer problematisch
sind.

Was meinst du mit "die Kovarianzen haben den Model-Fit noch mal verbessert"? Meinst du Fehlerkovarianzen? Wenn ja, ein weiteres Beispiel, dass hier einiges
im Argen liegt, da diese meist Symptom für ein Problem in der Struktur sind.

Ich weiß, dass willst du nicht hören, aber ich sags halt trotzdem. Es ist ja Deine Entscheidung

Grüße
Holger

[Amosine]

Hallo,

Ein Faktor hat jeweils 3 Items und es ist eine große Stichprobe
Kovarianzen sowohl zwischen den Faktoren (theoretisch fundiert), als auch zwischen einigen Fehlervariablen der verschiedenen Items (basierend auf den Modification indices)

Da es sich um eine Replikation handelt, die in einem anderen Land funktioniert hat, hatte ich natürlich versucht, die theoretisch begründeten Zuordnungen zunächst beizubehalten. Wobei das Modell A mit den besseren Fit-indices eine mittels EFA zustande gekommene Alternativlösung ist.

Hast Du zufällig Literatur parat, in welcher ich bzgl der Interpretation der Chi bzw. AIC/BIC nachlesen kann?
Bzw. liese es sich anhand der Literatur rechtfertigen, dass das neue Modell A (RMSEA 0.06) das "bessere" Modell ist (vgl. altes Modell RMSEA .075)?
ich weiß nämlich nicht, was sich noch verbessern/verändern ließe, wenn die Theorie weiter so bestehen bleiben soll.

Vielen Dank und liebe Grüße,

Amosine