STATISTIK-FORUM.de

[laurana]

Hilfe!

Ich habe folgende Daten und damit Problem:
N= 90 chi quadrat = 0.98, df=2 (also nicht signifikant)
Nun will ich den RMSEA berechnen. Es kann doch nicht sein, dass der RMSEA dann 0 ist?? Das wäre ja eine perfekte Passunng und das kann ja nicht sein....aber dennoch bekomme ich 0 raus...


Dann will ich noch die Korrelation zwischen den beiden Konstrukten bestimmen:
Var (A)=19,2 SE= 1,3 Var (B)=7,7 SE= 1,0 COV(A,B)=8,4
Um diese zu bestimmen, muss ich doch die Covarianz durch das Produkt der beiden Standardfehler dividieren oder? Das Ergebnis wäre dann 6,23.... aber das ist doch kein Korrelationskoeffizient zwischen 0 und 1?!?

Bin gerade etwas verzweifelt..
Danke im Voraus!

[Holgonaut]

Hi,

sobald der Chi-Quadrat-Wert genauso groß (oder kleiner) als die df sind, wird der RMSEA 0:

RMSEA = sqrt(chi^2 - df) / sqrt[df * (N-1)].

Das ist also ok. Das einzige Problem ist das geringe N, was die power des Chi-Quadrat-Tests reduziert.

Die Frage nach den zwei Konstrukten und ihrer Korrelation versteh ich nicht, weil du über Dein Modell ja nichts schreibst. Die Korrelation zwischen zwei latenten Variablen (nicht "Konstrukten")
ist Teil eines Modells und muss nicht berechnet werden. Auch die standardisierte Version wird üblicherweise ausgegeben.

Bei der Berechnung der Korrelation machst du einen Fehler: Die Kovarianz muss das Produkt der StandardABWEICHUNGEN geteilt werden:


8.4 / (sqrt(19.2)*sqrt(7.7))
--> 0.6908493

Gruß
Holger

[laurana]

Lieber Holger,

vielen lieben Dank für deine Antwort!!

Eine Frage habe ich noch: Die Stichprobe ist ja relativ gering. Kleine SP führen ja oftmals dazu, dass ungültige Modelle angenommen werden, da der Chi_Quadrat-Wert von der SP-Größe beeinflusst wird. Aber ein RMSEA von 0 indiziert ja dann, dass das Modell wirklich gut ist, da dieser ja nicht von der SP-Größe abhängt oder?
Ist ein RMSEA von 0 denn realistisch? Bedeutet das nicht eine perfekte Passung, die es in der Realität so gut wie nie geben kann?

Viele Grüße und Danke!

[Holgonaut]

Hi,

Kleine SP führen ja oftmals dazu, dass ungültige Modelle angenommen werden, da der Chi_Quadrat-Wert von der SP-Größe beeinflusst wird

Der Chi-Quadrat - Test ist ein statistischer Test. Und wie jeder andere Test, wächst seine power, die H0 zurückzuweisen mit der Stichprobengröße. Dies ist kein
"Problem" des Tests (wie das oft beim Chi-Quadrat-Test gesagt wird), sondern ein Qualitätsmerkmal eines jeden Tests. Analog implizieren kleine Stichproben
eine geringe power - d.h. die Probleme im Modell (bzgl. einer Misspezifikation) müssen einfach noch größer werden, damit der Test das merkt.

Der RMSEA ist wie die Formel zeigt, direkt abhängig vom Chi-Quadrat-Wert. Ein Wert von 0 sagt einfach, dass die Probleme im Modell noch nicht groß genug sind,
um aufzufallen. D.h. es gibt keine bemerkbare Evidenz gegen das Modell, allerdings sind die Umstände (N), nicht günstig, um ein problematisches Modell "zu entlarven".

Eine perfekte Passung hast du nicht - nur sind wie oben gesagt, die Unterschiede nicht gravierend. Lass dich außerdem nicht "von der Realität" (sprich: was man so für
Fit-Werte bei üblichen Modellen findet) verwirren. Die meisten Modelle fitten nicht, weil die Autoren sich zu schnell zufrieden geben mit einem "akzeptablen" Fit.

Das führt zur absurden Situation, dass ich teilweise auf Konferenzen schon dafür kritisiert wurde, der Fit meiner Modelle sei zu gut. Verkehrte Welt (abgesehen davon hab ich
auch meist Fit-Probleme - nur finde ich das beunruhigend und nicht "akzeptabel"

Gruß
Holger

[laurana]

Danke,Holger. Du kannst wirklich super erklären!!
Viele Grüße!

[waidschrat]

Eine perfekte Passung hast du nicht - nur sind wie oben gesagt, die Unterschiede nicht gravierend. Lass dich außerdem nicht "von der Realität" (sprich: was man so für
Fit-Werte bei üblichen Modellen findet) verwirren. Die meisten Modelle fitten nicht, weil die Autoren sich zu schnell zufrieden geben mit einem "akzeptablen" Fit.

Das führt zur absurden Situation, dass ich teilweise auf Konferenzen schon dafür kritisiert wurde, der Fit meiner Modelle sei zu gut. Verkehrte Welt (abgesehen davon hab ich
auch meist Fit-Probleme - nur finde ich das beunruhigend und nicht "akzeptabel"

Hi Holger,

auch wenn mir das selbst noch nicht unter gekommen ist, kann ich die Kritik durchaus nachvollziehen. Das Problem besteht idR darin, dass gut fittende Modelle nicht a priori spezifiziert wurden, sondern in der Regel a posteriori an parametern gedreht wird, um den fit zu verbessern (wie du ja auch in deinem Falle bestätigt hast).
Aufgrund des samplings verändert sich jedoch die mittelwerts und kovarianzstruktur von daten. eine bloße reproduktion dieser struktur durch entsprechende modell-spezifikation gelingt zwar meist, obwohl ein solches modell tatsächlich überparametrisiert ist, weil es nicht den datengenerierenden prozess sondern die stichprobe abbildet. man betreibt somit quasi modell "schönung"
aus diesem grund sollte man auch von der (über)interpretation einzelner fit indizes absehen. informationkriterien wie BIC und AIC (und hoffentlich bald auch echte MDL informationskriterien) böten hier einen mehrwert, allerdings nur in kontrastierung mit konkurrierenden (theoretisch ableitbaren) modellen.

[Holgonaut]

Hi Waidschrat,

geb dir größtenteils Recht. Wenn du das Modell re-spezifizierst, verlässt du den Pfad der Modell-Testung und beschreitest denen der Modell-Genererierung. Ob du unsinnige Parameter schätzt, oder eine theoretisch sinnvollere Alternative findest, weißt du erst mal nicht. Daher sind solche Modelle immer "preliminary". AIC/BIC bieten hier m.E. aber keine Alternative. Wenn das Modell nicht fittet, ist das erst mal ein Fehlschlag des Modelltests und man muss alternative Perspektiven entwickeln, die in Anbetracht der Daten sinnvoll sind ("Abduktion"). Benutzt man beide, um Modelle zu vergleichen, besteht das Problem, dass das besser-fittendere Modell (und damit das mit dem niedrigeren AIC/BIC) dennoch das misspezifiziertere sein kann, eben weil es unsinnige Parameter enthält, die aber zu einem besseren fit führen. Außerdem basieren AIC/BIC ja auf der Idee, das sparsamere Modelle zu bevorzugen sind. Ich denke, dass das korrektere Modell zu bevorzugen ist -auch wenn es komplexer ist

Grüße
Holger
P,S. wegen der Gefahr des unsinnigen Schätzens von "schönenden" Parametern bin ich auch ein Gegner der Modifikationsindizes, die das begünstigen (Stichwort Messfehlerkorrelationen). Stattdessen müssen Probleme im Modell in Anbetracht alternativer theoretischer Ideen betrachtet werden.

[waidschrat]

Lieber Holger,

ganz so einfach ist es dann doch nicht.. Den Informationskriterien liegt die Idee zu Grunde, dass wir auf die "Validität" eines spezifizierten Modells durch konventionelle chisquare-basierte Fitindizes (Stichwort Matrizenpassung) nicht schließen können. Stattdessen gilt auch heute noch die Replikation als Königsweg zur Überprüfung von Modellannahmen. In diesem Kontext stellt insbesondere das BIC einen Spezialfall dar, mit dem man anhand einer einzigen Stichprobe das Replikationspotential eines Modell im Vergleich zu anderen Modellen, die an eben dieser Stichprobe gefittet wurden, bewerten kann. Das allerdings nur unter der Maßgabe, dass sich alle Parameter "in gleichem Maße" auf den Modelfit auswirken. Eben dadurch kommt die explizite Berücksichtigung der "Sparsamkeit" ins Spiel, da komplexere Modelle mit vielen Parametern zwangsweise ein kleines Replikationspotential haben. Zu gut fittende Modelle (chisquare) sind daher mit größerer Wahrscheinlichkeit inkorrekt im Vergleich zu sparsamen, weniger komplexen Modellen.

Vor ein paar Jahren gab es dazu mal einen schönen Artikel von Christopher Preacher. Findet man glaub ich auch ganz gut über Google unter dem Stichwort "Minimum Description Length".

Gruß
Robert

[waidschrat]

pardon, auffinden war doch nicht einfach, daher:
http://quantpsy.org/pubs/preacher_cai_m ... m_2007.pdf

[Holgonaut]

Moin Robert,

danke für das Kapitel. Leider fehlt mir die Zeit, diesen Klotz näher anzuschauen.

ganz so einfach ist es dann doch nicht.

Hmm, weiß nicht, was an meinem Argument "zu einfach" war.

Den Informationskriterien liegt die Idee zu Grunde, dass wir auf die "Validität" eines spezifizierten Modells durch konventionelle chisquare-basierte Fitindizes (Stichwort Matrizenpassung) nicht schließen können

Seh ich genauso

Stattdessen gilt auch heute noch die Replikation als Königsweg zur Überprüfung von Modellannahmen

Jetzt kommt es darauf an, was du mit Modellannahmen meinst. Es gibt eine Menge. Für mich zentral ist die Annahme der korrekten kausalen Spezifikation. Für Statistiker, die einen großen Teil der Literatur in SEM beitragen, ist das oft wenig Interesse, da sie sich lediglich eben mit statistischen Dingen wie Robustheit etc. beschäftigen. Für mich als inhaltlichen Forscher nur soweit von Belang, wie meine theoretische Perspektive bedroht ist.

Und zur Überprüfung der kausalen Spezifikation ist die Replikation (auch wenn das häufig so gesehen wird), kein Königsweg, sondern relativ wertlos. Eine Replikation mit einer identischen Stichprobe überprüft, ob das Modell stichproben - ideosynkratisch gefittet hat (das hattest du angesprochen) - eine Replikation in einer anderen Stichprobe oder veränderten Bedingungen testet die Generalisierbarkeit. Die Korrektheit der kausalen Struktur kann man so nicht testen. Ein misspezifiertes aber fittendes Modell wird auch in einer neuen Stichprobe wieder fitten. Wenn du z.B. ein Modell genau so wie du es kritisiert hast, "verschönt" durch absurde Parameter und es so noch misspezifierter wird, und du testest es in einer neuen Stichprobe, wird es wieder fitten. Das ist aber kein Beleg für die Korrektheit. So ist auch die oft geforderte Replikation von exploratorisch gefundenen Faktorenstruktur Käse, weil der Punkt hier nicht Stichproben-Ideosynkratie ist, sondern eine systematische Fehlspezifizierung trotz Fit.

Berücksichtigt das BIC also das Replikationspotential, so seh ich da keinen großen Nutzen.

Zu gut fittende Modelle (chisquare) sind daher mit größerer Wahrscheinlichkeit inkorrekt im Vergleich zu sparsamen, weniger komplexen Modellen.

Was wenn das korrekte Modell nicht sparsam ist? Dann ist das "weniger komplexe Modell" misspezifiziert. "Zu gut fittend" gibt es m.E. nicht. Allerdings sehe ich es (auch) so, dass *saturierte* Modelle (meinst du das mit komplex?) ein kleineres Falsifikationspotential haben - d.h. ein saturiertes Modell mit gutem fit hat eine geringere Überzeugungskraft, weil die eben Gefahr besteht, dass man mit unsinnigen Parametern, den (sonst sichtbaren) misfit kompensiert. Nur hat das m.E. Implikationen für das Design (--> Modelle so spezifizieren, dass sie Restriktionen beinhalten) - nicht für die post-hoc-Anwendung von BIC & Co. Ich bin z.B. ein großer Fan von Instrumentalvariablen, weil diese genau diese essentiellen Restriktionen bieten.

Interessante Diskussion by the way

Grüße
Holger