STATISTIK-FORUM.de

[Holgonaut]

Ich kenn das so, dass die Wurzel des AVE größer sein soll als die Faktor-Interkorrelation.

Gruß
Holger

[JohannaSch]

fittet das Modell sauber? Wenn ja, welche Info gibt der AVE zusätzlich?

Lieber Holgonaut! Ich habe einen guten Modell-Fit, aber die Kommunalitäten und Reliabilitäten sind dennoch sehr gering. Ich dachte nun auch, dass ich mit AVE oder composite reliability vielleicht mehr Glück habe.. Oder steht das etwa in keinem Zusammenhang?

Viele Grüße,
Johanna

[Holgonaut]

Hi Johanna,

Zentral ist, ob die latenten Variablen die Bedeutung haben, die du ihnen zusprichst. Das siehst du an den Ladungen, da sie die hypothetisierten Effekte der latenten Variable auf ihre Messungen
sind. Sind die plausibel? Meist sind niedrige Ladungen (dann wenn die items von ihrer Formulierung eigentlich klar genug sind) doch ein Zeichen, dass das Modell nicht korrekt ist.

Die composite reliabilty wird dir nur dasselbe zurückmelden, nämlich, dass die Messfehlerbelastung der items hoch ist. Das ist doof, aber ansich kein Problelm für das Modell.

Grüße
Holger

[JohannaSch]

Hallo Holger, vielen Dank für die Antwort! Haben denn die composite reliability oder die DEV einen Mehrwert gegenüber der internen Konsistenz? Ich habe bei einem guten Modell-Fit relativ schlechte interne Konsistenzen (.62). Könnte man das ggf. aber auch einfach hinnehmen und mit Item-Heterogenität argumentieren, die bei dem zu erfassenden Konstrukt zu erwarten war ("Einstellung gegenüber Online-Therapie") ? Bei diesem erstmalig erfassten und weiten Konstrukt überrascht mich eine hohe Messfehlerbelastung eigentlich nicht.. aber ab wann ist es nicht mehr tragbar?

Viele Grüße,
Johanna

[Holgonaut]

Deine Frage berührt eine fundamentale Gesichtspunkte beim Thema Reliabilität vs. Messfehler.

CR hat den Vorteil gegenüber alpha, dass es dessen zentrale Annahme der essentiellen tau-Äquivalenz nicht hat. Dies bedeutet, dass die Ladungen / Effekte der latenten Variable auf die
Items gleich sein müssen, eben weil alpha ein Durschnittswert ist, in den alle items eingehen.

Darüberhinaus sollte man sich vor Augen halten, dass ein Messfehler nicht dasselbe ist wie derjenige Messfehler im Rahmen des Reliabilitätskonzept (=Zufallsmessfehler). Von da aus hat in
einem CFA/SEM-Ansatz das Konzept "Reliabilität" eigentlich nichts verloren. Stattdessen ist der Messfehler eines items ein Fehlerterm, der alle weiteren Ursachen (zufällige und systematische)
mit beeinhaltet. Dies macht auch klar, dass dies kein feststehender Wert pro items ist - weil ,wenn man andere Ursachen mitmodellieren würde (=Doppelladungen), dann würd der Messfehler sinken.

Genau das liegt in Deinem Fall vor. Wenn du argumentiert, dass der Messfehler wegen der Item-Heterogenität hoch ist, dann unterstellst du ja, dass es viele systematische andere latente Variablen gibt,
die die item-Antwort beeinflussen. Im Modell (mit latenten Variablen) ist das kein Problem, solang die kausale Struktur aus Ladungen korrekt ist. Aber im Grunde ist das ansich nicht so toll, denn eine Messung, die zig Sachen misst, ist keine wirklcih so gute Messung (willst du, dass die Waage, auf die du dich ab und zu stellst, auch durch die Helligkeit im Raum beeinflusst wird?).

die bei dem zu erfassenden Konstrukt zu erwarten war ("Einstellung gegenüber Online-Therapie")

Warum führt ein Konstrukt zu Heterogenität seiner Messungen? Weil es multdimensional ist? Achtung, vor der "Konstrukt-Falle". Wenn es multdimensional ist, dann sollten die einzelnen Dimensionen selbst als latente Variablen mit 2-3 items modelliert werden und ein Ein-Faktor-Modell wird falsch sein.

Poste die items und du Definition des "Konstrukts" doch. Ich habe lange Erfahrungen mit EInstellungen aller Art - ganz naiv würde ich also annehmen, dass es das bewertende Urteil einer Person über die online-therapie ist. Zur Messung brauch ich ein einziges item: "Wie finden Sie online-Therapie" (sehr schlecht bis sehr gut).

Gruß
Holger

[JohannaSch]

Danke, das hat schonmal sehr geholfen! Mein Ergebnis ist eine 4-Faktorenstruktur mit einem Generalfaktor "Einstellung" 2. Ordnung (exakter Modell-Fit). Der Modell-Fit bei 4 korrelierenden Faktoren wäre noch besser, aber ich brauche die Gesamtskala! Likert-Skala 1 = "stimme voll zu" bis 5 = "stimme gar nicht zu". Bei Umpolung der 2. + 3. Subskala ergäbe ein eher hoher Gesamtscore eine eher positive Einstellung gegenüber psychologische Online-Interventionsprogramme..

Dimension „Skepsis“ mit positiver Ladung auf Generalfaktor
32 Bei einem online-Selbsthilfeprogramm erwarte ich keine längerfristigen Effekte.
35 Bei einem online-Selbsthilfeprogramm erhalte ich keine professionelle Unterstützung.
22 Es fällt schwer, die Anregungen des online-Selbsthilfeprogramms im Alltag tatsächlich umzusetzen.
15 Ein online-Selbsthilfeprogramm verstärkt aus meiner Sicht Isolation und Einsamkeit.

Dimension „Zuversicht“ mit negativer Ladung auf Generalfaktor
4 Ein online-Selbsthilfeprogramm kann mir dabei helfen zu erkennen, welche Probleme ich angehen und lösen muss.
18 Ich habe das Gefühl, dass ein online-Selbsthilfeprogramm mir helfen könnte.
26 Ein online-Selbsthilfeprogramm kann mir wichtige Anregungen geben, besser mit meinen Problemen umzugehen.
6 Das Behandlungsprinzip von online-Selbsthilfeprogrammen erachte ich grundsätzlich als sinnvoll.

Dimension „Nachteile gegenüber Psychotherapie“ mit positiver Ladung auf Generalfaktor
2 In Krisensituationen kann mir ein echter Therapeut besser helfen als ein online-Selbsthilfeprogramm.
19 Fertigkeiten die mir helfen, meinen Alltag besser zu bewältigen, lerne ich besser von einem Therapeuten, als von einem online-Selbsthilfeprogramm.
33 Bei einer Psychotherapie mit einem echten Therapeuten bleibe ich eher „am Ball“ als bei einem online-Selbsthilfeprogramm
12 Ein online-Selbsthilfeprogramm kann genauso wirksam sein wie eine Psychotherapie mit einem echten Therapeuten.

Dimension „Vorteile gegenüber Psychotherapie“ mit negativer Ladung auf den Generalfaktor
16 Ein online-Selbsthilfeprogramm ist vertraulicher und diskreter als eine Psychotherapie bei einem echten Therapeuten.
31 Bei einem online-Selbsthilfeprogramm fällt es mir leichter als bei einem Psychotherapeuten, meine Gefühle zu offenbaren.
25 Von der Nutzung eines online-Selbsthilfeprogramms würde ich meinen Freunden/Bekannten eher erzählen als von einer ambulanten Psychotherapie
10 Bei einem online-Selbsthilfeprogramm brauche ich keine Angst davor zu haben, dass jemand mitbekommt, dass ich psychische Probleme habe.

[Holgonaut]

Hi Johanna,

die items sind alle schon sehr unterschiedlich. Im Grunde misst jedes item eine eigene latente Variable, weil derjenige Aspekt der in jedem Item benannt ist, eben nicht nur
einfach eine sprachliche Abwandung desselben ist, sondern ein spezieller distinkter Gesichtspunkt. Es kann durchaus sein, das diese spezifischen Aspekte auf höherer Ebene
wieder eine latente Variable reflektieren (z.B. Skepsis), aber die Chance, dass es da Probleme wegen dieser vielen spezifischen Variablen gibt, sind meiner Erfahrung nach hoch.

Zu dem ist es seltsam ein EINE Variable eine Plural-Formulierung trägt ("Nachteile"). Was variiert denn da auf EINER Dimension?

Wenn du 3 Primärfaktoren auf einem Generalfaktor laden lässt, dann wird dies immer funktionieren, weil die latente Struktur saturiert ist. Du ersetzt einfach 3 Kovarianzen durch das second-
order-Faktormodell mit 3 Parametern (2 Ladungen und der latenten Varianz des general-Faktors). Es kann also nicht "nicht-fitten". Du bräuchtest schon 4 Faktoren, damit die Struktur
getestet wird.

Bewahre dich auch vor dem "Faktor-bias" - d.h. psychologen-typisch immer nur in Faktoren zu denken. Könnte es nicht sein, dass wahrgenommene Nach - und Vorteile einen Effekt auf Zuversicht und Skepsis haben?

Zum Thema higher-order Faktoren solltest du dir unbedingt mal folgenden Artikel ansehen:
Lee, Nick and Cadogan, John W. (2012). Problems with formative and higher-order reflective variables. Journal of business research

Grüße
Holger

[JohannaSch]

Hi Holger,

das ist ja immer der trade-off zwischen interner Konsistenz und Aussagekraft.. Wie hoch wäre der Nutzen eines Faktors, der überspitzt gesagt 4 x das gleiche Item hat und nur leicht anders formuliert? Dahingehend würde ich eine geringe Kommunalität dafür gerne in Kauf nehmen.. oder klingt das nach "schlechte interne Konsistenz schön reden" ?

Danke für den Hinweis bzgl. Plural-Formulierung!!

Den 3. Hinweis verstehe ich nicht ganz - ich habe ja 4 Faktoren..?

Danke für das paper, werde ich mir morgen mal durchlesen! Allerdings gehe ich ja davon aus, dass die Faktoren hoch interkorrelieren bzw. die Dimensionen sich beeinflussen. Das wird durch mein hierarchisches Modell nicht abgebildet oder? Aber aus einem Modell mit 4 korrelierten Faktoren ohne Generalfaktor 2. Ordnung kann ich keine Gesamtskala bilden, stimmts?

Vielen lieben Dank und einen schönen Abend,
Johanna

[Holgonaut]

Hi

Wie hoch wäre der Nutzen eines Faktors, der überspitzt gesagt 4 x das gleiche Item hat und nur leicht anders formuliert?

Da scheint irgendwie eine "bottom-up"- bzw. formative Denkweise durch. Der Faktor (d.h. ist die Grundannahme eines latent variable models) ist da - ob du ihn misst
oder nicht. Ob du ihn mit ähnlichen items misst oder mit heterogenen (sofern all diese items tatsächlich kausal von ihm beeinflusst werden), ist egal. Das beeinflusst
lediglich den Grad an Messfehler (sie mein früheres posting). Allerdings erhöhst du durch letzters wieder die Chance für misfit, weil der Grad an systematischer Varianz
höher ist. D.h. der Faktor folgt nicht aus der Verwendung der items - er liegt ihnen zugrunde.

Ich benutzt mal Deinen Satz und verändere ihn etwas

"Wie hoch wäre der Nutzen des Körpergewichts, das überspitzt gesagt 4 x durch die gleiche Waage gemessen wurde und nur leicht anders konstruiert?"

Allerdings gehe ich ja davon aus, dass die Faktoren hoch interkorrelieren bzw. die Dimensionen sich beeinflussen

Das ist sicher richtig - nur was die Gründe für diese Interkorrelation anbelangt, gibt es halt neben dem Standard-Faktor-Modell auch Alternativen.

Was die Frage mit der Gesamt-Skala anbelangt. Hmm, in jedem Fall hast du 4 Primärfaktoren; daher wäre die "Skala" eher ein Index dieser 4 Faktoren. Das find ich nicht so hilfreich.
Wenn der globale Faktor von Interesse ist, dann würde ich Items entwickeln (wieder um 2 - 3 ), die ihn direkt messen.

Warum immer Gesamtskalen konstruieren? Die Bedeutung der Subskalen ist doch viel spezifischer/bedeutsamer?

Grüße
Holger

[JohannaSch]

Hmm. Auch bzgl. des Beispiels mit dem Körpergewichts wäre ein Ergebnis doch viel aussagekräftiger, wenn dei 4 Waagen zu dem selben Ergebnis kommen, OBWOHL sie total anders konstruiert wurden?

Natürlich ist die Bedeutung der Subskalen spezifischer als die Gesamtskala, aber das wäre ja wiederum auch ein gutes Argument für spezifische Items innerhalb eines Faktors! Mein top-down Arbeitsprozess war ja "Ich will die Valenz der Einstellung messen (eher positiv oder negativ) und herausfinden, welche Dimensionen dabei eine Rolle spielen - deshalb stelle ich nicht nur die globale Frage "Wie finden Sie online-Therapie". Und je mehr spezifische Informationen ich in den verschiedenen Clustern auf verschiedenen Ebenen erhalte (sprich, Faktoren unter dem Generalfaktor und Items innerhalb der Faktoren) - desto bedeutsamer und interessanter zu interpretieren sind meine Ergebnisse!

Viele Grüße,
Johanna