STATISTIK-FORUM.de

[JohannaS]

Guten Tag!

Kurz zu meinem Hintergrund: ich entwickle einen Fragebogen zur Einstellung gegenüber Online-Therapie und möchte am Ende u.a. die Einstellung von Betroffenen & Therapeuten vergleichen. Die Betroffenen-Stichprobe ist bereits n = 1000 und die Therapeuten Stichprobe momentan n = 300 mit noch ein wenig Luft nach oben.

Meine Frage ist, wie ich eine Faktorenstruktur validieren kann! Bisher habe ich mir folgende Möglichkeiten überlegt:

1) EFA in der Betroffenenstichprobe mit Kreuzvalidierung in derselben Stichprobe.
2) EFA in der Betroffenenstichprobe mit Kreuzvalidierung in der Therapeutenstichprobe (Frage: Macht das Sinn, da die Therapeuten ja eine andere Population sind?)
3) EFA in der Betroffenenstichprobe mit anschließender CFA (macht m.E. keinen Sinn, da sich die Ergebnisse einer EFA nicht unbedingt auf eine CFA übertragen lassen, da CFA's im Gegensatz zu EFA's Fehlerkorrelationen berücksichtigen etc.)
4) "explorative CFA" in der Betroffenenstichprobe mit Kreuzvalidierung in der Therapeutenstichprobe.

Ich scheue mich ein wenig davor, mir die CFA-Methode anzueignen und hoffe, dass sich evtl. auch alles mit einer EFA regeln ließe?
Weiterhin stelle ich mir die Frage, wie ich damit umgehe, dass ich mit zwei verschiedenen Populationen arbeite, die vermutlich unterschiedlichen Faktorenstrukturen aufweisen - wie kann ich am Ende deren Ergebnisse vergleichbar machen?

Für Hilfe wäre ich sehr dankbar!! Viele Grüße, Johanna

[Holgonaut]

Hallo Julia,

ich weiß, man liest das öfters in Büchern oder Artikeln, aber leider ist keine Vorgehensweise geeignet, dass Modell zu validieren...

zu 1) Du meinst, die Stichprobe in zwei zufällige Hälften zu teilen, dann die EFA in der einen Hälfte zu machen und in der zweiten noch mal?

Wie gesagt, häufig vorgeschlagen, aber Humbug. Durch die zufällige Teilung erhälst du zwei ...naja zufällige Hälften, die sich in der Regel nicht unterscheiden.
Ergo sollte auch die Faktorstruktur in beiden Gruppen gleich sein.

Die Grundidee hinter diesen Kreuzvalidierungen ist ja die, dass in einer Stichprobe die Gefahr besteht, dass man die explorierte Struktur an idiosynkratisch Eigenschaften der Stichprobe
anpasst (also die Struktur gibts nur in dieser Stichprobe und nicht in der Population). Mit anderen Worten, man ist Opfer des *Stichprobenfehlers* geworden.
Aber:
a) Bei der o.g. Strategie ist die Stichprobe ja schon gezogen - ergo ist der Stichprobenfehler schon passiert. Das Problem löst man so also nicht. Man müsste schon eine neue Stichprobe ziehen.
b) Das viel größere Problem ist es das die Struktur an die fehlangepasst ist - und diese Fehlanpassung den stabilen Teil der Daten betrifft, denn man immer wieder bekommen würde, wenn man neue
Stichproben zieht. Mal ein einfaches Beispiel. Wenn du eine Korrelation zwischen X und Y hat und diese als X-->Y -Effekt interpretierst, wird diese Interpretation ja auch nicht dadurch gestützt, dass du
in einer neuen Stichprobe wieder diese Korrelation erhälst. Ein Faktormodell, ist genauso ein Kausalmodell wie X-->Y. Das das zu den Daten passt, sagt nicht, dass es stimmt - und das bleibt so, egal, wie viele neue Stichproben du ziehst.

Du musst also weiter gehende Hypothesen entwickeln, die auf dem Modell aufbauen und die stimmen müssen, wenn das Modell korrekt ist.

zu 2) Eine wichtige Vorgehensweise, aber sie validiert das Modell nicht. Du testest du den Grad der Generalisierung. Das sollte im übrigen aber dann doch konfirmatorischer ablaufen (Stichwort measurement invariance)

zu 3) Das ist nicht ganz dumm, hat aber ein zentrales Problem: Du exporisierst eine Faktorstruktur, die du dann mit den selben Daten testest. Dadurch macht der p-Wert des Tests nicht unbedingt Sinn. Allerdings kann es aus praktischer Sicht dennoch sinnvoll sein, weil das CFA - Modell Restriktionen testest, während das EFA - Modell da eher lax ist (z.B. fixierte Messfehlerkovarianzen und Doppelladungen).

4) Hier müsstest du erklären, was du meinst. Exploratorische CFA ist ein Widerspruch in sich. Man kann eine CFA machen, die dann fehlschlägt, und man exploriert Gründe und Alternativen. Das sind aber zwei nacheinander geschaltete Schritte.

So weit erst mal. Wenn du eine Modellstruktur vor Augen hast, solltest du im Übrigen eine CFA machen. Das ist wirklich nicht schwer. Es gibt z.B. das lavaan-Paket für die software R (www.lavaan.org). Auf der website gibt es ein super Tutorial. Weitere Hilfe / Ratschläge bekommst du hier.

Grüße
Holger

[JohannaS]

Hallo Holger,

vielen Dank für die ausführliche Antwort!! Eine Modellstruktur habe ich nicht vor Augen, es geht dabei um einen Einstellungsfragebogen bzgl. Online-Therapie – das ist bislang noch Neuland.

Zu 1) Stimmt, eine Kreuzvalidierung mit 2x EFA in derselben Stichprobe wäre in der Hinsicht wohl eher eine Farce! Ich habe von einigen Psychologen, gehört, dass die Diskussion „echte“ Kreuzvalidierung (neue Stichprobenziehung) vs. Quasi-Kreuzvalidierung innerhalb einer Stichprobe eher akademischer Natur ist, weil Stichproben in der Psychologie nicht gezogen werden, sondern Ad-hoc-Stichproben sind. Wie ist Deine Meinung dazu?

Zu 3) Dasselbe Problem würde sich ja bei der Option 1x EFA & 1x CFA innerhalb einer Stichprobe ergeben. Wie löst man das Problem? Bei dieser speziellen Stichprobe (leicht bis mittelgradig depressive Teilnehmer an einer Online-Studie) würde ich intuitiv gedacht genau dieselben Stichprobencharakteristika erreichen, wenn ich die Rekrutierung stoppe, nach gleichem Schema später weiterrekrutiere und das dann „neue Ziehung“ nenne, von daher wäre das m.E. auch nicht total sinnvoll, oder?

Zu 4) genau das meinte ich mit „exploratorische CFA“. Ist natürlich kein stehender Begriff, habe ich aber schon ab und zu irgendwo im Internet aufgeschnappt. Die Idee ist aber mittlerweile auch verworfen .

Wie würdest Du im Endeffekt an meiner Stelle vorgehen?

Viele Grüße und tausend Dank!!
Johanna

[strukturmarionette]

Hi,

(viell. hilft das ergänzend)

http://www.statistik-forum.de/bucher-mehr-f33/einfuhrung-die-test-und-fragebogenkonstruktion-t209.html


Lienert, G. A. & Raatz, U. (1998).
Testaufbau und Testanalyse. Sechste Auflage, 1998. Weinheim: Psychologie Verlags Union.

Gruß
S.

[JohannaS]

Danke, aber die gängige Literatur habe ich schon erschöpfend durchforstet.

[Holgonaut]

Hi Johanna,

das mit den ad-hoc-Stichproben stimmt natürlich. Alle Aspekte, die ich diskutiert habe, betreffen eine Situation unter idealer Zufallsziehung. Bei ad-hoc-Stichproben kommt noch hin zu, dass sich
über Stichproben hinweg zentrale Merkmale (die Einfluss auf die Kausalstruktur haben können) unterscheiden. Das verstärkt das genannte Argument noch, weil du dann immer weniger weißt, inwie weit
ein neuer Test (bzw. eine Wiederholung) eine Validierung des Modells ist.

Zu 3) Dasselbe Problem würde sich ja bei der Option 1x EFA & 1x CFA innerhalb einer Stichprobe ergeben. Wie löst man das Problem? Bei dieser speziellen Stichprobe (leicht bis mittelgradig depressive Teilnehmer an einer Online-Studie) würde ich intuitiv gedacht genau dieselben Stichprobencharakteristika erreichen, wenn ich die Rekrutierung stoppe, nach gleichem Schema später weiterrekrutiere und das dann „neue Ziehung“ nenne, von daher wäre das m.E. auch nicht total sinnvoll, oder?

Ich verstehe das so, dass du versuchst, weitere identische Stichproben zu ziehen? Wie gesagt, eine simple Wiederholung bringt nicht viel - selbst wenn du das Ideal einer identischen weiteren Stichprobe erfüllst (denk an mein Korrelations-Beispiel).

Wie würdest Du im Endeffekt an meiner Stelle vorgehen?

Ich kann mir schwer vorstellen, wie man Messungen entwickelt, ohne zumindest eine rudimentäre Idee zu haben, welche Indikatoren was messen sollen. Das heißt, entwickel eine Idee und TESTE sie in einem SEM. Eine CFA ist ganz nett, aber sie enthält wenig Restriktioenn (meist keine Doppelladungen und zero Fehlerkorrelationen). In einem SEM kann man die latenten Variablen von Interesse in ein Kausalnetz einbinden, wie man es sich vorstellt für den Fall, dass die latenten Variablen tatsächlich die sind, die man sich vorstellt (ähnlich wie ein nomologisches Netz). Dies wird in der Regel scheitern, weil das Faktorenmusster (die o.g. Restriktionen) ODER die latenten Beziehungen nicht so hinhauen. Dann muss man halt Dedektiv-Arbeit leisten um rauszufinden, ob es die latente Struktur ist, die das Problem ist, oder die item-to-latent-Konstellationen (meist sind die es - in dem Fall fängt man wieder an, sich die items anzuschauen - und dies Konstellationen umzubauen). Jede Respezifikation stellt einen Übergang von der konfirmatorishen zur exploratorischen/abduktiven Vorgehensweise dar und ist damit eine neue Hypothese.

Das alles hat weniger mit Statistik und noch weniger mit technischer Durchführung eines programmatischen Ablauf (software) zu tun als mit LERNEN, wie und wodurch die item-Antworten zustande gekommen sind. Augen aufmachen, offen sein für Fehlschläge und Fokus auf die möglichen Gründe.

Grüße
Holger

[JohannaS]

Danke für die Idee mit dem SEM, das werde ich auf jeden Fall ausprobieren! Das mit der rudimentären Idee bzgl. einer latenten Struktur finde ich bei einem Einstellungsfragebogen allerdings eher schwierig, bzw. würde ich da intuitiv immer nur eine positive und eine negative Valenz/Einstellung vermuten - das wäre mit Hinsicht auf die Analysen, die mit dem Fragebogen durchgeführt werden sollen, ein wenig unspannend . Eine EFA ergab bisher 4 Faktoren, von denen 1 Faktor allerdings relativ schwer interpretierbar war.

Eine weitere Idee: ich habe mir gerade noch etwas über die Maximum-Likelihood-Faktorenanalyse angelesen. Die bietet ja die Möglichkeit, mit einem Modelltest das angenommene Modell auf Signifikanz zu überprüfen und erlaubt daher (im Gegensatz zu einer Hauptachsenfaktorenanalyse) explizit Rückschlüsse auf Zusammenhänge in der Population. Verstehe ich das richitg, dass das eine CFA prinzipiell ersetzt? Wäre das im Kontext meiner Fragestellung vielleicht auch eine Möglichkeit oder übersehe ich da etwas?

Danke für die Hilfe und viele Grüße,
Johanna

[strukturmarionette]

Hi,

Verstehe ich das richitg, dass das eine CFA prinzipiell ersetzt?

Nein.

Gruß
S.

[Holgonaut]

Hi

Das mit der rudimentären Idee bzgl. einer latenten Struktur finde ich bei einem Einstellungsfragebogen allerdings eher schwierig

Ja, das kann ich nachvollziehen. Da hätte man vorher Validierungskonstrukte mit in die Studie aufnehmen können/sollen.

Was die ML-EFA anbelangt, hat das Strukturmarionette schon beantwortet. Eine EFA ist und bleibst exploratorisch. Die n.s. -Schwelle, die bei einer bestimmter Faktorenanzahl, ist eine Grenze, ab der eine bestimmte Anzahl das Muster der Kovarianzen der items hinreichend erklärt. Dummerweise ist es halt eine Untergrenze. Jede höhere Anzahl von Faktoren wird dann auch n.s. sein - bis zum Extremfall, wo genauso viele Faktoren berücksichtigt werden, wie items. Das zeigt, dass die Anzahl bei n.s. Chi-Quadrat-Wert nicht die richtige sein muss.

Wenn wir jetzt schon herausgearbeitet haben, dass es sich überhaupt um Einstellungsfragen handelt: Kannst du denn nicht eine oder mehrere Vorstellungen über die Art/Zahl von Faktoren aufbauen. Das kann man doch schon beim Anblick der items? Kannst ja mal etwas mehr dazu schreiben...

Grüße
Holger

[JohannaS]

Danke!! Beim Anblick der Items, bzw. EFAs die ich testweise durchgeführt habe, ließen sich folgende Faktoren erkennen:

1) Skepsis gegenüber Online-Therapie
2) Bevorzugung von Face-to-face-Therapie über Online-Therapie
3) Positive Erwartungen gegenüber Online-Therapie
4) Diskretion von Online-Therapie

Wenn ich die 4-faktorielle Struktur anhand einer CFA testen will, muss ich dann verschweigen, dass ich vorher eine EFA gerechnet habe und so tun, als hätte ich die Idee spontan gehabt, damit man mir nicht vorwerfen kann, die CFA in derselben Stichprobe gerechnet zu haben, wie in der EFA?

Da ja die Interpretierbarkeit das Höchste Kritierium bzgl. der Faktorenzahl ist, könnte ich natürlich bei 1) positive Einstellung & 2) negative Einstellung bleiben und die zweifaktorielle Struktur testen. Ich dachte bisher, bei 2 Faktoren kann man sich auch die Faktorenanalyse schenken, aber das dachte ich vielleicht nur, gerade weil es so extrem intuitiv ist! Oder wäre das albern, da es bei zwei Faktoren im Prinzip nur von der positiv/negativ-Polung der Items abhängt?

Wenn es nach meinem Doktorvater geht, sollte ich eine schlichte EFA rechnen und sagen, dass die Struktur noch überprüft werden müsste. Aber dann dürfte ich in meiner Studie doch nicht mit der Faktorenstruktur weiterrechnen, sprich die Dimensionen für ANCOVAS benutzen, oder?