STATISTIK-FORUM.de

[Johnny-the-Monkey]

Hallo liebes Forum,

Für meine Masterarbeit führe ich gerade eine multiple lineare Regression mit einer AV und fünf UVs durch. Ziel ist es die Einflüsse einzelner Faktoren auf die Arbeitszufriedenheit einer spezifischen Berufsgruppe zu schätzen. Die Stichprobengröße ist mit n=26 relativ klein. Wenn ich die Einflüsse der Faktoren auf die Arbeitszufriedenheit einzeln in einfachen linearen Regression untersuche sind die p Werte der Regressionsmodelle signifikant. Sobald ich die Einflüsse in einem multiplen Regressionsmodell auf einmal untersuche, ist das Modell an sich immer noch signifikant (mit einem R² von 0,6), die Regressionskoeffizienten aber hoch insignifikant und die Einflüsse sehr klein (einmal war ein Koeffizient sogar negativ welcher vorher positiv war).
Durch vorherige Analysen bin ich mir relativ sicher, dass die UVs untereinander korrelieren, die Berechnung der Variance Inflation Factors ergab jedoch Werte zwischen 2 und 3, welche laut Forschung eigentlich noch als "ok" gelten.
Nun wäre meine Frage, ob die Stichprobengröße von nur 26 Probanden für die extremen Insignifikanzen verantwortlich sein kann oder ob die Stichprobe generell zu klein ist für eine multiple Regression mit 5 Faktoren? Leider konnte ich soweit keine eindeutigen Antworten finden.

Vielen Dank schonmal im Voraus und liebe Grüße

[bele]

Hallo,

die Kombination aus kleiner Stichprobe und Multikollinearität ist sicher ungünstig. Das Modell weiß nicht, ob es die Varianz durch den einen oder den anderen oder den dritten Prädiktor erklären soll und deshalb wird am Ende keiner von ihnen signifikant.

Beim VIF versucht man, den einen Prädiktor durch die anderen vorherzusagen. Der Stichprobenumfang geht in die Berechnung des VIF also gar nicht wirklich ein.
Die Empfindlichkeit Deiner Regression gegenüber Multikollinearität hängt dagegen sehr vom Stichprobenumfang ab. Faustregel wie VIF < 10 können für sehr kleine oder sehr große Stichproben unpassend sein.

LG, Bernhard

[Johnny-the-Monkey]

Hallo Bernhard,

Danke für die schnelle Antwort,
Ich glaube Maxwell (2000) hat sich mit der Thematik bezüglich Stichprobengröße in Abhängigkeit von Korrelation der UVs untereinander und der UV-AV Korrelation beschäftigt. Unklar war mir, dass der Stichprobenumfang nicht in die Berechnung des VIF eingeht sowie dass die Faustregel <10 für sehr kleine oder sehr große Stichproben unpassend sein kann.
Vielen Dank für die Aufklärung.

Liebe Grüße

[bele]

Hallo Jonny,

man versucht einen Prädiktor durch die anderen Prädiktoren vorherzusagen und nur das R-Quadrat davon geht in das VIF ein. Les' Dir das mal durch, das ist wirklich nicht kompliziert und auch für uns Normalmenschen verständlich.

Die offene Frage ist, wie Du jetzt weiter machst und das hängt davon ab, was genau Du wissen willst. Reichen die bivariaten Abhängigkeiten?

LG, Bernhard

[Johnny-the-Monkey]

Danke für deine Antwort !

Ja das mit den VIF macht Sinn, ich habe mir die Formel zur Berechnung des VIF nochmal angeschaut und weitestgehend verstanden.

Zum Ausreichen der bivariaten Abhängigkeiten:
Im Prinzip geht es darum den Einfluss einer Dimension eines Konstrukts gesondert zu untersuchen. Die Aussage dass dieser einen signifikanten Einfluss hat lässt sich schwer rechtfertigen wenn andere bekannte Einflüsse (weitere Dimensionen des Konstrukts) nicht kontrolliert werden. Deshalb wurden ebenfalls die anderen gemessene Dimensionen die maßgeblichen Einfluss auf die Arbeitszufriedenheit haben können in einer multiplen Regression einbezogen.

Ich denke ich habe die Möglichkeit zu sagen, dass in der einfachen linearen Regression Tendenzen eines signifikanten Zusammenhangs erkennbar sind, die aber aufgrund der Stichprobengröße und der Multikollinearität schwer eindeutig in einer multiplen Regression bestätigt werden können, weil andere Faktoren auch dafür verantwortlich sein könnten.
Ebenfalls konnte aufgrund der kleinen Stichprobengröße keine PCA/Faktorenanalyse im Vorfeld durchgeführt werden um somit Dimensionen eindeutig voneinander abzugrenzen und Multikollinearität zu verringern.

Dann nehme ich an dass ich der einfachen linearen Regression Ergebnisse rausbekomme, die bis zu einem gewissen Grad unscharf sind.

[bele]

Ist das so? Kann man mit 26 Beobachtungen wirklich keine PCA rechnen? Oder ist die PCA nur nicht in der Lage, Dein Problem zu lösen?

LG, Bernhard

[Johnny-the-Monkey]

Ich bin von den Empfehlungen von ca. 10 Fällen pro Item ausgegangen. Wenn ich von diesen Empfehlungen ausgehe, würde ich ca. 200 Probanden benötigen um bei einer PCA aussagekräftige Ergebnisse zu bekommen. Ich nehme an ich könnte eine PCA rechnen, aber würden sie sagen eine PCA könnte dazu beitragen das Problem zu lösen? Ich bin mir nicht sicher welche Ergebnisse diese liefern würde.

LG, Johnny

[bele]

Nein, soweit ich das bisher gehört habe, klingt das schon gut: Diese Prädiktoren haben gemeinsam eine signifikante Beziehung zur UV und weil sie untereinander korrelieren ist es im Rahmen der erzielbaren Stichprobe nicht möglich, die Beziehung einzelner Prädiktoren auch unter Berücksichtigung der anderen festzustellen.

LG, Bernhard