STATISTIK-FORUM.de

[daniel]

Ich selbst würde es mit einem wohlüberlegten theoretischen Modell mit ca. 8 Prädiktoren versuchen,

Ich würde ebenfalls zu 8 (bis maximal 10) Prädiktoren raten, die theoriebasiert oder zumindest hypothesengeleitet gewählt werden sollten. Deine Fragestellung scheint zwar eher explorativ formuliert, aber ich kann mit kaum vorstellen, dass Du die erste bist, die sich mit dieser Thematik befasst. Schau, was es dazu theoretisch oder empirisch bereits gibt. Existierende Analysen können evtl. auch Vorbild für ein geeignetes Modell bezüglich Transformationen liefern.

Logarithmische Transformationen der Prädiktoren scheinen (auf den ersten Blick) in der Tat relativ plausibel, da so eine Art abnehmender Grenznutzen der Prädiktoren modelliert wird. Auch die bereits vorgeschlagene Polynome scheinen mir plausibel. Eventuell auch s-förmige Verläufe.

Eine völlig andere Alternative wäre es, aus den metrischen Prädiktoren katgoriale zu machen und diese als Indikatorvariablen aufzunehmen. Damit wäre das Problem der Verletzung der Linearität umgangen, da Du schlicht verschiedene Intercepts modellierst. Mit einer solchen Entscheidung sind natürlich andere Probleme verbunden, aber ich würde in diesem Fall (obgleich ich ansonsten mit gutem Grund immer davon abrate) mal alle "metrischen" Prädiktoren dichotomisieren und die Ergebnisse vergleichen.

, und dann im Zweifel das Ergebnis mit den robusten Standardfehler-Ergebnissen (SPSS generalized linear model bzw. Hayes-Macro) vergleichen.

Ich würde "im Zweifel" streichen. Hier - wie sehr häufig - scheinen mir Sensitivitätsanalysen unerlässlich, um die Belastbarkeit der Ergebnisse zumindest einigermaßen abschätzen zu können.

[Ma_rie]

Danke PonderStibbons
Begründung dafür, warum ich die UVs logarithmiere, habe ich höchstens die, dass wenn ich mir die Schaubilder anschaue, ich vermute, dass Zusammenhang am ehesten einer Potenzfunktion ähnelt.. Kann sein dass ich das jetzt wieder falsch verstanden habe. Aber ich meine, so wie ich das gelesen habe, logarithmiert man in dem Fall UV und AV. Und damit sieht es ja bei mir am ehesten linear aus.

Hallo daniel, vielen Dank fürs Einklinken.

Ich gehe tatsächlich hypothesengeleitet vor. Es gibt Studien, die etwas sehr ähnliches machen wie ich. Deren Variablen habe ich daher übernommen und zusätzlich bisher noch nicht betrachtete. Damit komme ich wirklich auf eine große Anzahl, deshalb kann mir gut vorstellen, dass es viel zu viele sind.. jetzt weiß ich allerdings nicht, welche ich dann rausschmeißen soll. Es sind halt auch viele Dummy Variablen darunter.. z.B. habe ich schon allein 4 Variablen durchs Genre.
Durch die Studien kam ich ja auch auf die Idee, dass sowohl einige UVs als AUch AV zu transformieren sind.

Wenn ich die logarithmierten UVs gegen die AVs plotte und das ganze relativ linear aussieht. Kann ich dann das zumindest als Hinweis darauf annehmen, dass das der richtige Weg sein könnte?

Für den Ansatz aus den metrischen Prädiktoren dichotome zu machen, muss ich wahrscheinlich erstmal irgendwie darauf kommen, welches die besten Kategorien wären oder? Hab ich das richtig verstanden, dass sie dann zu einer Dummy Variable wird..? Vermutlich würde man von mir dann erwarten, dass ich eine Varianzanalyse mache..

Ich habe jetzt noch eine Beobachtung gemacht, die ich nicht nachvollziehen kann. Wenn ich eine univariate Regression mache nur mit der UV lnStarkopien und AV lnBesuchern. Dann sieht alles gut aus. Bei der Hinzunahme einer einzigen Variablen (oder auch bei allen) weist das Schaubild der Residuen der Variable lnStarkopien stark auf Autokorrelation hin. Durbin Watson ist aber bei 1,95. Uns wurde nur mal gesagt wenns nahe an 2 ist wäre es meist OK.. wenn in meiner multiplen Regression alle Residuenbilder in Ordnung aussehen und eins auf Autokorrelation hinweist, ist dann wieder alles im Eimer?

Noch eine dumme allgemeine Frage zu denen ich zwei konträre Aussagen in Büchern gefunden habe: Bei der multiplen Regression, hat das Schaubild in dem die standardisierten Residuen gegen den standardisierten geschätzten Wert geplottet sind Aussagekraft, oder schaut man nur auf die partiellen Diagramme für jede Variable?

Und eine ganz praktische Frage: Wie kann es sein dass sich die Werte im Schaubild bei Dummy Variablen so verteilen? Es gibt ja eigentlich nur den Wert null und eins. Sie liegen zwischen Minus eins und eins und manchmal mit Lücken, manchmal schön mit Übergängen.

[daniel]

Begründung dafür, warum ich die UVs logarithmiere, habe ich höchstens die, dass wenn ich mir die Schaubilder anschaue, ich vermute, dass Zusammenhang am ehesten einer Potenzfunktion ähnelt..

Abnehmender Grenznutzen bzw. geringere Effekte in den Extremwerten der Variablen verglichen mit Änderungen um die Mitte wären, wie erwähnt, eher inhaltliche Überlegungen.

Damit komme ich wirklich auf eine große Anzahl, deshalb kann mir gut vorstellen, dass es viel zu viele sind.. jetzt weiß ich allerdings nicht, welche ich dann rausschmeißen soll.

Das ist eine Frage des Erkenntnisinteresses und davon, welche Variablen, wie mit welchen anderen Zusammenhängen (Stichwort omitted variable bias).

Wenn ich die logarithmierten UVs gegen die AVs plotte und das ganze relativ linear aussieht. Kann ich dann das zumindest als Hinweis darauf annehmen, dass das der richtige Weg sein könnte?

Zusammen mit theoretischen Überlegungen (vgl. oben) klingt das doch insgesamt plausibel.

Für den Ansatz aus den metrischen Prädiktoren dichotome zu machen, muss ich wahrscheinlich erstmal irgendwie darauf kommen, welches die besten Kategorien wären oder?

Ja. Inhaltlliche Überlegungen sollten hier hilfreich sein. Beispielsweise kann es sinntragend sein, zwischen positiver und negativer Kritik zu unterscheiden. Auch (bivariate) Grafiken können Anhaltspunkte bieten.

Hab ich das richtig verstanden, dass sie dann zu einer Dummy Variable wird..? Vermutlich würde man von mir dann erwarten, dass ich eine Varianzanalyse mache..

Vereinfacht gesagt ist die Regression eine Varianzanalyse "plus". Das statistische Modell ist das selbe. Die Varianzanalyse impliziert häufig eine absurde Kausalrichtung.

Ich hab halt leider auch das Problem, dass meine Möglichkeiten auch begrenzt sind. Robuste Standardfehler scheinen hier irgendwie nicht zur gebräuchlichen Praxis zu gehören. Ich weiß natürlich, dass das bedeutet, dass die Praxis wahrscheinlich qualtativ nicht die beste ist, aber ich weiß nicht, ob ich in meine Abschlussarbeit etwas schreiben soll, womit keiner Erfahrung hat... Wenn ich das mit dem Makro hinbekomme würde ich es aber mal probieren. Das letzte Mal gab es da irgendein Problem, so dass ich fürs erste aufgegeben hatte damit.

Hm. Vielleicht bringt man Euch das nicht in Lehrveranstaltungen bei, aber robuste Standardfehler sind wirklich nichts exotisches und ich bin sehr optimisitsch, dass Dein(e) Betreuer(in) weiß, was das ist. Quellenangabe mit Minimalerläuterung sollte da genügen.

Ich habe jetzt noch eine Beobachtung gemacht, die ich nicht nachvollziehen kann. Wenn ich eine univariate Regression mache nur mit der UV lnStarkopien und AV lnBesuchern. Dann sieht alles gut aus. Bei der Hinzunahme einer einzigen Variablen (oder auch bei allen) weist das Schaubild der Residuen der Variable lnStarkopien stark auf Autokorrelation hin. Durbin Watson ist aber bei 1,95. Uns wurde nur mal gesagt wenns nahe an 2 ist wäre es meist OK.. ich weiß das ist wahrscheinlich wieder eine Halbwahrtheit.. Aber wenn in meiner multiplen Regression alle Residuenbilder in Ordnung aussehen und eins auf Autokorrelation hinweist, ist dann wieder alles im Eimer?

Robuste Standardfehler wäre hier die passende Antwort. Ob Deine Querschnittsdaten überhaupt Autokorrelation aufweisen können mag ich bezweifeln, weiß aber auch nichts näheres über die Stichprobe.

Noch eine dumme allgemeine Frage zu denen ich zwei konträre Aussagen in Büchern gefunden habe: Bei der multiplen Regression, hat das Schaubild in dem die standardisierten Residuen gegen den standardisierten geschätzten Wert geplottet sind Aussagekraft, oder schaut man nur auf die partiellen Diagramme für jede Variable?

Ich schaue mir beides an, aber definitiv zuerst den Residualplot. Da erkennt man m.E. schon viel.

Und eine ganz praktische Frage: Wie kann es sein dass sich die Werte im Schaubild bei Dummy Variablen so verteilen? Es gibt ja eigentlich nur den Wert null und eins. Sie liegen zwischen Minus eins und eins und manchmal mit Lücken, manchmal schön mit Übergängen.

Welche Werte meinst Du? Vorhersagewerte, Residuen? Von denen würde man sicher nicht erwarten, dass sie null oder eins sind.

[Ma_rie]

Wow tausend Dank für die schnellen und tollen Antworten! Das hilft mir wirklich sehr weiter, ich bin echt froh.

Abnehmender Grenznutzen bzw. geringere Effekte in den Extremwerten der Variablen verglichen mit Änderungen um die Mitte wären, wie erwähnt, eher inhaltliche Überlegungen.

Wenn ich AV und UV logarithmiere, müsste ich dann nicht von einem steigenden Grenznutzen ausgehen? Alles was ich bisher gefunden habe war, das man das macht, wenn man eine Potenzfunktion linearisieren möchte. Oder denk ich jetzt falsch rum?
Mein weiteres Problem mit den Transformationen ist, wie sich das auf andere Variablen auswirkt. Wenn ich die AV transformiere wirkt sich das ja auf den Zusammenhang mit anderen UVs aus. In Büchern finde ich immer nur Erklärungen zu einfachen Regressionen. Deshalb weiß ich nicht, ob ich nicht befürchten muss, dass dann die Beziehung zu anderen Variablen verfälscht wird. Muss man das dann evtl. "ausgleichen"?


Wenn ich die robusten Standardfehler nutzen kann, muss ich dann zwar wegen der Herteoskedastizität nicht mehr transformieren, aber weiterhin wegen der Nichtlinearität? Wobei ich ja leider keine wirklich eindeutige Methode habe die Linearität zu prüfen. Ich schaue mir das auch nur am Residuenplot und an einem Plot UV gegen AV an...

Bezüglich Autorkorrelation:
Ich weiß auch nicht wieso da Autokorrelation vorliegen soll. Aber wie ist es sonst zu verstehen, dass im part. Regressionsdiagramme ein linearer pos. Trend zu erkennen ist? ich bin mir nicht sicher ob ich die Diagramme richtig deute. Kannst du mir das vielleicht sagen? Ich hab es versucht über Google zu verstehen. Aber ich hab das Gefühl manchmal finden es die Autoren pos. wenn es zufällige Verteilung zeigt und manchmal wenn es einen linearen Trend zeigt. Als ob sie im einen Fall daraus etwas über die Verteilung der Residuen deuten und das andere mal über den Zusammenhang mit der abhängigen Variable.

Und eine ganz praktische Frage: Wie kann es sein dass sich die Werte im Schaubild bei Dummy Variablen so verteilen? Es gibt ja eigentlich nur den Wert null und eins. Sie liegen zwischen Minus eins und eins und manchmal mit Lücken, manchmal schön mit Übergängen.

Welche Werte meinst Du? Vorhersagewerte, Residuen? Von denen würde man sicher nicht erwarten, dass sie null oder eins sind.

Ich glaub ich hab die echt falsch verstanden die Diagramme. Hat wohl nicht so viel Sinn gemacht, was ich da versucht habe zu erklären.

Ich bin total verwirrt und ich befürchte, das ich total blöde Fragen stelle. Es tut mir Leid.

[daniel]

Wenn ich AV und UV logarithmiere, müsste ich dann nicht von einem steigenden Grenznutzen ausgehen?

Hm, gute Frage. Da der log eine monotone Transformation darstellt und nur für den positiven Wertebereich definiert ist, sollte m.E. die Richtung des Grenznutzens gleich bleiben - aber ich mag mich irren. Auf alle Fälle ist das aber mal wieder ein gutes Beispiel dafür, was Transformatinen für Verwirrung stiften könne, und das man sich sehr gut überlegen sollte, ob sie tatsächlich sinntragend sind.

Wenn ich die AV transformiere wirkt sich das ja auf den Zusammenhang mit anderen UVs aus.

Eigentlich ist es noch etwas komplexer. Es geht hier ja, wie von Ponder schon mal angedeutet, nicht um bivariate Zusammenhänge. Dementsprechend begrenzt ist auch der Nutzen bivariater plots. Es geht um multivariate Zusammenhänge, also den Zusammenhang zwischen Y und X unter Kontrolle von Z. Mach Dich nicht zu verrückt mit dieser Überprüfung. Das sinnvollste bzw. anerkannteste sind häufig Sensitivitätsanalysen - also der Vergelich verschiedener Spezifikationen. Die Hoffnung (und es ist in der Tat nur eine Hoffung) ist, dass ähnliche Ergebnisse auf die Angemessenheit bzw. Belastbarkeit der Analysen hinweisen.

Wenn ich die robusten Standardfehler nutzen kann, muss ich dann zwar wegen der Herteoskedastizität nicht mehr transformieren, aber weiterhin wegen der Nichtlinearität?

Ja. Die Linearitätsannahme betrifft die Punktschätzer, nicht nur die Standradfehler. Heteroskedastizität kann allerdings auch ein Zeichen eines fehlspezifizierten Modells sein. Aber das nur der Vollständigkeit halber.

Bezüglich Autorkorrelation:

wie gesagt, dieses Problem erübrigt sich bei robusten Standardfehlern.

[Ma_rie]

mhh mensch oje was hab ich mir da eingebrockt.. ihr habt mir auf jeden Fall schon sehr geholfen. Gibt es vielleicht noch jemand im Forum der sich vielleicht auch mit dem logarithmierten Spaß noch auskennt und den ich vielleicht mal vorsichtig fragen könnte, ob er drüber gucken würde? Ich hoffe ich finde sonst vielleicht noch jemand am Institut. Aber momentan sind auch alle ausgeflogen.. Urlaubszeit.

Wäre lieb, wenn du mir noch eine Frage beantworten würdest. Die ist ganz allgemein und zeigt wahrscheinlich wieder, dass ich da noch einiges zu verstehen hab. Aber ich hab ja nun eine Stichprobengröße von 160. Ich finde irgendwie keine Aussage dazu, wie oft die Ausprägung einer Dummy Variable vorhanden sein muss, damit sie die Chance hat signifikant zu werden. Ich habe mal gelesen, dass die Werte nicht zu ungleich verteilt sein sollen. Aber ich habe zum Beispiel eine Variable.. je nachdem wie ich das dann operationalisiere wird dir nur 8-10 mal auf 1 codiert und eben die restlichen 150 mal auf 0. Macht das überhaupt Sinn? Ich dachte eigentlich, dass da dann schon von vornerein kein Effekt gefunden werden kann. Aber mir wurde gesagt ich soll es probieren, obwohl man mir vorher auch schon gesagt hatte, dass jede Ausprägung so 30 mal vorkommen sollte.. Ich habe jetzt eben öftet den Fall, dass eine Ausprägung evtl nur 13 mal vorkommt... :/

Ich weiß auch dass ich noch Variablen zusammenführen (wegen Multikollinearität) muss. Dazu soll ich entweder eine Faktorenanalyse machen oder univariate Regressionen. Faktorenanalyse habe ich noch nie gemacht, deshalb tendiere ich zu Möglichkeit b. Ich hab gelesen, dass man dafür eine Regression mit der einen UV auf die andere macht. Zunächst dachte ich nämlich, dass man das jeweils mit der AV macht, aber das ist dann wohl nicht so, oder? Wenn ich nachher aber die UVs auch logarithmiere/transfomiere.. müsste ich das dann auch machen, bevor ich die Variablen zusammenführe? Oder dann erst bei der zusammengeführten Variable?

Immer noch Fragen über Fragen.. Sorry!

Vielen Dank nochmal!

[daniel]

Ich finde irgendwie keine Aussage dazu, wie oft die Ausprägung einer Dummy Variable vorhanden sein muss, damit sie die Chance hat signifikant zu werden.

Das sind Fragen, der Power-Analyse. Ich bin nicht sicher, ob es hilfreich ist, sich im Rahmen Deiner Arbeit tiefergehend damit zu befassen. Tendenziell können geringe Fallzahlen natürlich insofern problematisch sein, als dass die Standardfehler relativ hoch ausfallen werden. Bei geringen Fallzahlen ist es üblich, das Signifikanzniveau auf bis zu 10 Prozent anzuheben.

Ich weiß auch dass ich noch Variablen zusammenführen (wegen Multikollinearität) muss.

Müssen ist ein starkes Wort, und Korrelationen zwischen den Prädiktoren ist kein hinreichendes Argument für die Zusammenfassung von Variablen.

Dazu soll ich entweder eine Faktorenanalyse machen oder univariate Regressionen.

Mir ist nicht klar, wie univariate (besser: bivariate oder einfache) Regressionen bei der Zusammenfassung von Variablen hilfreich sein sollen. Regressionsanalyse ist kein Dimensionsanalytisches Verfahren, Faktoranalysen hingegen schon. Bei all dem aber als aller esrtes theoretische Gründe abwägen. Du kannst nicht einfach Äpfel mit Birnen zusammenfassen nur weil beide hoch korrelieren. Wenn Du aus theoretischen Abwägungen am Effekt von "Obst" interesiert bist, dann ist eine Zusammenfassung dagegen sogar dann möglich, wenn die Korrelationen gering sind. Ich hoffe, die Idee wid klar.

[Ma_rie]

Ok danke..

:/ also ich kann dazu nur sagen, dass in meinem Regressionsbuch halt als Methode steht "Gewichtung der multikollinearen Prädiktoren". Dafür wird dann eine Regression durchgeführt, unter Überlegungen zur Kausalrichtung, von der einen auf die andere UV. Ich selbst hab aber mindestens drei Variablen die ich zusammenfassen möchte und kann da auch keine Kausalrichtung sagen. Viel mehr sind es drei Operationalisierungen für ein Konstrukt, weshalb es durchaus inhaltlich passend wäre, sie zusammenzufassen.. Jedoch ist das mit der Regression zur Ermittelung der Gewichtung wahrscheinlich auch wieder blöd, weil da wieder die ganzen Prämissen erfüllt sein müssten,.. nehme ich mal an

Wenn ich das nun also mit der Faktoranalyse (explorativ?) machen möchte, verstehe ich nicht, ob da auch diese Gewichtung erfolgt. Ich habe ja leider nie etwas über die FA gelernt. Deshalb habe ich versucht mir das jetzt anzulesen und mit einem Kommilitonen gesprochen. Der meinte, er habe die Variablen, die zu einem Faktor gehören dann aufaddiert und gemittelt (aber der hat die auch nicht für eine Regression gebraucht). In dem Fall würde ja dann keine Gewichtung der Variablen erfolgen.. Jemand meinte zu mir aber, dass ich das eben nich so machen sollte, alles einfach zu mitteln, weil ich nicht sagen könne, ob die drei Variablen den gleichen Effekt auf die AV hätten, ich das damit aber voraussetzen würde.

Nimmt man nicht sonst irgendwie die Faktorwerte zum weiterrechnen in der Regression? Also ersetzt man dann quasi die drei Variablen durch die neue Variable "Faktorwert"...? Wenn ja.. ist sind die Variablen, die in dem Faktor stecken da drin irgendwie gewichtet?

Ich hatte eine FA jetzt einfach mal ausprobiert mit den Variablen, die ich zusammenfassen möchte. Für die drei kam auch nur ein Faktor mit Hauptkomponentenanalyse raus. Reicht das jetzt schon um das zu rechtfertigen, oder müsste ich das mit allen Variablen aus der Regression machen, obwohl ich die ja gar nicht dazupacken oder weiter zusammenfassen möchte? Leider ist in den Büchern die FA und Regressionsanalyse getrennt voneinander erklärt sodass ich dann verwirrt bin über die Zusammenhänge..

Ich fühl mich echt nervig, dass ich immer weiter und weiter Frage.. Man könnte meinen ich hätte noch kein Buch aufgeschlagen oder gar nicht recherchiert. Aber dem ist nicht so. Mich verwirrt nur scheinbar alles noch mehr. Ich bin auf jeden Fall sehr froh, dass es hier so hilfsbereite Menschen wie euch gibt.

[daniel]

Ich fühl mich echt nervig, dass ich immer weiter und weiter Frage.. Man könnte meinen ich hätte noch kein Buch aufgeschlagen oder gar nicht recherchiert.

Nicht wirklich. Die Fragen zeugen eher davon, dass Du Dich mit der Materie befasst. Ich muss Dir aber leider recht geben, dass der support in einem Forum irgendwo Grenzen hat. Diese sind m.E. erreicht, wenn ein multivariates Verfahren von Grund auf erklärt werden soll. Vielleicht solltest Du Dich mal mit Deinem Betreuer/Betreuerin zusammensetzen - das ist immerhin Teil des Berufs für den diese Menschen bezahlt werden. In jedem Fall wäre wohl face-to-face support vor Ort nützlich.

Ich wünsche Dir weiterhin viel Erfolg mit der Arbeit.

[Ma_rie]

Das hab ich natürlich befürchtet, beziehungsweise gemerkt. Ich hoffe ich finde jemanden...

Auf jeden Fall vielen Dank soweit.