STATISTIK-FORUM.de

[integral]

Nachdem ich hier ja darauf hingewiesen wurde, dass es nicht sinnvoll ist, Beta-Werte von Variablen, die unterschiedlich gemessen wurden, miteinander zu vergleichen

(Über den (Un)Sinn Regressionskoeffizienten zu standardisieren schriebt King (1986) unter der Überschrift "The race of variables, The Race (1): Standardized Fruit"
King, G. (1986) How not to lie with statistics: Avoiding common mistakes in quantitative political science. American Journal of Political Science. 30(3), 666-687 .)

weiss ich ehrlich gesagt nicht, wie ich denn sonst eine Aussage darüber machen soll, welche Prädiktoren viel Varianz der aV erklären können.

Mein Vorgehen ist jetzt das Folgende: Ich nehme meine Prädiktoren einfach "blockweise" (z.B. erst alle soziodemographischen, dann diverse Variablen nach verschiedenen Theorien) ins Modell auf und betrachte dann die Veränderung von R² (korrigiert). Wenn R² dann stark ansteigt im vergleich zum vorhergehenden Modell, nehme ich an, dass die hinzugefügten Variablen bedeutsam sind. Ist das OK?

Wie stellt man so etwas am besten dar? Ich hab es nun als Tabelle dargestellt. In den Zeilen stehen die Variablen und in den Spalten die verschiedenen Modelle. In die Zellen hab ich nun einfach die Signifikanzniveaus mit den üblichen Bezeichnungen (., *, **, ***) eingetragen, aber irgendwie scheint mir das auch nicht besonders sinnvoll zu sein, da ja die Signifikanzen keine Aussagen über die Prädiktoreneffekte zulassen. Was meint ihr?

Vielen lieben Dank!

[daniel]

Nachdem ich hier ja darauf hingewiesen wurde, dass es nicht sinnvoll ist, Beta-Werte von Variablen, die unterschiedlich gemessen wurden, miteinander zu vergleichen [...] weiss ich ehrlich gesagt nicht, wie ich denn sonst eine Aussage darüber machen soll, welche Prädiktoren viel Varianz der aV erklären können.

Wie Ponder in einem anderen thread so treffend formulierte, ist

"Möglichst viel Varianz aufklären" [...] kein wissenschaftliches Ziel

Darüber schreibt auch der bereits zitierte King. Wenn das wirklich Dein Ziel ist, dann bist Du mit standardisierten Koeffizineten vielleicht gar nicht so schlecht dran.

Besse wäre es wohl, wenn Du uns vielleicht klar sagen könntest welche Frage(n) Du mit Deiner Analyse beantworten möchtest. Vielleicht kannst Du auch Deine Hypothesen darstellen? Unter Umständen ist es dann möglich sinnvollere Hinweise zu geben. Vor dem Hintergrund dessen, was ich von Deiner Situation im Kopf habe, würde ich Dir raten die "Theorien" die Du hast mal auf systematische Zusammenhänge oder auch Kontradiktionen zu prüfen und einen Integrationsversuch zu starten. Auf dieser Basis kannst Du dann theoreigeleitete Hypothesen ableiten und prüfen. Das ist vermutlich eine anspruchsvolle theoretische Arbeit, ohne die Dein Vorhaben aber vermutlich dazu verdammt ist schnell in der sog. "Variablensoziologie" (Esser 1996) zu enden. Meine weiteren Vorschläge sind daher vorerst lediglich als eine Art "Schadensbegrenzung" anzusehen, die Möglichkeiten aufzeigen den bereits eingeschlagenen, meiner Einschätzung nach wenig fruchtbaren, Weg weiterzugehen.

Mein Vorgehen ist jetzt das Folgende: Ich nehme meine Prädiktoren einfach "blockweise" (z.B. erst alle soziodemographischen, dann diverse Variablen nach verschiedenen Theorien) ins Modell auf und betrachte dann die Veränderung von R² (korrigiert). Wenn R² dann stark ansteigt im vergleich zum vorhergehenden Modell, nehme ich an, dass die hinzugefügten Variablen bedeutsam sind. Ist das OK?

Dazu zwei Anmerkungen, eine theoretische, eine methodische. Theoretisch muss gefragt werden: Bedeutsam wofür? Im Hinblick auf was? Wenn z.B. Geschlecht einen Effekt hat, dann ist das für mögliche Interventionsmaßnahmen zunächst bedeutungslos, da Geschlecht nicht manipulierbar ist. Zeigt sich dagegen ein Einfluss von TV Konsum, so kann zumindest nach potentiellen Maßnahmen gesucht werden, diesen zu manipulieren. Die Frage nach der "Bedeutsamkeit" ist demnach zusätzlich unabhängig von Modellanpassung und Effektstärken auch praxisorientiert/theoretisch zu beantworten.
Methodisch würde ich ein volles Modell schätzen. Alle nicht signifikanten Faktoren haben dann offenbar keinen Einfluss mehr auf das outcome, wenn andere Variablen kontrolliert sind. Für die verbleibenden Variablen kannst Du Dir dann inkrementelle Effekte anschauen, indem Du die Veränderung in Maßen der Modellanpassung bei Einbezug einzelner Prädikatoren unter gleichzeitiger Kontrolle aller andren Faktoren betrachtest. Eine weitere Möglichkeit wäre ein Vergleich der minimalen und maximalen Varianzaufklärung durch einzelne Prädikatoren. Dein jetziges vorgehen scheint ungeeignet, da das Varianzaufklärungspotential jedes Prädikators von den bereits im Modell vorhandenen Pärdikatoren abhängt. Damit ist nicht nur die tatsächliche Prognosekraft eines Prädikators relevant sondern die Reihenfolge in der die Prädikatoren ins Modell aufgenommen werden. Das willst Du i.d.R. nicht.
Anzumerken wäre noch, dass der bereits zitierte King auch versucht klarzustellen, was R-Quadrat ist und wozu es alles nicht taugt.

Wie stellt man so etwas am besten dar? Ich hab es nun als Tabelle dargestellt. In den Zeilen stehen die Variablen und in den Spalten die verschiedenen Modelle. In die Zellen hab ich nun einfach die Signifikanzniveaus mit den üblichen Bezeichnungen (., *, **, ***) eingetragen, aber irgendwie scheint mir das auch nicht besonders sinnvoll zu sein, da ja die Signifikanzen keine Aussagen über die Prädiktoreneffekte zulassen. Was meint ihr?

Gute Erkenntnis.

Esser, H. (1996). What is wrong with "Variable Sociology"? European Sociological Review 12: 159-166.

[integral]

Also es geht darum, Kriminalitätsfurcht zu erklären, die mittels verschiedener Indikatoren gemessen wurde.

Prädiktoren sind z.B.

• Geschlecht
• Alter
• Religion
• Vulnerabilität (Verletzbarkeit; gemessen mit subj. und obj. Gesundheitsvariablen)
• Viktimisierung (wie oft man bereits Kriminalitäts-Opfer wurde)
• Medienkonsum (Konsumhäufigkeiten verschiedener Medienformen)
• Soziale Erwünschtheit im Antwortverhalten
• Soziale Desorganisation im Wohnquartier
• Anomie

Das "Problem" ist nun eben, dass letztlich alles mit allem zusammenhängt: Ältere Personen zeigen mehr furcht, weil sie vulnerabler sind, aber auch, weil sie einen höheren Medienkonsum haben, religiöser sind, etvtl. sozial erwünschter antworten, etc. Weil sie verletzbarer sind, werden sie aber auch häufiger Opfer (Viktimisierung) etc.

Einige Hypothesen:
- Frauen zeigen unter kontrolle der übrigen Variablen (soz. Erwünschtheit, Vulnerabilität) keine höheren Furchtwerte als Männer
- Ältere zeigen nicht mehr Kriminalitätsfurcht als Jüngere, wenn man die übrigen Variablen (Viktimisierung, Vulnerabilität, Medienkonsum, etc.) kontrolliert.
- Vergleich der Effekte verschiedener Theorien: Viktimisierung ist im Vergleich zur sozialen Desorganisation ein schwacher Prädiktor.

Ziel ist es aber schon auch ein Modell zu finden, dass möglichst viel Varianz in der Krim'furcht erklären kann.

Methodisch würde ich ein volles Modell schätzen. Alle nicht signifikanten Faktoren haben dann offenbar keinen Einfluss mehr auf das outcome, wenn andere Variablen kontrolliert sind. Für die verbleibenden Variablen kannst Du Dir dann inkrementelle Effekte anschauen, indem Du die Veränderung in Maßen der Modellanpassung bei Einbezug einzelner Prädikatoren unter gleichzeitiger Kontrolle aller andren Faktoren betrachtest.

Das habe ich noch nicht ganz begriffen. Du schlägst also vor, sämtliche Variablen in das Modell aufzunehmen und dann die nicht-signifikanten wieder zu entfernen und dann soll ich die sign. Faktoren einzeln entfernen und die Veränderungen an R² betrachten?

Eine weitere Möglichkeit wäre ein Vergleich der minimalen und maximalen Varianzaufklärung durch einzelne Prädikatoren.

Könntest du das noch etwas ausführen? (ich verstehs nämlich nicht)

[daniel]

Das "Problem" ist nun eben, dass letztlich alles mit allem zusammenhängt: Ältere Personen zeigen mehr furcht, weil sie vulnerabler sind, aber auch, weil sie einen höheren Medienkonsum haben, religiöser sind, etvtl. sozial erwünschter antworten, etc. Weil sie verletzbarer sind, werden sie aber auch häufiger Opfer (Viktimisierung) etc.

Das würde ich nicht als Problem bezeichnen, aber Du setzt es ja selbst in Anführungszeichen. Wenn Die Prädikatoren nicht korrelieren würden, dann könntest Du Dir die multiple Regression auch sparen und zudem keine Deiner Hypothesen ableiten.

Ich zähle da nun lediglich 9 Prädikatoren. Um die simultan zu prüfen sollte Dein sample größer als N = 200 sein. Ein Modell das möglichst viel Varianz erklärt wird dasjenige sein, das alle Prädikatoren enthält, Dazu bedarf es keiner Analyse.

Deine Hypothesen sind relativ unpräzise formuliert. Du machst keine Aussage darübe welcher Prädikator den Geschlechtereffekt, welcher den Alterseffekt usw. erklärt. Wenn das nicht interessiert ist das auch ok. So wie die ersten beiden Hypothesen derzeit formuliert sind, genügen zur Prüfung zwei (oder gar nur ein) Modelle. Du nimmst "die übrigen" Variablen simultan ins Modell und betrachtets den Koeffizineten für Frauen (Alter). Ist der Koeffizient null (nicht statisitsch signifikant) kannst Du Deine Hypothese nicht zurückweisen.

Zu meinen methodischen Anmerkungen werde ich die beiden Ideen, (i) inkrementelle Effekte und (ii) minmale vs. maximale Varianzaufklärung kurz erläutern. Beide gehen von dem Problem aus, dass die noch zu erklärende Varianz von den Variablen, die bereits im Modell sind abhängt. Wenn z.B. Viktimisierung in einem ersten Schritt aufgenommen wird und bereits 30 Prozent der Varianz erklärt, dann bleibt für soziale Desorganisation theoretisch nur noch 70 von 100 Prozent übrig, die erklärt werden können. Da die beiden Prädikatoren aber korreliert sind, wird ein großer Teil der Varianz, den soziale Desorganisation erklärt hätte, hätte man es im ersten Schritt aufgenommen, nun bereits durch Viktimisierung erklärt. Die Folge davon ist, dass demjenigen Prädiktor, der zuerst aufgenommen wird, das größere Varianzaufklärungspotential zugesprochen wird.
Bei der Ermittlung inkrementeller Effekten ist das Vorgehen wie folgt. Schätze ein volles Modell und betrachte die erklärte Varianz (oder sonst ein Modellanpassungsmaß, z.B. BIC). Entferne in einem zweite Modell den Prädikator Viktimisierung aus dem vollen Modell und betrachte wieder das Modellanpassungsmaß. Nimm in einem letzten Schritt soziale Desintegratin aus dem vollen Modell und betrachte auch hier das Maß zur Modellanpassung. Berechnen den Zuwachs (increments) im Maß desr Modellanpassung zwischen dem Modell ohne Viktimisierung und dem Modell mit Viktimisierung. Berechne den Zuwachs im Modell ohne und mit sozialer Desintegration. Vergleiche die Zuwächse. Der Prädikator, der den größeren Zuwachs bringt hat den stärkeren Effekt (in diesem Sinne).
Der Vergleich der minimalen und maximalen Varianzaufklärung ist ähnlich, bzw. je nach Defintion des Kriteriums für den "stärkeren Effekt" gleich. Hier werden für jeden Prädikator drei Modelle geschätzt. Im ersten Modell wird nur Viktimisierung (der Prädikator von Interesse) aufgenommen. R-Quadrat entspricht dem maximalen Varinazaufklärungspotential. Im zweiten Modell werden alle Prädikatoren, bis auf den Prädikator von Interesse (hier: Viktimisierung) aufgenommen. Im letzten Schritt wird Viktimisierung hinzugefügt. Die Veränderung in R-Quadart von Schritt 2 zu Schritt 3 stellt das minimale Varianzaufklärungspotential von Viktimisierung dar. Wenn das Mittlere Varianzaufklärungspotential eines Prädikators größer ist, als das mittlere Varianzaufklärungspotential eines anderen, dann hat der erste den stärkeren Effekt (im so defineirten Sinne). Ebensogut kann man nur das maximale (dann ist man konzeptionell wieder bei den inkrementellen Effekten) oder auch nur das minimale Varianzaufklärungspotential vergleichen.

[integral]

Vielen Dank daniel für deine ausführlichen Erklärungen!

Ich zähle da nun lediglich 9 Prädikatoren. Um die simultan zu prüfen sollte Dein sample größer als N = 200 sein. Ein Modell das möglichst viel Varianz erklärt wird dasjenige sein, das alle Prädikatoren enthält, Dazu bedarf es keiner Analyse.

Ja, eigentlich sind es wesentlich mehr als 9 Prädiktoren, denn die einzelnen "Theorien" (z.B. Viktimisierung) wurden mit verschiedenen Variablen erfasst, die sich nicht unbedingt als Faktor zusammenfassen lassen. Wie gesagt ist das n=2000, jedoch habe ich jetzt erst Pretest-Daten (n=120). Dass meine Hypothesen etwas unpräzise wirken, hat daher damit zu tun, dass ich die Variablen nicht im Detail aufführen möchte (und darf).

Inkementelle Effekte:
Wenn ich dich also richtig verstanden habe, nimmt man das Gesamtmodell (mit allen Prädiktoren) und nimmt dann jeweils (mit zurücklegen) einen Prädiktor weg und betrachtet die Veränderung der Modellgüte (, etc.). Das habe ich nun einmal gerechnet. Da ich verschiedene abhängige Variablen habe (z.B. wird gefragt, 1. wie sehr man sich fürchte nachts alleine im Wohnquartier spazieren zu gehen oder 2. wie sehr man sich nachts alleine zuhause fürchtet), habe ich die Differenzen von R^2 je nach Prädiktor (in den Zeieln) und die jeweiligen aV (als Spalten) als Tabelle dargestellt.

Als Beispiel die increments von R^2:

Code: Alles auswählen

                   Krimf1  Krimf2
Viktimisierung    2.71      2.58
Vulnerablität   12.14     6.92
Medien          7.98         4.68
Soziodemo       2.04     15.1
Incivilitites   12.69   2.61


Gehe ich da richtig in der Annahme, dass ich die Tabelle nur spaltenweise betrachten kann (dass man z.B. sagt, bei der aV Krimf1 haben die incivilities den stärksten Effekt und bei der aV Krimf2 dagegen die soziodem. Variablen), es dagegen nicht zulässig wäre zu sagen, dass die Vulnerablität bei Krimf1 einen grösseren Effekt hat als bei Krimf2?

[daniel]

Da ich verschiedene abhängige Variablen habe [...] habe ich die Differenzen von R^2 je nach Prädiktor (in den Zeieln) und die jeweiligen aV (als Spalten) als Tabelle dargestellt. [...]Gehe ich da richtig in der Annahme, dass ich die Tabelle nur spaltenweise betrachten kann [...] es dagegen nicht zulässig wäre zu sagen, dass die Vulnerablität bei Krimf1 einen grösseren Effekt hat als bei Krimf2?

Ich denke nicht, dass es prinzipiell unzulässig solche Aussagen zu treffen. Über den Sinn und Unsinn Modelle für verschiedene outcomes zu vergleichen habe ich meine Meinung hier geäußert. In Deinem Fall kann es m.E. aber durchaus angebracht sein solche Vergleiche anzustellen.

[Holgonaut]

Hallo Leute,

hab die Diskussion nur kurz überfliegen können. Ein Satz fiel mir ins Auge:

Daniel, du zitierst Ponder mit
"Möglichst viel Varianz aufklären" [...] kein wissenschaftliches Ziel"

Ich bin jetzt der letzte, der das heilige Kalb R-Quadrat verteidigen möchte, aber das irritiert mich dann doch. Varianzerklärung einer Variablen heißt, die Unterschiedlichkeit der Personen zu verstehen. Das ist m.E. sehr wohl ein wissenschaftliches Ziel. Allerdings würd ich hier ein real-wissenschaftliches Verständnis (Entitäten haben kausale Effekte) und Korrekheit des Modells zugrundelegen (ansonsten kann man ja gleich die AV mit sich selbst vorhersagen). Aber vielleicht überseh ich ja etwas.
Ist für mich auch deshalb ein interessantes Thema, weil die PLS - Krake sich immer breiter macht und für die spielt R-Quadrat ja eine besondere Rolle.

Grüße
Holger

[PonderStibbons]

Varianzerklärung einer Variablen heißt, die Unterschiedlichkeit der Personen zu verstehen. Das ist m.E. sehr wohl ein wissenschaftliches Ziel.

Die Unterschiedlichkeit von Personen zu verstehen ist ein wissenschaftliches Ziel.
Im Kontext der Diskussion, in der der zitierte Satz fiel, ging es um die theoriefreie
Erstellung eines multiplen Regressionsmodells aus einer Unzahl von Variablen, mit
dem einzigen Gütekriterium "möglichst viel Varianz aufklären". Das mag je nach
Sachlage ein Kriterium bei pragmatischem Einsatz multipler Vorhersagemodelle
sein, wissenschaftlich ist das kein Ziel. IMHO.

Mit freundlichen Grüßen

P.

[daniel]

Ich denke wir sind uns hier im Prinzip einig. Ich möchte noch anmerken, dass ein großer Anteil erklärter Varianz nicht unbedingt nötig ist um Unterschiede zwischen Menschen zu verstehen. Dazu genügen wenige theoretisch begründete Faktoren, deren (kausale) Effekte sich statistisch sichern lassen. Wenn ein zu erklärendes Phänomen großteils auf unsystematischen Zufallsfaktoren beruht, kann gar keine große Varianzaufklärung erzielt werden. Dennoch können, auch in sehr sparsamen Modellen, relevante Faktoren identifiziert werden, die für Unterschiede zwischen Menschen in jenem Phänomen verantwortlich sind.

In den Sozialwissenschaften geht es, in meinem Verständnis, eher darum den Zusammenhang zwischen einem Phänomen (Einkommen, Bildungserfolg, Einstellungen etc.) und den Indikatoren der Zugehörigkeit zu bestimmten Gruppen (Frauen, Dienstklasse, Migranten etc.) zu erklären, weniger darum das Phänomen, oder die Varianz des Phänomens, selbst möglichst vollständig zu erklären.

Ganz kurz möchte ich noch auf einen m.E. wichtigen Unterschied im (Mis)Verständnis des Worts erklären eingehen. Möglichst viel Varianz wird oft durch Determinanten wie soziodemographische Faktoren wie Alter, Geschlecht etc. "erklärt". Dabei kann aber m.E. nicht von einer Erklärung im wissenschaftlichen Sinne gesprochen werden. Vielmehr handelt es sich dabei lediglich um eine Deskription, die selbst das theoretisch zu erklärende Phänomen darstellt.

[integral]

Im Kontext der Diskussion, in der der zitierte Satz fiel, ging es um die theoriefreie
Erstellung eines multiplen Regressionsmodells aus einer Unzahl von Variablen, mit
dem einzigen Gütekriterium "möglichst viel Varianz aufklären".

Ja halt Theoriefrei war die Erstellung des Modells denn auch wieder nicht. Es ist ja nicht so, dass ich beliebige Variablen erfasse und einfach mal schaue. Es gibt bei Kriminalitätsfurcht nur eben sehr verschiedene Theorien, die man mit sehr verschiedenen Variablen überprüft hat. Entsprechend gibt es viele Prädiktoren, deren Zusammenhang zur aV man aber im einzelnen sehr gut kennt - nur eben weiss man nicht, wie sich diese Theorien zueinander verhalten, bzw. wie stark deren Effekte im Vergleich sind.

Könnten wir die Diskussion dann hier weiterführen?
pfadanalyse-strukturgleichungsmodelle-cfa-f16/modell-t1062.html

Zu den inkrementellen Effekten noch: Die Methode hat nur einen kleinen Haken. Wenn ich nämlich unterschiedliche Modellgüte-Masse betrachte, führt das zu sehr unterschiedlichen "increments". Da kann es sein, dass die Entfernung der Variable "Viktimisierung" aus dem Gesamtmodell R^2 zwar stark absinken lässt, gleichzeitig aber das AIC oder BIC sich kaum ändern So kann es sein, dass ein Prädiktor einmal völlig bedeutungslos erscheint und bei einem anderen Gütemass aber als sehr wichtig...