STATISTIK-FORUM.de

[Milui]

Hallo zusammen.

ich schreibe derzeit an einer Arbeit und bin mir sehr unsicher, wie ich meine Forschungsfrage am besten in ein statistisches Modell übersetzen soll.

Zu meiner Forschungsfrage: ich möchte den Effekt belastender Ereignisse (Scheidung etc) auf die Gesundheit untersuchen. Insbesondere soll auch geklärt werden, welche Rolle die soziale Integration bzw. soziale Unterstützung dabei spielt. Die zentrale AV ist also die Veränderung in der Gesundheit.

Zu den Daten: Die Gesundheit wurde seit 2002 im Zweijahresrhythmus erhoben. Die Ereignisse werden jährlich abgefragt. Die Informationen zur Integration liegen leider nur 2001 und 2006 vor. Mich interessieren neben dem Effekt des Ereignisses und der Interaktionen (IntegrationxEreignis) auch zeitkonstante Effekte (Geschlecht, Integration).

Stichprobe: 420 Befragte (mit ca. 3360 Personenjahren --> Daten im long-format). Ich habe eine Kontrollvariable, die eine treatment-Gruppe (Ereignis in irgendeinem Jahr erlebt) und eine Kontrollgruppe identifiziert (Ereignis nie erlebt). Die beiden Gruppen wurden per matching so gebildet, dass sie sich auf den wichtigsten Hintergrundvariablen nicht unterscheiden (Alter, Geschlecht, Bildung).

Da es sich um Paneldaten handelt, dachte ich zunächst an ein Random-Effects-Modell (nicht Fixed-Effects, weil ich auch zeitkonstante Merkmale untersuche).
Allerdings könnte man auch eine einfach pooled regression rechnen, wenn man die AV als Unterschied in der Gesundheit zwischen nur zwei Zeitpunkten sieht (vor und nach dem Ereignis). Aber dnn hat man immer das Problem mit der unbeobachteten Heterogenität...

Ich wäre für weitere bzw. konkretere Vorschläge zur statistischen Modellierung sehr dankbar. Ach ja: ich arbeite mit Stata.

LG und danke im Voraus

[daniel]

Ich hoffe ich darf auch hier weiter mitdiskutieren.

[...] Mich interessieren neben dem Effekt des Ereignisses und der Interaktionen (IntegrationxEreignis) auch zeitkonstante Effekte (Geschlecht, Integration). [...] Die beiden Gruppen wurden per matching so gebildet, dass sie sich auf den wichtigsten Hintergrundvariablen nicht unterscheiden (Alter, Geschlecht, Bildung).

Für mich passt das nicht zusammen. Matching-Verfahren kommen aus der Tradition des kontrafaktischen Kausalmodells (Rubins causal model). In diesem Modell können zeitkonstante Faktoren keinen kausalen Einfluss haben. Des Weiteren ist der Sinn von Matching Methoden nur diejenigen Personen zu vergleichen, die wir auch beobachtet haben. Zu beiden Punkten passt aus dem "Regressionbereich" nur das FE Modell. Ich frage mich also, warum hast Du Dich für ein Matching Verfahren entschieden? Warum willst Du das überhaupt noch durch ein Regressionsverfahren ergänzen? Wie passt es zusammen, auf z.B. Geschlecht zu matchen, sich dann aber gleichzeitig für den Effekt von Geschlecht zu interessieren?

Da es sich um Paneldaten handelt, dachte ich zunächst an ein Random-Effects-Modell (nicht Fixed-Effects, weil ich auch zeitkonstante Merkmale untersuche).

Du sagst ja selbst, die Forschungsfrage spielt für diese Entscheidung eine untergeordnete Rolle, wenn die statistischen Annahmen nicht erfüllt sind. Ich habe gestern gelesen, dass Allison (2009) eine Prozedur beschreibt, wie man zeit-invariate Effekte in FE Modellen schätzen kann.


Allison, Paul D. (2009). Fixed Effects Regression Models. Sage.

[Milui]

Natürlich darfst du weiter mitdiskutieren! Ich bin für jeden Beitrag dabkbar.

ich fürchte was das "Matching" angeht, muss ich etwas weiter ausholen: es ging darum, meine Stichprobe einzugrenzen. Die Personen, die ein Ereignis erleben, haben auf der dazugehörigen Variable immer nur in einem Jahr eine 1, ansonsten eine 0. Man konnte sie nicht von Leuten unterscheiden, die das Ereignis nie erleben (immer 0). Da es nur sehr wenige Leute mit Ereignis gab, wollte ich aus den Personen ohne Ereignis eine Vergleichsgruppe von gleicher Größe bilden.

Dazu habe ich eine Variable gebildet, die alle möglichen Merkmalskombinationen der wichtigsten Hintergrundvariablen enthält (Alter,Geschlecht,Bildung). Da es sich nur um ca. 210 Personen mit Ereignis handelte, habe ich einfach kurz per Hand "Zwillinge" aus der anderen Gruppe ohne Ereignis gesucht und diese markiert. Die anderen Fälle wurden gelöscht. Es war also eigentlich kein richtiges matching, sondern eine Art händisches matchen...

Zur Geschlechterfrage: verschiedene Studien zeigen, dass es sowohl in der Integration/ bei sozialen Beziehungen, als auch beim Verarbeiten kritischer Lebensereignisse Unterschiede zwischen Männern und Frauen gibt. Daher dachte ich, es sei bspw. sinnvoll in der Analyse zu berücksichtigen, wie viel stärker/ schwächer Männer/ Frauen unter dem Ereignis leiden.

Aber ich bin momentan total verwirrt. Mein Prof meinte irgendwann mal, dass er Zweifel hätte, das man mit meinen Daten ein FE-/ RE-Modell rechnen könnte. Ohne genaue Begründung leider. Ich glaube er störte sich an der Operationalisierung meiner AV: wenn ich sage, mich interessiert die Veränderung in der Gesundheit zwischen t1 (vor Ereignis) und t2 (nach Ereignis), sind das nur zwei Messzeitpunkte bzw. eine Veränderung und für FE-Modell bräuchte man mehrere Veränderungen...

[daniel]

ich fürchte was das "Matching" angeht, muss ich etwas weiter ausholen: es ging darum, meine Stichprobe einzugrenzen. Die Personen, die ein Ereignis erleben, haben auf der dazugehörigen Variable immer nur in einem Jahr eine 1, ansonsten eine 0. Man konnte sie nicht von Leuten unterscheiden, die das Ereignis nie erleben (immer 0). Da es nur sehr wenige Leute mit Ereignis gab, wollte ich aus den Personen ohne Ereignis eine Vergleichsgruppe von gleicher Größe bilden.

Dazu zwei Dinge. Erstens verstehe ich nicht, wieso Du Deine Stichprobe einschränken willst, und ich verstehe erst recht nicht wieso Du die Personen mit Ereignis nicht von denen ohne Ereignis unterscheiden kannst.

Wieso willst Du eine gleich große Vergleichsgruppe? Damit wirfst Du doch Informationen weg. Wenn Du den Weg über matching gehen willst, dann würde ich es "richtig" machen (z.B. propensity score matching) und auch mehr als nur einen counterfact pro treated basteln, aber das ist Deine Entscheidung.

Wieso bastelst Du Dir nicht eine Variable "Ereignis", die 0 ist vor dem Ereignis, 1 danach (nicht nur im Jahr des Ereignis) zur Unterscheidung der Gruppen?

Zur Geschlechterfrage: verschiedene Studien zeigen, dass es sowohl in der Integration/ bei sozialen Beziehungen, als auch beim Verarbeiten kritischer Lebensereignisse Unterschiede zwischen Männern und Frauen gibt. Daher dachte ich, es sei bspw. sinnvoll in der Analyse zu berücksichtigen, wie viel stärker/ schwächer Männer/ Frauen unter dem Ereignis leiden.

Auch dazu zwei Dinge. Erstens solltest Du überlegen aus welchen Studien das hervorgeht. Wenn die z.B. RE Modelle spezifizieren obwohl es unangeracht ist, dann gibt es diese Unterschiede vielleicht gar nicht, sondern es ist lediglich statistisches Artefakt, das seinen Grund in fehlspezifizierten Modellen hat. Darauf würde ich nicht viel geben. Auch das ist Deine Entscheidung.

Zweitens, was spricht dagegen, einfach zwei getrennte Modelle zu schätzen, eins für Männer eins für Frauen? Der statisitsch abgesicherte Vergleich der Koeffizienten ist dann zugegeben etwas schwieriger, aber ... naja das führt zu weit.

Aber ich bin momentan total verwirrt. Mein Prof meinte irgendwann mal, dass er Zweifel hätte, das man mit meinen Daten ein FE-/ RE-Modell rechnen könnte. Ohne genaue Begründung leider. Ich glaube er störte sich an der Operationalisierung meiner AV: wenn ich sage, mich interessiert die Veränderung in der Gesundheit zwischen t1 (vor Ereignis) und t2 (nach Ereignis), sind das nur zwei Messzeitpunkte bzw. eine Veränderung und für FE-Modell bräuchte man mehrere Veränderungen...

Ganz unrecht hat er nicht. Ich mag den Satz: zwei Wellen machen noch kein Panel. Aber, rechnerisch ist das im Prinzip kein Problem. Wenn Du ein FE Modell mit Dummies für das Jahr schätzt ist das Ergebnis ein DiD (Difference-in-Differences) Schätzer. Das geht zwei Zeitpunkten und wird idealtypisch auch immer für zwei Zeitpunkte erklärt. Problematisch könnte die von Dir angesprochene Anzahl an Ereignissen sein. M.E. ist dieses Problem durch die Verwendung anderer Modelle aber lediglich maskiert und nicht gelöst.

[Milui]

Zur Stichprobe: jährlich werden ca. 20.000 Personen befragt von denen aber im fragwürdigen Zeitraum nur etwas mehr als 200 das Ereignis haben. Die soziale Integration wird mittels mehrerer Indikatoren erfasst. Es sah einfach nicht besonders übersichtlich in der deskriptiven Statistik aus, wenn man verschiedene Merkmale vergleicht und in der Treatmentgruppe haben 30 Personen das Merkmal und in der anderen Gruppe (ohne Ereignis) 18.000 oder so...eine etwa gleich große Vergleichgruppe erschien mir sinnvoller. Das mit der verschenkten Varianz stimmt zwar und leuchtet mir auch ein, aber selbst mein Prof meinte, dass man die Stichprobe einschränken sollte.
Ich gebe zu: das war wohl eher eine kosmetische Operation

Die Variable hatte ich nachträglich gebildet, also so eine, wie du sie in deinem letzten Post auch noch vorgeschlagen hattest (0 vor dem Ereignis, 1 in allen darauf folgenden Jahren).

Zu den Studien: hm, ich glaube Vieles in dem Bereich wurde mittels Strukturgleichungsmodellen gemacht, aber damit kenne ich mich (zumindest in Stata) nicht so gut aus.

Zum Geschlechtereffekt: natürlich spricht überhaupt nichts dagegen, getrennte Modelle zu rechnen! Es reicht ja zu vergleichen, wie stark die interessierenden Effekte (Ereignis, Integration) dann im jeweiligen Modell sind.

Wie würdest du denn jetzt vorgehen? Ich könnte die AV auch anders operationalisieren, also z.B. statt Veränderung zwischen t1 und t2, die Entwicklung über die Zeit. Dann passt ein FE-/RE- Ansatz wieder schöner. Kann aber sein, dass ich wieder Mist rede. Mir fehlt einfach noch die Praxis...

[daniel]

Ich könnte die AV auch anders operationalisieren, also z.B. statt Veränderung zwischen t1 und t2, die Entwicklung über die Zeit. Dann passt ein FE-/RE- Ansatz wieder schöner. Kann aber sein, dass ich wieder Mist rede.

Das klingt in meine Ohren besser als diese "Differenz-Sache" (aus im anderen Froum genannten Gründen).

Wie würdest du denn jetzt vorgehen?

Ich weiß noch nicht so recht, was ich von der "kosmetischen Operation" halten soll. Die verlorene Varianz ist eine Sache, dass es sich bei der Einschränkung ja irgendwie auch um eine Stichprobe der Stichprobe handelt, und diese nicht zufällig war eine andere. Ich bin nicht wirklich sicher inwieweit das die Möglichkeiten valider Inferenz einschränkt. Vielleicht können andere mehr dazu sagen.

Ich denke ich würde ich diese "Einschränkung der Stichprobe nochmal überdenken (die ist bei FE Modellen ohnehin irrelevant). Eine "schönere" Deskriptive Statisitk ist m.E. ein etwa so gutes Argument wie das Interesse an zeit-invariaten Variablen für das RE-Modell ohen die statistischen Annahmen zu prüfen.

Des Weiteren ist auch die Beschränkung des outcomes auf zwei Zeitpunkte ein Informationsverlust. Ich würde versuchen, die Informationen, die ich habe so gut als möglich zu nutzen. Dazu könntest Du (ganz klassisch) zuerst Dein RE Modell spezifizieren, in dem Du Gesundheit auf Ereignis und weitere Kovariaten, sowie Jahresdummies schätzt. Danach schätzt Du das gleiche Modell als FE Modell und testest (Hausman-Test), ob Dein RE Modell passt. Wenn das RE Modell nicht passt, dann ist die Entscheidung für FE (oder vieleicht FD) gefallen, egal was Dich interessiert, weil die Koeffizineten des RE Modell dann nicht das widerspiegeln was Dich interessiert. Einen Weg wie Du dann immernoch an Deine zeitkonstanten Effekte kommst kann Dir vielleicht die Lektüre von Allison (vorheriger Beitrag) zeigen.

Auf jeden Fall solltest Du das aber mit Deinem Prof absprechen, der sollte da ja auch eine (begründete!) Meinung zu haben.

[Milui]

Der Witz ist, genauso wollte ich es anfangs machen!

Und dann kam mein Prof und meinte, dass man die Stichprobe einschränken sollte und dann hat man zwei Gruppen die man miteinander vergleichen kann (eben wie in einem Experiment im Prinzip) und und und...
Ich verstehe seine Einwände, aber mit dem Panelansatz würde ich mich wohler fühlen. Allison werde ich noch lesen (muss ich whs. bestellen/kaufen, da unsere tolle Uni-Bib das Buch nicht hat, unglaublich). Ansonsten hat auch Brüderl im Handbuch der sozialwissenschaftlichen Datenanalyse eine Mischung aus FE und RE vorgestellt (ein Hybrid-Modell) mit dem man zeitvariante und zeitinvariante Effekte schätzen kann. Vielleicht war das sogar der Ansatz von Allison?

Aber eine Frage hätte ich noch: wie sind die Anforderungen an die Struktur der Daten, also der Kovariaten, die ich mit ins Modell aufnehmen will?
Genauer: Ich hatte ja erwähnt, das die Angaben zu sozialer Integration nur in 2001 und 2006 vorliegen. Der gesamte Zeitraum, der betrachtet wird ist aber von 2001 bis 2008. Ist das für Panelregressionen irgendwie notwendig, dass man auch ja in ALLEN Jahren von ALLEN Variablen gültige Werte hat? Das ist mir nicht so ganz klar...

Aber schon mal bis hierhin Vielen Dank daniel. Whs. werde ich noch des Öfteren Fragen posten, aber jetzt habe ich wenigstens schon mal eine Richtung.

[daniel]

Der Witz ist, genauso wollte ich es anfangs machen!

Und dann kam mein Prof und meinte, dass man die Stichprobe einschränken sollte und dann hat man zwei Gruppen die man miteinander vergleichen kann (eben wie in einem Experiment im Prinzip) und und und...

Wie gesagt solltest Du das dann nochmal mit Deinem Prof durchsprechen. Man kann es auch mit Matching machen, denke ich.

[...] Ansonsten hat auch Brüderl im Handbuch der sozialwissenschaftlichen Datenanalyse eine Mischung aus FE und RE vorgestellt (ein Hybrid-Modell) mit dem man zeitvariante und zeitinvariante Effekte schätzen kann. Vielleicht war das sogar der Ansatz von Allison?

Ich habe das leider nicht mehr so im Kopf, müsste das auch nochmal nachlesen. Brüderl ist m.E. manchmal ein bisschen zu fixiert auf FE Modelle. Viele seiner Argumnete sind nachvollziehbar und diese Modelle sind sicher für viel Situationen geeignet (v.a. im Vergleich mit RE Modellen), aber insbesondere seine (dokmatische) Abneigung gegenüber FD, Matching-Methoden und v.a. auch IV-Schätzung kann ich nicht immer ganz nachvollziehen.

Aber eine Frage hätte ich noch: wie sind die Anforderungen an die Struktur der Daten, also der Kovariaten, die ich mit ins Modell aufnehmen will?
Genauer: Ich hatte ja erwähnt, das die Angaben zu sozialer Integration nur in 2001 und 2006 vorliegen. Der gesamte Zeitraum, der betrachtet wird ist aber von 2001 bis 2008. Ist das für Panelregressionen irgendwie notwendig, dass man auch ja in ALLEN Jahren von ALLEN Variablen gültige Werte hat? Das ist mir nicht so ganz klar...

Du brauchst kein balanciertes Panel, aber alle Beobachtungen mit fehlenden Werten werden (wie üblich) Fallweise gelöscht. Wenn Du annehmen willst, dass soziale Integration zeitkonstant ist, dann füll die Lücken einfach mit den vorherigen Werten auf. Etwas problematisch ist das natürlich schon, denn wenn Du argumentierst, dass soziale Integration zeitkonstant ist, dann müssten die Werte von 2001 auch mit denen aus 2006 übereinstimmen. Schau Dir am besten mal an, wie das empirsich aussieht. Wenn es nicht zeitkonstant ist, dann musst Du Dir da was einfallen lassen. Vielleicht ist hierzu aber noch anzumerken, dass dieses Problem nicht dadurch gelöst wird einen anderen Ansatz zu wählen. Wie sehr häufig wird durch z.B. der Einschränkung der Stichprobe auf diese zwei Jahre das grundlegenden theoretische Problem nicht gelöst, sondern lediglich oberflächlich verschleiert. Das ist eine Art Selbstbetrug, den wir alle sehr geren und sehr häufig anwenden, wie mir scheint.

[Milui]

Hallo nochmal

Du brauchst kein balanciertes Panel, aber alle Beobachtungen mit fehlenden Werten werden (wie üblich) Fallweise gelöscht.

Das ist für eine so kleine Stichprobe wie meine natürlich fatal. Ich habe schließlich nur etwa 499 Personen mit insgesamt ungefähr 3,889 Personenjahren.
Ich habe mir das nochmal genauer angeschaut: leider gibts es Unterschiede in der sozialen Integration zwischen 2001 und 2006. Wäre es eine Lösung wenn ich für die Jahre 2001-2005 die Werte aus 2001 einsetze und für 2006-2008 die Werte aus 2006 und anschließend den Durchschnitt bilde und diesen dann als Variable für die soziale Integration nehme?
Ich bin gerade auch am überlegen, ob ich etwas ähnliches für meine AV machen sollte. Die Gesundheit wird ja nur 2002, 2004, 2006 und 2008 erhoben. Man könnte ja für die Jahre ohne Messung immer den Wert des Vorjahres einsetzen (also für 2003 den Wert aus 2002).

Ist diese Art der Imputation gerechtfertigt um Fälle zu retten, wenn man eben nur eine so kleine Stichprobe hat?

[daniel]

Wäre es eine Lösung wenn ich für die Jahre 2001-2005 die Werte aus 2001 einsetze und für 2006-2008 die Werte aus 2006 und anschließend den Durchschnitt bilde und diesen dann als Variable für die soziale Integration nehme?
Ich bin gerade auch am überlegen, ob ich etwas ähnliches für meine AV machen sollte. Die Gesundheit wird ja nur 2002, 2004, 2006 und 2008 erhoben. Man könnte ja für die Jahre ohne Messung immer den Wert des Vorjahres einsetzen (also für 2003 den Wert aus 2002).

Ist diese Art der Imputation gerechtfertigt um Fälle zu retten, wenn man eben nur eine so kleine Stichprobe hat?

Hier wird es leider tatsächlich komplizierter. Du kannst natürlich einen Mittelwert (oder sonst ein Agregat) berechen. Dann triffst Du aber dennoch die Annahme, dass soziale Integration (relativ) zeitkonstant ist und durch eine wiederholte Messung einfach besser/genauer erfasst wird. Du würdest also annehmen, dass der Unterschied zwischen 2001 und 2006 nicht auf eine tatsächliche Veränderung des Grades der sozialen Integration beruht, sondern auf "Messfehlern/Ungenauigkeiten".

Im Grunde sind solche "einfachen" Imputationen niemals (statistisch) gerechtfertigt, da wir so tun als hätten wir einen Wert beobachtet, den wir nicht tatsächlich beobachtet haben. Wenn wir das tun, müssen wir unsere Unsicherheit über diesen imputierten Wert irgendwie berücksichtigen. Das ist die Idee hinter multipler Imputation. MIr ist aber leider nicht ganz klar, wie man in diesem Fall ein Imputationsmodell am besten spezifizieren würde, da ja keine einzige Beobachtung für den fraglichen Wert vorliegt.

Die Werte des outcomes zu imputieren ist m.W. wenig sinnvoll. Das gilt für einfache- als auch für mutliple Imputation. Hier ist kein Informationsgewinn zu erwarten.

Du musst bei diesen Imputationen vielleicht mal noch überlegen, ob und inwieweit Du damit evtl. "künstlich" Effekte erzeugst. Das kam mir aber nur so in den Kopf, ich weiß nicht, ob das überhaupt ein Problem sein kann.

Sprich auf jeden Fall nochmal mit Deinem Prof. und vielleicht auch mit den Menschen am Statisitk-Lehrstuhl vor Ort. Die haben mehr Erfahrung, mehr Wissen und vermutlich können die sich auch mehr Zeit nehmen als ich und diejenigen, die hier noch mitlesen (falls überhaupt).

Es wird die absolut saubere Lösung nicht geben und Du musst Dir überlegen inweiweit Du welche Kompromisse eingehst. Das wird auch vom Zeitfenster abhängen, dass Du zur Verfügung hast. Einerseits ist das natürlich unbefriedigend, andererseits würde man sonst niemals irgendetwas machen.

Ich würde (bei gegebener Zeit) mal mit einer "einfachen" Lösung anfangen. Du kannst danach andere Lösungen versuchen und die Ergebnisse vergleichen. Sind die Ergebnisse stark vom gewählten Weg abhängig, dann deutet das daruf hin, dass Du Dir doch nochmal ersthaft Gedanken machen solltest. Solche "senisitivitäts-Analysen" sind m.E. häufig das betse was man tun kann.

Tut mir leid, dass ich Dir nicht konkreter weiterhelfen kann.