Robuste Standardfehler

Alle Verfahren der Regressionanalyse.

Robuste Standardfehler

Beitragvon Ma_rie » Mi 29. Okt 2014, 11:29

Hallo an alle!

Ich habe versucht das Forum zu durchsuchen, aber die Suchfunktion macht bei mir öfter mal zicken. Deshalb hoffe ich es ist in Ordnung einen Thread dazu aufzumachen.

Mir wurde in einer anderen Diskussion empfohlen die Ergebnisse bei Verdacht auf Heteroskedastizität noch mit robusten Standardfehlern zu rechnen. Ich habe mir dieses Makro für SPSS jetzt runtergeladen. Die Koeffizienten bleiben ja dabei die gleichen, nur die Standardfehler ändern sich ein bisschen (zum Teil etwas höher zum Teil etwas niedriger).

Habe ich das richtig verstanden, dass ich damit noch mal prüfen kann, ob die gleichen Koeffizienten signifikant ausfallen(, wenn Heteroskedastizität berücksichtigt wird, bzw kein Problem mehr darstellt)? Oder welche Aussage kann ich daraus ziehen?
Auch das R² ist etwas anders (höher) ausgefallen.. wie ist das zu deuten?

Ich wäre sehr froh, wenn jemand helfen könnte.
(Habe das Hayes Macro benutzt und da HC Method 3)

Viele Grüße
Marie
Ma_rie
Mitglied
Mitglied
 
Beiträge: 27
Registriert: So 21. Sep 2014, 13:31
Danke gegeben: 7
Danke bekommen: 0 mal in 0 Post

Re: Robuste Standardfehler

Beitragvon DHA3000 » Mi 29. Okt 2014, 13:00

Nun, du hast eine Regressionsgleichung unter bestimmten Annahmen geschätzt. Eine dieser Annahmen war verletzt, also hast du sie korrigiert.

Für das R² werden die Standardfehler nicht benötigt, folglich ändert es sich auch nicht. Da stimmt also was mit deiner Anwendung nicht. Oder das Plugin macht noch irgendwas anderes.
DHA3000
Elite
Elite
 
Beiträge: 478
Registriert: So 8. Jul 2012, 15:08
Danke gegeben: 0
Danke bekommen: 62 mal in 62 Posts

Re: Robuste Standardfehler

Beitragvon Ma_rie » Mi 29. Okt 2014, 13:32

hallo und danke dir.. ich habe noch einmal verglichen und das angepasste r² mit dem unkorrigierten verwechselt. dann passt es ..

Ich weiß schon, dass ich es deshalb mache :) aber ich möchte ja wissen, welches Zusatz an Info mir das jetzt bringt.
Quasi, dass wenn ich diese Annahme "korrigiere" ich zum gleichen Ergebnis bezüglich der Signifikanzen komme? (Denn nur die und die Standardfehler sind ja anders beim Einsatz von robusten Standardfehlern)

Ich bin eben nicht sicher, ob Heteroskedastizität vorliegt. Ich habe es mit dem Breusch-Pagan Test probiert, aber der hat zum Teil Ergebnisse geliefert denen ich leider keinen Glauben schenken kann (vermutlich weil für den auch wieder irgendwelche Annahmen verletzt wurden..).
Deshalb frage ich, ob man das mit OLS rechnen kann und dann nochmal mit robusten Standardfehlern um zu sehen, ob man dem Ergebnis noch eher glauben schenken kann.
Ma_rie
Mitglied
Mitglied
 
Beiträge: 27
Registriert: So 21. Sep 2014, 13:31
Danke gegeben: 7
Danke bekommen: 0 mal in 0 Post

Re: Robuste Standardfehler

Beitragvon DHA3000 » Mi 29. Okt 2014, 14:11

Also der BP-Test liefert doch nur "ein" Ergebnis oder? ;) Inwiefern kannst du dem denn keinen Glauben schenken?
Es gibt mehrere Tests auf Het. der von White wäre vielleicht auch eine Alternative.

Eine Regression mit OLS bringt dir als Vergleich nichts, weil deine Standardfehler ja "falsch" sind. Das heißt, deine Ergebnisse bezüglich des Signifikanzniveaus sind inkonsistent.
Du würdest also im extremfall eine Variable als signifikant betrachten, die es in Wirklichkeit garnicht ist. Daher korrigiert man die Standardfehler.
DHA3000
Elite
Elite
 
Beiträge: 478
Registriert: So 8. Jul 2012, 15:08
Danke gegeben: 0
Danke bekommen: 62 mal in 62 Posts

Re: Robuste Standardfehler

Beitragvon Ma_rie » Mi 29. Okt 2014, 15:30

Ja.. :D das mit "zum Teil Ergebnisse" war darauf bezogen, dass ich den BPTest bei verschiedenen Modellen ausprobiert habe, (bei denen man am Residuenplot eindeutig auf Heteroskedastizität geschlossen hätte.. zusätzlich auch manchmal auf Nichtlinearität) White wollte ich gerne machen aber ich hab kein Makro dazu gefunden und das selber zu machen sah fürchterlich kompliziert aus (Wird eigentlich auch gar nicht von uns erwartet xD). Da ich schon schwer im Zeitverzug bin, versuche ich halt jetzt zumindest diesen Aufwand nicht auch noch aufzuhalsen. (Schade das SPSS das nicht einfach integriert hat..) :(

Bei uns wird eben im Normalfall die OLS benutzt (die hat ja auch viel mehr Ausgabemöglichkeiten? So mit den ganzen Schaubildern und so..). Mein Ansatz war daher eher die Ergebnisse mit den robusten tandardfehlern als Vergleich mit der OLS zu nutzen. Da ich wie oben erwähnt keinen guten Test für Heteroskedastizität habe hatte ich überlegt ob ich dann sagen kann "OK meine Regression liefert folgende Ergebnisse. Da könnte aber Heteroskedastizität ein Problem sein, deshalb hab ich das ganze nochmal mit robusten Standardfehlern gerechnet und komme damit auf die gleichen signifikanten Koeffizienten". Oder wäre das jetzt quatsch?

Ich hoffe du verstehst was ich meine und beanwtortest mir das noch. Wäre dir sehr dankbar
Ma_rie
Mitglied
Mitglied
 
Beiträge: 27
Registriert: So 21. Sep 2014, 13:31
Danke gegeben: 7
Danke bekommen: 0 mal in 0 Post

Re: Robuste Standardfehler

Beitragvon DHA3000 » Mi 29. Okt 2014, 16:11

Ja, das sieht vielleicht kompliziert aus, aber der BP/White-Test ist auch nichts weiter, als eine Regression, so wie du sie schon zig mal durchgeführt hast.
Du brauchst dafür auch kein Makro.

Was besagt Homoskedastizität? Dass die Residuen (dein Störterm) White Noise sind, du also keine Struktur in ihnen hast. Breusch & Pagan nehmen also an,
dass wenn deine erklärenden Variablen (die auf der rechten Seite) einen signifikanten Einfluss auf den Störterm haben, dieser nicht White Noise sein kann.

Was tust du also, um das zu testen? Du schätzt dein Modell ganz normal, so wie du es bis dato getan hast und speicherst die Residuen (dein Störterm) als neue,
Variable ab. Dann quadrierst du sie und führst eine neue Regression mit den quadrierten Residuen als abhängiger Variable (anstatt deinem Y) durch.
Deine rechte Seite bleibt gleich.

Die F-Statistik dieser Regression (die SPSS automatisch auswirft) entspricht der Statistik, die dein BP-Makro auswirst oder jedes andere Package dazu.
Der White Test geht noch eine Stufe weiter und quadriertet die erklärende Variable als zusätzliche Regression und deren Cross-Produkte bzw. die abhängige Variable als Vereinfachung.
Wenn der F-Test also signifikant ist, hast du Het. vorliegen, denn deine Variablen liefern gemeinsam, einen signifikanten Erklärungsgehalt.

Zeitaufwand für Ungehübte: 5min. ;)

Ich kann es dir auch in Formeln hinschreiben. Dann läufst du aber vermutlich schreiend davon. :mrgreen:
DHA3000
Elite
Elite
 
Beiträge: 478
Registriert: So 8. Jul 2012, 15:08
Danke gegeben: 0
Danke bekommen: 62 mal in 62 Posts

Re: Robuste Standardfehler

Beitragvon Ma_rie » Mi 29. Okt 2014, 16:38

Ich bin dir ja durchus dankbar für deine Antwort... aber ich saß gestern insgesamt 5 Stunden an dieser Sache und habe den Breusch Test per Hand durchgeführt um zu gucken ob mein Makro spinnt. ( da habe ich übrigens einmal eine version gefunden bei der man am ende eine Regression mit den quadrierten Residuen und den Predicted Values machtu und einmal eine so wie bei dir mit den gleichen Variablen auf der rechten Seite.. die 2. Möglichkeit brachte das gleiceh Ergebnis wie das Makro). Wie gesagt, ich bin aber zu dem Schluss gekommen, dass dieser Test bei meinen Daten nicht zuverlässig ist.. das war ein EINDEUTIG erkennbares Muster xD xD

Der White Test geht noch eine Stufe weiter und quadriertet die erklärende Variable als zusätzliche Regression und deren Cross-Produkte bzw. die abhängige Variable als Vereinfachung.

und genau da bin ich gescheitert ;( Das klingt in deinen Ohren vielleicht einfach aber ich habe ca 15 Variablen, davon einige Binär (die quadriert man dann glaub ich nicht?). Ja und den Schluss vom Satz versteh ich gar nicht XD also das geht bei mir leider nicht in 5 min :? . Obwohl ich mich schon viel damit befasst habe..

Könntest du mir bitte sagen, ob das so wie ich das oben geschrieben habe evtl ne Möglichkeit wäre? Mit robusten Standardfehlern gucken ob man auf das gleiche Ergebnis kommt? xD biiitteeee
Ma_rie
Mitglied
Mitglied
 
Beiträge: 27
Registriert: So 21. Sep 2014, 13:31
Danke gegeben: 7
Danke bekommen: 0 mal in 0 Post

Re: Robuste Standardfehler

Beitragvon DHA3000 » Mi 29. Okt 2014, 17:27

Schreib mal ein wenig mehr zu deiner Regression. Also wie groß die Stichprobe, grob was für Variablen, ein Output von SPSS wäre auch nicht schlecht.
Du kannst ihn gerne anonymisieren.

Ansonsten meint der zweite Teil des Satzes genau das, was du vorher geschrieben hast. Nämlich mit den "Predicted Values". Das ist ja im Grunde genommen die
Zusammenführung der erklärunden Variablen. Die Cross-produkte ist eine weitere Generalisierung und brauchst du erst einmal nicht weiter verfolgen.

Die der BP-Test nie signifikant, oder wie?
DHA3000
Elite
Elite
 
Beiträge: 478
Registriert: So 8. Jul 2012, 15:08
Danke gegeben: 0
Danke bekommen: 62 mal in 62 Posts

Re: Robuste Standardfehler

Beitragvon Ma_rie » Mi 29. Okt 2014, 18:13

regressionanalyse-f11/linearisierung-multiple-regression-t4921.html#p16914
regressionanalyse-f11/linearisierung-multiple-regression-t4921.html#p16919

Ich hatte hier ein paar Sachen dazu geschrieben. Also ich hab 165 Fälle (Filme) und abhängige Variable sind Kinobesucher. UVs sind zum Beispiel die Filmmerkmale wie Genre oder auch die Größe des Verleihers Bewertungen des Film und einige Social Media Daten. Also einige Dummys und einige metrische. Einige metrischen sind sehr rechtsschief deshalb hab ich die logarithmiert.. Vorher sieht der Plot ganz böse aus
regressionanalyse-f11/linearisierung-multiple-regression-t4921.html#p16914 (Wobei das jetzt auch nicht mehr ganz die Daten sind die ich jetzt nutze.. aber ungefähr so sieht es dennoch aus)

Welchen Output von SPSS hättest du denn gerne? ;)
Also ich hab den BP (und Koenker Test - der war auch im Makro) bei verschiedenen Variablenkombinationen gemacht. Bei mir findet leider vieles über Trial und Error statt. Und der Test wurde manchmal schon signifikant (das bedeutet ja dann Heteroskedastisch), aber fast immer konträr zu dem was ich grafisch vorher gesagt hätte. Klar ich müsste den Test nicht machen, wenn ich mir durch die Grafik sicher wäre aber ich kann die ja mal folgendes Beispiel zeigen:

Das hier ist eigentlich nicht mein richtiges Modell, sondern diente mehr dazu um zu schauen ob der Test signifikant wird wenn ich das so eindeutig für systematisch halte anhand der Grafik.
Bild

Sample size (N)
165

Number of predictors (P)
14

Breusch-Pagan test for Heteroscedasticity (CHI-SQUARE df=P)
21,382

Significance level of Chi-square df=P (H0:homoscedasticity)
,0922

Koenker test for Heteroscedasticity (CHI-SQUARE df=P)
18,244

Significance level of Chi-square df=P (H0:homoscedasticity)
,1959

Eigentlich sieht es (etwas variiert je nach Variablen) eher so aus:
Bild
finde das sieht auch schon eher nach Heteroskedastizität aus. Wird aber auch insignifikant

Breusch-Pagan test for Heteroscedasticity (CHI-SQUARE df=P)
19,446

Significance level of Chi-square df=P (H0:homoscedasticity)
,1099

Koenker test for Heteroscedasticity (CHI-SQUARE df=P)
16,986

Significance level of Chi-square df=P (H0:homoscedasticity)
,2000


Ich will ja nicht nerven :D aber irgendwie fand ich meine Lösung mit dem robust rechnen ganz cool.. würde das nicht gehen?
Ma_rie
Mitglied
Mitglied
 
Beiträge: 27
Registriert: So 21. Sep 2014, 13:31
Danke gegeben: 7
Danke bekommen: 0 mal in 0 Post

Re: Robuste Standardfehler

Beitragvon Ma_rie » So 2. Nov 2014, 11:18

mhh hast du dich jetzt ausgeklinkt? :(

dachte du willst vielleicht noch auf irgendwas hinaus?
Ma_rie
Mitglied
Mitglied
 
Beiträge: 27
Registriert: So 21. Sep 2014, 13:31
Danke gegeben: 7
Danke bekommen: 0 mal in 0 Post

Nächste

Zurück zu Regressionanalyse

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 0 Gäste

cron