STATISTIK-FORUM.de

[Naseweiß]

Hallo zusammen!

Ich sitze nun schon seit 2 Tagen an einem Problem und komme beim besten Willen nicht weiter!!! Darum habe ich mich entschlossen mich hier zu registrieren und hoffe, dass sich jemand findet, der mir etwas weiter helfen kann!

Ich habe ein lineares Regressionsmodell (also: Y= beta0+beta1*X1+beta2*X2) und meine Regressoren X1 und X2 weisen eine Korrelation von ungefähr 0,7 auf. Ich habe eine sogenannte Condition Number berechnet ( CN= 1/(1-r²) ) die, weil sie größer ist als 10 (nämlich über 300!!!) auf Multikollinearität hindeutet. Bekanntlich führt das ja dazu, dass geschätzten Regressionskoeffizienten instabil sind. Umgehen kann man das mit der Ridge Regression. Die Betas werden hier folgendermaßen ermittelt:
Beta = (X'X+KI)^(-1)X'y . Soweit so gut.
Ich möchte K schrittweise von 0-0.1 variieren lassen und dann das K wählen, bei dem die CN unter die Schwelle 10 fällt. Hier nochmal der englische Text zu dieser Idee.

****
estimate the coefficients by using ridge regression only when the condition number is above a specific threshold (e.g. 10). The size of the ridge constant is chosen using aniterative searching procedure 3  that  finds  the  lowest  positive  number,  k,  which  makes  the  recomputed  condition  number fall below the threshold. 
By adding a small bias, the correlation between the regressors will decrease and so will the condition number.
****

Mein Problem ist aber, wenn ich nun meine neuen Betas alle berechne, hat das doch keinen Einfluss auf meine Regressoren!? Die bleiben doch so wie zu Beginn auch?! Warum sollte dann die CN und damit die Korrelation geringer werden?! Oder muss ich auf Grundlage der neuen Betas meine Regressoren berechnen (Falls ja, wie?!) ?!

Ich bitte wirklich um Hilfe, weil ich schon langsam an verzweifeln bin. Ich weiß nicht wo mein Denkfehler ist!
Danke im Voraus und viele Grüße

Naseweiß

[daniel]

Mein Problem ist aber, wenn ich nun meine neuen Betas alle berechne, hat das doch keinen Einfluss auf meine Regressoren!?

Deine Regressoren sind . Wenn Du die Berechnung der Koeffizienten veränderst, indem Du den Teil veränderst, dann veränderst Du Deine Regressoren. Ich verstehe daher die Frage nicht ganz.

Ich wäre auch vorerst zurückhaltend bei der Anwenden der ridge regression (ich habe das auch noch nie gemacht). Der für mich entscheidende (Teil)Satz ist

By adding a small bias,

Auch bei Multikollinearität sind die Koeffizineten unverzerrt. Ridge regression führt immer zu verzerrten Schätzern, und die würde ich nur dann in Kauf nehmen, wenn die Koeffizenten tatsächlich instabil sind. Zieh doch einfach zufällig mal verschiedenen subsamples aus Deinen Daten, schätze die Regression, und schau Dir an wie sehr die Koeffizienten tatsächlich schwanken.

Was Du "CN" nennst, kenne ich als VIF (variance inflation factor). Hier werden die Prädikatoren aufeinander regressiert, und der Determinationskoeffizent dieser Regression in der Formel verwendet. Ob Multikollinearität problematisch ist, ist allerdings von mehr abhängig als vom VIF (vgl. O'Brien, 2007).


Btw. "der englische Text" ist keine akzeptable Quellenangabe.


O'Brien, Robert, M. (2007). A Caution Regarding Rules of Thumb for Variance Inflation Factors. Quality & Quantity 41, 673–690.

[PonderStibbons]

Es sind doch lediglich 2 Prädiktoren, mit Korrelation 0,7 -- wozu da noch
zusätzliche Tests, und wieso sollte das Probleme bereiten?

Mit freundlichen Grüßen

P.

[Naseweiß]

Hallo Daniel, Hallo PonderStibbons,

DANKE für die schnellen Antworten. Sie haben mir tatsächlich geholfen.

1. Die Probleme (...By adding a small bias) , die so eine Ridge Regression mitbringt, kenne ich (werden aber in Kauf genommen).
2. Stimmt!!!! Anstatt der Condition Number habe ich tatsächlich den VIF angegeben. Aber auch der VIF lässt auf Multikollinearität schließen. Was hier verwendet wird ist eigentlich auch nicht so wichtig. Dennoch, danke für den Hinweis.
3. zur Quellenangabe. Sorry, wusste nicht, dass das so relevant ist. Ich wollte nur nochmal die eigentliche Idee hervorheben, für den Fall, dass ich da
etwas falsch verstanden habe [ Annaert et al. (2012): ' Estimating the Yield Curve using the Nelson-Siegel Model: A Ridge Regression Approach', S.1-37.]

Naja, die Frage zielte darauf ab, dass ich nicht verstanden habe wie sich X ändert. Aber eigentlich muss ich ja nur zu X'X "KI" addieren und dann den VIF oder die CN berechnen, richtig? Da stand ich wohl völlig auf dem Schlauch!!

Es sind doch lediglich 2 Prädiktoren, mit Korrelation 0,7 -- wozu da noch
zusätzliche Tests, und wieso sollte das Probleme bereiten?

Naja, Condition number und VIF weisen auf Multikollinearität hin. Ich weiß nur, dass die geschätzten Koeffizienten dann instabil sind. Kann das denn einfach ignoriert werden?!

Viele Grüße
Naseweiß

[daniel]

Naja, Condition number und VIF weisen auf Multikollinearität hin.

Was Ponder, zu Recht, anspricht, ist die Tatsache, dass bei nur zwei Prädikatoren keine Multikollinearität vorliegen kann. Es gibt trivialer Weise in diesem Fall nur eine Korrelation zweier Prädikatoren miteinander. Hatte das gar nicht so genau gelesen.

Zudem sagst Du, die Korrelation der Prädikatoren betrage 0.7. Der Determinationskoeffizient einer einfachen Regression beträgt demnach 0.7^2 = 0.49, was einem VIF von 1/(1- 0.49) = 1.96 entspricht. Ich weiß nicht, wie Du da auf "über 300" kommst.

Ich weiß nur, dass die geschätzten Koeffizienten dann instabil sind. Kann das denn einfach ignoriert werden?!

Von "ignorieren" war niemals die Rede. Allerdings davon, dass Du nicht (ohne Weiteres) "wissen" kannst, dass die Koeffizienten (im vorliegenden Fall) instabil sind. Soweit ich das verstehe hast Du das, mit der einzigen Ausnahme der (fehlerhaften?) Berechnung des VIF, keinesfalls Untersucht.

[Naseweiß]

hmmm,... stimmt schon. Ich bin jetzt etwas ratlos.
Wenn also die Korrelation zwischen den erklärenden Variablen nicht zu instabilen Koeffizienten führt [ich habe eine Variable in der Berechnung der erklärenden Variablen leicht variiert ( da sie exogen gewählt werden muss) und mir den Verlauf der Koeffizienten angesehn, sie scheinen sich nicht großartig zu ändern], dann kann ich advon ausgehen, dass ich kein Problem mit der Korrelation habe und kann auf diese ganze RIdge Regressions - Sache verzichten?!

[Naseweiß]

...noch ein Nachtrag.
Über den gesamten Zeitraum der Schätzung hinweg variieren die Koeffizienten aber sehr stark. Teilweise nehmen sie schon recht extreme Werte an...

[daniel]

Aus Deinen Angaben lässt sich nicht nachvollziehen, was genau Du, wie genau, und warum gemacht hast. Wie hast Du z.B. "eine Variable in der Berechnung der erklärenden Variablen leicht variiert "? Was ist z.B. der "Zeitraum der Schätzungen"? Zudem ist mir schleierhaft, warum Du Dir bei einem VIF Wert von 1.96 überhaupt groß Gedanken um Multikollinearität machst. Dieser Wert liegt weit unter allen mir bekannten "rule of thumbs".

Um bessere Antworten zu erhalten sollen Angaben zu Forschungsfrage, Theorie, Daten (Stichprobe, Fallzahl, etc.), möglicher Weise verwendeter Software, sowie zur Spezifikation des Modells (der Modelle) und Ergebnissen der Schätzung(en) nachgereicht werden.

[Naseweiß]

Ich versuche die Zinsstrukturkurve zu schätzen mit Hilfe der parametrischen Nelson Siegel Funktion (vgl. Diebold/Li (2006))
Hierbei werden die erklärenden Variablen vordeterminiert. Die erklärenden Variablen werden also von mir berechnent und sind für jeden Zeitraum gleich! Die Berechnung enthält aber einen Parameter tau den man selber wählen muss. Logischerweise ergeben sich je nach Wahl andere Vektoren der erklärenden Variablen. Mit OLS ergeben sich dann meine Koeffizienten. Annaert et al. 2012 weisen aber darauf hin,dass die erklärenden Variablen korrelliert sind und die Schätzer daduch instabil sind. Sie schlagen daher diese Ridge Regression vor.
Diese ganze Multikollinearitäts-Geschichte hat mich total aus der Bahn geworfen. Ich weiß nicht genau, ob ich das überhaupt berücksichtigen soll.
Der Blcik auf meine Koeffizienten zeigt, dass sie sehr volatil sind. Annaert et. al (2012) verweisen darauf, dass dies durch die Ridge Regression behoben werden kann. Daher befasse ich mich gerade damit,...aber soweit komme ich damit nicht und jetzt bin ich davon schon ziemlich angenervt

[STATWORX]

Nunja, "instabil" werden Sie ja dadurch, dass die Standardfehler der geschätzten Betas bei starker Korrelation der Prädiktoren ansteigen. Stichwort Berechnung von t-Tests (b/SE(b)), die "kleinste Varianz unter unverzerrten Schätzern kann trotzdem groß sein". Eine Ridge-Penalisierung kann in Fällen hochkorrelierter Prädiktoren m.E. sinnvoll sein.

VG
STATWORX