STATISTIK-FORUM.de

[SoftwareMüll]

Hi Leute,

ich möchte wissen, denn multivarianten Regressionskoeffizienten berechnen.

hier

http://de.wikipedia.org/wiki/Multikollinearit%C3%A4t

wird ein verfahren dafür vorgestellt, aber bei meinen tests bekomme ich diese "numerische instabilität" sofort um die ohren gehauen

und die berechneten koeffizienten (vektor b in dem link), sind auch riesig im vergleich zu den werten der übergebenen zeitreihen - könnte da irgendwas schief gelaufen sein, oder ist dass einfachnur eine folgerung auf der schlechten invertierbarkeit?

wisst ihr vielleicht, was ich machen kann, wenn meine (X^T*X)^(-1) nicht invertierbar ist, bzw. schlecht konditioniert ist? irgendwo irgendwas auf die diagonale addieren und dann "stanadtisieren"?


zudem suche ich gerade nach einem regressionkoeffizienten, welcher im allgemeinen die beste/eine bessere multivariante annäherung liefert. gibt es so einen (mit welchen man lineare zusammenhänge ebensogut erkennt wie z.b. polynomielle)? oder müsste ich hierfür tests durchführen um den besten koeffizienten herauszufinden?


mfg

[STATWORX]

Hallo,

kann es sein, dass Du mehr unabhängige Variablen als Beobachtungen hast? Dann hat die Designmatrix keinen vollen Spaltenrank und ist nicht invertierbar.

Falls sich das nicht vermeiden lässt könnte man über ein alternatives Regressionsverfahren für solche Datensituationen nachdenken.

VG
STATWORX

[SoftwareMüll]

ich meine zum einen nicht invertierbare matrizen und zum anderen invertierbare matrizen die schlecht konditioniert sind.

bei letzteren ist die berechnete inverse mit einfachem gausalgo falsch bis massiv falsch, (rundungsfehler wegen starker korrelation einiger spalten<- was ich noch nicht ganz verstanden habe).

hier
http://www.statistik.lmu.de/institut/ag ... nreg-3.pdf

wir auf eine lösung hingewiesen, aber ich bin mir noch nicht sicher ob man damit die inverse für alle invertierbaren matrizen berechnen kann - bis heute dachte ich, numerik wäre ein unwichtiges fach ^^


welches verfahren gäbe es denn bei nicht invertierbarkeit? an sich gäbe es in einem solchen fall (meistens...) mehrere lösungen, welche wäre dann die richtige?

[STATWORX]

Hallo,

sag doch mal was zu Deinem Modell, das Du formuliert hast. Das Problem, das Du hast ist recht ungewöhnlich.

Du könntest Dich auch mal zum Thema Ridge-Regression aufschlauen...das wird verwendet, wenn X nicht invertierbar ist.

VG
STATWORX

[SoftwareMüll]

Hi,

die "Ridge-Regression" ist eine gute hilfe, danke. das verfahren erinnert mich an numerische verfahren, die gehen aber (um den fehler gering zu halten) etwas anders, bzw. sind genauer beschrieben.

ich werde mich morgen damit beschäftigen, heute schreib ich etwas an meiner seminararbeit. wenn ich einen soliden/solideren algorithmus für die Ridge-Regression gefunden habe verlink ich ihn - ich glaube mit einigen matrixzerlegungen kommt man da gut weiter.


ansonsten ist mein problem relativ einfach: ich habe ein kleines program erstellt in welchem die inverse der matrix nur durch den gauss algo berechnet wird, wegen des rundungsfehlers geht das aber nicht immer und im statistikbereich anscheind fast nie (statistik ist mein freies wahlfach und liegt eigendlich nicht im zentrum meines studiums). ich werde morgen die entsprechende numerische matrix zerlegung raussuchen.


damit sollte ich die multlineare regression hinkriegen. welche modelle ich damit letztendlich untersuche weiß ich derzeit noch nicht, ich möchte erstmal folgendes hinkriegen:
mein programm bekommt n viele zeitreihen und soll schauen wie sich die veränderung einer zeitreihe auf die veränderung einer anderen zeitreihe auswirkt, unter der voraussetzung dass die anderen ausgewählten zeitreihen ihren alten wert behalten. also bräuche ich eine multi("lineare") regression.


ein frage ergibt sich mir aber:
das multilineare regressionsmodell ist wahrscheinlich nicht das optimalste da z.b. quadratische regression nicht berücksichtigt wird. gibt es hier einen allgemeingültigen regressionkoeffizienten, welcher im allgemeinen eine einigermaßen gute annäherung liefert? oder sollten hier tests durchgeführt werden um zu bestimmen, welche regression gewählt werden sollte? in meinen statistik vorlesungen erkenne ich keine wirklichen algorithmen, immer wird ein zusammenhang vorausgesetzt und ich frage mich wie man diesen allgemein bestimmt, z.b. y=log(x) als zusammenhang von y und x, ich glaube nicht dass man sowas einfach "sehen" kann


lg