STATISTIK-FORUM.de

[Berry]

Hallo.

ich versuche eine nichtlineare Beziehung Y~X1 mittels eines Polynoms 4. Grades zu modellieren. Dafür erzeuge ich weitere drei Variablen X1^2, X1^3 und X1^4. Damit habe ich folgendes Modell: Y~X1+X1^2+X1^3+X1^4. Der Signifikanztest fällt für alle Terme positiv aus. Allerdings zeigen die einzelnen VIF's eine sehr hohe Korrelation von X1, X1^2 und X1^3, was eigentlich auch nachvollziebar ist. Soll ich dann X1^2 un X1^3 wegen der Verletzung der Nicht-Multikollinearitäts-Annahme aus dem Modell entfernen? Oder soll ich das bei der Polynomregression nicht betrachten? Die Antwort finde ich den Lehrbüchern nicht...

Danke im Voraus für Eure Rückmeldungen.

[STATWORX]

Hallo,

dass der VIF sehr hoch ausfällt in diesem Falle ist klar. Eine mean-centering der X-Variable (x - mean(x)) und anschließender Polynombildung schafft dem Problem (zumindest was den VIF angeht) Abhilfe. Es gibt div. Artikel, die Mean-Centering als nicht-kolliearitätsrelevant entlarven, es handelt sich aber nach wie vor um eine "best-practice" in der Regressionsanalyse.

VG
STATWORX

[daniel]

Wir sollten mal eine Art FAQ Thread zu Multikollinearität bzw. den Annahmen des klassischen linearen Modells zusammenstellen.

Die "Annahme", dass es keine Multikollinearität zwischen den Prädikatoren geben soll, wird oft falsch interpretiert. Multikollinearität, der Zusammenhang zwischen Prädikatoren, ist der Grund dafür, dass wir überhaupt eine Regressionsschätzung machen, und keine Reihe bivariater Korrelationsanalysen (vgl. Maarten Buis exzellente Darstellung: http://www.stata.com/statalist/archive/ ... 00675.html). Zudem ist das keine theoretische Annahme des klassichen linearen Modells. Vielmehr ist es eine mathematische Vorrausetzung, dass die Prädikatoren nicht als Linearkombination darstellbar sind, weil sich sonst die Koeffizienten schlicht nicht berechnen lassen.

Sind zwei (oder mehr) Variablen hoch miteinander korreliert, können wir deren spezifische Effekte nur schwer trennen. Bei sehr hohen Korrelationen zweier Variablen wissen wir nicht, ob wir eine Interaktion zweier Prädikatoren, oder einen quadratischen Zusammenhang eines Prädikators mit dem outcome gefunden haben. In Deinem Fall spielt das keine Rolle. Du willst den Effekt eines theoretischen Konstruktes modellieren, hast also gar nicht das Ziel den Effekt von z.B. x-quadrat vom Effekt von x zu trennen.

Zuletzt ist zu beachten, dass (a) wie STATWORX sagt, Zentrierung der Variablen nicht hilft (und mit Verlaub, etwas zu tun, weil es "best practice" ist, ist m.E. kompletter Unsinn) und (b) die von der Statistiksoftware berechneten t-Werte (i.e. Koeffizenten und Standardfehler) für die zentierte Version exakt die gleichen sind, wie für die unzentrierten Variablen.

[Berry]

Danke Leute für Eure Rückmeldungen.

Ich auch in diese Richtung rechechiert. Laut den beiden Links:

http://books.google.de/books?id=rZi6eqYXkdYC&pg=PA78&lpg=PA78&dq=zentrierung+der+polynome&source=bl&ots=by7Di4QjeN&sig=FQXzHvx7GMTL_kb0kLt5krNINT8&hl=de&sa=X&ei=xnu7T72tLsyKswbtyo2aCA&ved=0CFMQ6AEwBg#v=onepage&q=zentrierung%20der%20polynome&f=false

Seite 80 und

http://www.statistik.lmu.de/~fenske/stat3nf2011/vorlesung/kap4/folienLiMo2.pdf

erfolgt die Zentrierung der polynomialen Beziehung

y ~ b0 + b1*z + b2*z^2 + ... + bl*z^l

als

y ~ b0 + b1*(z-mean(z)) + b2*(z^2-mean(z^2)) + ... + bl*(z^l-mean(z^l)).

Berechne ich VIF's für die so zentrierte polynomiale Beziehung, so sind diese identisch mit denen aus der nicht zentrierten Beziehung.

Zenriere ich dagegen so wie es STATWORX beschreibt und wie es hier

http://www.statsoft.de/glossary/P/Polynomial.htm

steht, und zwar als

y ~ b0 + b1*(z-mean(z)) + b2*(z-mean(z)) ^2 + ... + bl*(z-mean(z))^l,

"d. h. vor der Berechnung der Polynome wird der entsprechende Mittelwert von der unabhängigen Variable subtrahiert", dann sind die VIF's sofort sehr viel kleiner, obwohl trotzdem immer noch etwas zu hoch. Also ist die erste Zentrierungsweise für mich definitiv falsch. Oder?

Entferne ich danach den Term mit Grad 3, da er auch als nicht signifikant erkannt wird, dann werden die VIF's akzeptabel. Diesbezüglich eine Frage: darf ich denn das überhaupt machen, d.h. darf ich bei der Modellierung mittels Polynombildung mit beispielsweise Grad 4 einen Zwischenterm z. B. vom Grad 3 aus dem Modell rausnehmen?

[STATWORX]

Also wenn Du ein Polynom 4. Grades abbilden willst, kannst Du natürlich nicht einfach einen Term rausschmeißen...häng Dich nicht allzusehr an den VIFs auf, es ist völlig klar, dass diese im Rahmen einer polynomialen Modellierung hoch ausfallen. Setze lieber den Fokus auf die Sinnhaftigkeit des Modells.

VG
STATWORX

[Berry]

Durch eine polynomiale Modellierung wird doch nur versucht den funktionalen Zusammenhang zwischen der abhängigen und der unabhängigen Variablen approximativ abzubilden, und zwar nur für die erhobene Stichprobe. Wie kann ich da die Sinnhaftigkeit des Modells begründen bzw. argumentieren, dass das polynomiale Modell besser als das einfache ist, außer der besseren Anpassung an die gegeben Daten?

Das Problem der Multikollienearität entfällt bei Verwendung von orthogonalisierten Polynomen, die sich ohne Schwierigkeiten erzeugen lassen. Gibt es in dieser Richtung doch noch irgendwelche Hacken?

Und doch noch mal die Frage bzgl. Weglassen von Polynomtermen: Es gibt ja doch rein mathematisch gesehen z.B. den Polynom x+x^2+x^4. Und wenn dieser gut die funktionale Abhängigkeit zwischen y und x abbildet, wieso kann ihn nicht für die Modellierung verwenden?

[daniel]

Wenn Du ohnehin nicht an Inferenz und/oder theoretischem Inhalt interessiert bist

und zwar nur für die erhobene Stichprobe
[...]
Wie kann ich da die Sinnhaftigkeit des Modells begründen bzw. argumentieren, dass das polynomiale Modell besser als das einfache ist, außer der besseren Anpassung an die gegeben Daten?

wozu machst Du Dir Gedanken, die über R-Quadrat, oder andere Fit Maße hinausgehen?

Hier muss man Ponder Tribut zollen, der als erste Antwort in jedem Thread zunächst nach der Forschungsfrage und dem Hintergrund fragt. Hier scheint der Hintergrund und das Ziel lediglich in einer möglichst guten Anpassung an des Modells an die Daten zu besthen. Daher ist m.E. jede Diskussion über VIF, Standardfehler etc. komplett sinnlos.

[Berry]

Hallo daniel. Irgend wie spüre ich eine gewisse Agressivität hinter deinem Kommentar, den ich auch nicht hilfreich und überflüssig finde. Außerdem hast du mich falsch verstanden. Mit

Durch eine polynomiale Modellierung wird doch nur versucht den funktionalen Zusammenhang zwischen der abhängigen und der unabhängigen Variablen approximativ abzubilden...

meine ich im Allgemeinen und nicht in meiner Fallstudie. Und auch hier

Hier scheint der Hintergrund und das Ziel lediglich in einer möglichst guten Anpassung an des Modells an die Daten zu besthen. Daher ist m.E. jede Diskussion über VIF, Standardfehler etc. komplett sinnlos.

hast du falsche Rückschlüsse gezogen. Wäre ich nur nach einer möglichst guten Datenanpassung interessiert, dann würde ich einfach mal einen Polynom höchst möglichen Grad nehmen. Oder? Also da scheint dir ein falscher Hintergrund. Denn ich versuche ein stabiles und korrekt spezifiziertes Modell mittels Polynombildung zu konstruieren und diesen mit dem mittels nichtlinearen Variablentransformationen konstruierten Modell zu vergleichen. Daher auch meine Frage nach dem weglassen der Polynomterme, da ich eine Überanpassung und Multikollinearitäten vermeiden möchte (eben stabil und korrekt spezifiziert). Nur leider bin ich da nicht so ganz fit, wie z. B. du oder viele andere in diesem Forum. Aber ich finde, wenn man die Antwort nicht weiss, oder nicht Helfen möchte, dann sollte man lieber gar nichts schreiben anstatt eine hilflose Antwort zu geben. Findet jemand die Diskussion als sinnlos, dann braucht er gar nicht, zu diskutieren.

Wenn Du ohnehin nicht an Inferenz und/oder theoretischem Inhalt interessiert bist

Oh doch, ich bin daran interessiert, sonst würde ich, wie schon gesagt, keine Fragen stellen, die anscheinend manchen als zu blöd vorkommen. Ich wurde aber nicht als MLR-Statistik-Profi geboren und versuche das ganze nur zu verstehen. Denn ich (so wie viele Fragenden hier) brauche eine möglichst exakte Antwort auf konkret gestellte Frage und keine verschleierten Diskussionen. Denn so kann ich auch besser verstehen. Und noch eins, wenn ich hier ein Thema mit einer Frage poste, dann heisst es noch lange nicht, dass ich mich nur auf Euch verlasse und selbst für meine Aufklärung nichts tue. Oft habe ich auch selbst auf meine Fragen geantwortet.

Ich habe hier Hilfe gesucht und freue mich üder jede aufklärende Rückmeldung...

[daniel]

Irgend wie spüre ich eine gewisse Agressivität hinter deinem Kommentar,

Das kam wohl falsch an. Sorry. Wenn überhaupt, dann bin ich genervt von mir, weil ich es nicht schaffe die relevanten Nachfragen genau, und zu einem frühen Zeitpunkt zu formulieren.

da ich eine Überanpassung und Multikollinearitäten vermeiden möchte (eben stabil und korrekt spezifiziert)

Wie (vielleicht nicht explizit genug) erwähnt, hat Multikollinerität nicht viel mit damit zu tun, ob ein Modell korrekt spezifiziert ist. Auch die Punktschätzer sind bei Multikollinearität weiterhin konsisten (falls sie berechenbar sind). Zum Punkt der "stabilen" Schätzung müsste man genauer erklären, was genau stabil sein soll. Die Standardfehler der Koeffizienten sind bei Multikollinearität möglicherweise groß, aber dennoch die kleinsten die möglich sind (unter den Annahmen des klassischen linearen Modells).

sonst würde ich, wie schon gesagt, keine Fragen stellen, die anscheinend manchen als zu blöd vorkommen

Die Frage kommt nicht blöd. Aber wenn es tatsächlich nicht um Inferenz gehen würde, dann könntest Du Dir diese Gedanken und Fragwen m.E. sparen. Du sagst ja selbst, Du bist kein Experte. Wie soll ich da wissen, ob Dir das bewusst ist. Das hat wie gessagt nichts mit einer Bewertung der Frage als "blöd" zu tun.

Denn ich (so wie viele Fragenden hier) brauche eine möglichst exakte Antwort auf konkret gestellte Frage und keine verschleierten Diskussionen

Zunächst mal bin ich auch kein Statistik-Profi. Das von Dir angesprochene Problem ist mir aber nur allzu bekannt, und ich habe bisher noch keine gute Lösung dafür gefunden. Deine Frage(n) sind nicht so konkret, wie Du vielleicht meinst. Das ist es worauf ich mit meinem vorherigen Kommentar hinaus wollte. Losgelöst aus dem Kontext (Fragestellung, theoretischer Hintergrund, Hypothesen, Fallzahlen, Stichprobeninformation etc.) lassen sich viele Fragebn eben leider nicht "exakt" beantworten. Schon gar nicht mit Aussagen wie "Tue dies, lasse jenes." Je spezialisierter jemand in einem Themenbereich ist, desto mehr Informationen wird sie benötigen, um einen genau auf die spezifische Situation angepassten Ratschlag zu geben.

Ein Frend von mir hat es mal mit einem Beispiel verdeutlicht. Stell Dir vor jemand kommt zu Dir und fragt Dich: "Ich hätte geren ein Auto. Welches soll ich nehmen?". Auf die Nachfrage wozu das Auto benötigt wird, kommt die knappe Antwort: "Naja zum fahren eben. Blöde Frage." Du kannst Dir jetzt selbst überlegen, wie viele Fragen Du noch stellen müsstest, um einen einigermaßen vernünftigen Ratschlag zu erteilen, den Du vertreten kannst. Selbst dieser Ratschlag wird aber vermutlich in den Augen des Fragenden nicht "exakt" genug, oder "verschleiert" scheint. Viele Threads in diesem Forum kommen mir ähnlich vor.

Grüße

[Berry]

Danke daniel für deine Rückmeldung. Ich möchte mich ebenfalls entschuldigen, wenn ich dich falsch verstanden habe. Allerdings sehe ich diese Frage von mir schon als ziemlich konkret. Denn es muss schon konkret geregelt sein, ob man aus einem Polynomialen Modell die "Zwischenterme" des Polynoms entfernen kann bzw. darf oder nicht. Mit Zwischentermen meine ich nicht den ersten und nicht den letzten Term sondern die, die zwischen diesen beiden stehen.

Meiner Ansicht nacht, darf der erste Term nicht entfernt werden, da dieser den linearen Anteil darstellt. Entfernung des letzten terms ist in jedem Fall erlaubt, da man so einfach mal einen Polynom mit einem kleineren Grad erhält. Daher richtet sich meine Frage an die Zwischenterme, d.h. ob man unvollständige Polynome benutzen darf? D.h. man setzt manuel von Anfang an den betroffenen Koeffizienten gleich 0.

Beispielsweise ich habe ein Modell aus 2 UV, eine metrische x1 und eine kategoriale x2. Den Einfluss der Metrischen modelliere ich mit einem Polynom 3. Grades:

y ~ b0 + b1*x1 + b2*x1^2 + b3*x1^3 + b4*x2 (M1)

Und nun die Frage: darf ich den quadratischen Polynom weglassen oder nicht? Also ich finde, hier gibts keine wenn und aber, entweder man darf es tun oder nicht. Das Weglassen dieses Terms ist gleich dem Nullsetzen von b2. Ob dadurch andere Modellspezifische Probleme auftreten können? Denn rein mathematisch gesehen, es gibt eine Funktion y = b0 + b1*x1 + b3*x1^3 + b4*x2 + e.

Zur Stabilität des Models: Damit meine ich, dass das Modell den Stand auch über die Stichprobe hinaus halten soll. Eben keine Überanpassung an die Stichprobe, die durch einen zu hoch gewählten Polynomgrad entstehen kann.

Zur Multikollinearität: die nichtorthogonalen Polynome bzw. ihre Terme können sehr hoch Multikollinear sein. Laut vieler Lehrbücher werden bei starkem Multikollinearitätsproblen die Parameterschätzer ungenau und instabil. Ich habe aber schon etwas genauere Schätzer lieber.

ES IST ABER NOCH NICHT ALLES. Bei mir ist noch eine Weitere Frage aufgetren und zwar bzgl. der Interaktionsmodellierung eines polynomialen Effekts.

Wie soll/kann/darf ich im oberen Modell (M1) eine Wechselwirkung zwischen der Variable x1 und x2 mit einbeziehen?

Ich habe diesbezüglich zunächst mal folgene zwei Möglichkeiten überlegt:

(1) y ~ b0 + b1*x1 + b2*x1^2 + b3*x1^3 + b4*x2 + b5*x1*x2 + b6*(x1^2)*x2 + b7*(x1^3)*x2 oder

(2) y ~ b0 + b1*x1 + b2*x1^2 + b3*x1^3 + b4*x2 + b5*(x1 + x1^2 + x1^3)*x2

Mit b5=b6=b7 entspricht der Fall (1) dem Fall (2). Was ist nun korrekt? Oder geht es ganz anders?