STATISTIK-FORUM.de

[daniel]

Allerdings sehe ich diese Frage von mir schon als ziemlich konkret. Denn es muss schon konkret geregelt sein, ob man aus einem Polynomialen Modell die "Zwischenterme" des Polynoms entfernen kann bzw. darf oder nicht.

Wer soll das klar, und vor allem allgemeingültig, regeln? Ökonometire funktioniert nicht nach einfachen "Geboten". Du darfst modellieren, was und wie Du möchtest, solltest aber eben die Implikationen Deines Modells im Blick haben. Verbote gibt es da nicht, nur falche Schlussfolgerungen aus Modellen, deren Implikationen die Forscher nicht mehr im Blick haben.

Als klassiches Beispiel verwenden ich gerne die Durchschnittsnote in Klausuren. Nur weil Noten nicht intervallskaliert sind, wird kein vernünftig denkender Mensch/Ökonometriker/Statistiker Dir ernsthaft erzählen wollen, der Mittelwert der Noten könne prinzipiell nicht sinnvoll interpretiert werden.

Als weiteres Beispiel, nimm die beiden Modelle

Modell 1


Modell 2


Beide Modelle sind mathematisch schätzbar. In Deiner Terminologie würde ich sagen: Man darf beide Modelle Schätzen. Im ersten Fall modellierst Du eben eine U-förmigen Zusammenhang, Im zweiten Fall den linearen Zusammenhang eines Produkts mit dem outcome.

Wie Du Dein Modell aufstellst hängt (neben anderen Fragen) eben von Deinem Forschunginteresse ab. Willst Du das Modell gut an die Daten anpassen, und Modell 2 passt besser als Modell 1, dann wähle Modell 2. Willst Du einen in der Theorie vorhergesagten U-förmigen Effekt teste, dann kannst Du das mit Modell 2 nicht leisten. In diesem Fall solltest Du Modell 1 wählen.

Ohne Fragestellung, Hypothesen und Theorie zu kennen, kann man da m.E. keine (belastbaren) Ratschläge geben.

[Berry]

Danke nochmals. Das war sehr aufschlussreich. Also wenn ich richtig verstanden habe, man darf schon im Allgemeinen einige Polynomterme nicht betrachten.

In meiner Fallstudie muss ich ein gutes Modell für den Absatz eines Produkts finden und zwar zu Prognosezwecken, also nicht nur zur möglichst guter Anpassung an die zur Verfügung stehenden Daten. Aus der Analyse der partiellen Residuen aus dem ersten einfachen Modell (d.h. UV gehen ins Modell zunächst untransformiert ein) ergeben sich nichtlineare Zusammenhänge zwischen AU und einigen UV'en, deren genaue funktionale Form mir nicht bei allen klar ist. Daher möchte ich einige von ihnen mit Polynomen modellieren. Und um einigermaßen gut spezifiziertes Modell zu erhalten, damit die Schätzer unverzerrt, stabil, nicht ungenau, effizient etc. sind, möchte ich halt, dass die Modellannahmen zumindest approximativ erfüllt sind. Dies sind im Einzelnen die Linearität (in Parametern), keine Multikollinearität, Homoskedastizität, keine Korrelation der UV'en mit Residuen. So wie es sich gehört halt.

Auch Interaktionen dürfen nicht ausgeschlössen werden. Daher auch meine letzte Frage diesbezüglich in meinem letzten Beitrag. Ich hoffe ich konnte sie gut Formulieren. Kannst Du etwas dazu sagen?

[daniel]

Mir scheint noch immer, dass Du hier absolut nicht auf Inferenz aus bist.

So wie es sich gehört halt.

Das ist m.E. eine eher unvorteilhafte Haltung. Wie ich bereits in einem vorhergehenden Beitrag kritisiert habe, ist es für mich wenig sinnvoll, bis unsinnig etwas zu tun, weil "es sich so gehört", oder anders ausgedrückt "best practice" ist. Besser ist es m.E. nachzudenken, wozu die einzelnen Annahen eigentlich gebracht werden, und welche Konsequenzen deren Verletzung haben.

Gute Prognosen sind auch dann möglich, wenn die Standardfehler heteroskedastisch sind, oder Multikollinearität vorliegt. Ich würde soweit gehen, sogar die im Regelfall zentrale Annahme der Exogenität zu vernachlässigen, wenn Du inhaltlich nicht an den Koeffizienten interessiert bist.

Wie wäre es, wenn Du den Datensatz splittest. Einen klein Teil der Daten benutzt Du, um Dein Modell zu spezifizieren, am größeren Teil testest Du, wie gut die Prognosen sind.

Bei den Interaktionen, muss ich zugeben, dass ich bisher selten Modelle mit dem Ziel spezifiziert habe, gute Prognosen zu bekommen. Falls die Interaktion aus einer Theorie kommt, die gestest, und die Koeffizienten interpretiert werden sollen (was mir aber nicht so scheint), dann sollten alle Polynome im Modell bleiben und ich würde Variante (1) spezifizieren. Beim Ziel einer guten Anpassung und guter Prognose, ohne theoretischen Hintergrund, würde ich die Spezifikation wählen, die den Model Fit maximiert. Dazu kannst Du Dir neben R-Quadrat auch mal AIC oder BIC anschauen, um zwischen Modellen zu entscheiden.

[Berry]

Hallo daniel. Das mit "so wie es sich gehört" war eher eine schlechte Ausdrucksweise von mir.Ich schreibe eine Diplomarbeit in Kooperation mit einem Unternehmen, in der ich für ein Produkt ein Schätzmodell zu Prognosezwecken aufbauen soll. Dabei bin natürlich auch gewissermaßen auf Schlussfolgerungen interessiert. Wenn ich richtig vertehe, lassen sich diese aus der Residuenanalyse bzw. Modelldiagnose bzgl. Annahmen und Spezifikation herleiten. Mein Hauptfokus gilt jedoch der Prognose. Mit "so wie es sich gehört" wollte ich sagen, dass dafür ein Modell mit (zmindest approximativ) erfüllten Annahmen besser geeignet ist, als eins ohne. Natürlich falls sich ein solches Modell anhand der Datenbasis konstruieren lässt. In diesem Sinne verstehe ich nicht, wie Du es mit

Gute Prognosen sind auch dann möglich, wenn die Standardfehler heteroskedastisch sind, oder Multikollinearität vorliegt.

meinst. Denn ich dachte, sind die zentralen Modellannahmen nicht erfüllt, wodurch die Schätzer verzerrt und damit auch falsch werden, dann werden auch meine Prognosen verzerrt bzw. falsch. Sollte sich in Zukunft herausstellen, dass einige davon doch als einigermaßen gut waren, dann würde es für mich eher als zufällig erscheinen. Oder es gibt einige Definitionsbereiche der UV'en, in denen die Prognosen gut und in den anderen schlecht sind, evtl. auch durch gegenseitiges Ausgleichen der fehlerhaften Einflussprognosen einzelner Effekte.

Natürlich bin ich inn erster Linie an den Koeffizienten interessiert, aber ich bin mit deiner Meinung

Hier scheint der Hintergrund und das Ziel lediglich in einer möglichst guten Anpassung an des Modells an die Daten zu besthen. Daher ist m.E. jede Diskussion über VIF, Standardfehler etc. komplett sinnlos.

nicht ganz einverstanden. Denn die Diskussion über diese Punkte gehört, meiner Meinung nach, auch zur Modellierung und, wenn ich diese Punkte nicht diskutiere, kann ich auch keine korrekten Schätzer erhalten. Ich will nicht einfach blind ein Modell aufstellen, ohne Hintergrüde der einzelnen Zusammenhänge nachzuvollziehen.

Das mit dem splitten bzw. der Kreuzvalidierung habe ich mir auch schon überlegt. Wie zerlegt man dann den Datenbestand? Zufällig oder kann ich da einfach nach der Zielgröße, aufsteigend sortiert, beispielsweise jeden dritten oder vierten Datensatz nehmen?

[daniel]

Denn ich dachte, sind die zentralen Modellannahmen nicht erfüllt, wodurch die Schätzer verzerrt und damit auch falsch werden, dann sind werden auch meine Prognosen verzerrt bzw. falsch.
[...]
Denn die Diskussion über diese Punkte gehört auch zur Modellierung und, wenn ich diese Punkte nicht diskutiere, kann ich auch keine korrekten Schätzer erhalten.

Daher mein Vorschlag, nochmal gezielt nachzulesen und darüber nachzudenken, wozu welche Annahmen benötigt werden. Um unverzerrte bzw. konsistente Punktschätzer zu bekommen, ist weder die Annahme der Homoskedastie der Fehler, noch die Abwesenheit von Multikollinearität nötig. Daher stehe ich weiterhin zu meiner Aussage, dass in diesem Fall die Annahmen bezüglich der Standardfehler irrelevant sind.

Den Datensatz würde ich zufällig zerlegen.

[Berry]

Daher stehe ich weiterhin zu meiner Aussage, dass in diesem Fall die Annahmen bezüglich der Standardfehler irrelevant sind.

Das bestreite ich nicht, würde es aber gern bewiesen haben. In den Büchern ("Regression" von Fahrmeir und Co. sowie "Multivariate Analysemethoden" von Backhaus und Co.), die ich verwende, steht zur Heteroskedastie, dass sie zur Verfälschung der Varianz der geschätzten Parameter führt, wodurch Letztere ineffizient werden, was wiederum zu falschen Ergebnissen der Hypothesentests und bei der Bestimmung der Konfidenzintervalle führt. Und zur Multikollinearität steht, dass sie zu größeren Standardfehlern der Parameterschätzer führt, wodurch diese selbst ungenau bzw. instabil werden. Ich konnte dort leider nichts über Konsistenz der Koeffizientenschätzer finden. Gibt es Literatur, wo diese gezeigt wird?

[daniel]

Ein sehr pragmatischer Ansatz wäre es, zu erkennen, dass, falls die Konsistenz der Punktschätzer beeinträchtigt wäre, es sicher an entsprechender Stelle aufgeführt wäre. Die beiden Bücher, die ich gerade in Reichweite haben sagen folgendes:

Zu Homoskedastie und keine Autokorrelation

Assumption A4, homoskedasticity and nonautocorrelation of the disturbances, in contrast to A3 [Exogeneity of the independent variables], only has relevance to whether least squares is an optimal use of the data.

(Greene 2008, 43)

Der Beweis ist nur wenige Zeilen lang und findet sich in gleichem Buch auf Seite 46-47:



Erwartungswert



Annahme der Exogenität



Es folgt:


Weder die Annahme der Homoskedastie, noch die "Annhame" (nicht perfekter) Multikollinarität der X Matrix wird für dieses Resultat benötigt.

Verbal vgl. auch Kennedy (2008, 113)

If assumption 3 [homoskedasticity and nonautocorrelation] is violated and the variance-covarince matirx of the disturbance vector must be written as general matrix G, the CLR model becomes the GLR model. Happily, ordinary least squares (OLS) is still unbiased [...]

Zu Multikollinearität

The more common case is one in which the variables are highly, but not perfectly correlated. In this instance, the regression model retains all its assumed properties, although severe statistical problems arise.

Greene (2008, 59).

und

The OLS estimator in the presence of multicollinearity remains unbiased and, in fact, is still the best linear unbiased estimator (BLUE).

Kennedy (2008, 113)


Greene, William, H. (2008). Econometric Analysis. 6th Ed. NJ: Pearson.

Kennedy, Peter (2008). A Guide to Econometrics. 6th Ed. Maldon, MA. Wiley-Blackwell.

[Berry]

Danke daniel. Die Autokorrelation interessiert mich nicht, da ich ein stationäres Modell habe.

Habe ich das richtig verstanden, dass auch bei Heteroskedastie und Multikollinearität die Koeffizientenschätzer trotzdem Erwartungstreu sind?

Aber für die Konsistenz reicht doch nicht nur die Erwartungstreue zu zeigen bzw., dass der Bias mit n ->oo gegen 0 läuft. Man muss auch noch zeigen, dass auch der se des Schätzers gegen 0 läuft. Dies ist ebenfalls kein Problem, da n in se im Nenner steht. Heißt es, dass Konsistenz eine stärkere Eigenschaft ist, als die (asymptotische) Erwartungstreue allein? Wozu ist denn die Konsistenz-Eigenschaft gut? Nur für die Konfidenzintervalle und t-Tests, damit ich sagen, dass diese gültig sind, obwohl verfälschte Varianzen (bei Heteroskedastie) bzw. größere Varianzen (bei Multikollinearität) vorliegen?