STATISTIK-FORUM.de

[Freddy19911]

Hallo Zusammen,

mich verwirrt die Linearitätsannahme im Rahmen der linearen Regressionsanalyse. Unterschieden wird scheinbar zwischen der Linearität in den Parametern der Regressionsanalyse und der Linearität zwischen unabhängiger und abhängiger Variable. Dieser Unterschied will mir nicht ganz klar werden.
Angenommen ich möchte einen theoriebegründeten Zusammenhang zwischen der Anzahl der verkauften Eiskugeln/Stunde und der Temperatur mittels Regressionsanalyse prüfen. Ich sammle also die entsprechenden Daten und ein Streudiagramm der Daten legt die Vermutung nahe, dass ein linearer Zusammenhang zwischen der abhängigen Variable (verkaufte Eiskugeln pro Stunde) und der unabhängigen Variable (Temperatur) vorliegt und der Zusammenhang somit vermutlich gut durch eine Gerade geschätzt werden kann.

In dem Buch Angewandte Regressionsanalyse (Urban/Mayerl 2018) steht:

Die Linearitätsannahme besagt, dass die Y-Werte linear ansteigen (oder absteigen), wenn die X-Werte größer (oder kleiner) werden Bei konstanten Sprüngen auf der X-Achse sind auch Sprünge auf der Y-Achse konstant

Geht es bei der Voraussetzung für die lineare Regression denn nun um die Linearität zwischen X und Y Variable oder um die Linearität der Parameter? Und was genau ist der Unterschied?

Ein anderes Beispiel: Betrachtet werden soll der Zusammenhang zwischen Koffeinkonsum und Konzentrationsstärke, wobei hier davon ausgegangen wird, dass der Zusammenhang nicht-linear ist. Vielmehr geht man davon aus, dass die Konzentrationsstärke bis zu einem gewissen Koffeinkonsum steigt, dann jedoch ab einem bestimmten Punkt mit jeder weiteren konsumierten Koffeineinheit abnimmt. Wieder werden Daten gesammelt und mittels Streudiagramm dargestellt. Es zeigt sich tatsächlich eine umgedrehte U-Beziehung. In diesem Fall würde man doch (auf Grund der beobachteten Beziehung zwischen X und Y Variable) von einem nicht-linearen Zusammenhang ausgehen und von einer linearen Regression absehen oder sehe ich das falsch?

Über Aufklärung würde ich mich sehr freuen
Beste Grüße

[bele]

Hallo Freddy,

Dieser Unterschied will mir nicht ganz klar werden.

Mir auch nicht.

Angenommen ich möchte einen theoriebegründeten Zusammenhang zwischen der Anzahl der verkauften Eiskugeln/Stunde und der Temperatur mittels Regressionsanalyse prüfen. Ich sammle also die entsprechenden Daten und ein Streudiagramm der Daten legt die Vermutung nahe, dass ein linearer Zusammenhang zwischen der abhängigen Variable (verkaufte Eiskugeln pro Stunde) und der unabhängigen Variable (Temperatur) vorliegt und der Zusammenhang somit vermutlich gut durch eine Gerade geschätzt werden kann.

Geschätzt werden ist der treffende Punkt. Natürlich besteht in Wirklichkeit keine lineare Beziehung. Wenn der Eisverkäufer für jeden Verkaufsvorgang eine gewisse Zeit t braucht, dann kann er nicht mehr Eis verkaufen als seine Arbeitszeit geteilt durch t. Also geht auch das irgendwann in Sättigung. Und wenn er Eis aus einem Eimer verkauft und der Eimer irgendwann leer ist, dann verkauft er nicht mehr mehr, egal wie heiß es ist. Linearitätsannahme heißt nur, dass ein lineares Modell die Daten nur so gut beschreiben kann wie ein lineares Modell das halt kann. Du kannst durch nahezu jede Punktwolke eine Gerade legen, übernimmst aber selbst die Verantwortung dafür, dass Geraden in der Natur quasi nicht vorkommen sondern immer nur Näherungen bzw. Schätzungsgrundlage sein können.

Es zeigt sich tatsächlich eine umgedrehte U-Beziehung. In diesem Fall würde man doch (auf Grund der beobachteten Beziehung zwischen X und Y Variable) von einem nicht-linearen Zusammenhang ausgehen und von einer linearen Regression absehen oder sehe ich das falsch?

Es gibt gewisse Tricks, mit denen die Methoden der linearen Regression geeignet sind, auch nicht-lineare Zusammenhänge in gewissen Grenzen abzubilden. Du hast aber Recht, dass es dafür Grenzen gibt und man irgendwann über nichtlineare Regressionsformen nachdenken sollte.
Ich kenne das Buch und die Grafik nicht, aber was das Kaffeebeispiel angeht, so würde man zunächst von jedem beobachteten Kaffeekonsum das Quadrat berechnen (entspricht grafisch einer Parabel). Nun würde man in einem linearen Modell berechnen, wie sich die Konzentrationsstärke aus dem Kaffeekonsum einerseits und dem quadrierten Kaffekonsum andererseits vorhersagen lässt. Es handelt sich um ein lineares System aus Kaffeekonsum und quadriertem Kaffeekonsum. Wenn man die Vorhersagen dieses Systems aber nur gegen Kaffeekonsum abträgt, entsteht dann eine gekrümmte Zusammenhangslinie. Damit kann ein nicht-linearer Zusammenhang angenähert werden mit den rechnerischen Mitteln der linearen Regression.
Das stößt aber rasch an Grenzen, weshalb auch nicht-lineare Regressionsformen existieren.

LG,
Bernhard

[PonderStibbons]

y = b0 + b1*x + b1*x² ist eine lineare Regression, auch wenn die Beziehung zwischen den Variablen umgekehrt U-förmig ist.
y = b0 + b1^(b2*x) ist nonlinear.

HTH

PonderStibbons

[Freddy19911]

Vielen Dank für eure Antworten.

y = b0 + b1*x + b1*x² ist eine lineare Regression, auch wenn die Beziehung zwischen den Variablen umgekehrt U-förmig ist.
y = b0 + b1^(b2*x) ist nonlinear.

Dazu hätte ich noch eine Frage:
In dem o.g. Buch (Angewandte Regressionsanalyse (Urban/Mayerl 2018)) steht folgendes geschrieben

Regressionsgleichungen sind dann linear, wenn sie linear in den Koeffizienten (bzw. in den Parametern) der Gleichung sind. Diese Definition von Linearität hat (im bivariaten Modell) wenig mit dem Verlauf der Regressionsgeraden zu tun und steht auch (im multivariaten Modell) in keiner Beziehung zur Oberflächenstruktur der Regressionsfläche. Denn eine Regressionsgerade kann gekrümmt oder geschwungen verlaufen, d h sie kann kurvilinear sein, und dennoch kann das jeweilige Modell als lineares Regressionsmodell nach der OLS-Methode geschätzt werden.

Kurvilineare Modelle sind immer als lineare Modelle zu schätzen, wenn die Kurvilinearität nicht durch eine Eigenart der Regressionskoeffizienten, sondern durch eine besondere Konstellation der Prädiktoren verursacht wird. Dann kann ein Modell zwar auf den ersten Blick nicht-linear erscheinen, weil es einen kurvilinearen Funktionsverlauf zeigt, aber dieser Funktionsverlauf kann durch einige Transformationen der X-Variablen in einen linearen Funktionsverlauf überführt werden. Eine Linearisierung von kurvilinearen Modellen ist immer möglich, wenn ein nicht-lineares Modell eine intrinsische Linearität der Variablen bzw. Variablenkombinationen aufweist.

Die Linearität eines Regressionsmodells bedeutet zunächst einmal, dass in der entsprechenden Regressionsgleichung mit jeder Erhöhung von X um eine bestimmte Einheit die Variable Ŷ um den Wert des Regressionskoeffizienten ansteigt. Und dies ist unabhängig davon, ob die X-Variable von 1,00 auf 2,00 oder von 10,00 auf 11,00 erhöht wird

Wenn eine Regressionsgleichung von der Art ist: Ŷ = a + bX2
so ist eine derartige Linearität nicht mehr gegeben.

Schließlich:

Wenn also der im Streudiagramm entdeckte Zusammenhang ein umgekehrt-U-förmiger, kurvilinearer Zusammenhang ist, muss er durch die folgende Funktionsgleichung beschrieben werden: Ŷ = a + b 1X1 – b2X1^2 Diese nicht-lineare Funktionsgleichung kann nach einer entsprechenden Variablentransformation (wie zuvor gezeigt) auch in Form folgender linearer Regressionsgleichung bestimmt werden

Im weiteren Verlauf wird dann gezeigt, wie eine Transformation wieder zur Linearität führt. Müsste in deinem ersten Beispiel:

y = b0 + b1*x + b1*x²

nach der Logik des Buchs nicht erst eine Transformation durchgeführt werden um die lineare Regression anwenden zu können?

Nach der Logik des Buchs ist es doch so: Wenn auf Grund verschiedener Tests oder Streudiagramme der Residuen die Vermutung naheliegt, dass X und Y in keiner linearen Beziehung zueinander stehen (sondern bspw. in einer umgekehrt U-förmigen Beziehung), muss ich mein Regressionmodell durch Ŷ = a + b 1X1 – b2X1^2 entsprechend anpassen.

[PonderStibbons]

Im weiteren Verlauf wird dann gezeigt, wie eine Transformation wieder zur Linearität führt. Müsste in deinem ersten Beispiel:

y = b0 + b1*x + b1*x²

nach der Logik des Buchs nicht erst eine Transformation durchgeführt werden um die lineare Regression anwenden zu können?

Ja gut, ich hätte schreiben können, man quadriere x1, nenne die enstandene Variable x2 und verwende sie in der Regressionsgleichung.

Mit freundlichen Grüßen

PonderStibbons

[Freddy19911]

Danke, um es noch kurz zusammenzufassen: Es geht bei der Linearitätsannahme darum, dass der Zusammenhang zwischen den Variablen möglichst gut durch eine Gerade geschätzt werden kann. Dies überprüfe ich mit Plots und ggf. weiteren Tests. Wenn diese Verfahren meine Annahme eines linearen Zusammenhangs bestätigen, fahre ich mit einem linearen Regressionsmodell fort.
Wenn meine Tests jedoch keinen linearen Zusammenhang vermuten lassen, besteht ggf. eine Möglichkeit in der Transformation der Daten, sodass sich ein lineares Regressionsmodell anwenden lässt. Ist eine Transformation nicht möglich, ist ein nicht-lineares Modell zu wählen.

[bele]

Danke, um es noch kurz zusammenzufassen: Es geht bei der Linearitätsannahme darum, dass der Zusammenhang zwischen den Variablen möglichst gut durch eine Gerade geschätzt werden kann.

Wenn es nur einen Prädiktor gibt, dann eine Gerade. Gibt es zwei Prädiktoren, dann eine Ebene, gibt es drei Pädiktoren, ...

Wenn meine Tests jedoch keinen linearen Zusammenhang vermuten lassen, besteht ggf. eine Möglichkeit in der Transformation der Daten, sodass sich ein lineares Regressionsmodell anwenden lässt.

Ja, das ist aber nichts anderes als der Satz oben. Du konstruierst halt auf geschickte Weise weitere Prädiktorvariablen, mit denen dann die abhängige hoffentlich gut durch ein lineares Modell vorhersagbar ist.

Ist eine Transformation nicht möglich, ist ein nicht-lineares Modell zu wählen.

Du wirst im Laufe Deiner Reise durch die Welt der linearen Regression noch sogenannte Interaktionsterme kennenlernen. Das ist eine sehr besondere Art, zusätzliche Prädiktoren zu schaffen, die ganz neue Fragestellungen für die Beurteilung eröffnen. Wenn die abhängige Variable sich trotz Transformationen und Interaktionen hartnäckig einer guten Vorhersage entzieht, dann gibt es auch noch Alternativen abseits linearer Modelle.

Wir haben Dir geschrieben, dass Du neben x auch noch x² ins Modell nehmen kannst. Das geht auch mit x³ und so weiter. In diesem Vortrag etwa ab Minute 12:15 beschreibt Prof. Andrew Gelman eine publizierte Studie, in der die Autoren die Lebensdauer als 5. Polynom der Entfernung des Wohnortes von einem Fluss modelliert haben

North of the river they were giving people free heating, which sounds quite nice, because it is warm. On the other hand indoor coal heating might be bad because you breathe in that coal dust. ... They are plotting the life expectancy north of the boundary and they fit a fifth degree polynomial -- You're supposed to laugh at that.

https://youtu.be/fc1hkFC2c1E?t=737

Der Vortrag ist insgesamt sehr hörenswert aber das ist ein schönes Beispiel dafür, was für einen Unsinn man machen kann, wenn man unbedingt an einem linearen Modell festhalten will. Die Lebenserwartung von Menschen hängt nicht von der fünften Potenz des Abstands ihres Wohnortes von einem Fluss ab. Auch nicht, wenn es sich schön rechnen lässt.

LG,
Bernhard

[Freddy19911]

Danke für deinen Beitrag, bele.
Eine letzte Frage habe ich mir gestern noch gestellt: Lineare Regression bedeutet linear in den Koeffizienten, soweit habe ich es jetzt verstanden. Auch mit einer linearen Regression lassen sich Kurvenverläufe darstellen. Es ist aber nicht so, dass eine lineare Transformation (wie eine solche in dem eingangs erwähnten Kaffeebeispiel) zwingend notwendig ist oder? Ich kann mittels der linearen Regression auch eine Kurve an die Daten anpassen und es würde der Analyse (aus "technischer" Sicht) keinen Abbruch tun. Ich nehme an, dass eine solche Transformation zu einem linearen Zusammenhang allen voran wünschenswert ist, da es mir das Leben bei der Interpretation der Ergebnisse einfacher macht.

[bele]

Hallo Freddy,

Es ist aber nicht so, dass eine lineare Transformation (wie eine solche in dem eingangs erwähnten Kaffeebeispiel) zwingend notwendig ist oder?

Dinge sind nicht per se notwendig, sie sind immer nur für einen bestimmten Zweck notwendig. Wenn Du durch die Punktwolke im Kaffeebeispiel eine Gerade legen möchtest, dann legt Dein Computer Dir da eine Gerade nach der Methode der kleinsten Quadrate durch. Wenn Du das mit "aus technischer Sicht keinen Abbruch" meinst, dann ja.

Wenn Du die Kaffeeuntersuchung machst um zu zeigen, dass überhaupt ein Zusammenhang zwischen Kaffeekonsum und Konzentration gibt dann reicht Dir ein signifikantes Ergebnis für die Geradensteigung. Wenn Du überlegst, wieviel Kaffee Du während der Prüfungsvorbereitung trinken solltest, dann wird Dich die Gerade in eine ganz falsche Richtung leiten. Da würde der quadratische Term helfen.
Bei meinem Beispiel eines Eisverkäufers der nur einen begrenzt großen Eimer mit Eis dabei hat, wird die Verkaufskurve an der Stelle wo er ausverkauft ist einen scharfen Knick machen und dann in ein Plateau übergehen. Das lässt sich mit den üblichen Transformationen (Potenzen, Logarithmen, Wurzeln, ...) nicht vernünftig abbilden.

Ich nehme an, dass eine solche Transformation zu einem linearen Zusammenhang allen voran wünschenswert ist, da es mir das Leben bei der Interpretation der Ergebnisse einfacher macht.

Ich befürchte, den Satz habe ich nicht verstanden, kann aber trotzdem antworten: Es gibt viele verschiedene Gründe, warum man Regressionen rechnet und was wünschenswert ist hängt oft sehr genau von den jeweiligen Umständen und der Motivation ab. Bin erst kürzlich über eine medizinische Studie gestolpert, die zwei verschiedene Regressionen für die gleiche Sache gerechnet hat. Eine super komplizierte mit den ganz großen Geschützen aus Statistik und Maschinellem Lernen um ihren wissenschaftlichen Erkenntnisgewinn zu erzielen (Patienten mit bestimmten Herzinsuffizienzen lassen sich in vier Gruppen unterteilen) und danach nochmal eine recht schlichte Form, die man auf einen kleinen Zettel drucken kann, damit Ärzte in Krankenhäusern die Gruppenunterteilung ohne Computer vornehmen können. Gleiche Daten, gleiche Arbeitsgruppe, gleiches Paper aber zwei völlig verschiedene Regressionen für zwei verschiedene Ziele.

LG,
Bernhard

[Freddy19911]

Hi Bele,

ich glaube ich habe mich verwirrend ausgedrückt: Bleiben wir mal bei dem eingangs erwähnten Koffeinkonsum-Konzentrations-Beispiel. Nehmen wir an ich habe den Begründungszusammenhang beider Variablen aus der Theorie hergeleitet und möchte ihn nun empirisch prüfen. Ich erhebe also eine Stichprobe und notiere mir das Ausmaß an Konzentration für den beobachteten Koffeinkonsum (wie auch immer gemessen). Dann plotte ich diesen Zusammenhang und erhalte folgendes Bild (leider kann ich das Bild nicht direkt im Forum hochladen, da das Dateikontingent ausgeschöpft ist...)

https://imgur.com/KhMaYdt

So ohne weiteres ließe sich eine Gerade wohl eher weniger an das Streudiagramm anpassen. Nun habe ich aber ja gelernt, dass sich ein solch nicht-linearer Zusammenhang dennoch durch ein lineares Regressionsmodell schätzen lässt. Was mich verwirrt ist die Sache mit der Datentransformation: Der Zusammenhang auf dem Streudiagramm ließe sich doch vermutlich mit einer Funktion dieser Art Ŷ = a + b 1X_1 – b2X_1^2 ganz gut darstellen. Diese wäre doch linear in den Parametern und somit durch eine lineare Regressionsanalyse zu schätzen(?) Dafür bräuchte ich aber doch keine Transformation der Daten oder sehe ich das falsch? Das Regressionsmodell fabriziert dann eben eine umgedreht u-förmige Kurve, wobei der Verlauf der Regressionskurve ja nichts damit zu tun hat, ob das Modell linear ist oder nicht.

Ich habe es so verstanden, dass ich alternativ zu der Funktion Ŷ = a + b 1X_1 – b2X_1^2 auch versuchen könnte die Daten so zu transformieren, dass sich ein lineares Streudiagramm ergibt, sodass ich den Zusammenhang durch eine Gerade und nicht durch eine quadratische Funktion schätzen kann.

Habe ich da etwas ganz gewaltig missverstanden?