STATISTIK-FORUM.de

[J0nas]

Hallo,

Wenn ich eine Große Datenmenge von ein zwei Millionen Datensätzen habe und darauf eine Multiple lineare Regression mit 10 Variablen berechne, macht es dann Sinn, sich noch das Residuum genauer anzuschauen? Ich habe gehört, dass bei großen Datensätzen eine Verteilungsanalyse schwierig ist.

Vielen Dank!

[mango]

Kannst du das ein bißchen konkreter erklären? Die Residuen willst du dir zur Begutachtung der Modellvoraussetzungen anschauen, oder? Vielleicht verstehe ich dich falsch, aber das solltest du immer tun, unabhängig von der Größe deines Datenfiles.

[J0nas]

Ja, also zum Beispiel: ich habe 2 Millionen Datensätze. D. h. ich habe 2 Millionen Residuen. mit dieser großen Anzahl kann ich doch kein Test au Normalverteilung durchführen , oder doch? Ich habe gelesen das z.b. der Shapiro-Wilk Test ei großen Daten versagt. Glaub beim AD Test trifft dies auch zu? Alternativ kann ich die Residuen auch plotten, aber ich glaube bei 2 Mio Datensätzen erkennt man nicht viel.
Wie kann ich also die Residuen begutachten, oder steh ich auf dem Schlauch

[PonderStibbons]

Da kannst Du interessehalber einen Q-Q Plot machen, aber Normalverteilung ist bei n > 50 für die Gültoigkeit der F-Testergebnisse eigentlich irrelevant. Es ist ja auch schon fraglich, ob man bei Millionen Fällen noch unbedingt Signifikanztests braucht, der Standardfehler ist derart winzig, wozu dann noch eigens Signifikanztests.

Der Shapiro-Wilks versagt übrigens nicht, sondern er wird auf jeden Fall eine "hochsignifikante" Abweichung von der Normalverteilung anzeigen, womit man aber wenig anfangen kann.

Mit freundlichen Grüßen

P.