Nicht-signifikante Regressoren rausschmeißen?

Alle Verfahren der Regressionanalyse.

Nicht-signifikante Regressoren rausschmeißen?

Beitragvon Schaumgummiball » Fr 16. Dez 2011, 14:35

Liebe alle,

ich muss wieder einmal Eure Hilfe in Anspruch nehmen... es ist wahrscheinlich eine total simple Frage, aber ich bin grade ziemlich durcheinander... :(
Man liest in der Literatur häufig (aber irgendwie auch nicht immer), dass nicht-signifikante Prädiktoren aus einem Regressionsmodell herausgenommen werden können (oder sollten?). Ich dachte bisher eigentlich, dass zu viele Prädiktoren nicht so schlimm sind, so lange man sich am korrigierten R2 orientiert und die Power nicht zu sehr darunter leidet, aber jetzt habe ich eben schon mehrfach gelesen, dass man nicht-signifikante Regressoren entfernen sollte, weil sonst auch das korrigierte R2 nicht wirklich aussagekräftig ist... allerdings gibt es doch für mein Modell ja eine theoretische Begründung, so dass ich es intuitiv falsch finde, die Parameter aus dem Modell zu entfernen. :?

In meinem speziellen Fall ergeben sich noch weitere Gründe, aus denen heraus ich unsicher bin, wie ich in meiner Regressionsanalyse mit den nicht-signifikanten Regressoren umgehen soll, und zwar aus folgenden zwei Gründen:

(1) Ich habe unter den Regressoren Kontextvariablen, von denen in der Literatur ausgegangen wird, dass sie einen Einfluss ausüben; das tun sie aber bei mir in der Regel nicht (zumindest sind die nict signifikant, wobei beta aber auch nicht immer Null ist, aber bei meinem N wohl nicht groß genug). Sollte ich sie im Modell lassen, um zu zeigen, dass meine anderen Prädiktoren signifikant sind, wenn diese Kontextfaktoren konstant gehalten werden? Oder sollte ich sie rausschmeißen, sofern sich dadurch nichts an den anderen Prädiktoren ändert?

(2) Da ich eine international vergleichende Studie habe, mit Fragebögen in drei verschiedenen Sprachen und offenbar hoch kulturspezifischem Antwortverhalten (in einem Land tendenziell sehr hohe Einschätzungen, im anderen Land durchweg eher niedrig etc.), rechne ich für jedes Ländersample jeweils eine eigene Regressionsanalyse und mache im Anschluss einen "qualitativen" Vergleich der Muster. Gerade um die Vergleichbarkeit trotzdem zu erhalten, möchte ich eigentlich für alle drei Länder das gleiche Modell rechnen. Es werden aber in den einzelnen Ländern unterschiedliche Prädiktoren signifikant, so dass ich die Vergleichbarkeit einschränken würde, wenn ich einen Prädiktor in der einen Analyse lösche und in der anderen nicht... also alle drin lassen? Oder alle löschen, die in allen drei Ländern nicht-signifikant sind (dann wieder Problem 1)?

Schon einmal vielen Dank für Eure Antworten!

Verwirrte Grüße vom Schaumgummiball
Schaumgummiball
Beobachter
Beobachter
 
Beiträge: 18
Registriert: Di 18. Okt 2011, 11:35
Danke gegeben: 2
Danke bekommen: 0 mal in 0 Post

Re: Nicht-signifikante Regressoren rausschmeißen?

Beitragvon PonderStibbons » Fr 16. Dez 2011, 15:36

Man liest in der Literatur häufig (aber irgendwie auch nicht immer), dass nicht-signifikante Prädiktoren aus einem Regressionsmodell herausgenommen werden können (oder sollten?).

Mag sein. Die wesentlich Frage ist, warum und wozu DU es tun solltest und was Du davon für einen Nutzen hättest.

Mit freundlichen Grüßen

P.
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 11362
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 51
Danke bekommen: 2501 mal in 2485 Posts

Re: Nicht-signifikante Regressoren rausschmeißen?

Beitragvon Schaumgummiball » Di 20. Dez 2011, 11:27

Zuerst einmal vielen Dank für die Antwort, und Entschuldigung, dass ich nicht früher dazu gekommen bin, zu antworten.
Inwiefern ich tatsächlich einen Nutzen ich davon haben könnte, nicht-signifikante Regressoren zu entfernen, ist mir leider eben auch nicht ganz klar, deshalb auch meine Frage :)
Ich habe recht viele Regressoren in meinem Modell, so dass meine Sorge ist, dass das Modell überspezifiziert sein könnte und dementsprechend meine Schätzgenauigkeit verzerrt wird. Allerdings bin ich mir nicht sicher, wie gravierend diese Verzerrung ist (bzw. ob es dann reicht, auf das korrigierte R-Quadrat zu schauen).

Viele Grüße
der Ball
Schaumgummiball
Beobachter
Beobachter
 
Beiträge: 18
Registriert: Di 18. Okt 2011, 11:35
Danke gegeben: 2
Danke bekommen: 0 mal in 0 Post

Re: Nicht-signifikante Regressoren rausschmeißen?

Beitragvon PonderStibbons » Di 20. Dez 2011, 12:06

Ich habe recht viele Regressoren in meinem Modell, so dass meine Sorge ist, dass das Modell überspezifiziert sein könnte

Das ist es auch dann, wenn nichtsignifikante Prädiktoren herausgenommen werden. Der Witz ist,
es wird zwar häufig empfohlen, ändert aber nichts an dem Problem. Überspitzt dargestellt: wenn
ich bei n=20 aus 15 Prädiktoren die 2 "signifikantesten" im Modell belasse und die anderen unter den
Tisch fallen lasse, hat sich dann auf magische Weise das Problem erledigt, dass viele Prädiktoren
durchgenudelt wurden? Das Resultat nutzt so oder so den Zufall aus, R² und F-Test sind verzerrt.

Ließe man Prädiktoren im Modell, hätte man zumindest das korrigierte R² und es wird auch jedem
auf den ersten Blick klar, dass das Modell problematisch sein könnte. Andernfalls braucht es
entweder eine sehr ansehliche Stichprobengröße zur Modellselektion, weil da die Zufallsfehler
nurmehr klein wären, oder man nutzt Vorselektion or stepwise oder ähnliches, überprüft aber
den Schrumpfungsfaktor der Modellgüte am Ende durch Kreuzvalidierung.

Mit freundlichen Grüßen

P.
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 11362
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 51
Danke bekommen: 2501 mal in 2485 Posts

folgende User möchten sich bei PonderStibbons bedanken:
Schaumgummiball

Re: Nicht-signifikante Regressoren rausschmeißen?

Beitragvon Schaumgummiball » Mi 21. Dez 2011, 10:51

Überspitzt dargestellt: wenn ich bei n=20 aus 15 Prädiktoren die 2 "signifikantesten" im Modell belasse

So schlimm ist es zum Glück bei mir nicht ;)
Aber ich glaube, ich verstehe, was Du meinst. Danke für die Hilfe!

VG
Schaumgummiball
Beobachter
Beobachter
 
Beiträge: 18
Registriert: Di 18. Okt 2011, 11:35
Danke gegeben: 2
Danke bekommen: 0 mal in 0 Post


Zurück zu Regressionanalyse

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast