Prädiktorenauswahl

Alle Verfahren der Regressionanalyse.

Prädiktorenauswahl

Beitragvon integral » Mi 29. Feb 2012, 11:44

Hallo zusammen,
ich lese gerade eine Studie, die mich etwas stutzig macht. Und zwar führt da der Autor eine multiple logistische Regression durch. Die Prädiktoren
wählt er nach dem Gesichtspunkt aus, ob sie mit der aV bivariat in einem signifikanten Zusammenhang stehen.

Seht ihr das auch so, dass das keine besonders gute Idee ist?
integral
Power-User
Power-User
 
Beiträge: 57
Registriert: Fr 17. Jun 2011, 10:08
Danke gegeben: 4
Danke bekommen: 2 mal in 2 Posts

Re: Prädiktorenauswahl

Beitragvon PonderStibbons » Mi 29. Feb 2012, 14:10

Ob das eine gute oder schlechte Idee ist, kommt auf die Umstände an.
Vielleicht schilderst Du erst einmal, wieso Du es für schlecht hälst.

Mit freundlichen Grüßen

P.
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 11362
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 51
Danke bekommen: 2501 mal in 2485 Posts

Re: Prädiktorenauswahl

Beitragvon integral » Mi 29. Feb 2012, 14:18

Ich hab mir verschiedenes dazu überlegt:

1. Es wäre ja möglich, dass der Effekt eines Prädiktors durch eine (bekannte) Drittvariable moderiert wird
und daher bivariat kein ausreichendes Signifikanzniveau erreicht. Dann würde man den Prädiktor nicht
ins Modell aufnehmen, obwohl man dies sollte.

2. Alpha-Fehler-Kumulierung: Wenn man sämtliche möglichen Prädiktoren bivariat betrachtet (multiple
Mittelwertsvergleiche), dann muss man die Alpha-Fehler-Kumulierung berücksichtigen, ansonsten man
u.U. Prädiktoren ins Modell aufnimmt, die unbedeutsam sind.

Kann man das so sagen?
integral
Power-User
Power-User
 
Beiträge: 57
Registriert: Fr 17. Jun 2011, 10:08
Danke gegeben: 4
Danke bekommen: 2 mal in 2 Posts

Re: Prädiktorenauswahl

Beitragvon PonderStibbons » Mi 29. Feb 2012, 14:59

Moderatorbeziehungen müsste man vorausdenken und eigens (als
Wechselwirkungen) modellieren, das berührt das problem der
Vorauswahl nicht so recht. Vielleicht meinst Du Mediator- und
Suppressorphänomene? Auch da könnte es wohl eher auf die
tehroetischen Vorannahmen ankommen, und ob das für das Ziel
der Analyse überhaupt von Belang ist.

Was das zweite angeht, den verbreiteten Fehler, so zu tun als ob
die dann berechnete Regression aus dem Nichts entstanden wäre,
den darf man natürlich nicht begehen. Das R² wird dann überschätzt.
Was die einzelnen Prädiktoren angeht: wenn man möglichst vermeiden
will, Fehler erster Art bei der Vorauswahl zu begehen, dann kann
man eine Korrektur des Signifikanzniveaus durchführen. Oder das
Signifikanzniveau für die Koeffiziententests strenger ansetzen.

Das eigentliche Problem ist, Vorauswahl anhand der Einzelkorrelationen
wird meistens vorgenommen, um eine große Zahl Variablen zu
refuzieren, also welche Alternative steht dafür zu Gebote.

Mit freundlichen Grüßen

P.
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 11362
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 51
Danke bekommen: 2501 mal in 2485 Posts

Re: Prädiktorenauswahl

Beitragvon integral » Mi 29. Feb 2012, 15:38

PonderStibbons hat geschrieben:Moderatorbeziehungen müsste man vorausdenken und eigens (als
Wechselwirkungen) modellieren, das berührt das problem der
Vorauswahl nicht so recht. Vielleicht meinst Du Mediator- und
Suppressorphänomene? Auch da könnte es wohl eher auf die
tehroetischen Vorannahmen ankommen, und ob das für das Ziel
der Analyse überhaupt von Belang ist.


Die Idee war ja, dass eine Variable bivariat mit der Kriteriumsvariable nicht signifikant korreliert ist,
weil eine Drittvariable die Beziehung dieser Variablen mit der aV abschwächt. Ich glaube, das wäre dann
keine Suppressorvariable, weil eine Suppressorvariable ja nur die irrelevante Varianz der uV unterdrückt, oder
habe ich da was falsch verstanden? Mediatorvariable wäre hier m.E. auch nicht der richtige Begriff.


Das eigentliche Problem ist, Vorauswahl anhand der Einzelkorrelationen
wird meistens vorgenommen, um eine große Zahl Variablen zu
refuzieren, also welche Alternative steht dafür zu Gebote.


Ja welche?

Ich hätte ja alle Prädiktoren in ein Modell gepackt und dann die nicht-signifikanten
wieder entfernt. stepwise include oder exclude scheint mir ja auch keine wirkliche Lösung zu sein (haben wir schon
an anderer Stelle diskutiert), weil die Reihenfolge der Aufnahme eine Rolle spielt.
integral
Power-User
Power-User
 
Beiträge: 57
Registriert: Fr 17. Jun 2011, 10:08
Danke gegeben: 4
Danke bekommen: 2 mal in 2 Posts

Re: Prädiktorenauswahl

Beitragvon PonderStibbons » Mi 29. Feb 2012, 16:21

weil eine Suppressorvariable ja nur die irrelevante Varianz der uV unterdrückt

Na eben, darum geht es doch. Irrelevante Varianz ist Fehlervarianz.
Wenn man diese Fehlervarianz durch Einbezug einer weiteren
Variablen "wegbekommt", bleibt übrig die Varianz, die mit y
verbundne ist und der Korrelationskoeffizient steigt.
Ich hätte ja alle Prädiktoren in ein Modell gepackt und dann die nicht-signifikanten
wieder entfernt.

Ich kenne die Umstände nicht und vor allem das Analyseziel nicht, daher kann ich
das nicht beurteilen. Allerdings, werden "nichtsignifikante" Variablen entfernt,
bewirkt dies doch potenziell dasselbe wie initial beschrieben. Und dass man ein
hübsch interpretierbares Modell daraus bekommt, ist nicht garantiert.

Mit freundlichen Grüßen

P.
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 11362
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 51
Danke bekommen: 2501 mal in 2485 Posts

Re: Prädiktorenauswahl

Beitragvon integral » Mi 29. Feb 2012, 18:29

PonderStibbons hat geschrieben:Na eben, darum geht es doch. Irrelevante Varianz ist Fehlervarianz.
Wenn man diese Fehlervarianz durch Einbezug einer weiteren
Variablen "wegbekommt", bleibt übrig die Varianz, die mit y
verbundne ist und der Korrelationskoeffizient steigt.


Ja schon, aber in meinem Beispiel ging es ja darum, dass eine Variable den eigentlich bestehenden Zusammenhang
zwischen einem Prädiktor und der aV "verschleiert". Es wird also die relevante Varianz unterdrückt, weswegen man dann nicht
von einer Suppression spricht, oder? Allerdings weiss nicht nicht, wie man das stattdessen nennt.

Ich kenne die Umstände nicht und vor allem das Analyseziel nicht, daher kann ich
das nicht beurteilen. Allerdings, werden "nichtsignifikante" Variablen entfernt,
bewirkt dies doch potenziell dasselbe wie initial beschrieben. Und dass man ein
hübsch interpretierbares Modell daraus bekommt, ist nicht garantiert.


Es geht auch hier letztlich um einen Vergleich der "Einflussstärken" verschiedener Prädiktoren. Da es ja eine logistische Regression ist,
hat sich der Autor dann auf die Effektkoeffizienten (exp(B) ) bezogen. Gehe ich Richtig in der Annahme, dass so ein Vergleich analog zur
linearen Regression sowieso nicht sehr sinnvoll ist? (siehe post3643.html?hilit=King#p3643 mit dem Verweis auf einen Text von King)
integral
Power-User
Power-User
 
Beiträge: 57
Registriert: Fr 17. Jun 2011, 10:08
Danke gegeben: 4
Danke bekommen: 2 mal in 2 Posts

Re: Prädiktorenauswahl

Beitragvon PonderStibbons » Mi 29. Feb 2012, 20:21

Ach, so ist das. Nein, leider übersteigt die Frage, in wieweit logistische
und lineare Regression in solchen Hinsichten vergleichbar sind, meine
Kenntnisse.

Mit freundlichen Grüßen

P.
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 11362
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 51
Danke bekommen: 2501 mal in 2485 Posts


Zurück zu Regressionanalyse

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 10 Gäste