Regressionsmodell signifikant, aber Prädiktor nicht

Alle Verfahren der Regressionanalyse.

Regressionsmodell signifikant, aber Prädiktor nicht

Beitragvon chrikel » Fr 9. Apr 2021, 14:18

Hallo!

Ich habe eine binomiale, logistische Regression eines Prädiktors A auf eine dichotome Variable B berechnet. Sie beruht auf 13 Beobachtungen, wobei zehn Beobachtungen in B = 0 und drei Beobachtungen in B = 1 fallen. Sie wurde signifikant:

χ²(1) = 5.383, p = .020, Nagelkerke’s R² = .513
Prozentsatz korrekter Klassifikationen: 84.6%, Sensitivität: 33.3%, Spezifität: 100%
Beim Regressionskoeffizient zeigt sich jedoch, dass Prädiktor A keinen signifikanten Teil zur Aufklärung von B beiträgt (p = .143).

Das Modell ist also signifikant, aber der (einzige) Prädiktor darin nicht. Wie kann das sein?

Vielen Dank!
chrikel
Mitglied
Mitglied
 
Beiträge: 29
Registriert: Di 8. Dez 2020, 12:37
Danke gegeben: 7
Danke bekommen: 0 mal in 0 Post

Re: Regressionsmodell signifikant, aber Prädiktor nicht

Beitragvon PonderStibbons » Fr 9. Apr 2021, 14:35

Ich habe eine binomiale, logistische Regression eines Prädiktors A auf eine dichotome Variable B berechnet.

Zur Formulierung; man führt die abhängige Variable auf die unabhängige zurück (Regression der AV auf die UV).
Nicht umgekehrt.

Warum so eine aufwändige Prozedur? Den Zusammenhang zwischen einer binären und einer intervallskalierte Variable
kannst Du doch per U-Test analysieren (wegen der kleinen Stichprobe nicht mit t-Test).

Mit freundlichen Grüßen

PonderStibbons
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 11362
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 51
Danke bekommen: 2501 mal in 2485 Posts

Re: Regressionsmodell signifikant, aber Prädiktor nicht

Beitragvon chrikel » Fr 9. Apr 2021, 14:48

PonderStibbons hat geschrieben:Zur Formulierung; man führt die abhängige Variable auf die unabhängige zurück (Regression der AV auf die UV). Nicht umgekehrt.

Danke für den Hinweis!

PonderStibbons hat geschrieben:Warum so eine aufwändige Prozedur? Den Zusammenhang zwischen einer binären und einer intervallskalierte Variable kannst Du doch per U-Test analysieren (wegen der kleinen Stichprobe nicht mit t-Test).

Die zugehörige Hypothese ist als Vorhersage formuliert, daher die Regression.

Irgendwelche Ideen, warum dieses Phänomen (Modell signifikant, aber nicht der Prädiktor) auftritt oder wie es erklärbar ist? Ich habe schon gelesen, dass Multikollinearität oder eine zu große Anzahl an Prädiktoren dazu führen können, aber beides liegt in meinem Fall ja nicht vor.
chrikel
Mitglied
Mitglied
 
Beiträge: 29
Registriert: Di 8. Dez 2020, 12:37
Danke gegeben: 7
Danke bekommen: 0 mal in 0 Post

Re: Regressionsmodell signifikant, aber Prädiktor nicht

Beitragvon PonderStibbons » Fr 9. Apr 2021, 15:25

Die zugehörige Hypothese ist als Vorhersage formuliert, daher die Regression.

Das eine ergibt sich doch nicht zwingend aus dem anderen. Wenn die Werte je nach Gruppenzugehörigkeit unterschiedlich
hoch sind, dann gibt es einen Zusammenhang zwischen Gruppe und Werten und das heißt, die Werte sagen statistisch die
Gruppenzugehörigkeit voraus. Die Höhe irgendwelcher Koeffizienten ist bei n=13 ohnedies irrelevant jenseits des Signifikanztests,
bei einer so kleinen Stichprobe ist der Standardfehler sehr groß.
Irgendwelche Ideen, warum dieses Phänomen (Modell signifikant, aber nicht der Prädiktor) auftritt oder wie es erklärbar ist?

Sicher, es sind zwei unterschiedliche Verfahren. Wenn Du zwei Tests für denselben Sachverhalt rechnest und betrachtest,
wo ein einfacherer (siehe oben) völlig ausgereicht hätte, kann das schonmal passieren.

Mit freundlichen Grüßen

PonderStibbons
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 11362
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 51
Danke bekommen: 2501 mal in 2485 Posts

Re: Regressionsmodell signifikant, aber Prädiktor nicht

Beitragvon bele » Fr 9. Apr 2021, 15:43

Hallo!

PonderStibbons hat geschrieben:
Die zugehörige Hypothese ist als Vorhersage formuliert, daher die Regression.

Das eine ergibt sich doch nicht zwingend aus dem anderen.


Wenn es hier nur um die Signifikanztestung geht, dann nicht. Wenn man ein Modell haben möchte, das später Vorhersagen ermöglicht, dann bietet die Regression das, der U-Test aber nicht.

Irgendwelche Ideen, warum dieses Phänomen (Modell signifikant, aber nicht der Prädiktor) auftritt oder wie es erklärbar ist?


Ich weiß nicht, wie solide die Quelle ist und habe kein Interesse, das selbst weiter zu erforschen -- aber da Du an anderer Stelle mal hast durchscheinen lassen, dass Du SPSS nutzt, könnte das für Dich interessant sein:
Warning: The parameters of a logistic regression model are estimated by Maximum Likelihood methods. Not infrequently, one or more parameters cannot be estimated if there is insufficient information in the data. Most statistical packages inform the users when this occurs, but SPSS does not, because some (undocumented) tricks are used when this case arises. However, you can recognize these "unestimable" coefficients in the output: Usually, they are of quite abnormous size (something between ± 6 to 10) and, above all, they have huge standard errors, not infrequently about twice or thrice the "estimate" for the coefficient.
aus: https://wlm.userweb.mwn.de/SPSS/wlmslr.htm

Da Dein Modell gerade mal einen positiven Fall richtig erkennt und überhaupt nur an drei positiven Fällen lernen darf, könnte "insufficient information" hier durchaus passen.

LG,
Bernhard
----
`Oh, you can't help that,' said the Cat: `we're all mad here. I'm mad. You're mad.'
`How do you know I'm mad?' said Alice.
`You must be,' said the Cat, `or you wouldn't have come here.'
(Lewis Carol, Alice in Wonderland)
bele
Schlaflos in Seattle
Schlaflos in Seattle
 
Beiträge: 5908
Registriert: Do 2. Jun 2011, 23:16
Danke gegeben: 16
Danke bekommen: 1396 mal in 1382 Posts

folgende User möchten sich bei bele bedanken:
chrikel

Re: Regressionsmodell signifikant, aber Prädiktor nicht

Beitragvon chrikel » Fr 9. Apr 2021, 16:18

bele hat geschrieben:Da Dein Modell gerade mal einen positiven Fall richtig erkennt und überhaupt nur an drei positiven Fällen lernen darf, könnte "insufficient information" hier durchaus passen.


Vielen Dank, das hilft mir sehr weiter!!! :)
chrikel
Mitglied
Mitglied
 
Beiträge: 29
Registriert: Di 8. Dez 2020, 12:37
Danke gegeben: 7
Danke bekommen: 0 mal in 0 Post


Zurück zu Regressionanalyse

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 10 Gäste