Signifikanter Koeffizient - statistisches Artefakt?

Alle Verfahren der Regressionanalyse.

Signifikanter Koeffizient - statistisches Artefakt?

Beitragvon IsaZeit93 » Di 3. Sep 2019, 10:52

Guten Tag Zusammen,

ich habe in meiner Studie verschiedene Skalen erhoben und unter anderem eine neue Skala konstruiert.
Mittels multipler Regression wollte ich herausfinden, inwiefern meine neu entwickelte Skala einen Vorteil gegenüber den anderen Skalen aufwies.
Mein Prof schlug vor, zunächst die Rohkorrelation zwischen meiner Skala und den verschiedenen AV's zu berechnen und dann verschiedene multiple Regressionen und dabei dann vor allem auf die Semipartialkorrelation zu blicken.
Das Ganze erfolgte in zwei Schritten. Meine neue Skala erfasst eine gewisse Art von Emotionen. Daher sollte ich im ersten Schritt zunächst nur die Skalen mit in die Analyse aufnehmen, die ebenfalls Emotionen erfassen. Im nächsten Schritt sollte ich dann ALLE Skalen in das Modell schmeißen (die anderen Skalen erfassen noch ASpekte wie Einstellungen etc.), um zu schauen, wie sich der Zusammenhang zwischen meiner Skala und der AV verändert.

Heißt quasi drei Schritte: 1. Rohkorrelation, 2. Multiple Regression mit den emotionsbasierten Skalen, 3. Multiple Regression mit allen Skalen.

Folgendes Problem. Bei einer AV zeigte sich sowohl in Schritt 1, als auch in Schritt zwei kein signifikanter Zusammenhang. Im dritten Schritt wurde der Zusammenhang auf einmal signifikant, aber auch nicht in der Richtung, wie es erwartet wurde. Inhaltlich lässt sich das kaum erklären. Daher meine Frage:

:?: Kann ich dieses Ergebnis als ein statsitisches Artefakt beschreiben? Ich habe in dem letzten Modell ziemlich viele Prädiktoren aufgenommen. Die können ja z.B. dazu führen, dass der Determinationskoeffizient verzerrt wird. Kann die hohe Anzahl der Prädiktoren auch als Grund angeführt werden, dass ein Koeffizient signifikant wird, obwohl er es eigentlich nicht ist?

Ich habe dann mal noch eine Regression nur mit den Skalen durchgeführt, die im dritten Schritt ergänzt wurden (also nur die Skalen zu Einstellungen etc.) - und siehe da, kein signifikanter Zusammenhang mehr.

Ich finde da leider im Internet keine Erklärung für. Ist meine statistische Erklärung plausbiel? Seht ihr da noch andere mögliche Gründe, weshalb ein Koeffizient fälschlicherweise signifikant wird? Wenn ihr wisst, gerne auch die richtigen statistischen Begriffe, damit ich irgendwie noch eine Quelle dazu suchen kann.

Vielen Dank für die Hilfe!

Isa
IsaZeit93
Grünschnabel
Grünschnabel
 
Beiträge: 3
Registriert: Di 3. Sep 2019, 10:30
Danke gegeben: 1
Danke bekommen: 0 mal in 0 Post

Re: Signifikanter Koeffizient - statistisches Artefakt?

Beitragvon PonderStibbons » Di 3. Sep 2019, 11:13

ich habe in meiner Studie verschiedene Skalen erhoben und unter anderem eine neue Skala konstruiert.

Wie lautet denn das Thema der Studie und die Fragestellung? Was für Skalen wurden konkret erhoben?
Konkret was für eine neue Skala wurde auf konkret welche Weise konstruiert? Insbesondere: Wie groß ist die
Studienstichprobe?


Daher sollte ich im ersten Schritt zunächst nur die Skalen mit in die Analyse aufnehmen, die ebenfalls Emotionen erfassen. Im nächsten Schritt sollte ich dann ALLE Skalen in das Modell

Wie viele Skalen sind es in Schritt 1? Wieviele Skalen kommen in Schritt 2 hinzu?

kein signifikanter Zusammenhang

p=0,050? p=0,99? - Ergebnisse bitte nicht mit uninformativen Angaben wie "nicht/signifikant"
darstellen, besser mit Koeffizienten und Standardfehlern bzw. mit R² sowie dem genauem p-Wert.
Weitere Frage: Zusammenhang zwischen wem und was, zwischen Gesamtmodell und AV? Zwischen
den einzelnen Prädiktoren und der AV?

Mit freundlichen Grüßen

PonderStibbons
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 11362
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 51
Danke bekommen: 2501 mal in 2485 Posts

folgende User möchten sich bei PonderStibbons bedanken:
IsaZeit93

Re: Signifikanter Koeffizient - statistisches Artefakt?

Beitragvon IsaZeit93 » Di 3. Sep 2019, 15:10

Danke für die Antwort.

Ich dachte, das genaue Thema ist jetzt nicht so relevant, da es mir einfach darum geht, ob es grundsätzlich möglich ist, dass Koeffizienten in einem Regressionsmodell signifikant werden, obwohl sie es nicht sind und man somit von einem statistischen Artefakt o.Ä. ausgehen kann und ob zu viele Prädiktoren in diesem Modell dann als Grund dafür genannt werden können.

Es geht in meiner Studie um den Einfluss emotionaler Reaktivität auf Entscheidungprozesse in vermeintlichen Missbrauchsfällen. Führen Emotionen also dazu, dass in Verdachtsfällen eher dazu tendiert wird, einen Missbrauch zu vermuten.
Im Schritt 1 wurden 4 Skalen zur Messung von Empathie sowie eine Skala zur Messung von Neurotizismus kontrolliert.
Im zweiten Schritt wurden nochmal vier Skalen ergänzt, die Einstellungen und Überzeugungen erfassen. Im zweiten Schritt lagen also insgesamt 9 Prädiktoren vor.

Stichprobengröße N= 243

Meine Skala habe ich mittels einer expl. Faktorenanalyse berechnet. Gute interne Konsistenz (.912), gute Trennschärfen (>.72).

Bei den Zusammenhängen geht es immer um meine Skala zur Emotionalen Reaktivität und den abhängigen Variablen, heißt Entscheidungsverhalten (Die Probanden haben Fallvignetten gelesen und mussten entscheiden, ob ein Missbrauchsfall vorliegt oder nicht).

Das unerwartete Ergebnis in diesem zweiten Schritt: AV ist wiederum Entscheidung in einer Fallvignette, signifikanter Prädiktor: Emotionale Reaktivität ß= .-16 p = .04; semipartialkorrelation (also Kontrolle aller anderer Skalen) r = -.13. p = .04.
Korrelation nullter Ordnung war .05 bei p = .399

In besagtem Modell sind außerdem zwei weitere Prädiktoren signifikant geworden. Eine Einstellungsskala: ß= .25, p = .003; Eine Empathie-Skala: ß = .20 p =.02


Ich hoffe, eine Einschätzung fällt nun leichter.
Vielen Dank!
IsaZeit93
Grünschnabel
Grünschnabel
 
Beiträge: 3
Registriert: Di 3. Sep 2019, 10:30
Danke gegeben: 1
Danke bekommen: 0 mal in 0 Post

Re: Signifikanter Koeffizient - statistisches Artefakt?

Beitragvon IsaZeit93 » Di 3. Sep 2019, 15:11

korrigiertes R^2 lag in dem besagten Modell zudem bei .09
IsaZeit93
Grünschnabel
Grünschnabel
 
Beiträge: 3
Registriert: Di 3. Sep 2019, 10:30
Danke gegeben: 1
Danke bekommen: 0 mal in 0 Post

Re: Signifikanter Koeffizient - statistisches Artefakt?

Beitragvon PonderStibbons » Di 3. Sep 2019, 15:38

Ich dachte, das genaue Thema ist jetzt nicht so relevant, da es mir einfach darum geht, ob es grundsätzlich

Ob relevant oder nicht, weiß man nicht auf Anhieb. In jedem Fall sind konkrete Studien
interessanter zu diskutieren als Abstraktionen. Und grundsätzliche Diskussionen sind im
Vergleich zu konkreten Problemlösungen hier eher selten, dafür gibt es Fachlektüre.
möglich ist, dass Koeffizienten in einem Regressionsmodell signifikant werden, obwohl sie es nicht sind und man somit von einem statistischen Artefakt o.Ä. ausgehen kann und ob zu viele Prädiktoren in diesem Modell dann als Grund dafür genannt werden können.

Sicher ist es möglich. Der Grund dafür kann je nach konkreter Sachlage unterschiedlich sein.
Was Du mit Artefakt genau meinst, weiß ich aber nicht
Es geht in meiner Studie um den Einfluss emotionaler Reaktivität auf Entscheidungprozesse in vermeintlichen Missbrauchsfällen. Führen Emotionen also dazu, dass in Verdachtsfällen eher dazu tendiert wird, einen Missbrauch zu vermuten.

Demnach 2 Themen, zum einen der Effekt von Grad der emotionalen Reaktivität (trait),
zum anderen der Effekt der in der Situation aufgetretenen Emotionen.
Im Schritt 1 wurden 4 Skalen zur Messung von Empathie sowie eine Skala zur Messung von Neurotizismus kontrolliert. Im zweiten Schritt wurden nochmal vier Skalen ergänzt, die Einstellungen und Überzeugungen erfassen. Im zweiten Schritt lagen also insgesamt 9 Prädiktoren vor.
(...)
Bei den Zusammenhängen geht es immer um meine Skala zur Emotionalen Reaktivität und den abhängigen Variablen, heißt Entscheidungsverhalten (Die Probanden haben Fallvignetten gelesen und mussten entscheiden, ob ein Missbrauchsfall vorliegt oder nicht).

Wenn ich es richtig verstehe, soll die neue Skala Entscheidungsverhalten vorhersagen, gleichzeitig
werden zunächst 5, dann insgesamt 9 weitere Skalen zur Vorhersage verwendet. Der Grund dafür ist
mir leider nicht auf Anhieb klar.
Das unerwartete Ergebnis in diesem zweiten Schritt: AV ist wiederum Entscheidung in einer Fallvignette, signifikanter Prädiktor: Emotionale Reaktivität ß= .-16 p = .04; semipartialkorrelation (also Kontrolle aller anderer Skalen) r = -.13. p = .04.
Korrelation nullter Ordnung war .05 bei p = .399
In besagtem Modell sind außerdem zwei weitere Prädiktoren signifikant geworden. Eine Einstellungsskala: ß= .25, p = .003; Eine Empathie-Skala: ß = .20 p =.02

Am ehesten interessant ist die Einstellungsskala. Die beiden anderen Koeffizienten sind sehr klein, statistische
Signifikanz hin oder her.
Ich hoffe, eine Einschätzung fällt nun leichter.

Ich würde als erstes einen Suppressor-Effekt in Betracht ziehen.

Mit freundlichen Grüßen

PonderStibbons
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 11362
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 51
Danke bekommen: 2501 mal in 2485 Posts


Zurück zu Regressionanalyse

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 3 Gäste