STATISTIK-FORUM.de

[Loba06]

Hallo,

Wäre super, wenn ihr mal bei folgendem Problem helfen könnt...

Die Fragestellungen lauten grob:
1) Gibt es einen Zusammenhang zwischen dem Ausmaß einer bestimmten "Art der Förderung" und der "erlebten Wirksamkeit der Förderung""?
2) Gibt es Zusammenhänge zwischen soziodemografischen Variablen und dieser "Art der Förderung" // dessen "erlebter Wirksamkeit"?

Der Fragebogen würde übernommen und beinhaltet eine Menge soziodemografischer Variablen und die zwei Skalen "Art der Förderung" und "erlebte Wirksamkeit der Förderung"
Das Ausmaß der "Art der Förderung" hat 2 Subskalen. Die erlebte Wirksamkeit hat 3 theoriegeleitet gebildete Subskalen. Weitgehend alle Items sind völlig schief verteilt (zu leicht).
Es werden jeweils sowohl die Gesamtskalen als auch die Subskalen zur Berechnung herangezogen (Intervall, Skala 1-5)
Zu sagen ist vielleicht noch, dass beide Skalen subjektiv von Dritten beurteilt werden (Bezugspersonen von jenen, die die Förderung erhalten)
Es sind sehr viele soziodemografische Fragen mit jeweils unterschiedlichem Skalenniveau (Nominal, Intervall)
N=300


In Bezug auf Fragestellung 1) wird angenommen, dass sich die beiden Variablen wechselseitig beeinflussen könnten, d.h. es wurden 12 Korrelationen berechnet. Von Interesse ist allerdings nur die Auswirkung "Art der Förderung"->"Wirksamkeit".

Zu Fragestellung 2) Die soziodemografischen Variablen sind jeweils unterschiedlich skaliert. Weiters stellen einige soziodemografische Daten Beziehungshypothesen dar (wie Geschlecht, Alter, etc.), andere könnten jedoch nur als Zusammenhangshypothesen formuliert werden. Es wurden viele Varianzanalysen, T-Tests und Korrelationen.. berechnet, da beide Variablen der Hauptfragestellung inkl. Unterskalen interessierten.


Zu meinen Fragen:

a.) Betreffl. Fragestellung 2 (soziodemografische Variablen)
Ergibt es überhaupt Sinn so viele unterschiedliche Verfahren zu berechnen? Wäre es besser alle Skalen auf Nominalskalenniveau herunter zu skalieren und Chi-Quadrat Tests zu berechnen?
Mit Chi-Quadraten wird es aufgrund der zu leichten Items vermutlich ein Problem der Nicht-Gleichverteilung der Randsummen geben.

b.) Macht es Sinn im Anschluss eine Regression zu berechnen, in der die signifikanten Ergebnisse in Bezug auf beide Fragestellungen (also die signifikanten soziodemografischen Variablen und die signifikanten Ergebnisse hinsichtlich des Ausmaßes der Art der Frühförderung) als Prädiktoren eingehen?
Eine Regression nimmt ja theoretisch Kausalität an, ist aber dennoch ein Zusammenhangsmaß? Kann man überhaupt eine Regression rechnen, wenn eine Zusammenhang angenommen wird? (Wobei angenommen wird, dass der Einfluss von dem Kriterium auf den Prädiktor eher gering sein dürfte.)

Wenn jemand einen ganz anderen, besseren Lösungsvorschlag hat, wäre ich dafür auch sehr dankbar

Danke!
Lg

[PonderStibbons]

Wäre es besser alle Skalen auf Nominalskalenniveau herunter zu skalieren und Chi-Quadrat Tests zu berechnen?

Dadurch wäre nichts gewonnen und zugleich statistisch
relevante Information verschwendet. Das eigentliche
Problem ist das erhöhte Risiko falsch-positiver Befunde durch
multiples Testen. Man sollte vielleicht die Zahl der Frage (Tests)
aus inhaltlichen oder praktischen Überlegungen beschränken,
oder man sollte in der Regel zumindest die Signifikanzschwelle
korrigieren (runtersetzen).

Mit Chi-Quadraten wird es aufgrund der zu leichten Items vermutlich ein Problem der Nicht-Gleichverteilung der Randsummen geben.

Es ist keine Voraussetzung für den Chi² Test, dass
Randsummen gleichverteilt sind.

b.) Macht es Sinn im Anschluss eine Regression zu berechnen, in der die signifikanten Ergebnisse in Bezug auf beide Fragestellungen (also die signifikanten soziodemografischen Variablen und die signifikanten Ergebnisse hinsichtlich des Ausmaßes der Art der Frühförderung) als Prädiktoren eingehen?

Ob das Sinn ergibt, lässt sich von hier aus schlecht beurteilen.
Es ist ja kein Grund bzw. Zweck dafür genannt. Zumindest wird
es schwer interpretierbar und schwer generalisierbar,
was dabei herauskommt, da die Kandidaten für die Regression bereits
"vorgesiebt" wurden. Der gemeinsame Zusammenhang der Prädiktoren
mit dem Kriterium (die Varianzaufklärung des Modells) wird dadurch
ziemlich sicher überschätzt.

Eine Regression nimmt ja theoretisch Kausalität an,

Nein, das ist nicht richtig. Es ist einfach ein Verfahren, mit dem Werte
der "abhängigen" Variablen durch eine gwichtete Summe der "unabhängigen"
Variablen vorhergesagt werden. Ob bzw. in welche Richtungen kausale
Beziehungen vorliegen, ist für das Verfahren unerheblich.

Lg

wtf


Mit freundlichen Grüßen

P.

[Loba06]

Vielen Dank für die schnelle und kompetente Antwort!

Das eigentliche
Problem ist das erhöhte Risiko falsch-positiver Befunde durch
multiples Testen. Man sollte vielleicht die Zahl der Frage (Tests)
aus inhaltlichen oder praktischen Überlegungen beschränken,
oder man sollte in der Regel zumindest die Signifikanzschwelle
korrigieren (runtersetzen).

Ja, das ist mir durchaus bewusst und die Empfehlung habe ich bereits gegeben. Kurze Rechtfertigung - Da es noch sehr wenig Forschung zu dieser Art der Förderung gibt, wollte die Autorin der Arbeit alle Faktoren testen (nicht meine Arbeit, ich wurde nur nach Rat gefragt.)

Es ist keine Voraussetzung für den Chi² Test, dass
Randsummen gleichverteilt sind.

Hoppla! Ich glaube laut einer Angabe von Bortz wird es empfohlen, dass die Randsummen bei Kreuztabellen annähernd gleichverteilt sind, was ja nicht gleichbedeutend mit einer Voraussetzung ist. Danke

Ob das (Anm.: Regression) Sinn ergibt, lässt sich von hier aus schlecht beurteilen.
Es ist ja kein Grund bzw. Zweck dafür genannt. Zumindest wird es schwer interpretierbar und schwer generalisierbar, was dabei herauskommt, da die Kandidaten für die Regression bereits "vorgesiebt" wurden. Der gemeinsame Zusammenhang der Prädiktoren mit dem Kriterium (die Varianzaufklärung des Modells) wird dadurch ziemlich sicher überschätzt.

Ich habe keine Erfahrung mit der Regression.
Mein Gedankengang war: Die soziodemografischen Variablen könnten Einflussfaktoren auf die Beziehung Art der Förderung -> erlebte Wirksamkeit sein. Beachtet man die Variablen gemeinsam, lässt sich beispielsweise mit einer schrittweisen Regression feststellen, welche die tatsächlichen Einflussfaktoren sind?
Alle soziodemografischen Faktoren, welche signifikant sind, sind sowohl in Bezug auf die Art der Förderung als auch im Bezug auf die Wirksamkeit signifikant, was für mich schon ein Hinweis darauf ist, dass man die Variablen kontrollieren müsste.

Das mit der Alpha-Fehler-Kumulierung und Aussortierung sehe ich allerdings in Bezug auf die ganze Studie ein.
Habe ich das richtig verstanden: Wenn die Regression die Methode der Wahl ist, dann werden vorab mit derselben Stichprobe keine Tests durchgeführt? Alle Variablen, auch wenn noch nicht bekannt ist, welche Variablen mögliche Einflussfaktoren sind, werden in der Regression aufgenommen?

Eine Regression nimmt ja theoretisch Kausalität an,

Nein, das ist nicht richtig. Es ist einfach ein Verfahren, mit dem Werte
der "abhängigen" Variablen durch eine gwichtete Summe der "unabhängigen"
Variablen vorhergesagt werden. Ob bzw. in welche Richtungen kausale
Beziehungen vorliegen, ist für das Verfahren unerheblich.

Oh, das heißt die Regression misst Zusammenhänge und man benötigt keine Annahmen über Kausalität?

Danke

Lg, Loba

[PonderStibbons]

Mein Gedankengang war: Die soziodemografischen Variablen könnten Einflussfaktoren auf die Beziehung Art der Förderung -> erlebte Wirksamkeit sein. Beachtet man die Variablen gemeinsam, lässt sich beispielsweise mit einer schrittweisen Regression feststellen, welche die tatsächlichen Einflussfaktoren sind?

Solche Fragen werden nicht durch einen Algorithmus geklärt.

Und was fängt man mit einem eventuellen Modell an, in dem
z.B. 8 ehedem "signifikante" Prädiktoren enthalten sind, von
denen nun vielleicht nur noch 4 "signifikant" sind? Die
nunmehr nicht mehr signifikanten Prädiktoren sind damit
plötzlich nicht-tatsächlich? Schwer zu interpretieren.
Man müsste eigentlich auch noch Wechselwirkungen
aufnehmen, um Moderatoreffekte nicht zu vergessen.

Ich würde mein Modell nicht nach mechanischen Kriterien
(Vorauswahl, dann auch noch schrittweise Selektion)
bilden, weil dann wie gesagt a) der Zufall ausgenutzt
und die Generalisierbarkeit fragwürdig wird, und b)
die inhaltliche Interpretierbarkeit oft leidet. Ich würde
mir ein paar Variablen suchen, die auf Basis der Literatur
oder aus theoretischen oder aus praktischen Erwägungen
interessant sind und daraus mein Modell erstellen.

Aber wie auch immer: bitte niemals eine schrittweise
Variablenselektion! Wenn schon nach "Signifikanz" vorausgewählte
Variablen, dann in einem Rutsch. Schrittweise Verfahren
produzieren viel zu oft verzerrte und irreführende Ergebnisse.

Lg,

wtf

Mit freundlichen Grüßen

P.