STATISTIK-FORUM.de

[openmind]

Liebes Statistik-Forum,

folgendes Problem bereitet mir schlaflose Nächte:

Ich habe im Rahmen einer Abschlußarbeit 5 städtischen Regionen mit jeweils 100 Haushalten befragt. Der Zugang in einem Entwicklungsland war aus politischen Gründen nicht unproblematisch.
Deshalb ist eine systematische Auswahl von Stichproben erfolgt, genauer eine Quotenstichprobe. Dabei habe ich den Eindruck, daß alle Subgruppen der Grundgesamthait ausreichend präsentiert werden.

Nun habe ich neben der rein deskriptiven Analyse (Absolute, Relative Häufigkeitsverteilungen) auch Regressionsanalysen durchgeführt, entsprechend des Skalenniveuas der abhängigen Variablen.

DIe Aussagen zu inferenzsstatistischen Möglichkeiten bei dieser Stichprobenart ist widersprüchlich. Höglinger von der ETH Zürich sieht die Quotenstichprobe ebenfalls als "repräsentativ" an und meint. man könne auch hier unter Umständen auf die Grundgesamtheit schließen. Auch bei anderen Autoren finden sich ähnliche Aussagen zum Beispiel der Gestalt, daß bei positiven Replikationsstudien auch bei einer systematischen Befragung auf die Allgemeinheit geschlossen werden dürfe. Andere Autoren weisen auf die absolute Notwendigkeit einer Zufallsstichprobe hin.

Jetzt meine Frage: Kann ich, um auf der sicheren Seite zu sein, R² und die t-Prüfgrößen beibehalten, aber deren Signifikanzen streichen, ebenso wie den F-Test. Dann habe ich die Inferenzelemente herausgenommen und kann trotzdem nur für die 500 Haushalte Aussagen zum Zusammenhang und zur Abhängigkeit von interessanten Variablen machen, die eben nicht verallgemeinert werden können. Man könnte dann von einer explorativen Untersuchung sprechen, da mit Blick auf die Fragestellung in diesen Regionen bisher noch sehr wenig überprüft wurde.

Lieben Dank für Euer Interesse,

Wilhelm

[daniel]

Kann ich, um auf der sicheren Seite zu sein, R² und die t-Prüfgrößen beibehalten, aber deren Signifikanzen streichen, ebenso wie den F-Test.

R-Quadrat ist eine deskriptive Statistik, die sich selbst bei Zufallsstichproben niemals über jene hinaus interpretieren lässt. Es ist eine (mehr oder weniger geeignete) Messung der Passung zwischen konkret vorliegender Daten (Sticproble) und statistischem Modell. Mit anderen Worten: R-quadrat ist, anderes als Regressionskoeffizienten, keine Schätzung eines Populationsparameters. Daher wird R-quadrat auch nicht auf Signifikanz getestet.

Was Du bei t-Werten und F-Werten "ohne deren Signifikanz" eigentlich meinst, ist mir völlig unklar. Diese Größen sind ausschließlich in inferenzstatistischen Zusammenhängen sinnvoll.

Allgemein bin ich der Meinung, dass Quotenstichproben für viele Zwecke praktisch geeignet sind (prominentestes Beispiel sind Wahlunfragen). Was dagegen keine unumstritten und keine Meinungsfrage ist, ist die Tatsache, dass die Theorie frequentistischer Inferenzstatistik, sofern sie Aussagen über Zusammenhänge in der Grundgesamtheit zum Ziel hat, auf berechenbaren Auswahlwahrscheinlichkeiten der Stuchprobenelementen beruht, die bei Quotenstichproben i.d.R. nicht gegebn ist. Wenn es um kausale Inferenz (also das Schließen auf kausale Mechanismen, nicht auf Zusammenhänge in der Grundgesamtheit), können Signifikanztests auch bei Quotenstichproben sinnvoll sein.

[openmind]

Prima, Daniel, ersteinmal vielen Dank!

Zur Verdeutlichung habe ich z.B. auf metrischem Skalenniveau folgendes gemacht:

Untersuchung geeigneter Regressoren für einen interessanten Regressanden (durch Schrittweise Hereinnahme der Regressoren mit den höchsten partiellen Korrelationskoeffizienten bis sich das Bestimmtheitsmaß nicht mehr signifikant erhöht). Das ganze geht ja in der multiplen Regression auch automatisch in SPSS, wobei dann verschiedene Modelle angezeigt werden, je nach dem, welche Regressoren noch berücksichtigung finden. Am Ende hast Du einen oder mehrere Regressoren, welche die zu erklärende Variable mehr oder weniger gut beschreiben (Varianzaufklärung).

Zum Beleg der entsprechenden Modelle habe ich tabellarisch angegeben:
1. Das korrigierte Bestimmtheitsmaß als Verhältniszahl der erklärten an der gesamten Varianz.
2. Die t-Prüfgrößen der Regressionskoeffizienten mit den Signifikanzen (alpha < 0,05) und
3. Die F-Prüfgröße mit Signifikanz zur Güte des Gesamtmodells.

Jetzt gehören also 2-3 aus der Tabelle herausgenommen, richtig? Ich kann nur etwas über die Varianzaufklärung sagen.
Oder sind die t-Prüfgrößen mit ihren Signifikanzen zu gebrauchen? Vielleicht habe ich das falsch verstanden und sie sagen nichts über die Population aus. Der t-Test für die Ein- oder Zweistichproben ist ja inferenzstatistisch.
Welche kausalen Mechanismen, die auch bei Quotenstichproben sinnvoll wären, meinst Du denn, und welche entsprechenden Signifikanztests?

LG Willy

[daniel]

Untersuchung geeigneter Regressoren für einen interessanten Regressanden (durch Schrittweise Hereinnahme der Regressoren mit den höchsten partiellen Korrelationskoeffizienten bis sich das Bestimmtheitsmaß nicht mehr signifikant erhöht). Das ganze geht ja in der multiplen Regression auch automatisch in SPSS, wobei dann verschiedene Modelle angezeigt werden, je nach dem, welche Regressoren noch berücksichtigung finden.

Der Maximierung von R-Quadrat liegt i.d.R. kein wissenschaftliches Interesse zugrunde. Einer der Gründe dafür ist, wie angesprochen, dass R-Quadart lediglich für die vorliegende Sticprobe interpretiert werden kann, und auch hier meist keinen Erkenntnisgewinn bringt. Weitere (zurecht) vernichtende Urteile nd Kommentare zu einem solchen "automatischen" Vorgehen findest Du hier: http://www.stata.com/support/faqs/stati ... -problems/

1. Das korrigierte Bestimmtheitsmaß als Verhältniszahl der erklärten an der gesamten Varianz.

Da das Bestimmtheitsmaß das Verhälnis von erklärter zu gesamter Varianz angibt, und das korrigerte Bestimmtheitsmaß sich davon unterscheidet, kann letzteres eben nicht als solches Verhältnis begriffen werden. Zu R-Quadrat habe ich meine (und andere) Meinung bereits dargelegt. Das korrigierte R-Quadrat ist nur dann sinnvoll, wenn man Modelle vergleichen will. Und auch dann gibt es weitaus bessere Maße (z.B. BIC).

Jetzt gehören also 2-3 aus der Tabelle herausgenommen, richtig?

Wie gesagt, diese Statistiken sind berechenbar und möglicherweise sogar nützlich. Es fehlt in Deinem Fall allerdings vermutlich das theoretische Fundament zur Interpretation.

Welche kausalen Mechanismen, die auch bei Quotenstichproben sinnvoll wären, meinst Du denn, und welche entsprechenden Signifikanztests?

Bei Inferenzstatisitk geht es immer um Zufall. Idealtypisch lässt sich "deskriptive Inferenz" von "kausaler Inferenz" unterscheiden. Dabei kommt der Zufall bei deskriptiver Inferenz bei der Stichprobenziehung ins Spiel. Ziel ist es, auf den "wahren" Parameter in der Grundgesamtheit zu schließen. Da wir nur eine Stichprobe haben, weicht der geschätze Wert zufällig vom "wahren" Wert ab. Bei kausaler Inferenz kommt der Zufall durch unbeobachtete Einflüsse ins Spiel. Diese sind per Annahme unabhängig von dern Prädikatoren im Modell. Wir wollen hier wissen, ob ein Zusammenhang zufällig zustande kommt, oder ob er systematisch, im Sinne einer kausalen Beziehung ist. Du kannst Dir die beiden Arten der Inferenz auch aus der Perspektive externer und interner Validität vorstellen. In der Anwendungspraxis sind wir meist an einer Mischung aus beidem interessiert.

Da es sich, wie Du schreibst, bei Dir um eine Abchlussarbeit handelt, solltest Du auf jeden Fall vor einer Entscheidung noch einmal mit Deinem Betreuer oder Betreuerin sprechen. Letztlich ist es für Dich praktisch relevant, welche "Meinung" diese Person zu den diskutierten Sachverhalten hat -- auch wenn diese von den "wahren" theoretischen Grundlagen abweichen.

[openmind]

Danke, Daniel.

Betreuerin hat keine großen BEdenken und will selbst F-Test behalten.

Wenn ich dich richtig verstanden habe wäre t-Test für die einzelnen Regressionskoeffizienten eher interne Validität, F-Test wäre eher für die externe Validität, richtig?

LG Willy

[daniel]

Wenn ich dich richtig verstanden habe wäre t-Test für die einzelnen Regressionskoeffizienten eher interne Validität, F-Test wäre eher für die externe Validität, richtig?

Nein. Ich denke, hier herrscht Verwirrung über die Nullhypothese des F-Tests. Der F-Test hat die (default) Nullhypothese, dass alle Koeffizienten gleich Null sind. Während t-Tests also einzelne Parameter testen, testet der F-Test eine kombinierte Hypothese, sozusagen kombinieret t-Tests. Die Idee hinter beiden Tests ist aber dieselbe. Wenn Du die t-Werte nicht berichten willst, dann konsequent auch nicht die F-Statistik.

Ob Du deskriptive oder kausale Inferenz betreiben willst, ist nicht vom Test, sondern der Forschungsfrage abhängig. Bei Deinem Design (soweit hier erläutert) wäre ich aber sehr vorsichtig, von Kausalinferenz zu sprechen.

[PonderStibbons]

Ich habe im Rahmen einer Abschlußarbeit 5 städtischen Regionen mit jeweils 100 Haushalten befragt. (...)
Deshalb ist eine systematische Auswahl von Stichproben erfolgt, genauer eine Quotenstichprobe. Dabei habe ich den Eindruck, daß alle Subgruppen der Grundgesamthait ausreichend präsentiert werden.

Nun habe ich neben der rein deskriptiven Analyse (Absolute, Relative Häufigkeitsverteilungen) auch Regressionsanalysen durchgeführt, entsprechend des Skalenniveuas der abhängigen Variablen.

Worum geht es denn bei den Anaysen konkret - wie lautet das Thema,
wie die Fragestellung, welche (und wie viele) Variablen fließen z.B.
in die Regressionsanalyse ein?

Mit freundlichen Grüßen

P.

[openmind]

Kann ich denn deskriptive Inferenz betreiben und beide Tests nutzen und klar machen, daß ich nicht kausale Inferenz betreibe, d.h., daß man von den Ergebnissen nicht auf die Grundgesamtheit schließen darf? Könntest Du mir für meine Untersuchung (Abhängigkeitsanalyse mit Regressionsmodellen) jeweils ein Beispiel für deskriptive und kausale Inferenz geben?
Was ist eigentlich unter http://de.wikipedia.org/wiki/Stichprobe ... te_Auswahl mit "Mathematisch-statistischen Modellen" gemeint und wo ist genau die Grenze zur deskriptiven Verfahren?

Es wäre schade, wenn ich nur die Bestimmtheitsmaße anführen könnte. Ein guter Teil meiner Analysen weist ordentliche Signifikanztests auf - interessanterweise in allen 5 Regionen.

Welche Tests darf ich Deiner Meinung nach eher unbedenklich, welche absolut nicht anwenden?

Willy

[openmind]

Ich habe im Rahmen einer Abschlußarbeit 5 städtischen Regionen mit jeweils 100 Haushalten befragt. (...)
Deshalb ist eine systematische Auswahl von Stichproben erfolgt, genauer eine Quotenstichprobe. Dabei habe ich den Eindruck, daß alle Subgruppen der Grundgesamthait ausreichend präsentiert werden.

Nun habe ich neben der rein deskriptiven Analyse (Absolute, Relative Häufigkeitsverteilungen) auch Regressionsanalysen durchgeführt, entsprechend des Skalenniveuas der abhängigen Variablen.

Worum geht es denn bei den Anaysen konkret - wie lautet das Thema,
wie die Fragestellung, welche (und wie viele) Variablen fließen z.B.
in die Regressionsanalyse ein?

Mit freundlichen Grüßen

P.

Hallo P.,

vielen Dank auch Dir für das Interesse.
Es geht um die Wechselwirkungen von Energieverbrauch und Umweltbewußtsein.

In den Regionen habe ich detaillierte Fragebögen eingesetzt, die so ziemlich alles erfasst haben: Stromverbrauch, Kohlenutzung, Umweltbewusstsein u.v.m. Die Variablen sind intervall- und kategorialskaliert. Es sind bei den Modellen nicht mehr als jeweils 4 erklärende Variablen eingeflossen.

Willy

[openmind]

Daniel, ich habe noch eine Frage zu folgender Aussage:

Wenn es um kausale Inferenz (also das Schließen auf kausale Mechanismen, nicht auf Zusammenhänge in der Grundgesamtheit), können Signifikanztests auch bei Quotenstichproben sinnvoll sein.

Der t-Test für die Regressionskoeffizienten und der F-Test schließen doch immer auf die Populationsverhältnisse.

Kann ich die selben Tests auch zur Kausalinferenz anführen und verdeutlichen, daß eine deskriptive Inferenz ausgeschlossen ist aufgrund des Designs (Kein random sample) ? Oder gibt es andere Tests zur Kausalinferenz?

LG Willy