STATISTIK-FORUM.de

[quotmag]

Hallo zusammen,

kann mir jemand Literatur zum Thema Inferenzstatistik bei Ad-Hoc-Stichproben (bzw. bei nicht-probabilistischen Stichproben im Allgemeinen) empfehlen? Finde gerade nicht wirklich etwas, das mir weiterhilft.

Zum Hintergrund: Bei Bortz und Döring (2006, "Forschungsmethoden und Evaluation") fand ich die Aussage, dass die Instrumente der schließenden Statistik auch dann anwendbar sind, wenn die Fälle in der Stichprobe nicht zufällig ausgewählt wurden, da prinzipiell für jede Stichprobe im Nachhinein in fiktive Inferenzpopulation konstruierbar ist ( S. 401). Z.B. kann eine Befragung der Teilnehmer*Innen eines Seminars als Zufallsstichprobe, aller Studierenden, die prinzipiell am Seminar hätten teilnehmen können, betrachtet werden. Das leuchtet mir aber nicht ein. Die Teilnehmer*Innen ploppen ja nicht random im Seminarraum auf. Ich würde es eher als Vollerhebung aller zur Befragung bereiten Anwesenden im Seminar sehen oder eben als nichtzufällige Gelegenheitsstichprobe der Studierenden. In beiden Fällen macht aber die Anwendung der Inferenz-Statistik doch einfach keinen Sinn, oder?


Liebe Grüße
Tim

[PonderStibbons]

"Die Rangkorrelation rho zwischen Intelligenz und Schuhgröße betrug bei den untersuchten Seminarteilnehmern (n=18) = 0,22 ." Warum sollte man an dieser Stelle halt machen? Die n=18 lassen sich als eine Stichprobe aus einer noch näher zu beschreibenden Grundgesamtheit auffassen. Diese Grundgesamtheit konstruiert sich aus der Art der Stichprobengewinnung (wer, wo, wann, wie).

Dadurch, dass wir n=18 als eine Stichprobe betrachten, ist es uns möglich zu berechnen, ob rho=0,22 noch mit der Annahme vereinbar ist, dass rho "eigentlich" (in der Grundgesamtheit, aus der die Stichprobe stammt) = 0.000 beträgt.

Auf welche Grundgesamtheit die Ergebnisse generalisiert werden könnten, wäre dann Gegenstand der Diskussion. Verfahrenstechnisch wäre das größere Problem, dass die Beobachtungen nicht unabhängig sind (Probanden, die in Grüppchen oder Pärchen auftauchen), aber das verwehrt nicht grundsätzlich die Durchführung von Inferenzstatsitik.

Mit freundlichen Grüßen

PonderStibbons

[quotmag]

Vielen Dank für deine Antwort!

Signifikanztests sind natürlich auch bei Gelegenheitsstichproben rechnerisch durchführbar und tatsächlich ist die Anwendung der Inferenzstatistik bei non-random-samples in der Forschungspraxis weit verbreitet. Trotzdem stellt sich ja die Frage nach einer sinnvollen Interpretation von Signifikanztests in diesem Fall.

Ich bleibe mal bei dem oben genannten Beispiel. Es wurde in einer Stichprobe von Seminarteilnehmer*Innen ein Zusammenhang bestimmter Größe gefunden und es soll nun geprüft werden, inwiefern dieser Zusammenhang zufällig entstanden sein könnte. Also wird im Rahmen eines Signifikanztests geprüft, wie wahrscheinlich das Stichprobenergebnis ist, wenn in der Grundgesamtheit die Nullhypothese gilt. Für zwei Fragen kann ich an dieser Stelle aber keine sinnvolle Antwort finden:

Warum sollte auf eine zufällige Abweichung vom dem in der Nullhypothese angenommen Populationswert geprüft werden, wenn die Stichprobe nicht zufällig aus der Population gezogen wurde? Was genau soll hier getestet werden?

Was wäre in dem genannten Fall überhaupt die Inferenzpopulation? Alle potentiellen Teilnehmer*Innen des Seminars wie bei Bortz & Jürgens? Wer soll das sein? Ferner gilt: Egal welche Explikation der Inferenzpopulation hier vorgenommen wird: Die Teilnehmer*Innen des Seminars besuchen dieses aus bestimmten Gründen, erscheinen nicht einfach zufällig und können daher auch nicht als eine Zufallsstichprobe betrachtet werden.

Hast du vielleicht Literatur zur Hand, die etwas ausführlicher als Bortz und Döring für deine Perspektive argumentieren?

Liebe Grüße
Tim

[PonderStibbons]

Warum sollte auf eine zufällige Abweichung vom dem in der Nullhypothese angenommen Populationswert geprüft werden, wenn die Stichprobe nicht zufällig aus der Population gezogen wurde? Was genau soll hier getestet werden?

Ob die Stichprobendaten dafür sprechen, dass der
Zusammenhang in der Population nicht Null ist.

Es ist dann wie gesagt die verbleibende Frage,
auf welche Population(en) generalisiert werden
kann.

Dies wäre allerdings auch bei Zufallsstichproben
zu diskutieren, zufällig/nichtzufällig erscheint
mir da nicht so relevant (zumal ich in den Fächern
wie Psychologie, Soziologie, Ökonmie, Medizin,
weiten teilen der Biologie die Möglichkeit einer
reinen Zufallsstichprobe verneinen würde).

Was wäre in dem genannten Fall überhaupt die Inferenzpopulation? Alle potentiellen Teilnehmer*Innen des Seminars wie bei Bortz & Jürgens? Wer soll das sein?

Das musst Du Bortz und Jürgens fragen (ok, schwierig,
Bortz ist bereits verstorben), das kann ich leider nicht
beantworten.

Mit freundlichen Grüßen

PonderStibbons

[quotmag]

zufällig/nichtzufällig erscheint
mir da nicht so relevant

Diese Aussagen finde ich in Anbetracht des Umstandes, dass für die Logik eines Signifikanztests das Konzept der Zufallsstichprobe zentral ist, irritierend.

Ich stimme deiner Diagnose - es gibt in den Humanwissenschaften in der Regel keine reinen Zufallsstichproben - prinzipiell zu. Das bedeutet jedoch nicht, dass Inferenzstatistik auch ohne Weiteres bei (gänzlich) nicht-zufälligen gezogenen Gelegenheitsstichproben oder bei Zufallsstichproben mit hoher Ausfallquote angewendet werden kann.

Z.B. schreibt Mengering (2011: "Probleme der Hypothesenprüfungs mittels Signifikanztests") zum einen, dass bei nicht-zufällig gezogenen Stichproben Signifikanztests streng genommen nicht anwendbar sind. Und zum anderen, dass bei steigenden Ausfallquoten, die Anwendung von Signfikanztests auch bei Zufallsstichproben zunehmend problematisch ist. Die Formulierung "strenggenommen" deutet bereits daraufhin, dass es in der Praxis anders aussieht. Mengering empfiehlt hierbei, die Bedeutung von Stichprobenverzerrungen für das Ergebnis des Signifikanztests zu diskutieren (was natürlich gar nicht so einfach und in der Regel spekulativ ist). Werden Signifikanztests bei Gelegenheitsstichproben eingesetzt, werden diese so behandelt, als würden sie sich in praktischer Hinsicht wie eine Zufallsstichprobe verhalten (Hahn & Meeker 1993: "Assumptions for Statistical Inference"). Es gibt hierzu eine interessante Studie von Pasek (2015: "When will Nonprobability Surveys Mirror Probability Surveys?"), die einige nützliche Hinweise gibt, wann dies der Fall ist. Pasek kommt basierend auf seinen empirischen Untersuchungen zu dem Schluss, dass Zusammenhänge gegenüber der Art der Stichprobenziehung robuster sind als Verteilungen oder Trendverläufe.

Hier der Link zur Studie: https://www.researchgate.net/publication/282488311_When_will_Nonprobability_Surveys_Mirror_Probability_Surveys_Considering_Types_of_Inference_and_Weighting_Strategies_as_Criteria_for_Correspondence

Liebe Grüße
Tim

[bele]

Hallo quotmag,

die Statistik kann man als Teilgebiet der Mathematik mit all ihrer Schönheit und Wahrheit betrachten oder als Hilfsmittel für die Erforschung der Welt mit all ihrem Schmutz und Vereinfachungen. Hier im Forum sind ganz überwiegend Leute, die die Statistik im zweiten Sinn verwenden. Man gewöhnt sich daran, einige Forderungen des mathematischen Modells nicht so eng zu sehen, auch wenn das nicht wünschenswert ist. Die genannten Disziplinen leben alle damit, dass sie nicht ihre Wunschstichproben untersuchen können, sondern mit dem Verfügbaren leben müssen.

Z.B. kann eine Befragung der Teilnehmer*Innen eines Seminars als Zufallsstichprobe, aller Studierenden, die prinzipiell am Seminar hätten teilnehmen können, betrachtet werden. Das leuchtet mir aber nicht ein. Die Teilnehmer*Innen ploppen ja nicht random im Seminarraum auf. Ich würde es eher als Vollerhebung aller zur Befragung bereiten Anwesenden im Seminar sehen oder eben als nichtzufällige Gelegenheitsstichprobe der Studierenden. In beiden Fällen macht aber die Anwendung der Inferenz-Statistik doch einfach keinen Sinn, oder?

Du hast natürlich Recht, dass die Seminarteilnehmerixe nicht zufällig aufploppen. Sie sind i. d. R. eine verfälschte Stichprobe. Die Frage ist, ob diese Verfälschung sich auf die zu erhebende Größe auswirkt oder nicht. Wenn sich das Auswahlverfahren "Seminarteilnehmer" auf die zu erhebende Messgröße auswirkt, wenn Teilnahme und Messgröße beide von einer Dritten Größe abhängen, dann hast Du Recht. Dann kannst Du diese nicht als Stichprobe verwenden. Wenn Du in einem freiwilligen Seminar über die Geschichte des Feminismus nach Einstellungen zu Geschlechterrollen fragst, dann wird das Ergebnis verfälscht sein. Oft hat man aber Gelegenheit, eine solche Stichprobe nach Dingen zu fragen, die vordergründig nichts damit zu tun haben, ob man Seminarteilnehmer ist. Dann ist es "quasi"/"so als ob" eine Zufallsstichprobe. Von Statistikern wirst Du dazu wenig lesen können, da es immer eine sachwissenschaftliche Frage ist, ob man diese Vereinfachung treffen kann. Ob also die Verzerrung der Entscheidung für ein bestimmtes Seminar hinreichend klein ist, dass Du sie für Deine Stichprobengröße unter den Tisch fallen lassen kannst. Ich gebe aber gerne zu, dass hier die Statistik nicht mehr nur Wissenschaft, sondern auch Kunst ist.

Am Ende leben die Medizin und die Psychologie und die Soziologie davon, dass vernünftige Wissenschaftler vernünftige Entscheidungen darüber treffen, wie weit man vom Traumziel der reinen Zufallsstichprobe aus einer einheitlich verteilten und unendlich großen Grundgesamtheit abweichen darf, ohne Artefaktforschung zu betreiben. Ich habe lieber eine Medizin auf solchermaßen weichen Daten als gar keine Medizin.

Leider enthält das jetzt keinen der von Dir erfragten Literaturverweise.

LG,
Bernhard

[quotmag]

Vielen Dank für eure Beitrage und Anregungen! Ich habe mittlerweile einiges an hilfreicher Literatur gefunden. Die meisten Texte konzentrieren sich auf Probleme, die auch bei Zufallsstichproben mit der Verwendung von Signifikanztests einhergehen und schlagen Alternativen vor. Praktische Tipps für die Anwendung von Inferenzstatistik bei Gelegenheitsstichproben sind hingegen rar gesät. Dieses Thema wird - trotz seiner offenkundigen Relevanz - eher stiefmütterlich behandelt. In vielen Fälle wird einfach nur gesagt "geht" oder "geht (strenggenommen) nicht". Nichtsdestotrotz konnte ich mir einen einigermaßen plausiblen Fahrplan zur Auswertung der Studie, mit der ich mich gerade befasse, zurechtlegen. Dieser umfasst auch die (vorsichtige) Anwendung inferenzstatistischer Methoden. Mal sehen, welche praktischen Probleme sich hierbei noch ergeben werden

Liebe Grüße
Tim