STATISTIK-FORUM.de

[Klausi123]

Hallo,

ich beschäftige mich gerade mit den häufig vorausgesetzten Zufallsstichproben sowie möglichen Folgen, die sich aus einer nicht-zufällig gezogenen Stichprobe ergeben. Vielen empirischen Studien liegen Stichproben zu Grunde, auf deren Basis ja Rückschlüsse auf eine entsprechende Population gewonnen werden sollen. In diesem Zusammenhang wird häufig auf die Wichtigkeit einer Zufallsstichprobe hingewiesen. Dazu habe ich ein paar Fragen:

1.) Sofern ich es richtig verstanden habe, hat in einer Zufallsstichprobe jedes Element der interessierenden Grundgesamtheit eine positive Wahrscheinlichkeit in die Stichprobe aufgenommen zu werden.
Angenommen ich führe ein Experiment durch, bei dem ich den Effekt eines Werbespots auf das Kaufverhalten einer Person untersuchen möchte (frei gewähltes Beispiel). Nehmen wir mal an, dass das Studiendesign eine Kontroll- und eine Treatmentgruppe vorsieht. Die Treatmentgruppe bekommt einen bestimmten Werbespot vor einem Einkaufsgang zu sehen und die Kontrollgruppe bekommt diesen nicht zu sehen.
Grundsätzlich kann es doch hier mit Bezug auf die Stichprobenauswahl an zwei Punkten zu "Ergebnisverzerrungen" kommen: Die Population, auf die ich die Ergebnisse beziehen möchte, ergibt sich meines Verständnis nach zwangsläufig aus der Zusammensetzung meiner Stichprobe: Angenommen ich suche mir als Ort zur Probantenauswahl einen Supermarkt nahe einer Uni aus, wo die Kundschaft zu 70% aus Studenten besteht. Nun wähle ich zufällig 100 Menschen vor ihrem Einkauf aus und teile sie anschließend in zwei Gruppen ein. Wäre mein Ziel etwas über den Effekt des Videospots auf den "Durchschnittsdeutschen", d.h. mit Bezug auf die Population aller deutschen Bürger zu erfahren, wären meine Ergebnisse doch mitunter bereits an dieser Stelle verzerrt, da es eben sehr viel wahrscheinlicher ist einen Studenten in meiner Stichprobe zu haben? Nun ist es vielleicht nicht ganz unplausibel, dass der Effekt eines Werbespots anders auf Studenten wirkt als auf einen nicht-Studenten. Entsprechend leidet darunter doch die externe Validität meiner Erkenntnisse, sodass ich diese im schlimmsten Fall nur auf eine weitaus kleinere Population übertragen kann (die Population aller Studenten in der Stadt).


Im nächsten Schritt muss ich die Teilnehmer der Stichprobe der Treatment bzw. der Kontrollgruppe zuweisen. Auch diese Zuweisung muss zufällig erfolgen, um eine Verzerrung der Ergebnisse zu vermeiden. Andernfalls kann es ja passieren, dass ich in einer der zwei Gruppen einen Einfluss "einbaue", der mitunter einen systematischen Effekt auf die interessierende Variable hat.
In einem Tutorium haben wir - um sicherzustellen, dass die Randomisierung der Gruppen funktioniert hat - dazu immer sogenannte Tests of Balance durchgeführt. Damit wird bspw. mit Hilfe eines zweistichproben t-tests geprüft, ob sich die Mittelwerte von beobachtbaren Merkmalen (Alter, Geschlecht etc.) in den beiden Gruppen (Kontrollgruppe und Treatmentgruppe) signifikant voneinander unterscheiden. Nun habe ich bereits in einigen gelesen, dass diese Tests überflüssig sind, wenn man sicherstellen konnte, dass die Zuweisung zu den zwei Gruppen zufällig passierte. Bspw. hier: https://janhove.github.io/reporting/201 ... ance-tests
Dazu würde ich gerne einmal eure Meinung hören. Was wäre dann gemäß dem Fall zu tun, dass ein solcher Test einen signifikanten Unterschied bei einem beobachtbaren Merkmal feststellt? Im Endeffekt ist damit ja noch nicht gesagt, dass ein Unterschied bei einem bestimmten Merkmal auch einen Verzerrungseffekt bei der interessierenden Variable hervorruft.

Ich freue mich auf eure Antworten

[PonderStibbons]

Wenn die Randomisierungsprozedur nicht fehlerhaft war, ist jeder "signifikante" Effekt ein Fehler 1. Art. Also ist das Testen Unsinn.
Was einen interessiert, ist die Balance zwischen den Stichproben. Um diese zu prüfen, hilft kein Signifikanztest, der bezieht sich auf
Grundgesamtheiten. Ein nichtsignifikanter Test heißt außerdem nicht, dass die Gruppen ausreichend ausgeglichen sind, wenn die
Stichproben klein sind und die power niedrig ist. Man muss sich da schon an die Deskriptivstatistik halten, oder von vornherein
geschichtet randomisieren.

Mit freundlichen Grüßen

PonderStibbons

[PonderStibbons]

Danke übrigens für den Link. Das Argument, dass Ungleichgewichte nach Randomisierung auftreten können,
dies als ein Element des Stichprobenzufalls aber gerade eben durch den Signfikanztest berücksichtigt wird,
war mir gar nicht präsent, ist aber einleuchtend. Und dass in der Folge von "Balance Tests" die eigentlichen
Signfikanztests verzerrt werden, ist eine ebenfalls interessante Demonstration. Es ist also nicht nur
unisinnig und unnütz, sondern schädlich. Müsste dann auch für die von mir vorgeschlagene Betrachtung
der Balance anhand nur der Stichprobendaten (ohne Test) gelten. Schön auch die Schlussfolgerung: wenn man
Grund zu den Annahme hat, dass ein Co-Faktor die Resultate beeinflusst, sollte man diesen so oder
so mit in die Analyse aufnehmen (das verringert Fehlervarianz), egal ob balanciert oder nicht.

Mit freundlichen Grüßen

PonderStibbons

[Klausi123]

Vielen Dank für deine hilfreiche Antwort. Ich habe mir noch ein paar weitere Gedanken dazu gemacht und bin im Rahmen meiner Recherche zu diesem Thema auch auf die Block-Randomisierung gestoßen.

Grundsätzlich muss man ja zwischen der zufälligen Ziehung der Stichprobe und der zufälligen Zuordnung der Teilnehmer zu den (in meinem Beispiel zwei) Gruppen unterscheiden. Neben der einfachen Randomisierung existiert u.a. die Blockrandomisierung, die Wikipedia unter anderem beschreibt mit dem Satz:

Um gegenüber der Einfachen Randomisierung eine bessere Balanciertheit gewährleisten zu können, wird sichergestellt, dass bei N Patienten ein bestimmtes vordefiniertes Verhältnis zwischen den zugeteilten Behandlungen gegeben ist (z. B. 1:1 bei zwei Behandlungsarten).

Quelle: https://de.wikipedia.org/wiki/Randomisierung#Block-Randomisierung,_Balancierte_Randomisierung

Wenn ich aber bereits meine Stichprobe "ordentlich" gezogen habe, sollte doch eine einfache Randomisierung der Gruppen stets ausreichen. Sofern ich es richtig verstanden habe, wird bei einer Blockrandomisierung dem Umstand entgegengewirkt, dass eine einfache Zufallsstichprobe nicht immer garantiert, dass die Teilnehmer der Gruppen mit Bezug auf relevante Merkmale ausgeglichen sind. Um bei meinem obigen Beispiel zu bleiben: Habe ich Grund zu Annahme, dass in dem Supermarkt, in dem ich die Teilnehmer zufällig auswähle, der Anteil der Kundschaft zu einem großen Teil aus Studenten besteht, wäre meine Stichprobe u.U. mit Bezug auf das Merkmal "Berufstätigkeit" verzerrt. Im nächsten Schritt würde eine einfache Randomisierung mitunter dazu führen, dass die zwei Gruppen mit Bezug auf dieses Merkmal nicht ausgeglichen sind, was meine Ergebnisse verzerren könnte. Die Blockrandomisierung soll eben dieser Problematik Rechnung tragen, indem eben eine bestimmte Balance bzgl. eines Merkmals vorgegeben wird. Das leuchtet mir auch ein: Eine einfache Zufallsstichprobe gibt ja nicht vor, dass die Wahrscheinlichkeit gezogen zu werden für jedes Element der Population gleich sein muss.
Wenn ich aber im ersten Schritt bereits sicherstellen konnte, dass eben keine solche Verzerrung eines relevanten Merkmals vorliegt (durch eine geschichtete Zufallsstichprobe etwa), dann müsste ich doch zur Zuordnung der Gruppen auch eine einfache Randomisierung durchführen können oder irre ich mich? Mit anderen Worten wäre eine Blockrandomisierung nur notwendig, wenn davon ausgegangen wird, dass meine Stichprobe hinsichtlich eines Merkmals eine Verzerrung (damit meine ich ein Ungleichgewicht) aufweist, die meine Ergebnisse mitunter beeinträchtigen könnten?

EDIT: Ich sehe in diesem Moment, dass der Autor des von mir verlinkten Artikels hier (Ende der 6. Seite): https://homeweb.unifr.ch/VanhoveJ/Pub/p ... ntions.pdf

Über die Blockrandomisierung spricht.

Does all of this mean that collecting background variables is a waste of time? No. One valid and indeed highly recommendable procedure is to block on variables that are deemed important (see Oehlert, 2010, Chapter 13). For instance, if we have reasons to believe that women and men would differ substantially in their reading test scores, we may want to consider blocking on the sex variable—half of the men would be randomly assigned to the treatment group and half to the control group, and similarly for the women.

Doch auch hier bleibt meine Frage bestehen: Wäre eine Blockrandomisierung nicht überflüssig, wenn ich bereits im Vorfeld (bei der Stichprobenziehung) darauf geachtet habe, dass die Verteilung der Merkmale, die einen Einfluss auf die interessierende Variable haben könnten, ausbalanciert ist? So etwas könnte doch bspw. durch eine geschichtete Zufallsstichprobe berücksichtigt werden.

Ich hoffe ich habe meine Gedanken deutlich ausdrücken können. Es geht mir hier wie gesagt nicht um ein konkretes Beispiel oder Projekt. Vielmehr möchte ich die Auswirkungen möglicher Verstöße gegen die so oft vorausgesetzte Zufallsstichprobe verstehen.