STATISTIK-FORUM.de

[Sarah_Inns]

Schönen Abend,
ich würde mich über Hilfe für folgendes Untersuchungsdesign freuen:

Schritt 1: Pretest vor einer Intervention (baseline)
*geplant als Vollerhebung an allen, die an der Intervention teilnehmen
*tatsächlich werden nicht alle erreicht (nur ca. 63% der ca. 210 Teilnehmer) -> es liegt also keine Zufallsstichprobe vor

Schritt 2: Intervention
*ca. 210 Teilnehmer

Schritt 3: Posttest (endline)
*befragt werden nur diejenigen Teilnehmer, die am Pretest teilgenommen haben (erreicht werden ca. 90 Teilnehmer, d.h. ca. 68% der Teilnehmer des Prestests)

Wer könnte mir einen Tipp geben, welche Art Tests ich machen muss, wenn ich die Veränderungen zwischen Pre- und Posttest vergleichen möchte bzw. wo ich das nachlesen kann? (Ich finde nur Angaben für den Fall, dass eine Zufallsauswahl erfolgte und eine Verallgemeinerung auf die Grundgesamtheit angestrebt wird.)

Ist es bei diesem Design prinzipiell möglich, Zusammenhänge/ Korrelationen aus der Untersuchung auf alle Teilnehmer der Intervention zu übertragen, obwohl keine Zufallsstichprobe gezogen wurde (sozio-demographische Angaben liegen zu allen Teilnehmern der Intervention vor)? Auch hier würde ich mich über Literaturtipps freuen.

Vielleicht kann mir hier jemand weiterhelfen, danke!
MfG Sarah

[daniel]

Zufallsstichproben sind in der Tat meist Vorraussetzung, um Aussagen über die externe Validität zu machen. Die Frage nach kausaler Inferenz (interne Validität) und die Frage, auf welche - wenn überhaupt - Grundgesamtheit geschlossen werden kann, wurde kürzlich hier relativ ausfürhlich diskutiert.

Ich denke ein größeres Problem bei Deinem Design stellt die fehlende Kontrollgruppe dar. Wie sillst Du etwas über den (kausalen) Effekt einer Intervention sagen, wenn Du nur diejenigen testest, die daran teilnehmen? Wie willst Du sicherstellen, dass Unterschiede zwischen Pre- und Posttest nicht auch ohne Intervention aufgetreten wären?

[Sarah_Inns]

Hallo Daniel,

vielen Dank für deine Antwort!
Wahrscheinlich hätte ich doch noch ein bisschen mehr Kontext geben sollen: Die Datenerhebungen (Pre-/Posttest) sind schon erfolgt und die Intervention ist beendet (das Design wurde übrigens nicht von mir erstellt). Es wurde aus Kostengründen bewusst darauf verzichtet, mit einer Kontrollgruppe zu arbeiten (die Auftraggeber wollten dafür nicht bezahlen...). Der Nettoeffekt der Intervention kann daher in der Tat leider nicht bestimmt werden.

Danke auch für den Link zu dem Thread zu Signifikanztests, er hat bestätigt, was ich mir schon dachte (dass sie eigentlich keinen Sinn machen).

Was mich noch immer unklar ist, ist Folgendes:

• Gibt es eine Möglichkeit (Tests, Missing-Data-Techniken, etc.), wie ich von Zusammenhängen aus den Stichproben auf die Grundgesamtheit (alle Teilnehmer der Intervention) schliessen kann (auch wenn es sich eben nicht um eine Zufallsstichprobe handelt)? Einige sozio-demographische Daten liegen für alle Teilnehmer vor, d.h. ich habe zumindest einen Anhaltspunkt, ob/ inwiefern sich Interviewte von Nicht-Interviewten unterscheiden.

• Wenn ich nun doch interferenzstatistsiche Tests mache (Bsp. t-Test für gepaarte Stichproben für intervallskalierte, normalverteilte Variablen oder Wilcoxon-Vorzeichen-Rang-Test für ordinalskalierte, verteilungsfreie Variablen), haben sie überhaupt eine Aussage (ohne Zufallsstichprobe)? Oder geht ihre Aussagekraft nicht darüber hinaus, ob Ho beizubehalten/ zu verwerfen wäre, wenn eine Zufallsstichprobe vorliegen würde? Der Hintergrund ist hier, dass mir gesagt wurde, diese Tests seien für unser Design die Methode der Wahl (ohne Angabe von Gründen). Ich frage mich daher, ob die Tests noch weitere Aussagen machen, bspw. bei gepaarten Stichproben (auch wenn ich dazu bislang in Statistikbüchern nichts finden konnte...).

Also ich hoffe, das war diesmal klarer. Schöne Grüsse!
Sarah

[strukturmarionette]

Hi,

haben sie überhaupt eine Aussage (ohne Zufallsstichprobe)?

Ja. Beschreib, was Du gemacht hast, dann kann Dein Abnehmer sich die Befunde selber interpretieren.

(...) Zufallsstichproben liegen bei derartigen Designs (im Feld) nur sehr, sehr selten vor.

Gruß
S.