STATISTIK-FORUM.de

[Phileo98]

Hallo,

in einer Befragung zu vier Szenarien (A, B, C, D) habe ich jeweils alle Teilnehmer zu allen vier Szenarien befragt (randomisierte Reihenfolge der abgefragten Szenarien). Die Fragen waren jeweils bei allen Szenarien identisch.
Teilnehmer konnten bei jedem Szenario auswählen, ob sie die Fragen dazu beantworten wollen oder nicht. Falls ja, so mussten alle Fragen zu diesem Szenario beantwortet werden. Falls nicht, wurden alle Fragen für das Szenario übersprungen. Somit haben manche Teilnehmer (alle) Fragen zu allen vier Szenarien beantwortet, manche Teilnehmer aber auch nur zu drei, zwei oder sogar nur einem Szenario.

Folglich meine Situation: 100 Teilnehmer haben mir insgesamt 250 mal von einem Szenario berichtet (die sich z.B. aufteilen in 90x Szenario A, 70x Szenario B, 50x C, 40x D). Ich möchte nun szenarienübergreifende Auswertungen über ALLE 250 Beobachtungen einer Frage durchführen. Inhaltlich ist das gerechtfertigt und da die gestellten Fragen in allen vier Szenarien identisch waren, funktioniert das grundsätzlich.

Wäre da nicht der Haken: Ich habe zwar 250 verschiedene Beobachtungen. Aber nur 100 Teilnehmer. Ist beim Vergleich des (bspw.) arithmetischen Mittels für zwei Fragen (Frage1 und Frage2) das herkömmliche berechnete arithmetische Mittel (aus n=250) statistisch verwertbar? Oder habe ich dort eine Verzerrung, weil die 100 Teilnehmer mit ihrer Art, auf eine Frage zu antworten, unterschiedlich stark in den 250 Beobachtungen gewichtet sind? Also dass manche Teilnehmer nur von einem Szenario berichtet haben und somit nur 1 der 250 Beobachtungen stellen, während andere Teilnehmer bis zu vier der 250 Beobachtungen stellen?

Also: Ein Teilnehmer, der systematisch gute Antworten abgegeben sowie die Fragen zu allen vier Szenarien berichtet hat: verfälscht der mein arithmetisches Mittel (bei n=250) nach oben? Oder ist das egal, da sein "Gute-Antworten-Bias" ja sowohl im arithmetischen Mittel für Frage1 als auch in dem für Frage2 enthalten ist?

Wie verfährt man in so einer Situation?


Liebe Grüße vorab,
Phileo


PS: Wenn jemandem ein besser geeigneter Titel einfällt, gerne schreiben. Ich komme selbst leider nicht auf einen eindeutigeren Titel.
PS: Bitte nicht übel nehmen, wenn das hier das falsche Unterforum für diese Frage ist.

[PonderStibbons]

Ist beim Vergleich des (bspw.) arithmetischen Mittels für zwei Fragen (Frage1 und Frage2) das herkömmliche berechnete arithmetische Mittel (aus n=250) statistisch verwertbar?

Was meinst Du mit "statitisch verwertbar" konkret?

Wie lauten das Thema und konkrete Fragestellung(en) der Studie?

verfälscht der mein arithmetisches Mittel (bei n=250) nach oben?

Im Vergleich wozu?

Mit freundlichen Grüßen

PonderStibbons

[Phileo98]

Ist beim Vergleich des (bspw.) arithmetischen Mittels für zwei Fragen (Frage1 und Frage2) das herkömmliche berechnete arithmetische Mittel (aus n=250) statistisch verwertbar?

Was meinst Du mit "statitisch verwertbar" konkret?

kann man damit aussagekräftig argumentieren?

Letztlich misst das durch Frage1 gemessene Konstrukt eine Unabhängige Variable, Frage2 ist ein vermeintlicher Moderator und Frage3 die Abhängige Variable. Ziel ist es, den vermuteten Moderationseffekt zu überprüfen.
Die vier Szenarien unterscheiden sich dahingehend, dass sie unterschiedlich starke Ausprägungen der Unabhängigen Variable vermuten lassen.

Wieso ich vier Szenarien abgefragt habe? 1) damit ich deutlich unterschiedliche Ausprägungen des in Frage1 gemessenen Konstruktes (=UV in meinem Modell) bekomme und 2) weil bisherige Forschung in dem Feld zumeist auf diesen vier Szenarien beruht (weil leicht zu operationalisieren). Ich möchte hingegen in meinem Forschungsmodell bewusst das durch Frage1 gemessene Konstrukt als UV haben und eben NICHT die vier Szenarien. Die vier Szenarien sind nur Mittel zum Zweck.

Ich übertrage mein Thema auf einen besser verständlichen Sachverhalt, dann wird es besser verständlich:
Frage1 (UV) ist die Klausurvorbereitung eines Schülers, Frage2 (MOD) seine Intelligenz und Frage3 (AV) seine Note.
Die vier Szenarien sind: Überraschungsklausur, Klausur mit Ankündigung am Vortag, mit Ankündigung 1 Woche zuvor und mit Ankündigung 6 Monate zuvor inkl. viel Aufhebens seitens der Lehrer.
Aufgrund bisheriger Empirie ist ein Zusammenhang von Szenario und Frage1 (Klausurvorbereitung) zu erwarten. Das Forschungsmodell möchte bewusst die Klausurvorbereitung als UV messen. In meiner Studie wurden die vier Szenarien nur deshalb abgefragt, damit die erhaltenen Antworten eine gewisse Streuung bei Frage1 enthalten.

verfälscht der mein arithmetisches Mittel (bei n=250) nach oben?

Im Vergleich wozu?

Im Vergleich zur Stichprobe ohne ihn. Wenn alle Teilnehmer je genau 1 Beobachtung liefern, dann hat jeder das gleiche Gewicht auf das Mittel und demzufolge wären etwaige Biases einzelner Teilnehmer irrelevant (weil.. naja dazu macht man ja eine große Stichprobe, gleicht sich aus). Aber in meinem Fall würde diese Person die Stichprobe stärker beeinflussen, als andere Personen es tun. (Wobei ich ihn ja nicht deswegen ausschließen will und darf. Darum frag ich mich ja, wie ich mit der Verzerrung durch ihn umgehen sollte. Ich würde sie vermutlich in Ermangelung besseren Wissens ignorieren und als Limitation im Diskussionsteil nennen).
Vielleicht ist meine Befürchtung auch an den Haaren herbeigezogen, weil jede einzelne Beobachtung nach wie vor gleich gewichtet ist und darum jeder Teilnehmer nur in dem Maße seine etwaigen Biases einbringt, in dem er die Zahl der Beobachungen erhöht. Wobei dieser Argumentation zufolge, plump gesagt, ein Teilnehmer auch 100 Beobachtungen liefern dürfte (sofern es sich jedes Mal um eine andere Klausur handelt). Und da sagt mein Bauchgefühl, dass das die statistische Aussagekraft massiv infragestellen würde.

Danke dir jedenfalls schonmal für deine Hilfe, sie bringt mich schon jetzt zum Nachdenken und besseren Verstehen meines Problems!
LG, Phileo

[PonderStibbons]

Leider verstehe ich Deine Beschreibung nicht, was vermutlich liegt an

Ich übertrage mein Thema auf einen besser verständlichen Sachverhalt, dann wird es besser verständlich:

Das geht leider so gut wie immer schief.

Es kann sein, dass es darum geht, dass dieselbe Messung bei manchen 1mal und bei manchen 4mal vorgenommen
wird, aber ob und warum die Messungen aggregiert werden sollen oder nicht, erschließt sich mir nicht.

Wie gesagt wäre eine m.E. nachvollziehbare Darstellung von Thema und Fragestellungen sinnvoll und was konkret
gemessen wird.

Mit freundlichen Grüßen

PonderStibbons