STATISTIK-FORUM.de

[A_n_a]

Hallo,
ich schreibe gerade an meiner Bachelorarbeit.
Ich mache einen Methodenvergleich zwischen Online- und Face-to-Face-Befragung bezüglich sozialer Erwünschtheit. D.h. ich habe zwei verschiedene Datensätze. Beiden liegt die gleiche Grundgesamtheit zugrunde:
- Online: n=180 (Selbstselektion der Probanden)
- Face-to-Face: n=102 (die f2f-Daten wurden anhand von Quoten aus der Online-Befragung erhoben, jedoch konnten die Quoten nicht alle eingehalten werden --> sind doch dann trotzdem unabhängige Stichproben, oder?)

Jetzt möchte ich zum einen die Vergleichbarkeit der Stichproben untersuchen, weiß aber nicht genau welche Tests ich verwenden soll:
- wenn ich zwei dichotome Variablen vergleichen will (also z.B. geschlecht online = geschlecht f2f?) --> Chi-Quadrat-Test?
- wenn ich zwei nominale Variablen vergleichen will (also z.B. Fakultäten online = Fakultäten f2f?) --> auch Chi-Quadtrat-Test?
- wenn ich zwei ordinale Variablen vergleichen will (z.B. Häufigkeit Internetnutzung: online = f2f?) --> auch Chi Quadrat-Test?
- wenn ich zwei metrische Variablen vergleichen will (z.B. Alter: online = f2f?) --> T-Test für unverbundene Stichproben? (bekomm ich mich SPSS nicht hin, nur mit Excel)
--> alles zweiseitige Signifikanztests?

Als zweites möchte ich Unterschiede untersuchen, die Hypothese lautet: In der Face-to-Face-Befragung wird durchschnittlich sozial erwünschter geantwortet als in der Online-Befragung. Die Items zur Sozialen Erwünschtheit konnten mit 'richtig' oder 'falsch' beantwortet werden, für jede sozial erwünschte Antwort gab es einen 'Punkt'. Diese Punkte wurden zu einem Score aufaddiert.
- Unterschiede zwischen Online-Score und f2f-Score? --> T-Test?
- Unterschiede zwischen den einzelnen Items (jedes Item einzelnd online-f2f vergleichen?) --> Chi-Quadrat?
--> alles einseitige Signifikanztests?

Ich arbeite mit Excel und ein bisschen mit SPSS. Bei SPSS habe ich das Problem, dass ich nicht weiß wie ich dem Programm 'sagen' soll, dass das zwei verschiedene Stichproben mit unterschiedlichem n sind, und nicht eine. Bei den Kreutabellen nimmt SPSS z.B. immer das niedrigste n (102) als Basis. Für das Programm sieht das ja bestimmt so aus, als wäre das eine Stichprobe, nur dass die letzten 78 Teilnehmer die zweite Hälfte nicht beantwortet hat.

Ich hoffe hier versteht jemand was ich meine und kann mir vllt etwas weiterhelfen.

Vielen Dank im Voraus!

[PonderStibbons]

- wenn ich zwei ordinale Variablen vergleichen will (z.B. Häufigkeit Internetnutzung: online = f2f?) --> auch Chi Quadrat-Test?

In der Regel Mann-Whitney U-Test. Der Rest (auch im 2. Teil) so wie Du vermutest.

--> alles zweiseitige Signifikanztests?

Zweiseitig. Die Frage ist, wie das Signifikanzniveau aussehen sollte. Mindestens p < 0,10 statt p < 0,05, da es hier um eine Absicherung geht, dass die Gruppen einigermaßen parallel sind.

--> alles einseitige Signifikanztests?

Zweiseitig.

Ich arbeite mit Excel und ein bisschen mit SPSS. Bei SPSS habe ich das Problem, dass ich nicht weiß wie ich dem Programm 'sagen' soll, dass das zwei verschiedene Stichproben mit unterschiedlichem n sind, und nicht eine.

Dann musst Du Dir vielleicht mal ein Buch besorgen, in dem die Datenaufbereitung und Datenanalyse in SPSS erläutert wird. Gibts doch normalerweise auch in Abteilungsbibliotheken.

Was willst Du eigentlich vergleichen, doch wohl 102 versus 78? Aber was ist mit "2. Hälfte" gemeint? Normalerweise hast Du 180 Zeilen, eine Variable (Spalte) bezeichnet dabei die Gruppenzugehörigkeit bzw. den Befragungsmodus.

Gruß

P.
---
Gottseidank...Kanon für 36

[A_n_a]

erstmal vielen Dank für die schnelle Antwort.

Also von diesem Mann-Whitney U-Test habe ich noch nie was gehört. Hab das mal gegoogelt und wenn ich das richtig verstanden habe, muss man die Werte von beiden Stichproben zusammenrechnen. Aber ich hab ja nun einmal einen Stichprobenumfang von 180 und einmal einen von 102.

So ungefähr meinte ich das mit der zweiten Hälfte: die erste Hälfte meines Datenblatts besteht aus den Daten von der Onlineumfrage mit n=180, daran reihen sich (ab der 2. Hälfte Datentabelle) die Daten der f2f-Befragung an, mit n=102. In dieser zweiten Hälfte hat SPSS alle Werte von n=103 bis n=180 (die ja in der f2f-Befragung nicht existieren, weil ich nur 102 Leute gefragt habe) als 'fehlend' gekennzeichnet (also ein Punkt im leeren Feld).
Verstehst du jetzt ungefähr mein Problem? ist irgendwie schwer zu erklären.

Und wie vergleiche ich jetzt dichotome bzw. nominale Variablen? So das ich auch einen Signifikanztest durchführen kann?

Warum sind die Tests jetzt zweiseitig? Meine Hyothese besagt ja, dass die soziale Erwünschtheit bei f2f größer ist als online. 2-seitig wäre es doch nur dann wenn ich sage: es gibt einen unterschied, aber die richtung nicht festlege, oder denke ich da grad falsch?

[PonderStibbons]

Also von diesem Mann-Whitney U-Test habe ich noch nie was gehört. Hab das mal gegoogelt und wenn ich das richtig verstanden habe, muss man die Werte von beiden Stichproben zusammenrechnen.

Du hast 282 (?) unterschiedliche (?) Probanden. Das wären 282 Zeilen in ein- und demselben SPSS-Datenblatt. In einer Spalte "Interviewart" kennzeichnst Du die 180 Fälle der einen Art und die 102 der anderen Art. In den weiteren Spalten hast Du die jeweiligen Messwerte für die 282 Fälle. Signifikanztests übernimmt dann SPSS.

So ungefähr meinte ich das mit der zweiten Hälfte: die erste Hälfte meines Datenblatts besteht aus den Daten von der Onlineumfrage mit n=180, daran reihen sich (ab der 2. Hälfte Datentabelle) die Daten der f2f-Befragung an, mit n=102. In dieser zweiten Hälfte hat SPSS alle Werte von n=103 bis n=180 (die ja in der f2f-Befragung nicht existieren, weil ich nur 102 Leute gefragt habe) als 'fehlend' gekennzeichnet (also ein Punkt im leeren Feld).

Verstehe ich leider immer rnoch nicht so ganz. Soll das bedeuten, Du hast lediglich 180 unterschiedliche Fälle, von denen 102 dann noch die 2. Befragung durchlaufen haben?

Warum sind die Tests jetzt zweiseitig? Meine Hyothese besagt ja, dass die soziale Erwünschtheit bei f2f größer ist als online.

Dass eine inhaltliche Hypothese einseitig ist, bedeutet nicht, dass die statistische Nullhypothese einseitg zu sein hat. Das sind zwei sehr verschiedene Bereiche. Viele Arbeitshypothesen sind gerichtet, dennoch wird in aller Regel 2seitig getestet, siehe http://www.uni-graz.at/ilona.papousek/t ... s/faq.html FAQ#3

Gruß

P.

[Claas]

Hallo,

möchte einen von P. bereits angesprochenen Punkt hier nochmal betonen:

Sind die beiden Stichproben nun abhängig oder nicht, also hast Du ein N = 180 oder N = 282?
Für einen Methodenvergleich arbeitet man normalerweise mit abhängigen Stichproben.

Wenn Du ein N = 282 hast, hättest Du das Problem, eventuelle Unterschiede zwischen den Befragungsarten auf selbige zurückführen zu können - die könnten sich auch daraus ergeben, dass sich die Stichproben (die ja wahrscheinlich eh keine echten Zufallsstichproben sind) in den jeweiligen Merkmalen unterscheiden.
Wenn N = 180, stellt sich die Frage, wie Du mit möglichen Sequenzeffekten (hier die Tendenz, sich bei einer 2. Befragung konsistent zur 1. Befragung zu verhalten) umgegangen bist, ob also die Reihenfolge, in der die Fragebögen "verabreicht" wurden, randomisiert wurde. Ansonsten würdet Du nicht nur online vs. f2f testen, sondern 1. Befragung vs. 2. Befragung und könntest eventuelle Unterschiede auch hier nicht ohne weiteres auf die Befragungsarten zurückführen.

V.a. aber ergeben sich unterschiedliche statistische Verfahren, je nachdem, ob unabhängige oder abhängige Stichproben.
Geht es wirklich um einen Methodenvergleich, bieten sich evtl. Verfahren wie der Intraklassenkorrelationskoeffizient oder das (vielgescholtene) kappa an.

Liebe Grüße
Claas

[A_n_a]

Hallo Claas,
also es handelt sich um unabhängige Stichproben, also es wurden in der Online-Befragung andere Leute befragt als in der f2f-Befragung. (also kein Test-Retest-Design, sondern quasi ne qualitativ minderwertige Split-Ballot-Technik) zwar nicht die optimale Lösung, aber wurde so abgesegnet. Außerdem handelt es sich um keine Zufallsauswahl, sondern einmal Selbstselektion in der Online-Stichprobe und einmal willkürliche Auswahl auf Quotenbasis (Quoten stammen aus Online-Stichprobe). Es geht mir nicht um repräsentative, sondern um vergleichbare Stichproben. Die Items waren in beiden Befragungen identisch und der Hauptteil (mit den sozial erwünschtheits-fragen) wurde randomisiert.

lg, Ana

[Claas]

O.k., wenn die Stichproben unabhängig sind und die Vergleichbarkeit aufgrund der quotierten Stichprobenziehung als hinreichend gegeben angesehen wird, musst Du ja nur noch die Datentabelle so aufbereiten wie von P. beschrieben.
Anwendung von t- und U-Test und chi² etc. sollten dann eigentlich kein Problem mehr sein.
LG Claas

[A_n_a]

Jetzt habe ich endlich kapiert, wie ich die Daten in SPSS anzuordnen habe! Und jetzt klappt auch alles!
Danke für den Hinweis. Mein Datenblatt sieht jetzt so aus, wie von P. beschrieben.

Jetzt nochmal zur Absicherung: Wenn ich das richtig verstanden habe nehme ich nun folgende Tests (um die beiden Befragungsarten zu vergleichen):
- nominale Daten: Chi-Quadrat-Test
- ordinale Daten: U-Test
- metrische Daten: T-Test und bei ungleichen Varianzen auch den U-Test (aber eig. müsste der T-Test ja auch ausreichen, weil der mir ja auch ein Ergebnis liefert für ungleiche Varianzen)

noch eine Frage: für den soziodemografischen Teil erwarte ich ja, dass es keine Unterschiede gibt. Dann ist meine Nullhypothese doch trotzdem: Es gibt keine Unterschiede zwischen online und f2f. und H1: Es gibt Unterschiede. mit dem Ziel die Nullhypothese zu bestätigen bzw. H1 abzulehnen?
Und wenn ich im zweiten Teil die Unterschiede im Sozialen-Erwünschtheitsteil Testen will, ist meine Nullypothese: Es gibt keine Unterschiede. und H1: es gibt Unterschiede. Mit dem Ziel die Nullhypothese zu verwerfen.
denke ich da richtig? oder kann man keine Hypothese aufstellen, die der Nullhypothese entspricht?

lg, Ana

PS: habe ein super Tutorial von der FU-Berlin gefunden.
Falls das hier jemand liest und ähnliche Probleme hat, hier ist alles gut verständlich erklärt:
http://gruener.userpage.fu-berlin.de/sp ... tm#testen1

[Claas]

aber eig. müsste der T-Test ja auch ausreichen, weil der mir ja auch ein Ergebnis liefert für ungleiche Varianzen

Genau.

mit dem Ziel die Nullhypothese zu bestätigen bzw. H1 abzulehnen?

Das ist leider problematisch, da der im Falle einer Null- als Forschungshypothese relevante Fehler 2. Art (statt wie sonst 1. Art) sich nicht so kontrollieren lässt. Eigentlich wäre da ein Äquivalenztest angezeigt. Ansonsten gibt es die Praxis, das alpha-Fehlerniveau höher zu setzen, z.B. auf 20% statt auf 5%.
Ansonsten, wenn ich das richtig sehe, wird bei split ballot ja aufgrund der Art der Stichprobenziehung davon ausgegangen, dass die beiden Stichproben hinreichend gleich sind und Unterschiede eben auf die unterschiedlichen Befragungsinstrumente zurückgeführt. Von daher wäre die Frage, warum Du das testest.
LG Claas