STATISTIK-FORUM.de

[Christina_92]

Hallo,

Ich sitze derzeit an meiner Abschlussarbeit und bin leicht überfordert.
Zu meiner Arbeit: Ich untersuche Wirkung der Hausaufgaben im Homeoffice und trenne hierbei zwischen Online und auf Papier. Die Jugendlichen füllen den Fragebogen mehrmals nach den Hausaufgaben aus, geben dabei an, ob sie Online gelernt haben oder klassisch auf Papier. Ich erfasse die Zufriedenheit mittels Single-Item-Skala (VAS-Skala: Linie mit den Enden „Nicht zufrieden“ und „zufrieden“, die Teilnehmenden können dann den Cursor setzen von 1-101). Zusätzlich erfasse ich die emotionale Befindlichkeit mit Hilfe des PANAS (Selbsteinschätzungsinstrument mit 20 Adjektiven, jeweils 10 positive und 10 negative). Ich verwende hier die Dimension des positiven Affekts. Meine Untersuchungsstichprobe ist n= 23.

Meine beiden ersten Hypothesen lauten, dass die Zufriedenheit/ positive Befindlichkeit nach den Papier-Aufgaben höher ist als nach den Online-Aufgaben. Ich habe dafür zunächst für die Zufriedenheit, als auch für die positive Befindlichkeit den Mittelwert berechnet. Daraufhin habe ich die Differenzen der Mittelwerte auf Normalverteilung getestet, um schlussendlich zu entscheiden, ob ich den gepaarten t-test oder den Wilcoxon-Vorzeichen-Rang-Test anwende. Die Zufriedenheit ist nicht normalverteilt. Bei der positiven Befindlichkeit dahingegen hab ich bei Shapiro-Wilk eine Signifikanz von 0,046 und beim Kolmogorov-Smirnov eine Signifikanz von 0,076.
Wonach entscheide ich jetzt, ob ich den t-test oder den Wilcoxon-Test anwende? Und wie begründe ich am besten diese Entscheidung?

Ich habe jetzt sowohl für die Zufriedenheit, als auch für die positive Befindlichkeit den WIlcoxon-Test durchgeführt. Muss ich denn etwas beachten, da meine Hypothese gerichtet ist?
Ist es egal, ob ich ZufriedenheitPapier - ZufriedenheitOnline nehme oder andersrum?

Tut mir leid für die vielen Fragen. Ich habe nur leider nicht das Glück, dass mein Betreuer mich dabei unterstützt, weswegen ich auf Foren, YouTube und co angewiesen bin. Ich hoffe, dass mir hier jemand helfen kann!

Vielen Dank im Voraus!

Liebe Grüße
Christina

[PonderStibbons]

Von einer normalverteilten Grundgesamtheit der Differenzwerte kann man angesichts beider Testergebnisse nicht ausgehen.
Ab n> 30 ist die Verteilung in der Grundgesamtheit allerdings nicht mehr von Belang für t-Tests. Die Stichprobengröße als eine
der wichtigsten Angaben bei einer Studienbeschreibung fehlt aber leider hier.

Mit freundlichen Grüßen

PonderStibbons

[Christina_92]

Vielen Dank schonmal für die Antwort!
Für die Untersuchung der beiden genannten Hypothesen habe ich eine Stichprobengröße von n=23.

[bele]

Hallo Christina_92,

Meine Untersuchungsstichprobe ist n= 23.
[...]
Bei der positiven Befindlichkeit dahingegen hab ich bei Shapiro-Wilk eine Signifikanz von 0,046 und beim Kolmogorov-Smirnov eine Signifikanz von 0,076.
[...]
Wonach entscheide ich jetzt, ob ich den t-test oder den Wilcoxon-Test anwende? Und wie begründe ich am besten diese Entscheidung?

Da gibt es wohl nicht die eine abschließend wahre Antwort und wahrscheinlich werde beide Tests zu einem ähnlichen Ergebnis kommen. Das schließt aber leider nicht aus, dass die ähnlichen Ergebnisse auf verschiedenen Seiten des goldenen Kalbs, also der 0,05-Marke, liegen können. Dem Vorzeichen-Rangtest ist die Verteilung erstmal schnuppe, man darf ihn mit Fug und Recht sowohl bei Normalverteilung als auch bei Nicht-Normalverteilung anwenden. Deshalb bietet er sich bei Stichproben dieser Größe an. Es kann sein, dass Deine Ausbilder/Betreuer/Gutachter überhaupt kein Problem damit haben, bei der Anwendung des t-Test auch mal ein Verteilungsauge zuzudrücken, aber wenn es ggf. externe Gutachter gibt, Leute deren Einstellung zum t-Test bei kleinen Stichproben Du nicht kennst, dann läufst Du mit dem Vorzeichenrangtest weniger Risiko.

Ich habe jetzt sowohl für die Zufriedenheit, als auch für die positive Befindlichkeit den WIlcoxon-Test durchgeführt. Muss ich denn etwas beachten, da meine Hypothese gerichtet ist?
Ist es egal, ob ich ZufriedenheitPapier - ZufriedenheitOnline nehme oder andersrum?

Ich würde auch bei gerichteten Hypothesen immer beidseitig testen und wenn Du beidseitig testest ist auch egal, was links und was rechts vom Minuszeichen steht.

VG,
Bernhard

[PonderStibbons]

Obwohl die Testung der Normalverteilungsannahme aus verschiedenen Gründen meines Erachtens keine gute Idee ist,
kann man sich auf den verbreiteten und vernünftigen Gedanken beziehen, dass bei Tests von Voraussetzungen für die
Durchführung von Verfahren ein Risiko falsch-negativer Befunde (fälschliche Beibehaltung der Nullhypothese "die Daten
stammen aus einer normalverteilten Grundgesamtheit") möglichst gering zu halten ist. Weil man befürchtet, dass ein
falsch-negativer Befund zu einer falschen Testwahl und daher falschen Ergebnissen führt. Daher ist die Annahme verbreitet,
dass bei Tests von Voraussetzungen das alpha-Niveau nicht bei 0,05 liegen sollte, sondern "sensitiver" bei 0,1 (oder 0,15
oder 0,20, je nach Quelle). Das würde für beide Testungen die Verwendung des Wilcoxon begründen. Deine inhaltliche
Hypothese sagt ja auch nichts über Mittelwerte, dann passt das erst recht.

Mit freundlichen Grüßen

PonderStibbons

[Christina_92]

Ich bedanke mich bei euch beiden!
Leider sind meine Gutachter was das angeht sehr streng, weswegen ich mich für den Wilcoxon entschieden habe.
Ich habe folgendes raus:

Zufriedenheit
Z = -1,130
p = 0,259

Positive Befindlichkeit
Z = -1,550
p = 0,121

Ich nehme ja dann in beiden Fällen die Nullhypothese an. Oder kann ich mit einer Post-hoc-Analyse noch die Teststärke des Wilcoxon berechnen, um dann zu schauen, wie hoch β ist um ggf. die Annahme der Nullhypothese zu widerlegen? Dann könnte ich auch nicht bestätigen, dass es keinen Unterschied gibt, oder?

[PonderStibbons]

Ich nehme ja dann in beiden Fällen die Nullhypothese an.

Nein. Du warst lediglich nicht in der Lage, sie zu verwerfen.

Oder kann ich mit einer Post-hoc-Analyse noch die Teststärke des Wilcoxon berechnen, um dann zu schauen, wie hoch β ist um ggf. die Annahme der Nullhypothese zu widerlegen? Dann könnte ich auch nicht bestätigen, dass es keinen Unterschied gibt, oder?

Dass die Teststärke bei n=23 niedrig ist, weißt Du doch auch ohne post-hoc-Analyse,
was immer das auch sein mag.

Mit freundlichen Grüßen

PonderStibbons

[bele]

Leider sind meine Gutachter was das angeht sehr streng, weswegen ich mich für den Wilcoxon entschieden habe.

Dann hast Du aber doch eine klare Linie.

Ich nehme ja dann in beiden Fällen die Nullhypothese an.

Ich zum Beispiel kann nicht widerlegen, dass Dr. Angela Merkel ein Reptilienwesen ist und dass Hitler und seine Mitarbeiter in einer geheimen Basis auf der Rückseite des Mondes geheime Klonkriegerarmeen auf eine Invasion der Erde vorbereiten. Aber nur weil ich das nicht widerlegen kann nehme ich nicht an, dass es so sei. Eine kleine Stichprobe bedeutet eine geringe Power.

Dann könnte ich auch nicht bestätigen, dass es keinen Unterschied gibt, oder?

Die Wahrscheinlichkeitsdichte der Nullhypothese vor Deiner Untersuchung mit der nach Deiner Untersuchung vergleichen, dafür berechnet man einen sogenannten BayesFactor BF. Anscheinend kann man einen BF für einen Vorzeichenrangtest recht einfach in JASP berechnen und da JASP kostenlos ist, wäre das wahrscheinlich der einfachste Weg, die These dass es keinen Unterschied gibt, zu unterfüttern. Siehe z. B. http://static.jasp-stats.org/Manuals/Ba ... 0.12.2.pdf ab Seite 43 bzw ab Seite 38. Das ist aber ziemlich sicher nicht gelehrt worden und von daher stellt sich die Frage, ob Du Dir das antun willst oder ob Du einfach mit "wird bei n = 23 nicht signifikant" aufhörst.

LG,
Bernhard

[PonderStibbons]

Sind Bayes-Faktoren empfehlenswert? Das wirkt fast wie eine Fortführung der schädlichen
"es ist entweder oder ODER dies der Fall" aus dem elenden Signifikanztest-Paradigma.
Einen Populations-Parameterschätzer samt credibility interval zu erhalten schien doch
gerade den Witz der Sache auszumachen, ohne erneut über eine Strohmann- versus
Arbeitshypothese entscheiden zu sollen.

Mit freundlichen Grüßen

PonderStibbons

[bele]

Lieber PonderStibbons,

wie Du ja gerne selbst anmerkst, gibt es hier keine Statistiker im engeren Sinne und mein Bayes-Verständnis ist bestenfalls oberflächliches Anfängerwissen. Unter diesem Vorbehalt gesprochen habe ich den Eindruck gewonnen, dass man sich in Bayes-Kreisen uneinig ist. Die Puristen sehen das so, wie Du es beschreibst; dass man nämlich wieder in ähnliche oder gleiche Fallen tappt wie die Nullhypothesentesterei (NHST).

Gelman et al schreiben beispielsweise in Bayesian Data Analysis 3rd ed.

Bayes factors can work well when the underlying model is truly discrete and for which it makes sense to consider one or the other model as being a good description of the data. [...]
Bayes factors do not work so well for models that are inherently contintuous. For example, we do not like models that assign a positive probability to the event of if is some continuous parameter such as a treatment effect.

Auf der anderen Seite gibt es ja auch die Bayes-Leute, die Publikationen über Wege zum Finden von Bayesfaktoren schreiben oder als Reviewer zur Publikation empfehlen und die Macher von JASP, die das in die Software integrieren, mit der sie ihre Studierenden unterrichten wollen. Ich glaube nicht, dass das alles dumme oder wirre Köpfe auf dem Holzpfad sind.

Ich sehe die angewandte Statistik ja ganz pragmatisch als Kommunikations- und Argumentationshilfe, mit der man Leser / Zuhörer überzeugen will. BayesFaktoren erscheinen mir (bei aller Bescheidenheit) als eine sinnvolle Brücke, die einige Fehler der Signifikanztestung umgeht und gleichzeitig Menschen mit einem NHST-Hintergrund zu vermitteln ist, ohne diese vorher in ein ganz anderes Evangelium einführen zu müssen.

Wenn Christina_92 das wollte, könnte sie an einem Wochenende gerade genug über JASP und über BayesFaktoren lernen, um sie sinnvoll anwenden und die Kernbotschaft bei einer Verteidigung vertreten zu können. Ob und wie man das "full Bayes" auch könnte bleibt mir vorerst verschlossen.

Auch Dir beste Grüße,
Bernhard