STATISTIK-FORUM.de

[Nanina]

Hallo zusammen,

ich bin gerade verwundert über einen Kommentar meines Co-Autors hinsichtlich unserer Studie. Die Studie selbst ist etwas komplizierter, aber hier geht es nur um demographische und andere Baseline-Daten.

Unsere 139 Probanden wurden vor dem Experiment zu diversen Dingen befragt, z.B. Alter, Geschlecht, Muttersprache, kognitive Intrusionen, Schmerzangst, Intensität aktueller Sorgen... So etwa 22 Fragen dieser Natur, alles auf Skalen mit unterschiedlich vielen Abstufungen (abgesehen von Alter, Geschlecht und Muttersprache, natürlich). Im Experiment wurden zwei Gruppen gebildet, die jeweils etwas unterschiedliches gemacht haben. Nun möchte man ja in der Stichprobendarstellung dann zeigen, ob sich die beiden Gruppen in den Baseline-Werten irgendwie signifikant unterschieden haben.

Normalerweise kenne ich das so, dass man dann einfach T-Tests rechnet, und diese Bonferroni(o.ä.)-korrigiert. So habe ich Gruppe A mit Gruppe B verglichen und eine hübsche Tabelle daraus gemacht. Mein Co-Autor wollte auch noch Geschlechtsunterschiede sehen, also habe ich dasselbe nochmal mit Männlein und Weiblein gerechnet, und eine weitere Spalte an die Tabelle angehängt.

Nun schlägt mein Co-Autor vor, das Ganze mit einer MANOVA zu rechnen. Ich verstehe die Sinnhaftigkeit irgendwie nicht. Kann man das so machen? Hat das Vorteile? Er meint, damit umgeht man die Bonferroni-Korrektur (die ein paar interessante Ergebnisse "verschlingt", und aufgrund der vielen Testungen evtl. zu restriktiv ist)... Andererseits sind dieselben Ergebnisse mit der MANOVA auch nicht mehr signifikant. ich frage mich aber auch, ob das so sinnvoll ist, 22 AVs in einer MANOVA zu haben, und 2 feste Faktoren (Gruppenzugehörigkeit und Geschlecht)? Hat er recht? Sollte ich das so machen? Check ich hier was nur nicht, oder bin ich nachvollziehbar verwirrt?

Danke!
Nanina

[PonderStibbons]

Nun möchte man ja in der Stichprobendarstellung dann zeigen, ob sich die beiden Gruppen in den Baseline-Werten irgendwie signifikant unterschieden haben.

Warum möchtest Du das zeigen? Das ergibt allenfalls Sinn bei nicht-randomierten Gruppen
und wenn man systematische Profilunterschiede zwischend den Grundgesamtheiten darstellen
will, aus denen die beiden Stichproben gezogen wurden.

Wurden die Gruppen hingegen durch Randomsierung gebildet, dann stammen sie aus ein- und
derselben Grundgesamtheit und es wäre jeder statistisch signifikante Unterschied ein Fehler
1. Art. Daher wäre bei Randomisierung Signifikanztesten sinnlos.

Will man hingegen darstellen, ob die vorliegenden Stichproben sich so stark unterscheiden,
dass es die Ergebnisse des Experimentes beeeinflussen könnte, ist ohnedies die Deskriptivstatistik
relevant, nicht Signifikanztests.

Nun schlägt mein Co-Autor vor, das Ganze mit einer MANOVA zu rechnen. Ich verstehe die Sinnhaftigkeit irgendwie nicht. Kann man das so machen?

Nein. Das setzt Intervallskalenniveau der Variablen voraus. Außerdem ist die Frage, was es hier bedeuten
würde zu sagen "der Vektor von Gruppe A unterscheidet sich von dem Vektor von Gruppe B", was das
das für Euch beantworten würde.

Er meint, damit umgeht man die Bonferroni-Korrektur

Die macht man, wenn es wichtig ist, Fehler 1. Art zu vermeiden. Wenn es nicht wichtig ist, dann nicht.
Wie oben gesagt, ist der Zweck der Übung und der Hintergrund (wie wurden die Gruppen gebildet) nicht
dargestellt.

Mit freundlichen Grüßen

PonderStibbons

[Nanina]

Hey, danke!

Da drängt sich nun die Frage der echten Randomisierung auf. Die Gruppenzuordnung wurde zufällig bestimmt. Jedem Teilnehmer wurde eine Zahl zugewiesen, zufällig aus den Zahlen von 1-139,wobei jede Zahl nur einmal benutzt wurde. Gruppe A hatte immer gerade Zahlen, Gruppe B immer ungerade. Allerdings wurde hin und wieder auch "korrigiert", in dem z.B. Alter und Geschlecht gleich auf die Gruppen verteilt wurden. Insofern kann man wahrscheinlich sagen, die Gruppen waren nicht rein zufällig - mit der Zufälligkeit ist das vermutlich wie mit dem schwanger sein, ein bisschen geht nicht?

Die Gruppen selbst waren zum Zeitpunkt der Befragung noch irrelevant, allen wurden dieselben Fragen gestellt. Die Manipulation fand erst später statt, und das ist für diese Frage ja unerheblich. Es gab in den Fragen viele Inhalte, bei denen erst hinterher (nach Berechnung von Summenscores aus den Fragebögen etc.) klar wurde, ob und wie sich die Gruppen unterscheiden. Und das ist hinsichtlich der Fragestellung wichtig zu zeigen: Gab es Baseline-Unterschiede, oder kann man so Pi-mal-Daumen davon ausgehen, dass alle Probanden hinsichtlich der abgefragten Merkmale ungefähr gleich in das Experiment reingegangen sind. Bei 139 Probanden ist das zwar unwahrscheinlich, kommt aber vor. Und tatsächlich hatte die eine Gruppe signifikant höhere Werte für Schmerzangst - in einem Experiment, in dem es um Schmerz und Angst geht. Daher ergibt sich also die Notwendigkeit (und der Usus, ich kenne das gar nicht anders) die Gruppen auf Baseline-Unterschiede zu prüfen.

In der Tabelle werden natürlich für alle Variablen Mittelwerte und SD (gelegentlich auch Range) angegeben. Und dann noch die p-Werte für signifikante Unterschiede. Ich habe den Eindruck mein Co-Autor (er ist Neu-Professor, ich bin Postdoc) hat einfach keine Ahnung, was er mir da eigentlich vorschlägt (wäre auch nicht das erste Mal). Ich wollte allerdings sichergehen, dass ich das richtig verstehe.

Insofern kehre ich jetzt zurück zum meinem bisherigen Vorgehen - Beschreibung der Stichprobe, signifikante Unterschiede mit t-Tests. Bonferroni-Korrektur hypothesengeleitet, und nicht (wie ja auch oft beschrieben wird) über ALLE getesteten Variablen gleichermaßen.

Danke und beste Grüße
Nanina

[PonderStibbons]

Und das ist hinsichtlich der Fragestellung wichtig zu zeigen: Gab es Baseline-Unterschiede, oder kann man so Pi-mal-Daumen davon ausgehen, dass alle Probanden hinsichtlich der abgefragten Merkmale ungefähr gleich in das Experiment reingegangen sind.

Die Frage stellt sich demnach an die realisierten Stichproben und ist nicht mit inferenzstatistischen Tests
beantwortbar. Da muss man sich wie gesagt die Deskriptivstatistik ansehen, ob es markante Unterschiede
gibt.

Bei 139 Probanden ist das zwar unwahrscheinlich, kommt aber vor. Und tatsächlich hatte die eine Gruppe signifikant höhere Werte für Schmerzangst - in einem Experiment, in dem es um Schmerz und Angst geht. Daher ergibt sich also die Notwendigkeit (und der Usus, ich kenne das gar nicht anders) die Gruppen auf Baseline-Unterschiede zu prüfen.

Notwendig mag es sein, die Baselie-Unterschiede zu betrachten. Es gibt keine Erforderns, dafür
einen Signifikanztest durchzuführen. Der befasst sich mit der Frage, ob die Grundgesamtheiten denselben
Mittelwert aufweisen. Ein nicht-signifikantes Ergebnis hieße (bei kleineren Stichproben) bekanntermaßen
ja nicht, dass die Stichproben zwingend parallel sind. Und ein inferenzstatitisch signifikanter Effekt heißt
nicht, dass ein Unterschied für die Versuchsdurchführung tatsächlich relevant ist. Bei größeren Stichproben
werden auch unwesentliche Unterschiede statistisch "signifikant" (d.h. es wird die Nullhypothese verworfen,
dass die Gruppen sich in der Grundgesamtheit um den Betrag 0,00000000000... unterscheiden). Das
beantwortet nicht die simple Frage, ob ein Unterschied zwischen Stichprobe A und Stichprobe B um den
Betrag X ein Problem darstellen könnte.

Was den angeblichen Usus angeht, den kenne ich als solchen nicht. Aber tatsächlich werden oft
unbegründete Singifikanztests durchgeführt und falsch interpretiert, weil es an Verständns dafür
fehlt, was so ein Signifikanzest eigentlich ist und was "signifikant" bedeutet. Aber den Holzweg muss
man ja nicht beschreiten.

Mit freundlichen Grüßen

PonderStibbons