STATISTIK-FORUM.de

[Aila]

Hallo zusammen,

ich habe eine Frage zum Signifikanzniveau. "Normal" ist in meiner wissenschaftlichen Disziplin ein 5 %-Niveau. Dieses habe ich auch der statistischen Prüfung meiner Hypothesen zugrunde gelegt.
Jetzt habe ich für meine Daten einige "Vortests" gerechnet, um zu überprüfen, ob sich z. B. das Antwortverhalten von Personen, die kritische Anmerkungen am Ende einer Befragung gemacht haben, von dem von Personen unterscheidet, die das Anmerkungsfeld frei gelassen haben (mit Hilfe von t-Tests).
Einige dieser Einzelvergleiche werden auf dem 5 %-Niveau signifikant (z. B. in einem Fall 2 von 12 Einzelvergleichen). Ich meine mich zu erinnern, dass ich irgendwo mal gelesen habe, dass man für solche Vortests dann das 1 %-Niveau zugrunde legen kann (in dem Fall würden sich weniger Unterschiede ergeben). Ist das legitim und wenn ja, wie kann man das begründen?
Wenn nein, kann ich dann bei so einem kleinen Anteil (2 von 12 Variablen) trotzdem die Aussage treffen, dass sich generell keine Unterschiede ergeben?
Ich bin gerade ein bisschen unsicher... Vielen Dank für jede Hilfe!

Aila

[Streuner]

Hey Aila,
erstmal Vorweg: Eine feste Regelung (ist mir) erstmal dafür nicht bekannt.

Es sei aber gesagt, dass generell die Meinungen zu Vortests auseinander gehen, ich nenne nur einmal 2 Alernativen:
a) Vortests ändern nichts am Niveau (in deinem Falle die üblichen 5 % )
b) Es muss eine Alpha - Adjustierung vorgenommen werden, dass heißt ( Niveau / Anzahl der am Datensatz durchgeführten Tests ) d.h nehmen wir dein Alpha von 5% und setzen wir z.B 10 Vortests an, müsstest du eigentlich deine Grundhypothese zu einem Niveau von 0.5 % testen.


Das ist erstmal so mein Basiswissen zu der Thematik, aber manch erfahrene User hier wird dir sicherlich noch eine präzisere Aussage geben können.

Lg,
Streuner

[PonderStibbons]

Es verletzt die Logik des Verfahrens, sich erst die Ergebnisse anzusehen und dann
"passend" das Signifikanzniveau festzulegen. Daher ist ein Wechsel eigentlich nicht
zu rechtfertigen.

Falls es für die Durchführung und Interpretation der Studie außerdem von
Belang ist, dass möglichst kein Grupenunterschied existiert, wird man
vorsichtshaber die power nicht durch strengere Signifikanzniveaus verringern,
also mindestens bei 5% bleiben, es gibt auch gute Gründe für 10%. Da nichts
näheres über den Stellenwert der 12 Tests im Studienkontext bekannt ist,
außerdem Angaben zur Stichprobengröße fehlen, ist dies schwer zu beurteilen.

Wenn nein, kann ich dann bei so einem kleinen Anteil (2 von 12 Variablen) trotzdem die Aussage treffen, dass sich generell keine Unterschiede ergeben?

Das ist eine nicht sehr logisch klingende Aussage. Man vergleicht 2 Gruppen
anhand von 12 Merkmalen, erhält einen deutlichen Hinweis, dass sie sich
mindestens bei 2 Merkmalen auch in der Grundgesamtheit unterscheiden,
und trifft danach die Aussage, dass sie sich aber doch nicht unterscheiden?

Nebenbei wäre a priori vielleicht auch Hotellings T² Test zur simultanen
Überprüfung aller 12 Gruppenunterschiede in Frage gekommen, aber da
kenne ich auf Anhieb die power nicht und ob das in den wie gesagt nicht
ausführlich genug geschilderten Kontext passt.

Mit freundlichen Grüßen

P.

[Aila]

Erst mal herzlichen Dank für eure Antworten!
Ich schildere den Kontext gerne genauer, ich hatte nur gehofft, dass es dazu evtl. eine recht allgemeingültige Aussage gibt. Ich habe in meiner bereinigten Stichprobe n = 399 Versuchspersonen in einer Online-Befragungen zwölf Bereiche (z. B. Fitness, Gesundheit etc.) auf einer sechsstufigen Skala danach beurteilen lassen, inwieweit sie diese als verbunden bzw. unverbunden mit (vereinfacht gesagt) regelmäßigem sportlichen Training wahrnehmen. Die "Haupthypothese" war, dass sechs dieser Bereiche als mit Training enger verbunden wahrgenommen werden als die restlichen sechs Bereiche. Diese Hypothese konnte ich sowohl mit Hilfe von geplanten Kontrasten im Rahmen einer ANOVA als auch mit Hilfe einer Hauptkomponentenanalyse bestätigen. Allerdings muss man zum Stellenwert dieser Studie sagen, dass es sich hierbei "nur" um eine Kontrollstudie für eine zweite Studie handelt, in der eben als Voraussetzung angenommen wurde, dass sechs Bereiche für die Vpn eng mit sportlichem Training verbunden sind.

Für die Voranalysen (der "Vorstudie") wollte ich prüfen, ob sich die Einschätzungen von Leuten unterscheiden, die 1.) kritische Anmerkungen gemacht haben oder nicht, 2.) bereits die andere (Haupt-)Studie (mit thematischer Überschneidung) bearbeitet hatten oder nicht und 3.) die beiden Instruktionsseiten wenigstens überflogen oder gar nicht gelesen hatten (operationalisiert über die Verweildauer). Gewünscht war natürlich, dass diese Variablen keinen Einfluss auf das Antwortverhalten haben.
Da ich keine Alternative kenne, habe ich für die 12 Bereiche jeweils t-Tests gerechnet, von denen sich eben je nach Fragestellung für zwei bis drei Bereiche Unterschiede auf dem 5 %-Niveau ergeben (allerdings sind dies jedes Mal unterschiedliche Bereiche). Eine Alpha-Adjustierung habe ich dabei allerdings nicht vorgenommen, wobei ich darüber nachgedacht habe.

Von Hotellings T² Test habe ich bisher noch nichts gehört, ist er im geschilderten Kontext sinnvoll? Ich werde mich auf jeden Fall mal darüber informieren.

Vielen Dank nochmals!

ETA: Ich habe mich ein bisschen in den T²-Test eingelesen, verstehe ich es richtig, dass ich in SPSS die Zeile "Hotelling-Spur" innerhalb des Outputs der multivariaten (und in meinem Fall zusätzlich messwiederholten) ANOVA interpretiere?