STATISTIK-FORUM.de

[Standardabweichung]

Es ist ja bekannt, dass wir bei multiplen Tests eine Alpha Adjustierung durchführen sollten. Da stellt sich mir die Frage, ob dies immer notwendig ist, sobald wir mehr als einen Test rechnen, d.h. auch schon bei zwei Tests?


Wie geht ihr vor?

[PonderStibbons]

Es ist ja bekannt, dass wir bei multiplen Tests eine Alpha Adjustierung durchführen sollten.

Als Gesetzmäßigkeit ist mir das bisher noch nicht begegnet.

Da stellt sich mir die Frage, ob dies immer notwendig ist, sobald wir mehr als einen Test rechnen, d.h. auch schon bei zwei Tests?

"Immer" wäre sehr weitreichend.

Wie geht ihr vor?

Stets auf das konkrete Problem bezogen.

Mit freundlichen Grüßen

P.

[Standardabweichung]

ok, ich konkretisiere:

Bei der multiplen Testung von Hypothesen und dem Wunsch mit Alpha = .05 zu testen, müssen wir das Alpha adjustieren, um tatsächlich insgesamt auf Alpha = .05 zu testen. Wenn wir 10 oder 5 Hypothesen testen erscheint mir das sehr logisch.

Jetzt frage ich mich, ob ich , z.B. bei der Prüfung einer Intervention bei einer Experimentalgruppe, auch schon bei zwei Variablen die Adjustierung vornehmen sollte. Oder gibt es eine Daumenregel (keine Gesetzmäßigkeit), ab welcher Anzahl von Testungen man dies in einem Journal mit Peer-Review als Reviewer erwartet?

[PonderStibbons]

Kommt auf die Standards des Journals und auf den Reviewer an.
Ich selbst verlange bei Interventionsstudien die Benennung eines
primären Zielkriteriums und bin bei der zusätzlichen Testung von
weiteren, sekundären Zielkriterien eher liberal. Sofern Diskussion
und abstract das Problem entsprechend berücksichtigen. Bei Fehlen
einer klaren Hierarchie der Kriterien (was ich wie gesagt bei
Interventionsstudien als Reviewer zurückweise) wäre eine Adjustierung
meines Erachtens erforderlich.

Mit freundlichen Grüßen

P.

[Standardabweichung]

Danke. Ich habe es so gemacht, dass ich zwei Hauptziele und mehrere Nebenziele prüfe. Jetzt habe ich alles Bonferroni-Holm adjustiert. Denke es ist gut so.

Nur aus Interesse:
Würdest Du erwarten, dass man bei zwei Zielkriterien alph-adjustiert?