STATISTIK-FORUM.de

[mohnblume]

Hallo-

die Alphafehler-Kumulierung ist ja ein bekanntes "Problem" beim multiplen Testen derselben Stichprobe. Wie ändert/minimiert das Testen von a-priori Hypothesen die Alpha-Fehler-Infaltion?

Vielen Dank im Voraus!

[aziz]

Hallo,

hier 2 links zu dem Thema. Wie ich finde gu erklärt. Beim zweiten wird vorallem auf verschiedenen Möglichkeiten der Signifikanzniveau-Adjustierung eingegangen.

http://www.rbsd.de/PDF/DMW/DMW-2007-S1-12.pdf

http://www.biometrische-gesellschaft.de/fileadmin/AG_Daten/StatisticalComputing/PDFs/multiple.pdf

Gruß
aziz

[filou]

Hallo an alle,

ich schließe mich der Frage an, weil ich einen bestimmten Aspekt dabei nicht ganz verstehe. Muss immer adjustiert werden, wenn mehrere Analysen an einer Population gemacht werden oder nur in bestimmten Situationen? Ich finde immer wieder unterschiedliche Informationen dazu....

ein Zitat aus dem http://www.rbsd.de - Link, welches mich besonders verwirrt hat:
In konfirmatorischen Versuchen sollte sorgfältig überprüft werden, ob die Anwendung einer multiplen Testprozedur erforderlich ist. Hierfür muss zunächst definiert werden, welche Signifikanztests eine inhaltlich zusammenhängende Familie von Tests zur Untersuchung einer Fragestellung darstellen [12]. Ein „blindes“ Adjustieren für multiples Testen mit Verfahren wie der Bonferroni-Methode ist nicht sinnvoll, insbesondere dann nicht, wenn aus den einzelnen Tests gar keine gemeinsame Schlussfolgerung gezogen werden soll

Falls ich mich gar nicht so an ein Thema ranhängen darf, verzeiht bitte...ich bin neu

[aziz]

Wie du schon festgestellt hast und der Autor des Artikels sagt, wird das Problem des muliplen Testens kontrovers diskutiert. Im allgemeinen existieren verschiedene Denkschulen bezüglich des multiplen Testens.

Falls die Ergebnisse der Tests eher explorativ untersucht werden sollen, so kann auf das multiple Testen verzichtet werden. Wobei in Studienberichten auf diesen Fakt hingewiesen werden muss. In dieser Situtation können die Ergebnisse als "Indiz für ein Indiz" einer bzw. mehrerer zusammenhängender Hypothesen verstanden werden. Weiterhin sollten diese "Ergebnisse" noch an einer neuen Stichprobe(n) überprüft werden.

[Razzor]

Hey, ich muss den Thread auch nochmal ausgraben, da ich mir bei meiner Berechnung absolut nicht sicher bin, ob ich das alpha-Niveau anpassen sollte oder nicht...

Es handelt sich um eine Querschnittstudie (Zufallstichprobe) mit zwei Versuchsgruppen (UV), einem Score als AV. Konkret messe ich den Einfluss von Usability-Aspekten in einem Serious Game auf die Lernleistung.
Nun habe ich mehrere Hypothesen aufgestellt, die ich mit t-Tests (3), Korrelationen (2) und Regressionsanalyse (1) bestätigen will. Die Hypothesen beziehen sich dabei natürlich zum Teil auf die gleichen o.g. Variablen, im Laufe der Untersuchung habe ich aber auch die Relevanz von Lernmotivation und Spielspaß herausgearbeitet - so ergeben sich dann Hypothesen wie:

-"Versuchspersonen, die ein Lernspiel mit negativ manipulierter Usability spielten, erzielen weniger Punkte in der Lernabfrage als Versuchspersonen, die das selbe Lernspiel mit uneingeschränkter Usability spielten." und
-"Versuchspersonen, die ein Lernspiel mit negativ manipulierter Usability spielten, weisen eine geringere Lernmotivation auf als Versuchspersonen, die das selbe Lernspiel mit uneingeschränkter Usability spielten." und
-"Es gibt einen positiven Zusammenhang zwischen Lernmotivation und Spielspaßbewertung der Versuchspersonen."

Mich verwirrt da ein bisschen die Uneinigkeit in den Aussagen der Literatur diesbezüglich.
In einigen Quellen lese ich z.B., dass Anpassungen nur stattfinden müssen, wenn mehrere Tests zur Prüfung EINER Hypothese herangezogen werden.

Wäre sehr edel, wenn mir jemand weiterhelfen könnte!

Viele Grüße
Bob

[daniel]

Wenn man es streng nimmt, ist m.E. der Hinweis auf "ein und die selbe Stichprobe" schon irreführend. Ein p-Wert sagt nichts über eine einzige Stichprobe. Vielmehr ist der p-Wert eine Schätzung des Anteils an (verschiedenen!) Stichproben, in denen die "wahre" Nullhypothese zufallsbedingt verworfen wird. Wer konservativ ist, sollte eine Adjustierung nicht nach der Anzahl der Tests bei einer Stichprobe vornehmen, sondern nach der Anzahl der Tests, die er oder sie in ihrem gesamten Leben durchführt.

just my two cents

[Razzor]

Muss ich in meinem Fall denn überhaupt einen angepassten Alphawert verwenden? Oder ist das auch in dem Fall Ermessenssache?