STATISTIK-FORUM.de

[Moneytree]

Hallo liebe Foristi,

ich will für meine Abschlussarbeit in meiner Stichprobe (zunächst Gesamtstichprobe) mit einem t-Test zwei BMI-Gruppen hinsichtlich eines Merkmals A (Variable liegt als Index Score vor, sowohl -, als auch + Werte) vergleichen.
Dann wollte ich die Stichprobe einfach in die Substichproben Männer und Frauen zerlegen und jeweils noch mal den genau gleichen t-Test machen, mit den gleich definierten BMI-Gruppen und dem gleichen Merkmal A.

1.) t-Test an Gesamtstichprobe: 2 BMI-Gruppen unterscheiden sich hinsichtlich des Merkmals A.

2.) t-Test an Substichprobe nur Männer: 2 BMI-Gruppen unterscheiden sich hinsichtlich des Merkmals A.

2.) t-Test an Substichprobe nur Frauen: 2 BMI-Gruppen unterscheiden sich hinsichtlich des Merkmals A.

Irgendwie bin ich mir nicht sicher, ob das hier als mulitples Testen gilt, oder nicht? Ich vergleiche ja immer nur 2 BMI Gruppen und nicht mehr, oder andere. Nur die Stichprobe ist dann halt zerlegt.

Vielen Dank, freu mich, wenn mir jemand antwortet

[PonderStibbons]

Vielleicht machst Du eine zweifaktorielle Varianzanalyse stattdessen?

Mit freundlichen Grüßen

PonderStibbons

[bele]

Worum geht es denn beim multiplen Testen und was soll es verhindern? Welche Gefahr besteht ohne eine Korrektur und ist die gür Deine Arbeit relevant?

[Moneytree]

Worum geht es denn beim multiplen Testen und was soll es verhindern? Welche Gefahr besteht ohne eine Korrektur und ist die gür Deine Arbeit relevant?

Ja, mach ich so, danke.

[Moneytree]

Worum geht es denn beim multiplen Testen und was soll es verhindern? Welche Gefahr besteht ohne eine Korrektur und ist die gür Deine Arbeit relevant?

Mit 'multiplen Testen' wollte ich zum Ausdruck bringen, dass ich eine alpha-Fehler Akkumulation befürchtete. Das passiert, wenn du mehrere Gruppen, also z.B. 3 post hoc einfach hintereinander mit mehreren t-Tests vergleichst (also, Gruppe A vs B; B vs. C, C vs. A). Dafür sollte man dann eine ANOVA nehmen.

Aber in meinem Fall war es mir halt nicht klar, ob es zu einer alphaFehler Inflation kommt, da ich ja nicht mehrere Gruppen wiederholt teste, sondern nur das sample in 2 Teile aufteile.

[bele]

Hallo Moneytree,

danke für die Erläuterungen. Das ist mir in der Tat bewusst. Man muss sich aber auch bewusst sein, dass eine Alphafehlerkummulation nur korrigieren kann, wenn man dafür eine Erhöhung des Betafehlers inkauf nimmt. Deshalb gibt es da keine einfache Antwort, sondern jeweils eine Individualabwägung.

Wenn die Fragen, ob Männer und Frauen sich unterscheiden zwei ganz verschiedene Fragen sind, dann kann man sich entscheiden, jede der Fragen auf 0,05-Niveau zu testen. Es kommt dabei natürlich auf die ganze Arbeit bezogen zu einer Alphafehlerkummulation: Wenn Du Dich primär gegen den Vorwurf wappnen möchtest, Du habest nur zeigen wollen, dass in Deiner Arbeit irgendwas signifikant wird, dann solltest Du korrigieren. Wenn es aber zwei getrennte Fragen zu untersuchen gilt, an getrennten Daten und Du nicht nachher damit argumentierst, dass mindestens eins von beiden signifikant wurde, sondern dann sowohl das nicht-signifikante als auch das signifikante Ergebnis getrennt bewertest, dann braucht das keine Korrektur.

Eine andere Art damit umzugehen hieße, eine Hauptfragestellung und mehrere Nebenfragestellungen zu definieren. Wenn Du also sagt, Ziel Deiner Arbeit ist es, einen Zusammenhang in der Gesamtstichprobe zu zeigen und die geschlechtergetrennte Beurteilung ist nur eine Nebenfragestellung, dann gäbe es nur eine Hauptfragestellung und in der Hauptsache bräuchte man nicht zu korrigieren.

Ich hoffe, Du kannst damit was anfangen.
LG,
Bernhard

[Moneytree]

Hallo Moneytree,

danke für die Erläuterungen. Das ist mir in der Tat bewusst. Man muss sich aber auch bewusst sein, dass eine Alphafehlerkummulation nur korrigieren kann, wenn man dafür eine Erhöhung des Betafehlers inkauf nimmt. Deshalb gibt es da keine einfache Antwort, sondern jeweils eine Individualabwägung.

Wenn die Fragen, ob Männer und Frauen sich unterscheiden zwei ganz verschiedene Fragen sind, dann kann man sich entscheiden, jede der Fragen auf 0,05-Niveau zu testen. Es kommt dabei natürlich auf die ganze Arbeit bezogen zu einer Alphafehlerkummulation: Wenn Du Dich primär gegen den Vorwurf wappnen möchtest, Du habest nur zeigen wollen, dass in Deiner Arbeit irgendwas signifikant wird, dann solltest Du korrigieren. Wenn es aber zwei getrennte Fragen zu untersuchen gilt, an getrennten Daten und Du nicht nachher damit argumentierst, dass mindestens eins von beiden signifikant wurde, sondern dann sowohl das nicht-signifikante als auch das signifikante Ergebnis getrennt bewertest, dann braucht das keine Korrektur.

Eine andere Art damit umzugehen hieße, eine Hauptfragestellung und mehrere Nebenfragestellungen zu definieren. Wenn Du also sagt, Ziel Deiner Arbeit ist es, einen Zusammenhang in der Gesamtstichprobe zu zeigen und die geschlechtergetrennte Beurteilung ist nur eine Nebenfragestellung, dann gäbe es nur eine Hauptfragestellung und in der Hauptsache bräuchte man nicht zu korrigieren.

Ich hoffe, Du kannst damit was anfangen.
LG,
Bernhard

Hallo Bernhardt,

okay, sorry, ich hab deine Frage falsch verstanden, deshalb hab ich das mit der alpha-Fehlerkumulation erklärt...

Also, zunächst mal: es wird bei mir sowieso nichts signifikant!

Ich wollte halt schreiben, a) die zwei BMI-Gruppen unterscheiden sich nicht hinsichtlich des untersuchten Merkmals, und b) auch bei geschlechtergetrennter Betrachtung unterscheiden sich die BMI-Gruppen nicht hinsichtlich des Merkmals.

Und, ja, als Hypothese musste ich davor formulieren, a) die BMI-Gruppen unterscheiden sich hinsichtlich des Merkmals, und b) es gibt einen Geschlechterunterschied.

Nix davon ist eingetreten.

Aber ich war halt unsicher, ob ich das so einfach mit 3 t-Tests hintereinander untersuchen darf.

Schöne Grüße!

[bele]

Hallo Moneytree,

okay, sorry, ich hab deine Frage falsch verstanden, deshalb hab ich das mit der alpha-Fehlerkumulation erklärt...

Kein Problem. Es ehrt Dich, dass Du auch dann auf mich eingehst, wenn Du mich für ein dead end hälst.

Also, zunächst mal: es wird bei mir sowieso nichts signifikant!

Damit hat sich die Frage nach der Korrektur für multiples Testen in der Tat selbst beantwortet. Nicht korrigieren und gut ist.

Ich wollte halt schreiben, a) die zwei BMI-Gruppen unterscheiden sich nicht hinsichtlich des untersuchten Merkmals, und b) auch bei geschlechtergetrennter Betrachtung unterscheiden sich die BMI-Gruppen nicht hinsichtlich des Merkmals.

Da hätte ich jetzt eine Spitzfindigkeit einzuwerfen: Bloß weil der Test nicht signifikant wird heißt das noch lange nicht, dass die beiden Gruppen sich nicht unterscheiden. Stichwort: Unzureichende Fallzahl, unzureichende Power. Wenn Du keine formale Fallzahlplanung gemacht hast dann ziehst Du immer eine Obergrenze für den Alphafehler aber nie eine für den Betafehler ein.
Schreib also besser, dass ich im Rahmen der Studie kein Unterschied zwischen den BMI-Gruppen nachweisen ließ als dass es keinen Unterschied gibt.

Aber ich war halt unsicher, ob ich das so einfach mit 3 t-Tests hintereinander untersuchen darf.

Es gibt keine Statistikpolizei die das ahndet. Trotzdem kannst Du noch überlegen, ob die von PonderStibbons eingeworfene ANOVA nicht der bessere Weg wäre, Deine Qualifikation und Deinen Studienerfolg zu belegen.

LG,
Bernhard

[Moneytree]

Hallo Moneytree,

okay, sorry, ich hab deine Frage falsch verstanden, deshalb hab ich das mit der alpha-Fehlerkumulation erklärt...

Kein Problem. Es ehrt Dich, dass Du auch dann auf mich eingehst, wenn Du mich für ein dead end hälst.

Also, zunächst mal: es wird bei mir sowieso nichts signifikant!

Damit hat sich die Frage nach der Korrektur für multiples Testen in der Tat selbst beantwortet. Nicht korrigieren und gut ist.

Ich wollte halt schreiben, a) die zwei BMI-Gruppen unterscheiden sich nicht hinsichtlich des untersuchten Merkmals, und b) auch bei geschlechtergetrennter Betrachtung unterscheiden sich die BMI-Gruppen nicht hinsichtlich des Merkmals.

Da hätte ich jetzt eine Spitzfindigkeit einzuwerfen: Bloß weil der Test nicht signifikant wird heißt das noch lange nicht, dass die beiden Gruppen sich nicht unterscheiden. Stichwort: Unzureichende Fallzahl, unzureichende Power. Wenn Du keine formale Fallzahlplanung gemacht hast dann ziehst Du immer eine Obergrenze für den Alphafehler aber nie eine für den Betafehler ein.
Schreib also besser, dass ich im Rahmen der Studie kein Unterschied zwischen den BMI-Gruppen nachweisen ließ als dass es keinen Unterschied gibt.

Aber ich war halt unsicher, ob ich das so einfach mit 3 t-Tests hintereinander untersuchen darf.

Es gibt keine Statistikpolizei die das ahndet. Trotzdem kannst Du noch überlegen, ob die von PonderStibbons eingeworfene ANOVA nicht der bessere Weg wäre, Deine Qualifikation und Deinen Studienerfolg zu belegen.

LG,
Bernhard

Hallo Bernhardt,
genau, ich hab es gestern tatsächlich auch schon geändert und hab jetzt einmal den t-Test für die Gesamtstichprobe und dann noch dazu die ANOVA mit den Faktoren Geschlecht und BMI-Gruppen gerechnet.

Die BMI-Gruppen sind tatsächlich etwas ungleich groß, ca. 100/30 bei der Gesamtstichprobe und ca. 70/15 bzw. 30/15 bei den Geschlechtergetrennten.
Ich dachte nur, dass t-tests relativ robust bzgl so einer Ungleichheit sind...

Schöne Grüße