STATISTIK-FORUM.de

[Scooby_538]

Hallo liebe Leute,

ich habe eine doch sehr grundlegende Frage, die mir nicht so recht aus dem Kopf geht. Es geht um die Bonferroni-Korrektur. Mir ist das Grundprinzip einer Bonferroni-Korrektur bekannt und ich kenne den Grund für die Anwendung. Leider mangelt es mir aber an Wissen um die konkrete Anwendung.

Folgendes Problem: Ich möchte schauen, ob sich aus einem Datensatz verschiedene Gruppen unterscheiden, die aus einem Grunddatensatz entstehen. Ein Beispiel: Bei Test #1 werden alle 2000 Teilnehmer in Arbeitslose und Nicht-Arbeitslose unterteilt. Besteht hier ein Unterschied in den Gruppen bezogen auf einen Lebenszufriedenheitsfragebogen? Danach kommt Test #2. Test #2 unterteilt wiederum genau dieselben 2000 Teilnehmer in religiöse und nicht-Religiöse Personen. Auch hier wird geschaut, ob diese sich in dem Mittelwert des Lebenszufriedenheitsfragebogens unterscheiden. Nach dem selben Schema folgen noch 10 weitere Tests. Teilweise mit wieder zwei Gruppen, manchmal auch mehr Gruppen. Beispielsweise die Unterscheidung in Personen unter 30 Jahren, 31 - 60 Jahren und über 60 Jahren. Somit unterscheiden sich auch die durchgeführten Test. Mal ein t-Test, mal ANOVA, mal Chi²-Test.
In diesem Beispiel, müssen da über ALLE Tests hinweg eine Bonferroni-Korrektur passieren oder nur innerhalb eines einzelnen Tests? Mir ist bewusst, dass eine Bonferroni-Korrektur bei zusammenhängenden Tests durchgeführt wird. Was genau bedeutet das? Gilt es als "zusammenhängend" wenn ich Arbeitende, Arbeitslose, und Langzeitarbeitslose vergleiche (also selbes Thema, selber Test) oder gilt es schon als zusammenhängend wenn ich zwei Themenbereiche unabhängig voneinander Teste (z. B. Arbeitslosigkeit und Religiosität bezogen auf einen Fragenbogen) und unterschiedliche Tests verwende (z. B. Chi² und ANOVA), hier aber die Daten aus derselben Stichprobe stammen und sich auf den selben Fragebogen bezieht? Also somit Stichprobe/Probanden und AV gleich ist, UV (also Gruppe) und durchgeführter Test aber anders.

Danke für alle hilfreichen Antworten.

[PonderStibbons]

In diesem Beispiel, müssen da über ALLE Tests hinweg eine Bonferroni-Korrektur passieren oder nur innerhalb eines einzelnen Tests?

Müssen muss man eigentlich gar nichts. Es hängt davon ab ob und konkret wogegen Du Dich absichern willst,
z.B. ob über die ganze Studie hinweg ein erhöhtes Risiko falsch-positiver Ergebnisse vermieden werden soll,
oder innerhalb jeder einzelnen Fragestellung.

Mit freundlichen Grüßen

PonderStibbons

[bele]

Hallo Scooby,

ich teile die Auffassung von PonderStibbons. Multiples Testen und Alphainflation sind grundlegende Probleme für die es keine einfache Antwort gibt. Es handelt sich um einen Abwägungsprozess im Einzelfall und Korrigieren/Nicht-Korrigieren ist auch keine Dichotomie, man kann auch Zwischenstufen einfügen die ein Kompromiss aus beidem sind.

Zum Nachdenken: Wenn Du die Hälfte Deiner Fragestellungen in Journal A und die andere in Journal B publizieren würdest, sollte es dann leichter oder schwerer sein, irgendwo "Signifikanz" zu erreichen als wenn Du alles in einem Artikel publizierst? Nein, Bonferroni gibt darauf keine universell befriedigende Antwort.

Was man aber sagen kann: Deine Vorgehensweise, erst nach Arbeitslosigkeit und dann nach Religiosität und dann nach Alter zu schauen birgt erhebliche Risiken, wenn beispielsweise die Älteren zugleich die Religiöseren und die Jüngeren häufiger die Arbeitslosen sind. Insofern wäre es in diesem Beispiel (und wahrscheinlich war es nur ein ausgedachtes Beispiel?) naheliegend, ein etwas komplexeres Modell aufzustellen, beispielsweise eine multiple Regression (nicht unbedingt linear). Da Du dann erstmal eine Signifikanz des Gesamtmodells bestimmen kannst, bist Du schon mal einen ganzen Schritt weiter.

In anderen Fällen kann es hilfreich sein, schon in der Planungsphase der Studie einige wenige Hypothesen als primäre und andere als sekundäre Endpunkte zu definieren und Bonferroni nur für die primären Endpunkte anzuwenden. Auch das kann ein guter Kompromiss sein, wenn das eigene Publikum einem glaubt, dass man hier ehrlich war oder wenn die Studie präregistriert wird.

HTH,
Bernhard

[Scooby_538]

Vielen Dank für die ausführlichen Antworten! Das hilft mir weiter.