STATISTIK-FORUM.de

[Sepp]

Ist bei mehreren (n = 8) multiplen Regressionsanalysen aus 1 Datenpool eine Signifikanzkorrektur wegen multiplen Testens notwendig?

Es geht um eine Beobachtungsstudie mit 120 Patienten, deren Kreislaufreaktion während eines Eingriffs untersucht wurde. Zur Charakterisierung dieser Kreislaufreaktion wurden bei jedem Patienten 8 Zielvariable (= AVs) erfasst: maximaler Puls, Puls am Ende der Intervention,... Alle AVs sind metrisch skaliert. Deshalb insgesamt 8 multiple Regressionsanalysen, um die unabhängigen Effekte von jeweils 5 Prädiktoren (Alter, Gewicht, Geschlecht, Puls am Anfang...) festzustellen.

Vier von diesen Regressionsanalysen taugen nicht viel (schlecht verteilte Residuen, mickriges R²) und werden deshalb nicht weiter ausgewertet.
Die restlichen 4 Analysen sind "gut" und kommen in eine Tabelle. Kann ich jetzt auch guten Gewissens beispielsweise beim Koeffizienten "Alter" ein p = 0.001 als signifikant bezeichnen? Oder ist wegen der insgesamt 8 Analysen eine Adjustierung (nach Holm?, nach Benjamini-Hochberg?) notwendig?

Viele Fragen... What shall I do?

[PonderStibbons]

Am strengsten wäre Bonferroni mit 0,05/8=0,00625 .
Ich selbst bevorzuge häufig einfach ein 1% Niveau.

Mit freundlichen Grüßen

P.

[Streuner]

Eine Adjustierung ist theoretisch immer dann angebracht, wenn man mehr als 2 Tests am selben Datensatz durchführt und ein Globalnivea einheiten will /soll, da es sonst recht schnell passiert, dass dieses nicht mehr eingehalten wird.

Prüfst du z.B deine m= 8 Analysen zu einem Niveau von 0.05 passiert es, dass nach der Formel , du ein Globalniveau von 0.337 annehmen.

Dieser Richtwert ist immer theoretisch zu verstehen und findet sich in einschlägigen Fachbüchern wieder. Wie weit er in der einzelnen Praxis Anwendung findet hängt immer von der Fragestellung ab.

Wobei aber noch zu erwähnen wäre, dass eine Adjustierung nach Bonferroni-Holm eine höhere Power als die normale Bonferroni Korrektur besitzt und dementsprechend in der Regel vorzuziehen ist (siehe dazu z.B Sachs/Hederrich S.430 ff.).

An die Simes Hochberg Prozedur sind noch Voraussetzungen geknüpft die man ggf nachprüfen muss.


Mit freundliche Grüßen,

M.

[Sepp]

Danke für die prompte Antwort.
Tja, -und wenn man's genau nimmt, gilt das wohl auch fürs Konfidenzintervall. Wenn ich das angebe, muß ich's eigentlich auch anpassen.

[Streuner]

Richtig, da Konfidenzintervalle eng mit Tests bzw Testentscheidungen verzahnt sind.

Jede Testentscheidung lässt sich analog auch als Konfidenzintervall mit Annahme- und Ablehnungsbereich auffassen.
Da die Intervallgrenzen über die kritischen Werte also meist die Quantile der jeweiligen Teststatistik bestimmt werden und diese wiederrum das Signifikanzniveau beinhalten, müssen die Konfidenzintervalle ebenso angepasst werden.


Für Konfidenzintervallanpassungen gibt es aber direkt eine Bonferroni- bzw Scheffé Korrektur.