STATISTIK-FORUM.de

[Jeff]

Hallo Zusammen!

Ich habe eine Problem bei der Auswertung einiger Daten für meine Abschlussarbeit.

Ich habe einen Klebstoff (0) mit 5 verschiedenen Behandlungen (a,b,c,d,e) modifiziert und möchte nun jeden der 5 verschieden behandelten Klebestoffe einzeln gegen den unmodifizierten Klebstoff testen (die Klebekraft, es gab jeweils 10 Testwiederholungen pro Modifizierung und einmal 10 mit dem Unmodifizierten). Die modifizierten sollen aber nicht untereinander getestet werden.
Es soll auch (vorerst) nicht beurteilt werden, ob allgemein eine Modifizierung etwas ändert, sondern wirklich nur immer die konkrete Modifizierung mit dem Originalkleber verglichen werden:

0 zu a
0 zu b
0 zu c
0 zu d
0 zu e

Dafür habe ich den T-Test für unabhängige Stichproben in Excel und SPSS verwendet (gleiches Ergebnis).

Nun wollte ich wissen, ob es dabei zu einer Alphafehlerkumulierung kommt, obwohl ich die Testpaare immer separat betrachte? Und wenn es eine solche Kumulierung gibt, weshalb?
Ich habe bislang jedes Paar neu mit Alpha = 0,05 getestet und keine Alphafehlerkorrektur durchgeführt, bin aber nicht sicher ob das stimmt.

Vielen Dank für eure Hilfe!

Gruß,
Jeff

[Jeff]

Guten Morgen!

Kann mir niemand helfen oder ist die Frage zu einfach?

Laut Wikipedia tritt eine Alphafehlerkumulierung auf, wenn man DIESELBE Stichprobe mehrfach testet.
In meinem Fall wäre es ja die "halb-selbe" --> Nullgruppe vs. Vergleichsgruppe. Weiss nicht, was ich nun davon halten soll.

Klar ist mir, dass wenn ich dieselben 2 Gruppen 100 mal einzeln mit dem T-Test teste, ich immer dasselbe Ergebnis erhalte. Bekomme ich also jedesmal p = 0,04 heraus, würde ich 100 mal die Nullhypothese ablehnen (da < 0,05), obwohl sie statistisch gesehen 4 mal angenommen werden müsste.

Nur trifft dies auch zu, wenn ich eben nicht dieselben 2 Gruppen mehrfach vergleiche (was ausser für das gerade genannte Beispiel auch keinen Sinn machen würde) und auch nicht die Vergleichsgruppen untereinander, sondern immer die Nullgruppe einzeln mit den unterschiedlichen Vergleichsgruppen?

Und wenn ja, wieso?

Ich wäre wirklich froh eine aufschlussreiche Antwort zu erhalten,

Beste Grüße,
Jeff

[PonderStibbons]

Wenn Du eine eine Vielzahl von Tests durchführst und sicherstellen
möchtest, dass trotzdem das Fehlerrisiko weiterhin insgesamt 5%
beträgt, musst Du korrigieren. Wenn Du nicht korrigierst, erhöht sich
das Risiko für mindestens einen falsch-positiven Befund (vorausgesetzt,
alle Nullhypothesen sind korrekt (!) ) auf 1-(0,95 hoch 5) = ca. 23%. Da
eine zusammenhängende Fragestellung durch Deine 5 Tests beantwortet
wird, liegt eine Korrektur nahe.

Mit freundlichen Grüßen

P.

[Jeff]

Danke für Deine Antwort!

Leider verstehe ich das mit dem gesamten Fehlerrisiko nicht bzw. das zugrunde liegende Prinizip.
Wenn ich nur einen T-Test mache (alpha = 0,05)

Gruppe 0 mit Gruppe 1 --> p = 0,04

würde ich die Nullhypothese ablehnen (juhu, statistisch signifikant!!!)

Teste ich aber noch dazu

Gruppe 0 mit Gruppe 2 --> p = 0,03

und korrigiere nach Bonferroni (alpha/2 = 0,025),
wäre keine der beiden Hypothesen mehr signifikant. Wie kann das sein, dass wenn man nach einem signifikanten Test einen zweiten signifikanten Test macht, plötzlich beide nicht mehr signifikant sind?
Bzw. wieso beeinflusst das Ergebnis aus dem zweiten Vergleich das aus dem ersten so drastisch?

Noch wilder wird es, wenn ich mein vorhin gegebenes Beispiel mit den 100 Tests weiterdenke und nach Bonferroni (alpha/100 = 0,0005) auswerte.
Dann wären ja statt 100 Nullhypothesen nun keine mehr abzulehnen, was damit wesentlich weiter von den eigentlich 96 abzulehnenden Nullhypothesen (p = 0,04) entfernt wäre.

Grüße,
Jeff

[PonderStibbons]

Was wir hier diskutieren, sind a priori Festlegungen.
Es geht nicht darum, dass nach erfolgter Entscheidung
diese aufgrund weiterer Tests wieder umgestoßen
werden soll/kann. Das Entscheidungsprozedere soll
vorher festgelegt sein.

Was die 100 Tests angeht, es handelt sich natürlich
um eine Abwägung zwischen dem Wunsch nach der
Vermeidung falsch-positiver Befunde einerseits und
einer extrem hohen Hürde anderersits, also dem
erhöhten Risiko falsch-negativer Befunde. Es gibt
Situationen wie z.B. in der Genetikforschung oder bei
der Auswertung bildgebender Verfahren in der
Neuroforschung, wo es besser gewesen wäre, strenge
Hürden anzubringen anstatt massenhaft nicht replizierbare
Schrottergebnisse durch extensives unkorrigiertes Testen
in die Welt zu setzen. In anderen Situationen kann es
hingegen wichtiger sein, falsch-negative Ergebnisse
zu vermeiden.

In Deinem konkreten Fall bearbeitest Du 1 zusammenhängende
Fragestellung mit 5 Tests, da liegt wie gesagt meines Erachtens
eine Korrektur nahe.

Mit freundlichen Grüßen

P.