STATISTIK-FORUM.de

[joost]

Hilfe!
Zur Alphafehlerkumulierung liest man viel widersprüchliches und ich habe keine Ahnung mehr, was jetzt gilt.
z.B.

Die Frage, wie viele Hypothesen in der Untersuchung gleichzeitig geprüft werden, beeinflusst die Teststärke der Untersuchung durch die Adjustierung des Alphaniveaus zur Vermeidung einer Alphafehlerkumulierung.

Was ist mit gleichzeitig gemeint? Dass mehrere Untersuchungen in einer Stichprobe stattfinden? so wie in diesem Statement:

Bei all diesen Fällen handelt es sich um multiples Testen, das heißt, eine einzige Nullhypothese wird mit mehreren Tests untersucht. Multiples Testen kann auch bei anderen Untersuchungsszenarien vorkommen, wenn beispielsweise mehrere Variablen das gleiche messen und mittels Tests analysiert werden, um eine einzige Forschungsfrage zu beantworten.
Beim multiplen Testen gibt es eine Besonderheit zu beachten: der Fehler erster Art (alpha-Fehler, Signifikanzniveau) muss angepasst werden. Das nennt man auch Fehlerkorrektur.

Jetzt gehts nur noch um EINE einzige Nullhypothese? Wenn ich also noch eine habe, dann kumuliert sich nix mehr?

Das Phänomen der Alphafehlerkumulierung tritt grundsätzlich bei mehreren inferenzstatistischen Tests bzw. bei der Testung mehrerer Hypothesen auf

versus

multiples Testen, das heißt, eine einzige Nullhypothese wird mit mehreren Tests untersucht.

ABER

Wird beispielsweise zehn Mal derselbe Test angewandt, so führt dies nicht zu einem erhöhten Alphafehler.

Was ist "derselbe Test"? Die Untersuchung EINER AV über .. sagen wir : 3 t-tests in unterschiedlichen Gruppen?

Oder anders: ich habe 7 abhängige Variablen, die ich mit je einer Varianzanalyse mit Messwiederholung mit je 3 Kontrasten und dann noch einer Kovarianzanalyse untersuche.
Wie akumuliert sich was? Was ist da jetzt "gleichzeitig", ab wann sind es "mehrere Untersuchungen auf eine Stichprobe"?
Muss ich jetzt das Fehlerniveau wegen 7 Varianzanalysen auf unterschiedliche AV x 3 Kontraste = Faktor 21 korrigieren?
Oder in Jeder VA nur einmal mit Faktor 3?
Oder gar 7 VA mit je 3 Kontrasten und die Kovarianzanalysen zusätzlich - das wären dann 7x3+7?

Oder gehts nur um die Hypothesen, wie im ersten Zitat? Ist "gleichzeitig" innerhalb einer Berechnung oder innerhalb einer Stichprobe?
Laut Schaubild beeinflusst die "Anzahl der Hypothesen" den Alphafehler. Fallen damit explorative (also hypothesenfreie) Untersuchungen raus?
Wenn ich jetzt noch ne Korrelationstabelle erstelle, dann mache ich ja nochmal x- tests auf Signifikanz... zähle ich die auch mit dazu?

Ich hab etwas den Durchblick verloren


**************
Quellen: http://www.methoden-psychologie.de/alph ... erung.html
http://www.statistik-und-beratung.de/20 ... korrektur/

[PonderStibbons]

Du machst 28 Tests an derselben Stichprobe. Was da wie jetzt zusammenhängt
ist wohl eher eine Nebenfrage; zumindest habe ich nie eine befriedigende
Darstellung gefunden, wie man berücksichtigt, dass Hypothesen bzw.
Tests mehr oder minder zusammenhängen. Es wird jedenfalls schwer zu
entscheiden,wie viele signifikante Effekte womöglich Fehler 1. Art sein könnten.
Bonferroni wird das alpha Niveau und damit die power womöglich zu sehr senken,
außer man vermutet von vornherein sehr starke Effekte. Ein Kompromiss wäre ein 1%-
Signifikanzniveau, da liegt das Risiko, bei 28 gültigen Nullhypothesen und unabhängigen
Tests mindestens ein falsch-positves Ergebnis zu haben, bei ca. 20%. Nimmt man
dagegen die üblichen 5%, läge unter den geschilderten Voraussetzungen das Risiko
für mindestens ein falsch-positives Ergebnis bei fast 80%, für 2 falsch-positive bei
ca. 40%, für 3 bei ca. 15%

Mit freundlichen Grüßen

P.

[André25]

Hilfe!
Zur Alphafehlerkumulierung liest man viel widersprüchliches und ich habe keine Ahnung mehr, was jetzt gilt.

Das kann ich gut nachvollziehen ... mir geht es gerade ganz genauso.

Wenn ich es richtig verstanden habe, dann muss das Alpha-Fehlerniveau aller Tests innerhalb einer Untersuchung korrigiert werden. Je nachdem wie viele Tests das sind und wie verschiedenartig diese Tests sind, wird das in der Praxis kaum jemand machen, da es (a) kaum zu überblicken und (b) kaum rechnerisch lösbar ist.

Anbei noch ein paar gesammelte Zitate, die jedoch teilweise auf meinen vorliegenden Fall zurechtgeschnitten sind.

Die α-Fehler-Kumulierung tritt nur dann auf, wenn mehrere Tests zur Testung einer Hypothese an denselben Daten durchgeführt werden. Würden also für jeden nötigen Einzelvergleich neue Stichproben gezogen, wären mehrere Tests durchaus zulässig.

Das Problem einer erhöhten Wahrscheinlichkeit für einen α-Fehler [...] ergibt sich auch dann, wenn zwei Gruppen hinsichtlich ihrer Mittelwerte auf mehreren Variablen verglichen werden – oder ganz allgemein bei der Durchführung zahlreicher Signifikanztests in einer Untersuchung.

Was passiert, wenn mehrere Hypothesen an demselben Kollektiv gleichzeitig getestet werden? Wird der p-Wert jedes Tests weiterhin mit α verglichen, so kann bei jeder der Aussagen mit der Wahrscheinlichkeit α ein Irrtum auftreten. In der Summe über alle Tests steigt die Wahrscheinlichkeit, dass mindestens eine Falschaussage getroffen wird, dramatisch an. [...] (Seite 173) Die wichtigsten Beispiele abhängiger Hypothesen ergeben sich, wenn [...] Signifikanztests bezüglich mehrerer Zielvariablen der gleichen Stichprobe verglichen werden sollen.

Was passiert, wenn mehrere Hypothesen an demselben Kollektiv gleichzeitig getestet werden? Die Wahrscheinlichkeit, eine Falschaussage zu machen, steigt mit der Anzahl der durchgeführten Tests, denn man kann sich bei jedem Test irren. Vergleicht man den p-Wert jedes Tests weiterhin mit α, so kann man sich bei jeder der Aussagen mit der Wahrscheinlichkeit α irren. In der Summe über alle Tests steigt die Wahrscheinlichkeit, dass man mindestens eine Falschaussage macht, dramatisch an. [...] Um die Flut falschpositiver Ergebnisse [...] einzudämmen, sind Maßnahmen zur Kontrolle der Irrtumswahrscheinlichkeit bezogen auf alle untersuchten Hypothesen nötig.

Probleme der Multiplizität entstehen auch
- [...] mehrere Zielkriterien
- [...] Subgruppenanalysen

Die Begrenzung der Irrtumswahrscheinlichkeit auf höchstens α gilt allerdings nur beim Testen einer Hypothese mit Hilfe eines Signifikanztests. Werden zur Untersuchung einer Fragestellung mehrere Tests jeweils zum Niveau α durchgeführt (Mehrhypothesenproblem), so wird zwar für jeden einzelnen Test die individuelle Irrtumswahrscheinlichkeit kontrolliert, die versuchsbezogene Irrtumswahrscheinlichkeit für das gesamte Mehrhypothesenproblem ist jedoch größer als α.

Hoffe das hilft?!

Falls sich mal irgendjemand bereit erklärt, hierzu eine ausführliche, praxisnahe Anleitung zu erstellen, würden sich außer mir und joost sehr wahrscheinlich noch weitaus mehr Verwirrte freuen!