STATISTIK-FORUM.de

[Speckspatz]

Hallo,

Angenommen ich mache einen Signifikanztest, dessen Ergebnis anders interpretierbar ist, wenn ein anderer Signifikanztest zuvor signifikant/nicht-signifikant war.

Beispiel 1: Ich möchte einen t-Test machen und will dazu vorher mit einem Levene Test die Voraussetzung der Varianzhomogenität testen.

Beispiel 2: Ich muss zuerst feststellen ob Reihenfolgeeffekte vorliegen, bevor ich den Einfluss einer UV prüfen kann.

Muss ich dabei auf eine Alpha-Fehler-Kummulierung achten, weil die Interpretation der Ergebnisse eines Tests vom Ergebnis der vorherigen abhängt?

Ich hoffe es ist verständlich was ich meine, kenn mich mit Statistik nicht aus also sorry falls die Frage dumm ist...

Beste Grüße

[strukturmarionette]

Hi,

- je nach Levene-Test Befund entweder T-Test oder Welch-Test
- mit multiplem Testen hat das nichts zu tun

Gruß
S.

[Speckspatz]

Hallo,

Danke für deine Antwort.
Ich meinte die Frage ganz allgemein. Ich versteh noch nicht ganz wieso hier nicht das Problem multipler Testung auftritt. Wenn ich einen Levene Test mache um Varianzhomogenität zu prüfen, dann lasse ich ja eine 5% Wahrscheinlichkeit für einen Fehler 1. Art zu. Wenn ich danach einen t-Test mache, weil ich denke es herrscht Varianzhomogenität, dann basiert diese Vermutung ja darauf vorher keinen Alpha Fehler begangen zu haben, es gibt aber dennoch erneut die Möglichkeit einen Alpha Fehler zu begehen.

Oder in einem anderen Fall:
Wenn ich für eine unabhängige Variable einen Manipulationscheck gemacht habe, und auch noch die abhängige Variable auswerten will, Beispielsweise beides mittels t-Test oder Anova. Dann mache ich ja 2 Tests, die beide eine gewisse Wahrscheinlichkeit für einen Alpha Fehler haben. Wenn ich jetzt argumentierte, dass die Manipulation funktioniert hat und dass es einen Effekt von UV auf AV gibt, dann verwende ich dazu doch Informationen aus beiden Test, und habe für die richtigkeit beider Aussagen zusammen doch eine andere Chance für einen Alpha Fehler. Was versteh ich hier falsch?

Vielleicht könntest du mir das erklären, das wär echt super!

Beste Grüße

[bele]

Hallo Speckspatz,

ich habe mindestens eine Veröffentlichung eines Berufsstatistikers gelesen, der Deine Auffassung teilt, dass Levene-Test plus t-Test zwei fehleranfällige Tests sind, deren Fehler akkumulieren. Seine Schlussfolgerung war, dass gar nicht auf Varianzinhomogenität testen solle und stattdessen immer gleich den t-Test mit Welch-Korrektur für ungleiche Varianzen nutzen sollte. Du bist aber mit Deiner Sorge nicht ganz allein.

Persönlich finde ich es sehr schwierig, mich zu entscheiden. Wenn Du mit der Hypothese starten würdest "Die Gruppen A und B haben gleiche Varianzen und sie unterscheiden sich in ihrem Mittelwert" dann fände ich ganz klar, dass das zwei Tests sind und deren Alphafehler kummuliert. Insofern bin ich anderer Meinung als strukturmarionette, dass das nichts mit multiplem Testen zu tun hat. Normalerweise wirst Du aber mit der Hypothese starten "Die Varianzen der Gruppen A und B sind mir wurscht, je nachdem wie sie sind wird sich mit einem geeigneten Verfahren zeigen, dass ihre Mittelwerte unterschiedlich sind."

Was passiert denn, wenn der Levene-Test etwas falsches anzeigt? Im einen Fall wirst Du ein anderes Testverfahren wählen und im anderen einen T-Test trotz ungleichen Varianzen durchführen, der natürlich trotzdem das richtige Ergebnis bringen kann. Also Bonferroni für 2 Tests anzunehmen wäre da sicher viel zu streng, wenn der Levene-Test nicht über Deine Nullhypothese entscheiden soll sondern nur über den Weg, die Nullhypothese zu testen.

Persönlich habe ich die Argumentation übernommen und teste primär mit Welchkorrektur. Ist aber auch unbefriedigend, bei zwei Gruppen einen t-Test mit und bei drei und mehr Gruppen eine ANOVA ohne Korrektur zu rechnen.

Also ich finde Deine Frage echt spannend.

LG,
Bernhard

[Speckspatz]

Hallo Bernhard,

danke für deine Antwort! Ich denke ich habe den entsprechenden Artikel auch gelesen, wenn du diesen hier meinst:

https://www.rips-irsp.com/articles/10.5334/irsp.82/

daher rührt auch meine Frage, weil ich ähnliche Argumentationen auch in anderen Kontexten lese und mich frage, wie weitreichend das Problem ist (z.B Senn 1991 über die Two-Step Prozedure zum Auswerten von Cross over Trial, wo zuerst ein Test auf Reihenfolgeeffekte durchgeführt wird, um den zweiten Test dann auf Basis des ersten zu machen: https://www.ncbi.nlm.nih.gov/pmc/articl ... 6-0131.pdf).

Dieser Problem müsste dann ja aber auch bei der Anova auftreten oder nicht?
Wenn ich beispielsweise mittels Mauchly-Test Sphärizität prüfe, dann ist dieser Ergebnis für die Interpretation meiner ANOVA ja relevant, also welchen Grund gibt es dieser Problem nur beim t-Test anzunehmen.

Ich denke auch, dass der wesentliche Punkt ist, wie weit die Hypothese reicht. Zumindest die Wahrscheinlichkeit die "beste" statistische Auswertung zu machen wird sich bei mehreren Voraussetzungsprüfungen ja verschlechtern oder nicht?

Beste Grüße

[bele]

Das ist zwar nicht dasselbe Paper aber wenn verschiedene Leute unabhängig voneinander zum gleichen oder ähnlichen Ergebnissen kommen ist das ja nicht schlecht. Insgesamt stößt man halt immer wieder darauf, dass alle Modelle falsch sind und dass multiples Testen unintuitiv und dadurch unbefriedigend ist.

Es gibt da einen amerikanischen Statistik- und Politologieprofessor namens Andrew Gelman, dessen Youtube-Auftritte ich überwiegend sehr schätze. Als Politologe hat der natürlich eher mit komplexen Modellen zu tun, die nicht durch einen t-Test zu lösen sind, aber wenn ich ihn richtig verstehe, vertritt er unter anderem folgenden Ansatz: Wenn Du Daten bekommst, untersuche sie erst mit einem ganz einfachen Modell und dann mit immer komplexeren solange die zunehmende Komplexität zu einem besseren Fit mit den Daten führt. Soweit ist das nichts ungewöhnliches und ist uns mit Stichworten wie "Overfitting", "Researchers Degree of Freedom", "Stargazing", "Multiples Testen" etc. aufs schlechteste Vertraut. Gelman plädiert dann aber dafür, dass man sich nicht auf ein endgültiges Modell festlegt und ausschließlich dieses endgültige Modell präsentiert, sondern dass man differenziert darlegt, zu welchem Ergebnis man mit diesen Daten mit verschiedenen Modellen kommt. Wenn die Ergebnisse gut zusammen passen, spricht nichts dagegen, wenn Änderungen am Modell schnell zu einer Änderung des Endergebnisses führen, ist das auch wieder eine Aussage die es wert ist, gemacht zu werden.

Ich habe keine gute Antwort, aber in dieser Richtung würde ich am ehsten nach einer guten Lösung suchen: Transparent machen, welche Voraussetzungen in so einem Modell gemacht werden und gerne mehr als eines vergleichen. Wenn t-Test und Rangsummentest das gleiche ergeben, dann interessiert mich keine Varianzgleichheit mehr und wenn sie verschiedenes ergeben, dann sollte man mit beiden Ergebnissen gleich vorsichtig umgehen.

LG,
Bernhard

[Speckspatz]

Hallo Bernhard,

Danke für den Hinweis, das werd ich mir auf

jeden Fall anschauen!

Beste Grüße