STATISTIK-FORUM.de

[bergerain]

Moin moin,
ich habe stark von einer Normalverteilung abweichende Daten, für die ich Gruppenunterschiede messen will (jeweils für k=5). Es war von vornherein Teil des Testdesigns, zu prüfen, welche Gruppen auffällig größere oder kleinere Messwerte haben (es handelt sich also nicht um Post-hoc-Tests im engen Sinn). Ich hatte dafür geplant, jeweils eine Gruppe gegen alle anderen zu vergleichen, also fünf Tests durchzuführen. Da die Daten nicht-parametrisch sind, habe ich diese Vergleiche nun mit Mann-Whitney-U-Tests durchgeführt. Zusätzlich habe ich Kruskall-Wallis-Tests durchgeführt, die mir zeigen, dass die Verteilung einiger der abhängigen Variablen über die Gruppen nicht gleich sind.

Ist es legitim, die Ergebnisse der U-Tests (unter Hinweis auf den sich vergrößernden Alpha-Fehler, da ja fünf Tests durchgeführt wurden) für diejenigen abhängigen Variablen, bei denen auch der Kruskall-Wallis-Test eine globale Ungleichverteilung zeigt, anzugeben? Wenn ja: Wie kann ich berechnen oder abschätzen, wie stark sich der Fehler vergrößert? Bei T-Tests würde man bei mehreren Gruppen natürlich eine ANOVA durchführen, die die Vergrößerung des Alpha-Fehlers automatisch korrigiert, aber diese geht ja wohl für nicht-parametrische Daten nicht. Gibt es hierfür eine nicht-parametrische Alternative, also ein Verfahren für multiple Gruppenvergleiche ohne Normalverteilung?

Insgesamt habe ich das Gefühl, die Ergebnisse sind recht robust, zumal ich auch T-Tests durchgeführt habe, die mir oft (allerdings nicht immer) dieselben Gruppenunterschiede zeigen.

[PonderStibbons]

ich habe stark von einer Normalverteilung abweichende Daten,

Das ist normalerweise kein Problem. Allenfalls, wenn die Daten in den einzelnen
Gruppen nicht aus normalverteilten Grundgesamtheit stammen, könnte das
die Tests berühren. Aber auch dann nur, wenn die Stichproben nicht groß sind.
Wichtiger ist normalerweise die Varianzhomogenität.

Worum geht es eigentlich konkret und wie groß sind die Stichproben?

Da die Daten nicht-parametrisch sind,

Die gibt's ja nun nicht...es gibt nichtparametrische Analysen.

Ist es legitim, diese Ergebnisse (unter Hinweis auf den sich vergrößernden Alpha-Fehler, da ja fünf Tests durchgeführt wurden) anzugeben?

Du könntest das Signifikanzniveau nach dem Bonferroni-Holm Verfahren anpassen,
um alpha-Fehler-Kumulierung zu vermeiden.

Mit freundlichen Grüßen

P.

[bergerain]

Es wurden in einem Filmkorpus Häufigkeiten der Verwendung bestimmter sprachlicher Ausdrücke gemessen und in Frequenz (Häufigkeit/Zeitdauer) angegeben. Dabei ergeben sich stark abfallende Verteilungen, mit sehr vielen Nullwerten (in vielen Filmen werden die Ausdrücke gar nicht verwendet, in manchen selten, bis hin zu einigen wenigen hohen Werten). n=350 (also n=70 für die jeweils 5 Gruppen). Ich habe auf Exponentialverteilung getestet, aber diese hat SPSS für die meisten der 40 abhängigen Variablen (= Frequenzen der 40 untersuchten sprachlichen Ausdrücke) nicht bestätigt.

Ich bin davon ausgegangen, dass ich aufgrund dieser sehr stark von der Normalverteilung abweichenden Verteilung lieber keine ANOVA machen sollte. Zudem finde ich mit Kruskall-Wallis (global) und U-Test sogar etwas mehr Signifikanzen, was darauf zurückzuführen sein dürfte, dass diese Rangsummentests bei nicht normalverteilten Daten eine größere Effizienz haben (laut engl. Wikipedia).

Bezüglich Varianzgleichheit zeigen die T-Tests folgendes Bild: Ich erhalte fast immer Varianz-Ungleichheit mit dem Levene-Test, wenn auch signifikante Gruppenunterschiede vorliegen. Das könnte vielleicht auch mit der unterschiedlichen Gruppengröße zusammenhängen: Ich habe ja immer eine Gruppe (also n =70) gegen vier andere (also n=280) getestet. Vielleicht sollte ich aber auch lieber den Forsythe-Brown-Test machen? (An letzerem irritiert mich, dass er ja als Verfahren zur Prüfung von Varianzgleichheit gilt, aber in SPSS als "robustes Testverfahren zur Prüfung auf Gleichheit der Mittelwerte" bezeichnet wird, was ja wohl etwas anderes ist.)

Mir ist nicht klar, wie ich Bonferroni-Holm "von Hand" zur Korrektur des Signifikanzniveaus anwenden kann. In SPSS wird mir das Bonferroni-Verfahren außerdem nur unter "Varianz-Gleichheit angenommen" angeboten, und die liegt bei mir eben nicht vor ...

[PonderStibbons]

Ich habe auf Exponentialverteilung getestet,

Sowas müsste doch eher poissonverteilt sein.

Bei sehr vielen Nullwerten ist die Frage, wieso nicht "ist vorgekommen ja/nein"
als Kriterium und Chi² als Test.

Bezüglich Varianzgleichheit zeigen die T-Tests folgendes Bild: Ich erhalte fast immer Varianz-Ungleichheit mit dem Levene-Test,

In dem Fall den korrigierten t-Test (Welch-Test) bemühen.
Bei n=350 pro paarweisem Vergleich sollte selbst eine extreme Verteilung
wie hier die Durchführbarkeit des t-Tests nicht hindern. Für
die vorher durchzuführenden (?) einfaktoriellen Varianzanalysen
gibt es ebenfalls eine korrigierte Variante, und es ist auch diese
ist bei n=350 robust gegen nicht-Normalverteilung in den Gruppen.

Wieso der U-Test hier sensitiver ist, weiß ich nicht. Entgegen der Folklore ist
es so, dass der U-Test gegen Abweichungen von der Normalverteilung,
kombiniert mit ungleichen Varianzen, empfindlich ist. Eine erhöhte
Rate falsch-positiver Befunde würde ich da keinesfalls ausschließen.

Andererseits, je nach Abnehmer Deiner Studie kommst Du vermutlich
mit weniger Rechtfertigungsaufwand aus, wenn Du H-Tests und U-Tests
rechnest. Wenn der schon die Strategie: "alle werden einzeln immer
gegen den Rest getestet" akzeptiert. Das habe ich in der Form noch nie
erlebt, weswegen mir der Sinn nicht unmittelbar einleuchtet.

Mir ist nicht klar, wie ich Bonferroni-Holm "von Hand" zur Korrektur des Signifikanzniveaus anwenden kann.

Da brauchst Du doch eigentlich bloß ein Blatt Papier und einen Taschenrechner.
Vielleicht gibt es online calculators dafür im Netz. Und in der Testversion des
Statistikprogramms bias für Windows gab/gibt es irgendwo einen einfach zu
bedienenden Bonferroni-Holm-Rechner.

Außerdem müsstest Du Dir auch schon für die 40 vorgeschalteten (?)
Varianzanalysen/H-Tests/Chi²-Tests (was auch immer) Gedanken machen,
wie man die gegen alpha-Fehler-Inflation absichert.

Mit freundlichen Grüßen

P.

[bergerain]

Vielen Dank für die Antworten! - Ich bin dankbar für jede Hilfe bei diesem kniffligen Problem.

Bei sehr vielen Nullwerten ist die Frage, wieso nicht "ist vorgekommen ja/nein"
als Kriterium und Chi² als Test.

Weil die Zeitdauer, mit der die Figuren sichtbar sind, unterschiedlich ist. Absolute Häufigkeitswerte wären aus diesem Grund nicht vergleichbar zwischen den Filmen (und "aufgetreten/nicht aufgetreten" eben auch nicht). Ich habe deswegen Häufigkeit/min. errechnet. Und eine Poisson-Verteilung hat ja nur ganzzahlige nicht-negative Werte (= ergibt sich also nur für absolute Häufigkeiten).

Ich fasse kurz zusammen: Die zu testenden Hypothesen lauten, dass die fünf Gruppen bezüglich der Häufigkeit einer bestimmten Äußerung voneinander abweichen. Die sich ergebenden Daten weichen stark von einer Normalverteilung ab. Wäre nun folgendes Vorgehen akzeptabel:

(1) Levene-Test der Varianzhomogenität
(2) Wenn Levene-Test Signifikanzniveau nicht erreicht, Ergebnis der ANOVA (für k=5) und Bonferroni als Post-hoc-Test, um festzustellen, welche Gruppen in welche Richtung abweichen
(3) Wenn Levene-Test Signifikanzniveau erreicht, Ergebnis des Welch-Tests und Games-Howell als Post-Hoc-Test

Außerdem müsstest Du Dir auch schon für die 40 vorgeschalteten (?)
Varianzanalysen/H-Tests/Chi²-Tests (was auch immer) Gedanken machen,
wie man die gegen alpha-Fehler-Inflation absichert.

Hm ... hier geht es um 40 verschiedene Äußerungen, die ich unabhängig voneinander erhoben und in verschiedene Variablen kodiert habe. Wenn ich zwischen diesen nun auch alpha-korrigieren muss, verschwinden vermutlich fast alle Signifikanzen – die Effekte sind dafür nicht stark genug. (Das ist oft das Problem in solchen Untersuchungen: Die Varianzen sind hoch, die Mittelwertdifferenzen nicht sehr groß, man bekommt fast nie so niedrige p-Werte.)

Bleibt einem dann nur, grundsätzlich immer nur ein oder zwei Variablen auf einer Stichprobe zu testen und für die nächsten Variablen eine neue Stichprobe zu ziehen? Auch das ist aus praktischen Gründen kaum realisierbar, weil ich dann z.B. 40 Stichproben à 70 Filme hätte untersuchen müssen, um etwas über die 40 interessierenden Äußerungen zu erfahren.

Außerdem kumulieren sich doch in einem solchen Fall ebenso die Alphafehler? Wenn ich 40 separate Tests auf separaten Stichproben durchführen würde, ist ebenfalls (bei p = 0.05) mit zwei falsch positiven Ergebnissen zu rechnen ... Oder verstehe ich das Problem falsch?

[PonderStibbons]

(1) Levene-Test der Varianzhomogenität
(2) Wenn Levene-Test Signifikanzniveau nicht erreicht, Ergebnis der ANOVA (für k=5) und Bonferroni als Post-hoc-Test, um festzustellen, welche Gruppen in welche Richtung abweichen
(3) Wenn Levene-Test Signifikanzniveau erreicht, Ergebnis des Welch-Tests und Games-Howell als Post-Hoc-Test

Wobei ich wie gesagt die Strategie 5mal Gruppe gegen Rest nicht kenne und nicht recht verstehe.
Üblicherweise würde man (statt t-Tests mit Bonferroni-Korrektur) die in SPSS "eingebauten" post-
hoc Tests für paarweise Vergleiche rechnen (Tukey Test oder Tests für ungleiche Varianzen).

Hm ... hier geht es um 40 verschiedene Äußerungen, die ich unabhängig voneinander erhoben und in verschiedene Variablen kodiert habe.

Auf dem 5% Signifikanzniveau darfst Du dann selbst bei 40 gültigen Nullhypothesen
im Schnitt mit 2-3 falsch-signifikanten Ergebnissen rechnen (IIRC).

Wenn ich zwischen diesen nun auch alpha-korrigieren muss, verschwinden vermutlich fast alle Signifikanzen – die Effekte sind dafür nicht stark genug. (Das ist oft das Problem in solchen Untersuchungen: Die Varianzen sind hoch, die Mittelwertdifferenzen nicht sehr groß, man bekommt fast nie so niedrige p-Werte.)

In der Tat. 5%/40 wäre denn auch eine extrem strenge Schwelle. Aber einfach bei 5% bleiben ist
auch nicht koscher. Da weiß man am Ende nicht, was ist echt und was ist Zufallstreffer. In manchen
Kontexten ist eine 1% Schwelle eine brauchbare Alternative.

Bleibt einem dann nur, grundsätzlich immer nur ein oder zwei Variablen auf einer Stichprobe zu testen und für die nächsten Variablen eine neue Stichprobe zu ziehen?

Nein, es geht ja nicht um stichprobenweise Fehlerquote, sondern um die experiment-wise.
Mit 40 Stichproben zu arbeiten, würde das Problem nicht lösen, das 40 potenziell
fehleranfällige Tests eben potenziell viele Fehler produzieren.

Ich kenne den Hintergrund der Studie nicht und warum so eine exorbitante Zahl an
Beziehungen getestet werden soll. Vielleicht kann man das von vornherein beschränken,
oder abhängige Variablen zusammenfassen. Oder sollte es sich um eine Replikationsstudie
früherer Befunde handeln, kann man wieder neu überlegen.

Mit freundlichen Grüßen

P.

[bergerain]

Wobei ich wie gesagt die Strategie 5mal Gruppe gegen Rest nicht kenne und nicht recht verstehe.
Üblicherweise würde man (statt t-Tests mit Bonferroni-Korrektur) die in SPSS "eingebauten" post-
hoc Tests für paarweise Vergleiche rechnen (Tukey Test oder Tests für ungleiche Varianzen).

Sorry – ich meinte damit die in SPSS als Post-hoc-Test eingebaute Option "Bonferroni" (unter "Mittelwerte vergleichen/einfaktorielle ANOVA/Post hoc"). Tatsächlich habe ich es nun mit Tukey versucht, und die p-Werte sind durchweg etwas besser. Ich würde also nun folgendes tun: Verzicht auf die Vergleiche eine Gruppe gegen alle anderen, stattdessen:

(1) Levene-Test der Varianzhomogenität
(2) Wenn Levene-Test Signifikanzniveau nicht erreicht, Ergebnis der ANOVA (für k=5) und Tukey als Post-hoc-Test
(3) Wenn Levene-Test Signifikanzniveau erreicht (= ungleiche Varianzen), Ergebnis des Welch-Tests und Games-Howell als Post-Hoc-Test.

Wäre das eine methodisch saubere Vorgehensweise? Wäre für eine Einschätzung sehr dankbar.

Falls ja, wäre es mir lieber als die einzige Alternative, die mir einfällt, die Rangsummentests: Kruskall-Wallis und als Post-Hoc einzelne U-Tests mit Bonferroni-Korrektur. Denn tatsächlich setzt der U-Test offenbar Varianz-Homogenität voraus, die ja bei mir nicht gegeben ist ...

[PonderStibbons]

(3) Wenn Levene-Test Signifikanzniveau erreicht (= ungleiche Varianzen), Ergebnis des Welch-Tests und Games-Howell als Post-Hoc-Test.

Welch sind einfach 2-Gruppen-Vergleiche mit Korrektur für ungleiche Varianzen,
also nur Games-Howell

Sofern das eine methodisch saubere Vorgehensweise ist, wäre es mir lieber als die einzige Alternative, die mir einfällt, die Rangsummentests: Kruskall-Wallis und als Post-Hoc einzelne U-Tests mit Bonferroni-Korrektur. Denn tatsächlich setzt der U-Test offenbar Varianz-Homogenität voraus, die ja bei mir nicht gegeben ist ...

Das Stichwort für die Durchführbarkeit der "parametrischen" Mittelwertvergleiche
von bei nichtnormalen Verteilungen und ausreichender Stichprobengröße ist übrigens
zentraler Grenzwertsatz.

Mit freundlichen Grüßen

P.