STATISTIK-FORUM.de

[Statisticus]

Hallo,

ich habe in diversen Artikeln gelesen, dass die 95% Konfidenzintervalle (CI) als Alternative (oder als Zusatz) zu parametrischen Hypothesentests herangezogen werden können.

Möchte man beispielsweise zwei Gruppen vergleichen, z.B. behandelte und unbehandelte Tiere, um zu bestimmen, ob die Behandlung einen statistisch signifikanten Effekt bewirkt, so kann man das statt mit einem parametrischen Hypothesentest dadurch machen, dass man überprüft, ob sich die 95% CI der zwei Gruppen für den entsprechenden Messparameter überlappen oder nicht. Überlappen sie, kann man zwar nicht ausschließen, dass dennoch ein statistisch signifikanter Effekt (mit p<0,05) vorliegt, überlappen sie aber nicht, dann liegt ein statistisch signifikanter Effekt (mit p<0,05) vor. So weit, so gut.

Hat man nun aber mehr als eine Art der Behandlung, so liegen multiple Vergleich vor, was man bei den Post-Hoc-Analysen/Multiplen Vergleichstests durch enstprechende Korrekturen berücksichtigt (wie z.B. im Falle des einfachen, aber sehr konservativen Bonferroni-Vergleichs durch die Senkung des Alpha-Levels durch die Division der Anzahl der Vergleiche).

Meine Frage: Wie ist das nun bei den 95% CI, wenn diese zum Vergleich von multiplen Vergleichen herangezogen werden? Muss hier nicht auch irgendeine Form der Korrektur für die multiplen Vergleiche erfolgen?

[PonderStibbons]

ich habe in diversen Artikeln gelesen, dass die 95% Konfidenzintervalle (CI) als Alternative (oder als Zusatz) zu parametrischen Hypothesentests herangezogen werden können.

Das ist 1:1 dasselbe, wenn man Schlüsse ziehen will. Ein 95%-Konfidenzintervall für einen Mittelwertunterschied entspricht einem statistischen Signifikanztest für den Mittelwertunterschied auf dem 5%-Niveau.

Möchte man beispielsweise zwei Gruppen vergleichen, z.B. behandelte und unbehandelte Tiere, um zu bestimmen, ob die Behandlung einen statistisch signifikanten Effekt bewirkt, so kann man das statt mit einem parametrischen Hypothesentest dadurch machen, dass man überprüft, ob sich die 95% CI der zwei Gruppen für den entsprechenden Messparameter überlappen oder nicht. Überlappen sie, kann man zwar nicht ausschließen, dass dennoch ein statistisch signifikanter Effekt (mit p<0,05) vorliegt, überlappen sie aber nicht, dann liegt ein statistisch signifikanter Effekt (mit p<0,05) vor. So weit, so gut.

Konfidenzintervalle um die Mittelwerte, nicht um den Mittelwertunterschied?
Was ist denn damit gewonnen, dass man sagt, vielleicht wäre der Test statistisch signifikant oder vielleicht auch nicht?

Wie ist das nun bei den 95% CI, wenn diese zum Vergleich von multiplen Vergleichen herangezogen werden? Muss hier nicht auch irgendeine Form der Korrektur für die multiplen Vergleiche erfolgen?

Wenn man die Tests korrigieren würde, dann muss man auch die entsprechenden Konfidenzintervalle verbreitern.

Mit freundlichen Grüßen

PonderStibbons

[Statisticus]

Möchte man beispielsweise zwei Gruppen vergleichen, z.B. behandelte und unbehandelte Tiere, um zu bestimmen, ob die Behandlung einen statistisch signifikanten Effekt bewirkt, so kann man das statt mit einem parametrischen Hypothesentest dadurch machen, dass man überprüft, ob sich die 95% CI der zwei Gruppen für den entsprechenden Messparameter überlappen oder nicht. Überlappen sie, kann man zwar nicht ausschließen, dass dennoch ein statistisch signifikanter Effekt (mit p<0,05) vorliegt, überlappen sie aber nicht, dann liegt ein statistisch signifikanter Effekt (mit p<0,05) vor. So weit, so gut.

Konfidenzintervalle um die Mittelwerte, nicht um den Mittelwertunterschied?
Was ist denn damit gewonnen, dass man sagt, vielleicht wäre der Test statistisch signifikant oder vielleicht auch nicht?

Also ich würde denken, das gilt für die Mittelwerte. Ich möchte schließlich sagen können, dass die arithemtischen Mittelwerte des gemessenen Parameters innerhalb der experimentell und/oder biologisch bedingten Schwankungen zwischen den zwei Gruppen nicht gleich sind.

Zum zweiten Punkt: Deswegen erlauben die 95% CI hinsichtlich der Aussage zu einer statistischen Signifkant auch nur etwas, wenn die 95% CI nicht überlappen. Das schränkt den Nutzen in der Tat sehr ein. Das sehe ich auch so.

Wie ist das nun bei den 95% CI, wenn diese zum Vergleich von multiplen Vergleichen herangezogen werden? Muss hier nicht auch irgendeine Form der Korrektur für die multiplen Vergleiche erfolgen?

Wenn man die Tests korrigieren würde, dann muss man auch die entsprechenden Konfidenzintervalle verbreitern.

Und wie macht man sowas bei multiplen Vergleichen, also die Anpassung der Konfidenzintervalle?

[bele]

Das schränkt den Nutzen in der Tat sehr ein. Das sehe ich auch so.

Deshalb sind solche Diagramme auch eher zur Veranschaulichung von Ergebnissen und nicht als Testersatz gut. Ich würde deshalb immer 95%-KI angeben und keine Korrektur durchführen.

Und wie macht man sowas bei multiplen Vergleichen, also die Anpassung der Konfidenzintervalle?

Ich würde es aber sein lassen.

LG,
Bernhard

[Statisticus]

Hmmm, also praktisch eine Bonferroni-Korrektur, die bei einer großen Anzahl an Vergleichen keine gute Wahl ist. Habe ich so noch nie in der Anwendung gesehen, sprich in Verbindung mit der Verbreiterung der Konfidenzintervalle.

Also müsste dann das 95% KI bei 10 Vergleichen auf die Länge des 99,5% KI verbreitert werden, damit es das 95% KI für 10 Vergleiche darstellt und die gleichen Vergleiche anhand dessen durchgeführt werden können?

Ich würde es aber sein lassen.

Und was würdest du stattdessen vorschlagen? Einfach bei den Hypothesentests bleiben?

[bele]

Wie Du schon geschrieben hast, sind diese Grafiken kein Ersatz für einen Hypothesentest, sondern nur eine anschauliche Ergänzung. Drum würde ich vielleicht Tests mit Korrektur rechnen und eine Grafik ohne Korrektur einstellen. Oder Tests rechnen und Violinplots zeichnen oder zehn empirische cumulative Verteilungsfunktionen in eine Grafik oder Boxplots mit notches oder so. Wer ein Testergebnis will, der muss sich halt durch Zahlen wühlen und für die Visuellen im Publikum halt irgend eine möglichst intuitive und zugleich aussagekräftige Zeichnung.

LG,
Bernhard

[Statisticus]

OK. Danke für die Antwort.

Violin-Plots - diese kannte ich bisher noch gar nicht. Liegt wahrscheinlich daran, dass diese erst bei umfangreichen Stichproben Sinn machen und meine Datenmengen meist nicht in diesem Bereich liegen.

Laut der folgenden Darstellung beinhaltet ein Violin-Plot die IQR (Interquartilsspanne vom 1. bis zum 3. Quartil), den Median, aber auch das 95% Konfidenzintervall:
https://datavizcatalogue.com/methods/violin_plot.html

Passt das denn zusammen?
Das 95% Konfidenzintervall basiert auf der Annahme einer Normalverteilung, die anderen Parameter aber nicht. Wäre ja irgendwie so, als würde ich Median +/- Standardabweichung angeben oder Mittelwert +/- IQR.

[PonderStibbons]

Das 95% Konfidenzintervall basiert auf der Annahme einer Normalverteilung,

Kann man so nicht sagen. Nur bei kleinen Stichprobengrößen.

[bele]

Ich vermute mal, dass man das in den meisten Computerprogrammen irgendwie einstellen kann, was von alledem man dargestellt wissen möchte. Wenn Dich das Konfidenzintervall stört, dann such Dir ein Statistikprogramm, dass Dir das Ausblenden erlaubt. Wenn sich das nicht finden lässt: Violinplots basierend auf Dichteschätzern und die gibt es sicher irgendwo in Deiner Softwäre auch ohne Kopnfidenzintervall:

https://ggplot2.tidyverse.org/reference ... sity-5.png

LG,
Bernhard