STATISTIK-FORUM.de

[Leon]

Hallo zusammen,
Ich habe ein paar Unklarheiten bzgl der richtigen statistischen Methode für meine Abschlussarbeit. Für Hinweise und Tipps wäre ich wirklich sehr dankbar!
Zu meinem Forschungsprojekt: Eine Interventionsgruppe bekommt eine App zur betrieblichen Gesundheitsförderung, wir erheben den Workability Index (WAI), wenn sie gerade die App erhalten und drei Monate später. Die Kontrollgruppe bekommt keine App und wird auch zu den gleichen zwei Zeitpunkten mit dem WAI untersucht. Ich hänge ein PDF mit Infos zum WAI an. Meine Forschungsfrage ist, ob sich die Nutzung der App positiv auf den WAI auswirkt.

Mein erster Gedanke bzw. vermutlich auch die offensichtliche Wahl wäre ein paired t-test. Das Problem ist, dass der WAI keine metrische Variable ist, er ist nur ordinal skaliert. Er kann Werte von 7 bis 49 Punkten annehmen, je höher, desto besser, aber er kann nicht linear interpretiert werden. 7-27 steht für eine schlechte Arbeitsfähigkeit, 28-36 für eine mittelmäßige, 37-43 für eine gute und 44-49 für eine sehr gute. Deshalb könnte man meinen, dass deshalb nicht-parametrische Tests wie zB Wilcoxon-Test angezeigt wären. In meiner Statistik-Vorlesung wurde allerdings betont, dass dieser Schluss so nicht korrekt sei, zuerst sollte in den erhobenen Daten eine Prüfung auf Normalverteilung durchgeführt werden, bei positivem Ergebnis können und sollen parametrische Tests wie zB paired t-test durchgeführt werden.

Ich habe das bei einer Gelegenheit mit jemandem besprochen, der sich mit Statistik wohl sehr gut auskennt, er hat meine Annahmen ziemlich relativiert, u.A. mit dem Argument, dass die Wahl zwischen parametrisch und nicht-parametrisch hauptsächlich damit zusammen hängt, was ich herausfinden will, und dass man mit nicht-parametrischen Tests vielfältigere Fragestellungen untersuchen könne als mit paramtrischen. Außerdem hat er mir die Verwendung einer linearen Regression empfohlen.

In der Literatur steht allerdings, dass lineare Regression nur verwendet werden kann, wenn die abhängige Variable Intervallskalenqualität hat. Das ist bei meinem Wert, dem Workabilty-Index (WAI) nicht der Fall, es ist eine Ordninalskala, wie oben beschrieben. Findet ihr, dass man die lineare Regression trotzdem verwenden kann? In der Literatur habe ich gesehen, dass für solche Fälle die multinomiale logistische Regression berechnet werden muss. Was wäre damit? Welches statistische Verfahren haltet für angezeigt?
Vielen herzlichen Dank schonmal!

[PonderStibbons]

Mein erster Gedanke bzw. vermutlich auch die offensichtliche Wahl wäre ein paired t-test.

Das wäre keine brauchbare Analyse, weil sie nur den Unterschied prä-post innerhalb jeder Gruppe bzw. für die Gesamtgruppe untersucht.
Es sollte aber, wenn man schon ein Kontrollgruppendesign hat, dargestellt werden, ob sich die Gruppen von prä zu post hinsichtlich der
abhängigen Variable unterschiedlich entwickeln.

Für Vergleiche prä-post innerhalb von Gruppen oder innerhalb der Gesamtgruppe wäre der Vorzeichentest geeignet.

Wie groß sind eigentlich die beiden Stichproben, und erfolgte die Gruppenzuweisung randomisiert?

In meiner Statistik-Vorlesung wurde allerdings betont, dass dieser Schluss so nicht korrekt sei, zuerst sollte in den erhobenen Daten eine Prüfung auf Normalverteilung durchgeführt werden, bei positivem Ergebnis können und sollen parametrische Tests wie zB paired t-test durchgeführt werden.

Da hast Du eventuell etwas falsch verstanden, oder die Vorlesung ist unbedarft. Ordinal bleibt ordinal. Für ordinale
Variablen kann man auch keine solchen Verteilungseigenschaften untersuchen, weil sie sowas nicht haben können.
Außerdem gibt es sowas wie "positives Ergebnis der Prüfung auf Normalverteilung" eigentlich nicht, aber das
führt jetzt wohl zu weit.

Und schließlich: ob (intervallskalierte) Variablen normalverteilt sind oder nicht, ist für die Verfahrensauswahl
scheißegal, weil es für den statistischen Signifikanztest nicht auf die Verteilung von Variablen, sondern auf
die Verteilung der Vorhersagefehler der jeweiligen Verfahren ankommt. Und selbst das nur bei sehr kleinen
Stichproben, ab n > 30 sind die "parametrischen" Verfahren robust gegen non-normale Vorhersagefehler.

Ich habe das bei einer Gelegenheit mit jemandem besprochen, der sich mit Statistik wohl sehr gut auskennt, er hat meine Annahmen ziemlich relativiert, u.A. mit dem Argument, dass die Wahl zwischen parametrisch und nicht-parametrisch hauptsächlich damit zusammen hängt, was ich herausfinden will, und dass man mit nicht-parametrischen Tests vielfältigere Fragestellungen untersuchen könne als mit paramtrischen. Außerdem hat er mir die Verwendung einer linearen Regression empfohlen.
In der Literatur steht allerdings, dass lineare Regression nur verwendet werden kann, wenn die abhängige Variable Intervallskalenqualität hat.

Korrekt. "Parametrische" Analysen setzen Intervallskalenniveau voraus. Wie soll man z.B. Varianzen für ordinalskalierte
Variablen berechnen, die haben sowas nicht.

In der Literatur habe ich gesehen, dass für solche Fälle die multinomiale logistische Regression berechnet werden muss.

Es gibt die ordinale logistische Regressionsanalyse für ordinalskalierte abhängige Variablen. Im vorliegenden Fall wäre dafür
das Modell wohl, grob vereinfacht dargestellt:
WAI(post) = b0 + b1*WAI(prä) + b2*Gruppe + b3*Wechselwirkung

Oder Du ermittelst einfach für jede Versuchsperson, ob ihr WAI von prä zu post gestiegen, gleich geblieben oder gesunken ist,
und vergleichst diese neu edreistufige Variable zwischen den beiden Gruppen mittels Chi²-Test.

Mit freundlichen Grüßen

PonderStibbons

[Leon]

Vielen herzlichen Dank für die ausführliche und erhellende Antwort! Ein paar Fragen hätte ich noch dazu.

Für Vergleiche prä-post innerhalb von Gruppen oder innerhalb der Gesamtgruppe wäre der Vorzeichentest geeignet.

Meinst du den Wilcoxon-Vorzeichen-Rang-Test?

Wie groß sind eigentlich die beiden Stichproben, und erfolgte die Gruppenzuweisung randomisiert?

Geplant ist jeweils ca. 100, Gruppenzuweisung ist leider nicht randomisiert. Interventionsgruppe sind Mitarbeiter in Deutschland, Kontrollgruppe Mitarbeiter in der Schweiz.
Auf diese Fragen hatte ich keinen Einfluss, ich erhalte die Daten und soll sie auswerten.

Da hast Du eventuell etwas falsch verstanden, oder die Vorlesung ist unbedarft. Ordinal bleibt ordinal. Für ordinale
Variablen kann man auch keine solchen Verteilungseigenschaften untersuchen, weil sie sowas nicht haben können.
Außerdem gibt es sowas wie "positives Ergebnis der Prüfung auf Normalverteilung" eigentlich nicht, aber das
führt jetzt wohl zu weit.

Und schließlich: ob (intervallskalierte) Variablen normalverteilt sind oder nicht, ist für die Verfahrensauswahl
scheißegal, weil es für den statistischen Signifikanztest nicht auf die Verteilung von Variablen, sondern auf
die Verteilung der Vorhersagefehler der jeweiligen Verfahren ankommt. Und selbst das nur bei sehr kleinen
Stichproben, ab n > 30 sind die "parametrischen" Verfahren robust gegen non-normale Vorhersagefehler.

Also Prüfung auf Normalverteilung macht man nur bei intervallskalierten Variablen mit n<30? Bei einer Variable wie meiner absolut nicht? Bei Temperatur in Grad Celsius zB würde man es auch nicht machen, weil nicht intervallskaliert?

Es gibt die ordinale logistische Regressionsanalyse für ordinalskalierte abhängige Variablen. Im vorliegenden Fall wäre dafür
das Modell wohl, grob vereinfacht dargestellt:
WAI(post) = b0 + b1*WAI(prä) + b2*Gruppe + b3*Wechselwirkung

Oder Du ermittelst einfach für jede Versuchsperson, ob ihr WAI von prä zu post gestiegen, gleich geblieben oder gesunken ist,
und vergleichst diese neu edreistufige Variable zwischen den beiden Gruppen mittels Chi²-Test.

Vielen Dank! Wäre die Verwendung der ordinalen logistischen Regressionsanalyse "sauberer" als der Chi Quadrat Test? Bei letzterem würde ich ja als "Wert gestiegen" festhalten, wenn es nur einen von 49 Punkten steigt. Und vielleicht steigt er ja in beiden Gruppen, aber in der Interventionsgruppe stärker. Dieses Problem hätte der Wilcoxon-Vorzeichen-Rang-Test nicht, also wäre er "genauer" als der Chi Quadrat Test, oder?

[PonderStibbons]

Für Vergleiche prä-post innerhalb von Gruppen oder innerhalb der Gesamtgruppe wäre der Vorzeichentest geeignet.

Meinst du den Wilcoxon-Vorzeichen-Rang-Test?

Nein, der ist zwar "nonparametrisch", erfordert aber Intervallskalenniveau.

Also Prüfung auf Normalverteilung macht man nur bei intervallskalierten Variablen mit n<30?

Prüfungen auf Normalverteilung erfordert Intervallskalenniveau.
Allerdings muss eine abhängige Variable nicht normalverteilt sein (außer beim Einstichproben-t-Test). Zum Beispiel ist beim t-Test für unabhängige Stichproben und bei der Varianzanalyse die Verteilung in jeder der Gruppen relevant, nicht die der AV insgesamt. Bei linearen Regressionsanalysen ist die Verteilung der Vorhersagefehler relevant, nicht die Verteilung der AV. Beim t-Test für abhängige Messungen ist die Verteilung der Differenzwerte relevant, nicht die Verteilung der beiden AV.
Und bei den genannten Verfahren sind selbst diese Betrachtungen ab einer ausreichenden Stichprobengröße (es kursiert ca. n > 30) nicht mehr von Belang, weil die Verfahren bei ausreichender Stichprobengröße als robust gegen nicht-normale Fehler bzw. nicht-normale Verteilungen in den Subgruppen gelten.

Bei einer Variable wie meiner absolut nicht?

Du selbst hast ausdrücklich geschrieben, sie sei ordinalskaliert.

Bei Temperatur in Grad Celsius zB würde man es auch nicht machen, weil nicht intervallskaliert?

Wieso ist das nicht intervallskaliert? Der Unterschied (das Intervall) zwischen -10 und -5 Grad ist gleich dem zwischen +10 und +15 Grad.

Vielen Dank! Wäre die Verwendung der ordinalen logistischen Regressionsanalyse "sauberer" als der Chi Quadrat Test?

Das ist beides sauber. Die Regression würde stärker differenzieren als eine Einteilung höher/gleich/niedriger, zudem könnte man
noch weitere Variablen einbeziehen. Ein Chi² wäre demgegenüber weitaus unkomplizierter.

Dieses Problem hätte der Wilcoxon-Vorzeichen-Rang-Test nicht, also wäre er "genauer" als der Chi Quadrat Test

Der ist kein Thema, wenn die AV ordinal ist (siehe oben), und er vergleicht ohnehin keine Gruppen.

Mit freundlichen Grüßen

PonderStibbons

[Leon]

Nochmal vielen Dank für deine Ausführungen, PonderStibbons! Hilft mir wirklich sehr.

Nein, der ist zwar "nonparametrisch", erfordert aber Intervallskalenniveau.

Ahja, danke, habe den Vorzeichentest gefunden, glaube ich. Scheint ein eher unüblicher Test zu sein, wurde bei uns nie erwähnt.

Du selbst hast ausdrücklich geschrieben, sie sei ordinalskaliert.

Ja das stimmt, habs jetzt kapiert, glaube ich.

Wieso ist das nicht intervallskaliert? Der Unterschied (das Intervall) zwischen -10 und -5 Grad ist gleich dem zwischen +10 und +15 Grad.

In unserer Vorlesung wurde für Temperatur eine Einschränkung gemacht, weil man nicht sagen könne, dass 20 Grad doppelt so warm ist wie 10 Grad. Aber da gings vlt drum, dass es nicht als metrisch bezeichnet werden kann, und nicht um die Intervallskalenqualität. Ich habe nochmal nachgefragt, weil meine Variable mit Werten von 7 bis 49 ja schon differenzierter ist als eine ordinale Variable mit "selten", "manchmal" und "oft". Aber ich habs jetzt kapiert, ist schlicht eine ordinale Variable, deshalb muss ich einen Test wählen, der für ordinale Skalen verwendet werden kann, Punkt.

Das ist beides sauber. Die Regression würde stärker differenzieren als eine Einteilung höher/gleich/niedriger, zudem könnte man
noch weitere Variablen einbeziehen. Ein Chi² wäre demgegenüber weitaus unkomplizierter.

Ordinale logistische Regression kann ich in R machen, und das wäre auch "wissenschaftlich angemessen", oder?

Der ist kein Thema, wenn die AV ordinal ist (siehe oben), und er vergleicht ohnehin keine Gruppen.

Stimmt, ich würde ja beim Chi Quadrat Test immer nur die gleichen Personen vorher und nachher vergleichen. Aber kann ich das Ergebnis der Interventionsgruppe dann in Bezug zur Kontrollgruppe setzen und eine Aussage mit 95% Signifikanzniveau treffen? Das muss ja dann auf die Gruppen bezogen sein.

[PonderStibbons]

Ahja, danke, habe den Vorzeichentest gefunden, glaube ich. Scheint ein eher unüblicher Test zu sein, wurde bei uns nie erwähnt.

Wenn die Lehrkräfte sich den Wilcoxon genauer ansehen würden, dann würden sie vielleicht drauf kommen, warum der mit ordinalen Daten eigentlich nicht durchführbar ist.

Du selbst hast ausdrücklich geschrieben, sie sei ordinalskaliert.

Ja das stimmt, habs jetzt kapiert, glaube ich.

Ich bin da vorurteilsfrei, ich kenne das Verfahren nicht und was dabei rauskommt. Vielleicht gibt es Referenzliteratur,
wo jemand begründet, warum man es auch als intervallskaliert ansehen kann.

Wieso ist das nicht intervallskaliert? Der Unterschied (das Intervall) zwischen -10 und -5 Grad ist gleich dem zwischen +10 und +15 Grad.

In unserer Vorlesung wurde für Temperatur eine Einschränkung gemacht, weil man nicht sagen könne, dass 20 Grad doppelt so warm ist wie 10 Grad.

Das betrifft die Rationalskala, nicht die Intervallskala. Rationalskalen sind Intervallskalen, die zudem einen natürlichen Nullpunkt besitzen.

Der ist kein Thema, wenn die AV ordinal ist (siehe oben), und er vergleicht ohnehin keine Gruppen.

Stimmt, ich würde ja beim Chi Quadrat Test immer nur die gleichen Personen vorher und nachher vergleichen.

Nein. Der Chi²-Test ist kein Test für Messwiederholungen bzw. abhängige Stichproben. Es ging darum, dass man zwischen zwei Gruppen
hinsichtlich eines neu gebildeten dreistufigen Merkmals "Veränderung von t1 zu t2" vergleichen würde. Ein inferenzstatistisch signifikanter
Unterschied könnte zum Beispiel darauf beruhen, dass in Gruppe A die Teilnehmenden relativ häufiger in die Kategorie "verbessert" und
seltener in "unverändert" bzw. "verschlechtert" fallen als in Gruppe B.

Mit freundlichen Grüßen

PonderStibbons