STATISTIK-FORUM.de

[garryman90]

Hallo,

folgender Sachverhalt. Ich habe 4 verbundene Variablenpaare (8 Variablen, 4 vor der Intervention, 4 danach), die die Inanspruchnahme des Gesundheitswesens in Häufigkeiten über die letzten 3 Monate erfassen: Stationäre Behandlungen, Ambulante Behandlungen, Krankenhaustage, Medikamenteneinnahme. Die Daten sind nicht normalverteilt (überwigend 0).

Ich führe einen Wilcoxon-Test für gepaarte Stichproben durch und überprüfe folgende Hypothese für jedes Paar der verbundenen Stichproben: "Die Intervention verringert die Inanspruchnahme des Gesundheitswesen". Die Hypothese ist gerichtet, denn eine Steigerung der Inanspruchnahme durch die Intervention wäre Unsinn.

In 3 von 4 Wilcoxon-Tests erhalte ich eine Asymptotische Signifikanz (2-seitig) von 0,68, 0,70 und 0,59. Die Ergebnisse sind nicht signifikant für mein 95% CI. Da der Test 2-seitig bei einer gerichteten Hypothese durchgeführt wurde, hier meine Frage: Ist es zulässig, eine Alpha-Korrektur für den p-Wert zu rechnen und die p-Werte zu halbieren? Ich möchte nicht unseriös Data-Dredging betreiben, nur um Signifikanz zu erhalten, aber mich auch nicht um signifikante Ergebnisse berauben. Die Effektstärken wären klein um die r>=0.1 herum.

Danke für Feedback
Garry

[bele]

Hallo Garry,

zum Einen verstehe ich nicht, wie Du aus p-Werten von "0,68, 0,70 und 0,59" durch Halbieren auf signifikante Ergebnisse (i. d. R. < 0,05) kommen möchtest.

Zum Zweiten ist es in seriösen Forschungsarbeiten gänzlich unüblich, solche Tests zu machen.

eine Steigerung der Inanspruchnahme durch die Intervention wäre Unsinn

Wäre eine Steigerung nur völlig unerwartet und gegen alle vorliegenden Forschungsergebnisse oder wäre sie tatsächlich ein logisches Paradoxon? Anders gefragt: Wenn jetzt doch herauskäme, dass die Intervention die Inanspruchnahme steigert, wäre das gar keine Meldung/Veröffentlichung wert?
An dieser Stelle führen meistens Fehlannahmen zu der Idee, man könne einseitig testen und deshalb würdest Du das sehr, sehr gründlich begründen müssen.

Zum Dritten: Wenn Du einen einseitigen Rangsummentest durchführen willst, dann sag doch einfach deinem Statistikprogramm, dass es einen einseitigen Test rechnen soll. Dann prüft Dein Programm für Dich, ob die Daten wirklich in die Richtung weisen, in der der p-Wert kleiner wird oder vielleicht doch in die, in der der p-Wert größer wird.

LG,
Bernhard

[garryman90]

Danke für die schnelle Antwort,

ich habe eine Nachkommastelle vergessen zu berichten, die Daten sind natürlich 0,068, 0,070 und 0,059, mein Fehler.

Ich verstehe die zweite Aussage nicht:

Zum Zweiten ist es in seriösen Forschungsarbeiten gänzlich unüblich, solche Tests zu machen.

Meinst du damit den Wilcoxon-Test oder einen einseitigen Test nur für gerichtete Hypothesen? Es überrascht mich, da ich gelehrt wurde, dass eine Wirkungsvermutung mit guter BEgründung einen einseitigen Rangsummentest rechtfertigt, eventuell ein Fehler meiner Hochschule.

Zur Frage der gerichteten Hypothese: Das ist der Sachverhalt, mit dem ich hadere. Ich könnte es begründen aus Sicht der Literatur und anhand des Messinstruments, aber über die Seriösität bin ich unentschlossen, da ich unmöglich alle Faktoren berücksichtigen kann. Ich ging nicht davon aus, wie bereits erwähnt, dass meine Hypothese gerichtet ist. Vielleicht lese ich mich am besten nochmal da genauer ein.

Und zur dritten Anmerkung: Ich habe bisher nie eine Option bei SPSS für einen einseitigen Rangsummentest gesehen, ich ging davon aus, dass dies immer manuell nachzuberechnen ist.

Hab vielen Dank, ich tendiere aufgrund deiner Antwort auch zu meinem Bauchgefühl, die Ergebnisse als nicht-signifikant zu berichten.

[bele]

Hallo garryman,

ich habe eine Nachkommastelle vergessen zu berichten, die Daten sind natürlich 0,068, 0,070 und 0,059,

Ok, solche p-Werte sind ärgerlich und erklären natürlich, dass Du Dir Gedanken machst.

Zum Zweiten ist es in seriösen Forschungsarbeiten gänzlich unüblich, solche Tests zu machen.

Meinst du damit den Wilcoxon-Test oder einen einseitigen Test nur für gerichtete Hypothesen?

Ich meinte damit das einseitige Testen, nicht den Wilcoxon-Test. Meine Aussage ist überraschend schwer zu belegen. PonderStibbons verweist gerne auf FAQ #3 hinter diesem Link: https://psychologie.uni-graz.at/de/biol ... -list/faq/ aber eine FAQ ist natürlich nicht die höchstrangige Publikationsform. Ich habe bei Google-Scholar geschaut und man findet aus allen Dekaden der zweiten Hälfte des letzten Jahrhunderts Treffer -- offensichtlich haben sich die Gelehrten darüber lange und immer wieder gestritten. Ich lese nur medizinische Studien und da findet man einseitige Tests immer mal wieder in Vorstellungen irgendwelcher Bachelor- oder Masterarbeiten aber ich habe noch keine in einem renommierten Journal gefunden.

Es überrascht mich, da ich gelehrt wurde, dass eine Wirkungsvermutung mit guter Begründung einen einseitigen Rangsummentest rechtfertigt, eventuell ein Fehler meiner Hochschule.

Die Wissenschaft ist frei für abweichende Meinungen. Wenn das von den Leuten so gelehrt wurde, die Dich bewerten sollen, dann haben die immer mehr Recht als die anonyme Stimme im Internet. Wenn Du aber eine Arbeit zur peer-review schickst musst Du darauf vorbereitet sein, dass so einer wie ich Reviewer ist und dann musst Du das begründen. Für den Fall solltest auch Du bei Google-Scholar nach Arbeiten möglichst bedeutender Leute suchen, die einseitige Tests gut finden, damit Du für eine Auseinandersetzung darüber gute Argumente hast.

Und zur dritten Anmerkung: Ich habe bisher nie eine Option bei SPSS für einen einseitigen Rangsummentest gesehen, ich ging davon aus, dass dies immer manuell nachzuberechnen ist.

Ich nutze kein SPSS, sondern nur R und da kann man das einstellen. Deshalb bin ich davon ausgegangen, dass das überall ginge. Wenn SPSS diese Option gar nicht anbieten sollte wäre das eventuell ein Hinweis darauf, dass es eine selten genutzte/empfohlene Option ist? Andererseits habe ich gerade bei Youtube geschaut und gleich im ersten Video wird einem das Halbieren von p-Werten empfohlen https://youtu.be/nyiU36ID4lw?t=218

HTH,
Bernhard

[garryman90]

Super Feedback bele,

Ok, solche p-Werte sind ärgerlich und erklären natürlich, dass Du Dir Gedanken machst.

Ja, leider wären signfikante p-Werte wirklich vorteilhaft für dieses Projekt gewesen. Letztendlich hängen Geldgeber an der Intervention und die würden gerne in dem Bereich Ergebnisse sehen. Aber es soll tatsächlich auch ins Peer-Review, von daher ist es mir ja so wichtig, dass ich Integrität wahre. Ich stehe dann leider vor der Frage, wie kann ich das noch irgendwie hoffnungsvoll verpacken. Wenn ich den ca. 20% Rückgang der Inanspruchnahme im Säulendiagramm darstelle, dann ist es unseriös weil es keinem Effekt zugrunde liegt. Wenn ich prognostiziere, dass eine große Stichprobe wahrscheinlich signifikante Ergebnisse liefern würde, dann ist es das auch, weil mit anwachsender Fallzahl fast alles signifikant ist und ich bereits bei einer Fallzahl von 300 bin. Erstelle ich Filter (zB nur die analysieren, die zu T0 bereits in den letzten 6 Monaten das Gesundheitswesen beansprucht haben) oder Bivariate (bestimmte Erkrankungen hätten durchaus hohe Effektstärken bei p < 0,001), dann ist es Data-Dredging. Und letztendlich traue ich mich auch nicht, die Maximalwerte zu streichen (da sind 2 Probanden beim Posttest, die durch über hundert Inanspruchnahmen die Summe enorm steigern, vgl. Maximum T0 ist 20). Es sind aber keine Datenfehler. Ich denke ich werde es so darstellen, dass auch eine höhere Wahrscheinlichkeit der Zufallsverteilung der Mittelwertunterschiede in Anbetracht der Chancen für das Gesundheitssystem (finanziell) weitere Studien rechtfertigt. Sowas in der Art.

Die Wissenschaft ist frei für abweichende Meinungen. Wenn das von den Leuten so gelehrt wurde, die Dich bewerten sollen, dann haben die immer mehr Recht als die anonyme Stimme im Internet. Wenn Du aber eine Arbeit zur peer-review schickst musst Du darauf vorbereitet sein, dass so einer wie ich Reviewer ist und dann musst Du das begründen. Für den Fall solltest auch Du bei Google-Scholar nach Arbeiten möglichst bedeutender Leute suchen, die einseitige Tests gut finden, damit Du für eine Auseinandersetzung darüber gute Argumente hast.

Genau das ist der richtige Ansatz denke ich. Die Auswertungsstrategie des validierten Instruments sagt nicht mehr als "eine Score aus den Single-Items bilden", in den Studien dich ich dazu gelesen habe wurde im Methodenteil bisher nicht ersichtlich, ob einseitig geteset wurde, was es sehr unwahrscheinlich macht, dass einseitig gesetet wurde. Vielleicht finde ich noch etwas.

Ich meinte damit das einseitige Testen, nicht den Wilcoxon-Test. Meine Aussage ist überraschend schwer zu belegen. PonderStibbons verweist gerne auf FAQ #3 hinter diesem Link: https://psychologie.uni-graz.at/de/biol ... -list/faq/ aber eine FAQ ist natürlich nicht die höchstrangige Publikationsform. Ich habe bei Google-Scholar geschaut und man findet aus allen Dekaden der zweiten Hälfte des letzten Jahrhunderts Treffer -- offensichtlich haben sich die Gelehrten darüber lange und immer wieder gestritten. Ich lese nur medizinische Studien und da findet man einseitige Tests immer mal wieder in Vorstellungen irgendwelcher Bachelor- oder Masterarbeiten aber ich habe noch keine in einem renommierten Journal gefunden.

Habe gerade alle FAQs dort gelesen, großartiger Link! Das werde ich noch öfter brauchen, gleich gebookmarked.

Vielen Dank!