STATISTIK-FORUM.de

[Verräter]

Ich hätte eine Verständnisfrage zu einer untersuchten gerichteten Zusammenhangshypothese:

H0: Gruppe 1 Ausprägung von X ist durchschnittlich niedriger oder gleich als bei Gruppe 2
H1: Gruppe 1 Ausprägung von X ist durchschnittlich höher als bei Gruppe 2
____________
N=115
Mann-Whitney-U:1274,500
Wilcoxon-W:1869,500
Z: -,629
Asymptotische Signifikanz (2-seitig): ,530
Exakte Signifikanz (2-seitig): ,532
Exakte Signifikanz (1-seitig): ,266

Effektstärke: 0.074 = kein Effekt nach Cohen, da Effektstärke > 0.1
____________

Es ist ja direkt ersichtlich, dass keine Signifikanz vonhanden ist, jedoch habe ich glaube ich einen Logikfehler bei der Interpretation.

Der für mich relevante Signifikanzwert ist ja der Asympthotische, da n>50. Die 2-seitigen Signifikanzwerte von .530/2 ergeben demnach den einseitigen Signifikanzwert von .265. Bleibt der Schwellwert zur Signifikanzfeststellung nun P <.05 = nicht signifikant oder muss Dieser ebenfalls (auf P < 0.025) geteilt werden, da nun Einseitig getestet wird?

[bele]

Hallo Verräter,

die mit Abstand häufigsten Antworten hier im Forum kommen von PonderStibbons und mit weitem Abstand danach von mir. Wir sind beider der Meinung, dass man in aller Regel zweiseitig testen sollte und dann gilt 0,5 > 0,05.
Mein Eindruck ist, dass die, die einseitig testen, dann ganz oft einfach alpha = 0,05 beibehalten. Das ist wahrscheinlich der allgemeine Gebrauch, ist aber auch genau der Grund, warum man einseitiges Testen zu p-Hacking verwenden kann, weshalb ich davon abrate. Wenn Du einseitig testest und dann auch nur mit alpha = 0,025 rechnest, dann hätte ich gegen dieses Vorgehen nichts einzuwenden und der Verdacht des p-Hackings könnte nicht aufkommen. Ich vermute, das ist deshalb so selten praktiziert, weil man dann auch gleich bei zweiseitigem Testen bleiben kann.

JTMC,
Bernhard

[Verräter]

Hallo Verräter,
Wenn Du einseitig testest und dann auch nur mit alpha = 0,025 rechnest, dann hätte ich gegen dieses Vorgehen nichts einzuwenden und der Verdacht des p-Hackings könnte nicht aufkommen. Ich vermute, das ist deshalb so selten praktiziert, weil man dann auch gleich bei zweiseitigem Testen bleiben kann.

Genau das war mein Kerngedanke, denn asymptotische Signifikanz/2 mit alpha 0.025 ODER asymptotische Signifikanz mit alpha 0.05, entsprechen ja dem gleichen Verhältnis, man "gewinnt" sozusagen nicht mehr Aussagegehalt, korrekt?

Würdest du in einer schriftlichen Stellungnahme zu der Berechnung dann eher die zweiseitige oder die einseitige Berechnung und Begründung wählen? Ich hab mich schwer getan, einen zweiseitigen U-Test als Grundlage für das Belegen einer einseitigen Hypothese zu nehmen.

Deshalb die Klärung hier

[bele]

Es ist Wissenschaft, wir machen Studien weil wir vorher nicht genau wissen, was passiert. Es ist durchaus denkbar, dass Du mit der Hypothese startest, X ist in Gruppe 1 höher und dann überrascht die wirklich wahre Welt Dich damit, dass X in Gruppe 2 höher ist. Kann ja mal passieren. Wenn das solchermaßen unerwartete passiert, dann ist das meistens erst Recht eine spannende Nachricht. Das Gegenteil von unserer Vermutung ist vielleicht das Gegenteil von dem was alle vermuten und dann solltest Du das eben nicht geheimhalten, sondern trotzdem publizieren. Du publizierst also sowohl das eine Ergebnis als auch das andere Ergebnis, selbst wenn Du nur das eine Ergebnis vorher für möglich gehalten hast. Jedenfalls ist das in der überwiegenden Zahl der Fälle so.

Ich kann aber die Frage nach der Begründung nicht wirklich beantworten. Ich habe noch nie begründen müssen, warum ich zweiseitig teste und ich habe noch nie eine wissenschaftliche Arbeit gelesen, die eine Begründung für zweiseitiges Testen beinhaltet hat. Das wurde sowohl bei meinen wenigen eigenen als auch bei den vielen von mir gelesenen Arbeiten immer als Standard ohne Begründung akzeptiert.

Die folgende Arbeit habe ich nicht gelesen und sie steht hinter einer Paywall, aber der Abstract klingt so, als könnte eine Fernleihe oder Suche, ob Deine Uni Zugang gewährt, rechtfertigen: http://dx.doi.org/10.1111/j.1442-9993.2009.01946.x


Das hier stammt aus einer allgemein zugänglichen Arbeit:

On the other side, there are those who argue for even tighter restrictions on the use of one-tailed testing than we are calling for. Kimmel (1957), Welkowitz, Ewen, & Cohen (1971), Pillemer (1991) and Lombardi & Hurlbert (2009) all argue that for a scientist to use a one-tailed test, they must be able to argue that not just the future of their scientific investigations, but the future of all scientific investigation will be unaffected by whether the result of their experiment suggests no effect or a strong effect in the unexpected direction. We think this restriction is unworkable as it is not possible for one scientist to predict the actions of other scientists as a result of reading the focal scientist’s paper.

Quelle: https://doi.org/10.1111/j.2041-210X.2010.00014.x


HTH,
Bernhard

[PonderStibbons]

Effektstärke: 0.074 = kein Effekt nach Cohen, da Effektstärke > 0.1

Das sind ja gleich drei schwerwiegende Fehler in einem Satz (und damit meine ich nicht das verdrehte Ungleichheitszeichen).

Erstmal, welche Effektstärke soll dies sein? Cohen's d ist hier nicht von Belang, weil es ein U-Test ist = es wird auf Ordinalniveau getestet. Ordinalskalen haben weder Mittelwerte noch Standardabweichungen, die für die Berechnung von d benötigt werden.

Dann, "Effektstärken" gibt es nicht in Stichproben. Man kann Effektstärkemaße berechnen, wenn man sonst nichts zu tun hat (oder eine Metanalyse durchführt), aber der ist nicht die tatsächliche Effektstärke (die in der Grundgesamtheit), sondern durch den Stichprobenfehler verändert, also in der Regel zu groß oder zu klein, es sei denn, die Stichprobe ist sehr groß und damit der Standardfehler winzig. Demnach sind diese "Effektstärken" nicht ohne weiteres interpretierbar.

Und schließlich ist "kein Effekt nach Cohen" nun wirklich abwegig. Cohen hat Faustregeln für Effektstärken vorgeschlagen, auf Basis dessen, was man in den Human- und Sozialwissenschaften typischerweise an Effekten erwarten kann. Er hat nicht behauptet, d < 0,1 sei "kein Effekt". Allenfalls ein sehr kleiner, aber wenn es z.B. um die Senkung von Todesraten ginge, kann auch dieser relevant sei. Und auf den vorliegenden Stichprobendaten könnte man "kein Effekt" ohnehin nicht aufbauen, siehe oben. Ein echter Effekt von 0,10 kann in einer Stichprobe von n=115 aufgrund des Zufalls ohne weiteres auch mal 0,07 betragen, oder auch 0,15.

Ist das die vergurkte Sprachregelung in einem bestimmten Fachbereich?

[Verräter]

Erstmal, welche Effektstärke soll dies sein? Cohen's d ist hier nicht von Belang, weil es ein U-Test ist = es wird auf Ordinalniveau getestet. Ordinalskalen haben weder Mittelwerte noch Standardabweichungen, die für die Berechnung von d benötigt werden.

Genau gemeint war die Effektsärke r nach Cohen. Die Empfehlung von Bele "methodenberatung.uzh Entscheideassistent" führt mich zum Mann-Whitney Test und ein Auswahlpunkt ist die zentrale Tendenz der Mittelwerte, demnach muss es doch Mittelwerte für die abhängige, metrische Variable geben? Berechnet hatte ich die Effektstärke bzw.Effektstärkenmaße mit r = z / (√N)

Dann, "Effektstärken" gibt es nicht in Stichproben. Man kann Effektstärkemaße berechnen, wenn man sonst nichts zu tun hat (oder eine Metanalyse durchführt), aber der ist nicht die tatsächliche Effektstärke (die in der Grundgesamtheit), sondern durch den Stichprobenfehler verändert, also in der Regel zu groß oder zu klein, es sei denn, die Stichprobe ist sehr groß und damit der Standardfehler winzig. Demnach sind diese "Effektstärken" nicht ohne weiteres interpretierbar.

Uns wurde gesagt wir sollen die Effektstärke bzw. richtigerweise Effektstärkenmaße berechnen und sie dann in Diskussionsteil, falls nötig, limitieren (durch Stichprobenfehler, Teilnehmeranzahl etc.)

Und schließlich ist "kein Effekt nach Cohen" nun wirklich abwegig. Cohen hat Faustregeln für Effektstärken vorgeschlagen, auf Basis dessen, was man in den Human- und Sozialwissenschaften typischerweise an Effekten erwarten kann. Er hat nicht behauptet, d < 0,1 sei "kein Effekt". Allenfalls ein sehr kleiner, aber wenn es z.B. um die Senkung von Todesraten ginge, kann auch dieser relevant sei. Und auf den vorliegenden Stichprobendaten könnte man "kein Effekt" ohnehin nicht aufbauen, siehe oben. Ein echter Effekt von 0,10 kann in einer Stichprobe von n=115 aufgrund des Zufalls ohne weiteres auch mal 0,07 betragen, oder auch 0,15.

Das ist mein Fehler, gemeint ist natürlich ein "sehr kleiner" Effekt unter der Schwelle von Cohen r, nicht tatsächlich 0 oder unbedeutend

Ist das die vergurkte Sprachregelung in einem bestimmten Fachbereich?

Psychologiestudium mit einem zugegeben nur kleinen aktiven Statistikteil