STATISTIK-FORUM.de

[Kristofferson]

Liebe Forenmitglieder,

ich möchte im Sinne einer Manipulationskontrolle überprüfen, ob verschiedene Stressoren zu einer Veränderung in der subjektiven Befindlichkeit/Stressempfinden geführt haben. Bei der Wahl des statistischen Verfahrens bräuchte ich eure Hilfe.

Ich habe vier Befindlichkeitsitems nach einer Ruhephase (Baseline) und jeweils nach drei Stressoren erhoben. Ich habe nun daran gedacht, mehrere T-Tests für abhängige Stichproben durchzuführen. D.h. ich würde für jedes Item die einzelnen Stressoren mit der Ruhephase vergleichen; und zwar getrennt für die beiden Probandengruppen. Das ergibt dann 24 einzelne Tests [2 (Gruppen) x 3 (Stressoren) x 4 (Befindlichkeitsitems)]. Aufgrund der Alphafehlerkumulierung würde ich die Bonferroni-Holm-Korrektur anwenden (getrennt für die beiden Gruppen; also eine Korrektur von jeweils 12 p-Werten).

Spricht etwas dagegen, das so durchführen? Ich möchte eigentlich nur aussagen, dass die Stressoren in beiden Gruppen zu einer signifikanten Änderung in den Items geführt haben.

Ich frage mich, ob ich nicht eigentlich ein Verfahren einsetzen müsste, dass beide Gruppen gleichzeitig (oder sogar beide Gruppen und alle Stressoren gleichzeitig) berücksichtigt? Und dann mittels Folgeanalysen die individuellen Unterschiede überprüfen. Mit den T-Tests kann ich zudem nicht aussagen, dass die Gruppen sich in der Veränderung unterschieden, was recht interessant wäre. Da aber die Items innerhalb der Gruppen nicht normalverteilt waren (und die Gruppen leider mit n<15 klein sind), bin ich von meiner ursprünglichen Idee (Messwiederholungs-ANOVA) abgekommen. Die Differenzen (Ruhe - Stressor) sind jedoch normalverteilt, daher die Idee mit den T-Tests.

Ich würde mich sehr über eine Antwort freuen.

Grüße,
Kristofferson

[PonderStibbons]

ich möchte im Sinne einer Manipulationskontrolle überprüfen, ob verschiedene Stressoren zu einer Veränderung in der subjektiven Befindlichkeit/Stressempfinden geführt haben.

Wieso brauchst Du dazu Signifikanztests?

Mit freundlichen Grüßen

PonderStibbons

[Kristofferson]

Wieso brauchst Du dazu Signifikanztests?

Ich wollte den Unterschied anfangs nur deskriptiv angeben, aber da andere Studien einen Signifikanztest bei der Manipulationskontrolle durchgeführt haben, dachte ich, ich müsste das auch so machen. Sozusagen als Beweis, dass die Veränderung auch wirklich bedeutsam ist. Oder verstehe ich hier etwas grundlegend falsch?

[PonderStibbons]

Ich wollte den Unterschied anfangs nur deskriptiv angeben, aber da andere Studien einen Signifikanztest bei der Manipulationskontrolle durchgeführt haben,

Tatsächlich alle?

Sozusagen als Beweis, dass die Veränderung auch wirklich bedeutsam ist.

Statistische Signifikanztests befassen sich allerdings nicht damit, ob etwas bedeutsm nicht. Nur ob nicht-Null in der Grundgesamtheit.
Dich interessiert dagegen, ob in der Studie in der Stichprobe ein bestimmter (Mindest-)Zustand bei der UV realisiert wurde, vermute ich.

Mit freundlichen Grüßen

PonderStibbons

[Kristofferson]

Danke schon mal für die Antworten!

Tatsächlich alle?

Die wenigen Studien zu meinem sehr konkreten (psychophysiologischen) Thema rechnen eine Messwiederholungs-ANOVA, um einen Anstieg im (subjektiven) Stressempfinden sicherzustellen. Allerdings zum Teil im Rahmen der Analyse von Gruppenunterschieden im subjektiven Befinden (was ich ursprünglich auch so machen wollte, aber aufgrund der verletzten Normalverteilungsannahme und kleinen Gruppengrößen wohl nicht machen kann). Ich schaue gleich noch bei anderen, allgemeineren Studien mit Stressoren nach, wie die das machen.

Statistische Signifikanztests befassen sich allerdings nicht damit, ob etwas bedeutsm nicht. Nur ob nicht-Null in der Grundgesamtheit.
Dich interessiert dagegen, ob in der Studie in der Stichprobe ein bestimmter (Mindest-)Zustand bei der UV realisiert wurde, vermute ich.

Ich habe keine Annahmen darüber, wie stark die Items (z. B. Empfinden von Stress; 9-stufiger Ratingskala [0: gar nicht, 9: sehr]) ansteigen sollen. Ich möchte nur darstellen, dass es in den beiden Gruppen jeweils einen Anstieg in den Befindlichkeitsitems bei den drei Stressoren im Vgl. zur Ruhe gibt. Ist die Aussage, dass dieser Anstieg nicht-Null in der Grundgesamtheit ist, in diesem Zusammenhang denn nicht von Interesse oder sogar fehl am Platz?

[bele]

Ist die Aussage, dass dieser Anstieg nicht-Null in der Grundgesamtheit ist, in diesem Zusammenhang denn nicht von Interesse oder sogar fehl am Platz?

Nö, wenn Dir diese Aussage gelingt, dann ist sie nicht fehl am Platz. Nehmen wir an, sie gelänge nicht, weil die Fallzahl zu klein, das Rauschen zu groß und zwölf einfach groß wäre. Welche Konsequenzen hätte das dann für Dich?

Mach die Tests erst, wenn Du darauf auch eine Antwort gefunden hast. Vielleicht überlegst Du Dir das mit der Bonferronikorrektur auch nochmal.

Würde nicht vielleicht eine ANOVA oder ein Regressionmodell in das alle Messungen eingehen und aus dem erstmal ein gemeinsamer p-Wert hervorgehen, auch reichen?

LG,
Bernhard

[Kristofferson]

Danke, Bernhard.

Welche Konsequenzen hätte das dann für Dich?

Vielleicht ist Manipulationskontrolle auch nicht die alleinige Bezeichnung für das, was ich vorhabe. Ich möchte einerseits prüfen, ob es durch die Stressoren überhaupt eine Veränderung im subjektivem Empfinden gibt. Andererseits könnte ich die Veränderung im subjektiven Empfinden durch die Ergebnisse der T-Tests dann auch detaillierter beschreiben (z. B. "bei Stressor X gibt es in der Gruppe Y einen signifikanten Anstieg im subjektiven Empfinden von Stress und Ärger, nicht aber von Anspannung").

Ich rechne einseitig (weil ich einen Anstieg erwarte), dadurch habe ich, soweit ich das richtig verstanden habe, den Vorteil, dass ich den p-Wert halbiere und entsprechend eher einen signifikanten Anstieg feststellen kann.

Wenn gar nichts signifikant werden würde, könnte ich anführen, dass eine Wirkung des Stressors aufgrund der nicht-signifikanten Veränderung im Empfinden dennoch nicht ausgeschlossen werden kann, da rein deskriptiv ein Anstieg von X zu erkennen war (so viel weiß ich schon mal), aber die Fallzahl zu klein gewesen sein könnte, um diesen Effekt aufzudecken (da müsste ich dann noch die Power mit G*Power prüfen?). Oder?

Sollte ich bei meinen psychophysiologischen Parametern (um die es mir eigentlich geht), keine Unterschiede zwischen den Gruppen feststellen, könnte ich das dann u.a. auch auf mögliche nicht-signifikante Veränderungen im subjektiven Empfinden durch die Stressoren zurückführen. Das blöde ist, dass ich mit den T-Tests keine Gruppenunterschiede in der Veränderung der Befindlichkeit überprüfen kann.

Würde nicht vielleicht eine ANOVA oder ein Regressionmodell in das alle Messungen eingehen und aus dem erstmal ein gemeinsamer p-Wert hervorgehen, auch reichen?

Die kann ich eig. aufgrund der verletzten Normalverteilungsannahme und kleinen Gruppengrößen (<15) nicht durchführen, oder? Soweit ich weiß gibt es auch keine nonparametrische Alternative dafür.

[PonderStibbons]

Vielleicht ist Manipulationskontrolle auch nicht die alleinige Bezeichnung für das, was ich vorhabe. Ich möchte einerseits prüfen, ob es durch die Stressoren überhaupt eine Veränderung im subjektivem Empfinden gibt.

Das liest sich wiederum so, als sei es Teil der inhaltlichen Fragestellung, nicht nur eine technische Frage.

Ich rechne einseitig (weil ich einen Anstieg erwarte),

Das eine hat mit dem anderen nichts zu tun. https://psychologie.uni-graz.at/de/biol ... -list/faq/ FAQ #3

Wenn gar nichts signifikant werden würde, könnte ich anführen, dass eine Wirkung des Stressors aufgrund der nicht-signifikanten Veränderung im Empfinden dennoch nicht ausgeschlossen werden kann, da rein deskriptiv ein Anstieg von X zu erkennen war (so viel weiß ich schon mal),

Das wird für mein Empfinden jetzt etwas chaotisch, weil es einerseits darum geht, ob die experimentelle Manipulation funktioniert hat bzw, ob die Versuchsbedingungen so waren, wie es für die Durchführung geplant und erforderlich war, aber andererseits um die Fragestellung, ob diese Stressoren einen statistisch signifikanten Zusammenhang mit Stressempfinden haben, d.h. um eine generell gültige Aussage.
Vielleicht beschreibst Du einmal im Zusammenhang Thema, Fragestellung, Versuchsaufbau.

Mit freundlichen Grüßen

PonderStibbons

[Kristofferson]

Das liest sich wiederum so, als sei es Teil der inhaltlichen Fragestellung, nicht nur eine technische Frage.

Zum Punkt „Inferenzstatistische Überprüfung: ja / nein?“:
Deskriptiv zeigte sich ein Mittelwertanstieg in allen Items von der Ruhe zu den Stressoren (getrennt für die Gruppen und Stressoren dargestellt). Ich dachte das reicht nicht als Kontrolle, dass die Stressoren auch wirklich eine Wirkung erzielt haben. Deshalb wollte ich überprüfen, ob der Anstieg in der Grundgesamtheit der Patienten und gesunden Kontrollen > 0 ist. Darüber wie groß der Unterschied sein muss, um bedeutsam zu sein, habe ich keine Annahmen. Ich möchte später Aussagen über mögliche Veränderungen in bestimmten physiologischen Parametern unter Stress bei Patienten im Vergleich zu gesunden Kontrollen machen. Ich dachte, dazu müsste ich belegen, dass die Stressoren eine Wirkung hatten im Sinne eines Anstiegs im subjektiven Befinden, der > 0 war. Ich bin nun verwirrt. Macht eine solche Aussage im Rahmen einer Manipulationskontrolle keinen Sinn?

Zum Punkt „Inhaltliche vs. technische Frage“:
Eine generelle Wirkung des Stressors würde ich annehmen, sofern in mind. einem der Items ein Anstieg zu beobachten war. Wenn ich jetzt bei einer inferenzstatistischen Überprüfung im Rahmen der Manipulationskontrolle feststellen würde, dass z. B. ein Stressor bei einer Gruppe in einem bestimmten Item keinen Anstieg erzielt hat, wäre das auch inhaltlich interessant, weil ich die Wirkung des Stressors etwas genauer beschreiben kann.

Zum Punkt „Einseitig oder zweiseitig?“:
Unabhängig davon, ob das jetzt Sinn macht einen Anstieg inferenzstatistisch zu überprüfen, habe ich hierzu eine Frage. Ich erwarte einen Anstieg in den Items von der Ruhe zu den drei Stressoren, weil das in anderen Studien so gezeigt wurde und ein Abfall theoretisch nicht zu erwarten ist. Ob es zu einem Nicht-Anstieg oder Absinken kam, würde mich im Falle der Manipulationskontrolle nicht interessieren, da beides eine misslungene Manipulation wäre. Kann ich in diesem Fall einseitig testen?