STATISTIK-FORUM.de

[Rehaug]

Hallo liebe Statistiker

Nach vielfachem Einholen von Meinungen und grösserer Verwirrung als Klärung meiner Fragen, wende ich mich nun an euch.

Ich habe eine Evaluationsstudie durchgeführt, mit einem Prä-Post-Design und einer Interventions- (n=32) und Kontrollgruppe (n=24). Meine Hypothesen beziehen sich auf die Wechselwirkung Gruppe*Zeit, d.h. ich postuliere, dass sich in der Interventionsgruppe über die Zeit mehr verändert als in der Kontrollgruppe. Dafür habe ich eine MANOVA durchgeführt. Ich habe sehr viele abhängige Variablen erhoben... leider habe ich nicht so rosige Ergebnisse bekommen. Eigentlich fast alle meine Hypothesen mussten abgelehnt werden. Jetzt hat mir meine Betreuerin geraten, t-tests in form von zusatzanalysen durchzuführen... sprich: was passiert denn in den beiden Gruppen separat über die Zeit (t-test für verbundene Stichproben) und wie sieht es konkret mit dem Gruppenfaktor aus (t-test für unabhängige Stichproben). Ich habe folgende Fragen:

- darf ich die post-hoc tests einseitig interpretieren? wenn ja, muss ich vorher irgendwelche annahmen aufstellen? denn die annahmen bleiben ja, dass ich immernoch annehme, dass da mehr in interventions- als in der kontrollgruppe passiert.

- Muss ich in den T-Tests jeweils eine Bonferroni-Korrektur vornehmen? (1 Fragebogen umfasst 5 Skalen, ein anderer 10 und ein weiterer 4 Skalen). Ich habe gelesen, dass wenn das eine Pilotstudie ist und die t-Test in form eines explorativen Ansatzes durchgeführt werden, dass ich da nicht unbedingt eine Bonferroni-Korrektur vornehmen muss. Stimmt das? Denn meine Stichproben sind auch eher klein... und ich denke, wenn ich das Signifikanzniveau senke, würde mir das nur noch mehr Schwierigkeiten bereiten.

- In der MANOVA erhalte ich kaum Effekte für den Gruppenfaktor...allerdings zeigen mir die t-Test für unabhängige Stichproben (habe diese anhand der Differenzwerte in den abh. Variablen gerechnet) doch schon mehr Signifikanzen...liegt das wohl an der Alpha-Inflation? Irgendwie macht für mich das nicht so Sinn...die Ergebnisse decken sich da zu wenig.

Ich danke euch sehr für eure Antwort,

lieber Gruss

Rehaug

[PonderStibbons]

Jetzt hat mir meine Betreuerin geraten,

Mußt Du dem denn nachkommen? Anscheinend hast Du doch Deine Hypothesen
gemäß dem vormformulierten Vorhaben getestet, und gut ist's. Alles weitere,
was Du beschreibst, wirkt wie der Versuch, Signifikanzsternchen aus den Daten zu
quetschen ohne Rücksicht auf methodische Standards. Ich verstehe den Sinn nicht.

Für Deine Betreuerin:
http://www.plosmedicine.org/article/inf ... ed.0020124
http://www.socio.mta.hu/dynamic/simmons_et_al_2011.pdf

Just my 2pence

P.

[Rehaug]

Hallo

Ja ich glaube ich habe das Ganze ein wenig falsch formuliert. Im Grunde genommen geht es darum, dass die Wechselwirkung Gruppe*Zeit nicht signifikant wurde, jedoch der Hauptfaktor "Zeit" teilweise schon. Das heisst es hat sich in beiden Gruppen was verändert...um aber genau zu wissen, wo sich was verändert hat, muss ich ja die t-tests für verbundene Stichproben durchführen und natürlich berichte ich da die Effekstärken, als Signifkanzsternchen zu setzen die effektstärken hängen ja vom mittelwert bzw. auch der standardabweichung ab... also es geht nicht darum, irgendwelche signifikanzen zu erzwingen, sondern mehr Klarheit über die Daten zu gewinnen, um schliesslich auch in meiner Diskussion etwas berichten zu können. Beziehungsweise zu begründen, was da möglicherweise passiert sein kann.

Ich hoffe, ich war jetzt ein wenig präziser. Wie gesagt, ich will eigentlich mehr die Effekstärken in den Vordergrund stellen, aber auch anhand der t-Test erfahren, ob sich denn innerhalb BEIDER Gruppen Veränderungen ergeben haben und wo.

Lieber Gruss,
R

[PonderStibbons]

Im Grunde genommen geht es darum, dass die Wechselwirkung Gruppe*Zeit nicht signifikant wurde, jedoch der Hauptfaktor "Zeit" teilweise schon. Das heisst es hat sich in beiden Gruppen was verändert...um aber genau zu wissen, wo sich was verändert hat, muss ich ja die t-tests für verbundene Stichproben durchführen

Wenn Du einen Haupteffekt ohne Wechselwirkung hast, wieso musst
Du dann noch testen "wo" sich was verändert hat? Ein Zeit-Effekt ist
dann doch in beiden Gruppen gleichermaßen anzunehmen.

Mit freundlichen Grüßen

P.

[Rehaug]

Lieber P.

Danke für deine raschen Antworten.

Tja...vielleicht blicke ich wohl bei dieser MANOVA nicht so ganz durch. Aber bei mir sehen die Daten folgendermassen aus:

- Haupteffekt "Gruppe" --> auf keiner Subskala statistisch bedeutsame Unterschiede zwischen den Gruppen
- Haupteffekt "Zeit" --> auf GEWISSEN Subskalen Zeiteffekte vorzufinden (jedoch nicht bei allen...), sprich: es ergeben sich in beiden Gruppen Veränderungen
- Wechselwirkung Gruppe*Zeit: von 7 Fragebogen wurde bei einem der multivariate Test signifikant.

Das Ganze ist nun als Pilotstudie angelegt...ich habe aber dennoch im Voraus Hypothesen im Hinblick auf die Wechselwirkung "Gruppe*Zeit" aufgestellt. Und werde die meisten verwerfen. Da sich aber herausstellt, dass bei gewissen Subskalen der Zeiteffekt signifikant wird und bei anderen nicht, interessierte es mich zu schauen, wo sich konkret gruppenspezifische Veränderungen ergaben. Könnte es vielleicht sein, dass die t-Test für verbundene Stichproben bereits in der ANOVA vorzufinden sind? Wenn ja, wüsste ich nicht wo Ich sehe ja im Zeitfaktor schon, dass sich beide verändert haben (wenn dieser signifikant wird), ich sehe aber nicht, was genau los ist, wenn der Zeitfaktor nicht signifikant ist. Heisst das dann, dass in BEIDEN Gruppen keine Veränderungen stattgefunden haben? Oder kann es dann sein, dass in EINER Gruppe eine Veränderung stattgefunden hat, diese im Zeitfaktor nicht ersichtlich ist, weil sich nicht in BEIDEN Gruppen Veränderungen ergeben haben?

Denn wenn man sich die t-Tests für verbundene Stichproben anschaut, gibt es in den einzelnen Gruppen schon Veränderungen (eben nicht bei beiden in der derselben Subskala) und das ist mir in der ANOVA im Zeitfaktor nicht angezeigt worden. Und da sind wir dann wieder bei der ursprünglichen Frage, ob die Signifikanzen in den t-Test nur aufgrund der Alpha-Inflation enstehen?
Die t-Tests für verbundene Stichproben habe ich aus rein explorativen Gründen angefügt, um auch zu sehen, wo sich denn spezifisch Veränderungen ergeben. Keine Ahnung, ob das Sinn macht... ich dachte, dass ich auf dieser Grundlage eventuell in der Diskussion Hypothesen generieren könnte, was in weiteren Studien beachtet werden sollte, bzw. welche Fragebögen eingesetzt werden sollten, welche Skalen angemessen sind, welche wohl eher nicht usw...

Weil nur aus den Hypothesen Wechselwirkung "Gruppe*Zeit" stosse ich ja nicht auf den Grund meiner Daten. Dadurch dass so vieles unklar ist, komme ich irgendwo auch in Begründungsdrang...und begründen kann ich erst, wenn ich weiss, was in meinen Daten so abgeht Daher auch die t-Tests...

Lieber Gruss und danke nochmals!

R.

P.S.: Vielleicht eine allgemeine Frage: Wie wird denn ein Zeitfaktor signifikant? Nur wenn sich Veränderungen in BEIDEN Gruppen ergeben? Ist das eine Art Kumulation der zeitlichen Veränderungen?

[PonderStibbons]

Tut mir leid, ich blicke nicht durch.

Bei gerade mal n = ca. 50 sehe ich aber auch wenig Sinn, derart viel zu testen.

Noch gutes Gelingen

P.