STATISTIK-FORUM.de

[T-Tester]

Hallo zusammen, ich habe eine grundsätzliche Verständnisfrage.

Ich vergleiche in einer Studie vier Gruppen, die ich nun begründet vergleichen werde.

Kontrollgruppe
Vor-der Intervention-Gruppe
Nach-der Intervention-Gruppe
Lang-ist-die-Intervention-her-Gruppe

Ich habe sechs Variablen (AV), die ich vergleichen möchte.
Jetzt habe ich doch zwei Möglichkeiten:
a) Ich berechne Kontrastanalysen innerhalb der einf. ANOVA oder
b) Ich berechne multiple T-Tests


Wenn ich die Ergebnisse vergleiche, sehe ich da nur kleine Unterschiede bei den p-Werten, aber eben doch Unterschiede. Sind diese nur auf die unterschiedlichen Berechnungen zurückzuführen?

Ist es egal, ob ich Kontrastanalysen durchführe oder multiple T-Tests?

Frage 2:
Ich habe begründete einseitige Hypothesen mit Alpha = 0.05 und will die Alpha-Adjustierung nach Bonferroni durchführen, aber nur je innerhalb einer Hypothese ("Family-wise").

Habe ich da jetzt nicht zwei unterschiedliche Möglichkeiten? Also innerhalb einer Hypothese alpha-adjustieren, also Variable 1 berechnen, multiple Gruppenvergleiche berechnen und dann die p-Werte adjustieren?

oder alpha-adjustiere ich dann innerhalb der AV? Also nacheinander für zwei Gruppen alle relevanten variablen vergleichen und dann innerhalb dessen die p-Werte adjustieren.

Ich denke die Ergebnisse werden sich nicht stark unterscheiden (die stärksten Effekte sind signifikant, die schwachen nicht) und ich berichte auch die Effektstärken, aber dennoch möchte ich das gerne genau abwägen. Kann mir jemand hierzu etwas schreiben?

Vielen Dank!

[PonderStibbons]

[a) Ich berechne Kontrastanalysen innerhalb der einf. ANOVA oder

Was für welche denn präzise? Bzw., warum nicht einfach post-hoc Tests?

Mit freundlichen Grüßen

P.

[T-Tester]

Ich vergleiche fünf Kontraste (oder eben mittels T-Test):

1. Kontrollgruppe mit Vor-der Intervention-Gruppe

2. Kontrollgruppe mit Nach-der Intervention-Gruppe

3. Kontrollgruppe mit Lang-ist-die-Intervention-her-Gruppe

4. Vor-der Intervention-Gruppe mit Lang-ist-die-Intervention-her-Gruppe

5. Nach-der Intervention-Gruppe mit Lang-ist-die-Intervention-her-Gruppe

Wobei ich 3. und 4. zusammenfassen könnte, da sie so gesehen beides KG für die Lang-ist-die-Intervention-her-Gruppe sind.


Post-Hoc Tests sind doch eigentlich nicht dafür gedacht, a-priori Hypothesen zu testen, dachte ich. Außerdem wollte ich nur sparsam prüfen, wegen der Alpha-Inflation.

[PonderStibbons]

Außerdem wollte ich nur sparsam prüfen, wegen der Alpha-Inflation.

Soviel sparsamer als 6 post-hoc Tests sind 5 t-Tests ja nun nicht.
Und post-hoc tests sind ja gerade dafür da, multiples Testen zu
korrigieren, anders als Deine t-Tests.

Mit freundlichen Grüßen

P.

[T-Tester]

Stimmt. Und es ist praktischer, als selbst das Alpha zu korrigieren.

Aber was ist dann der Vorteil von Kontrastanalysen ggüber. post-Hoc-Tests? Nur, die Möglichkeit einfach zusammenzufassen und speziell zu gewichten?

Und ich meine mal gelesen zu haben, dass post-hoc Tests nicht für a-priori-Hypothesen genutzt werden sollen.

Ist das richtig?

[PonderStibbons]

Ich weiß nicht, was genau Du gelesen hast. Und ich kann nicht erkennen,
wie Deine Kontrastanalyse überhaupt konkret ausgesehen hat. Sieht
eigentlich nach 2 Kontrasten aus, nicht nach 5.
Da Du hier quasi alles gegen alles testest, liegt wie gesagt die post-hoc
Analyse mit einem gescheiten Korrekturverfahren (Tukey, Scheffe, whatever)
nahe.

[T-Tester]

Ich glaube, mein Denkfehler bestand darin, nur zwei Gruppen mit einer Kontrastanalyse vergleichen zu wollen. Da kommt zwar fast das gleiche bei raus, besser sind aber doch dann korrigierte, multiple T-Tests.

Warum keine Post-Hoc-Tests?
Weil ich dann immerhin doch eine Hypothese prüfe, die die ich gar nicht prüfen will. Und das nimmt mir über die Alpha-Korrektur statistische Power.

[PonderStibbons]

Du meinst, 5 (Bonferroni?-)korrigierte t-Tests hätten mehr power
ein Tukey post-hoc Test? Das würde ich sicherheitshalber vielleicht
einmal recherchieren. Allerdings sieht die Struktur Deiner
Hypothesen nicht nach 5 Tests aus, sondern nach zweien,
die sich überlappen (KG versus Rest und post-hoc-Gruppe versus
Rest), oder nach einem einzigen Kontrast (KG < post-hoc < Vor+Nach).

Mit freundlichen Grüßen

P.

[T-Tester]

Also, ich war der Annahme, dass fünf Bonferroni korrigierte T-Tests etwas (sicher nur wenig) mehr Power aufweisen, als sechs Bonferroni korrigierte Post-Hoc Tests. Das habe ich zugegebenermaßen nicht gelesen, sondern nur intuitiv erschlossen. Wenn sich die Korrektur zwischen den Verfahren unterscheiden sollte, wäre das natürlich gut zu wissen (würde mich aber verwundern). Ich versuche es herauszufinden, hat jemand einen Literaturtipp zu dieser Detailfrage?

Und zum anderen: ich wollte die Gruppen schon einzeln unterscheiden und nicht nur zusammenfassen, da ich vorab annehme, dass der Effekt unmittelbar nach der Intervention größer ist, als lange Zeit danach und das gerne vergleichen möchte.


Und für mich ganz wichtig: Wenn post-Hoc Tests auch für a priori formulierte einseitige Hypothesen einsetzbar sind, müsste ich die p-Werte doch halbieren dürfen? (ich kenne die Kritik an einseitiger Testung!: http://www.uni-graz.at/ilona.papousek/t ... s/faq.html )

Ich freue mich, dass hier diskutieren zu können. Danke.

[PonderStibbons]

Wenn sich die Korrektur zwischen den Verfahren unterscheiden sollte, wäre das natürlich gut zu wissen (würde mich aber verwundern).

Ach so, Du wusstest gar nicht, was post-hoc Tests sind? Ich habe doch
einige genannt, von Bonferroni keine Rede.

Ich versuche es herauszufinden, hat jemand einen Literaturtipp zu dieser Detailfrage?

http://tinyurl.com/l7mctvs

Und zum anderen: ich wollte die Gruppen schon einzeln unterscheiden und nicht nur zusammenfassen, da ich vorab annehme, dass der Effekt unmittelbar nach der Intervention größer ist, als lange Zeit danach und das gerne vergleichen möchte.

Ach so. Davon war bisher nicht die Rede. Wie willst Du denn
vergleichen, dass der Unterschied A < B kleiner ist als A > C,
so ein Test ist bei Dir doch gar nicht vorgesehen. Du hast
lediglich diverse t-Tests.

Und für mich ganz wichtig: Wenn post-Hoc Tests auch für a priori formulierte einseitige Hypothesen einsetzbar sind, müsste ich die p-Werte doch halbieren dürfen?

Ich weiß leider nicht, worauf Du abzielst. Ich hatte die post-hoc
Tests als simplen und üblichen Weg nach signifikanter
ANOVA vorgestellt. Jedenfalls besser als eine Reihe Bonferroni-korrigierter
t-Tests. Zu halbieren gibt es da nichts. Wenn Du Deine Hypothesen
einmal eindeutig formuliert hast, kannst Du natürlich Kontraste rechnen,
ist halt dann noch eine Frage der richtigen Kontrastkodierungen.

Mit freundlichen Grüßen

P.