ich habe mit SPSS einige nicht-orthogonale a priori Kontraste berechnet, um herauszufinden, ob sich bestimmte Mittelwerte zwischen meinen Gruppen signifikant unterscheiden. Dabei habe ich mich an diesem Paper orientiert: http://www.andre-hahn.de/downloads/pub/1995/1995_Varianzanalyse.pdf (Kapitel 2.1.4)
Mein Problem liegt nun in der Interpretation der Ergebnisse:
SPSS gibt pro Kontrast einen t-Wert, den dazugehörigen p-Wert und das Bonferroni-korrigierte 95%-Konfidenzintervall aus. Beispiel: t = 2.49, p = .0135, CI: -0.25 bis +1.22.
Auf den ersten Blick scheinen sich die beiden Mittelwerte signifikant zu unterscheiden, da p < .05. Allerdings enthält das Konfidenzintervall den Wert 0. Das oben zitierte Paper sagt dazu:
Für die Interpretation des SPSS-Outputs können nicht die Werte der „t-Value“-Spalte oder der „Sig. t“-Spalte herangezogen werden. Diese Werte sind immer gleich [...]. Wie bereits unter Abschnitt 2.1.1 erläutert ist ein Kontrast genau dann nicht signifikant, wenn das Konfidenzintervall die „0“ einschließt.
Daraus ergeben sich für mich folgende Fragen:
1) Den ersten Teil des Zitats verstehe ich nicht - inwiefern sind der t-Wert und der p-Wert immer gleich? All meine Kontraste ergaben unterschiedliche t-Werte, auch über verschiedene abhängige Variablen hinweg.
2) Dass das Konfidenzintervall nicht 0 enthalten darf ist natürlich einleuchtend, aber warum ist der p-Wert trotzdem signifikant?
3) Wie ihr sehen könnt umfasst das Konfidenzintervall die 0 nur knapp (-0.25). Das ist bei allen Kontrasten mit signifikantem p-Wert der Fall (die nicht-signifikanten Kontraste umfassen die 0 hingegen sehr breit, z.B CI: -2.25 bis +2.56). Kann ich den Kontrast deswegen möglicherweise trotzdem als signifikant interpretieren? Richtung "marginal signifikant"?
Ich hoffe mein Problem ist klar geworden. Ich freue mich auf eure Ideen