STATISTIK-FORUM.de

[Nanina]

Hallo zusammen,

es ist grundsätzlich erlaubt, eine MANCOVA mit mehreren Kovariaten zu rechnen, aber ist das auch sinnvoll, wenn nicht von allen Kovariaten für jeden Aspekt der DV ein Einfluss erwartet wird?

Mein Beispiel:
- Experiment mit Reaktionszeiten auf traurige, glückliche und neutrale Reize als Outcome.
- Zwei Messzeitpunkte, einmal vor der Intervention, einmal danach.
- Zwei Interventionsgruppen.

Hintergrund zum Vorgehen: Da sich unglücklicherweise die Interventionsgruppen schon in der Baseline hinsichtlich ihrer Reaktionszeiten unterschieden haben, liegt ein Baseline-Unterschied vor. Bei Baseline-Unterschieden empfiehlt die Literatur (Fu & Holmers, 2015, Vickers & Altman, 2001) eine ANCOVA mit Baseline-Scores als Kovariaten. Da wir verschiedene Reizcharakeristika haben (traurig, glücklich, neutral), ist das bei uns eine MANCOVA. Je nach Korrelation zwischen Baseline-Score und Post-Score wird entweder empfohlen, die Post-Scores als AV (bei r<.50) zu nehmen oder die Change-Scores (bei r>.50). Da die Korrelation hoch ist, wird hier der Change-Score genommen.

Mixed-groups MANCOVA:
Binnensubjektfaktor "Valenz", dreistufig: Change-Scores (post minus baseline) Reaktionszeiten auf traurig, glücklich, neutral
Zwischensubjektfaktor "Gruppe", zweistufig: Interventionsgruppe
Kovariaten: Baseline-Scores der Reaktionszeiten auf traurig, glücklich, neutral

Frage: Die Kovariaten gelten theoriegeleitet nur als Einfluss für die jeweilige Entsprechung, also die Kovariate "traurig" nur für die Valenz "traurig", "glücklich" nur für "glücklich", etc. Obwohl nun die Kovariaten theoretisch nicht für alle Ausprägungen der DV gleichermaßen gelten, ist es trotzdem erlaubt, das so zu rechnen?

Vielen Dank für Antworten
Nanina

[PonderStibbons]

Ich bin nicht ganz sicher wegen der Frage. Es geht um Kovarianzanalyse mit Baseline als Kovariate und Follow-up als Kriterium,
oder Veränderungswert als Kriterium? Kovarianzanalyse mit Veränderungswert ergibt doch keinen Sinn, dann ist t1 sowohl
Kovariate als auch Bestandteil der abhängigen Variable.

Ist es zwingend erforderlich, eine multivariate Varianzanalyse mit 3 abhängigen Variablen zu machen, statt 3 getrennter
Analysen?

Und wie groß ist die Stichprobe?

MMit freundlichen Grüßen

PonderStibbons

[Nanina]

Hey, vielen Dank für die schnelle Antwort!

Ich bin nicht ganz sicher wegen der Frage. Es geht um Kovarianzanalyse mit Baseline als Kovariate und Follow-up als Kriterium, oder Veränderungswert als Kriterium?

Beides. Ich habe nur eine Analyse aufgeschrieben, weil die Frage gleichermaßen gilt, aber tatsächlich sind drei Analysen in der Studie enthalten. Je nach Korrelation der Baseline-Scores mit den Follow-Up-Scores wird entweder das Follow-Up als Kriterium (bei geringer Korrelation) oder der Veränderungswert (bei r>.50) vorgeschlagen. Zitate aus Fu & Holmer, 2015: "Continuous outcomes are typically measured at both baseline and followup time points, and mean difference is analyzed as the effect measure. There are multiple ways to estimate the mean difference: using the change score from the baseline, using the followup scores, or estimating the mean difference using the analysis of covariance (ANCOVA) model with the baseline score as a covariate." (...) "When baseline imbalance occurs by chance, the ANCOVA method removes conditional bias in treatment group comparisons and improves efficiency over unadjusted comparisons." (...) "When using the ANCOVA analysis, either the followup score or the change score can be used as the dependent variable, and they are equivalent in estimating the mean difference. All of these estimates provide unbiased estimates of mean difference when the clinical trials are adequately randomized, and the ANCOVA estimate provides a more efficient estimator with more precision.1-3 Comparing using the change versus followup score, using the change score will provide a more precise estimate if the correlation between baseline and followup is high (> 0.5 if the standard deviations at baseline and followup are the same); otherwise, using the followup score will provide a more precise estimate." Diese Handlungsempfehlungen werden auch von Vickers & Altman (2001) beschrieben.
In einer der drei Berechnungen korrelieren die Baseline- und Follow-Up-Scores kaum, daher wird dort der Follow-Up-Score als Kriterium genutzt. In den anderen beiden Berechnungen korrelieren Baseline und Follow-Up hoch (r>.70), also wird der Veränderungswert genutzt.

Kovarianzanalyse mit Veränderungswert ergibt doch keinen Sinn, dann ist t1 sowohl
Kovariate als auch Bestandteil der abhängigen Variable.

Ich finde es auch ein wenig ungewöhnlich, würde aber nicht so weit gehen, mit meinem moderaten Statistikwissen gegen die Literatur zu argumentieren. Es scheint tatsächlich nach meiner Recherche (es gibt dazu noch deutlich mehr Paper, die ich auch gelesen habe) die vorgesehene Vorgehensweise zu sein. Zudem haben 2 Reviewer im Peer Review die Methode angeregt, und ihr zu folgen bedeutet größeren Erfolg, das Paper in einem guten Journal unterzubringen. Das ist Pragmatismus, sicher, aber solange die Methode nicht offensichtlich falsch und/oder ungeeignet ist, gebe ich mich dafür her.

Ist es zwingend erforderlich, eine multivariate Varianzanalyse mit 3 abhängigen Variablen zu machen, statt 3 getrennter Analysen?

Das haben wir auch überlegt. Tatsächlich liefe das dann aber für die Gesamtstudie auf insgesamt 11 einzelne Analysen hinaus, statt jetzt drei. Overkill?

Und wie groß ist die Stichprobe?

N=135, 66 in der einen Interventionsgruppe und 69 in der anderen (ursprünglich 139, die eine Gruppe hatte dann mehr Leute mit mangelnder Performance, die entfernt werden mussten, daher die leichte Dysbalance)

References
Fu & Holmer, 2015: https://www.ncbi.nlm.nih.gov/books/NBK285983/
Vickers & Altman, 2001: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC1121605/

[Nanina]

Falls es bei der Beantwortung der Frage hilft, ob in diesem konkreten Fall MANCOVA mit multiplen Kovariaten zulässig ist, auch wenn theoriegeleitet nicht alle Kovariaten mit allen Aspekten der AV zusammenhängen:

Für Rechnung 1 korrelieren die Kovariaten (Baseline-Scores glücklich, traurig, neutral) alle nicht (mit einer Ausnahme, die durch eine Bonferroni-Korrektur n.s. wäre) mit den als Kriterium verwendeten Follow-Up-Scores. Da würde man ja denken: Warum dann überhaupt die Kovariaten in die Rechnung aufnehmen, wenn es eh keinen Zusammenhang gibt? Dann aber kommt der theoriegeleitete Teil: 1. Weil wir das Experiment so konzipiert haben, dass wir Baseline und Follow-Up haben, damit wir bei der Analyse der Follow-Up-Werte den Einfluss von eventuell unterschiedlichen Baseline-Werten mit einbeziehn können. Und in Rechnung 1 besteht tatsächlich ein Baseline-Unterschied zwischen den Gruppen. Und dann ist 2. ANCOVA mit Baseline-Werten als Kovariaten der vorgeschlagene Weg.

Für Rechnungen 2 und 3 korrelieren alle Kovariaten hoch mit allen Aspekten der AV. Klar, "glücklich" korreliert höher mit "glücklich" als mit "traurig", aber für alles liegt r zwischen .50 und .82. Da würde man nun denken, das ist eine rechnerische Basis für den Einschluss dieser Kovariaten. Und obendrauf kommen dann noch die theoriegeleiteten Überlegungen von oben: 1. Wir machen das, weil wir das Experiment so konzipiert hatten und 2. es ist literaturgestützt der richtige Weg.

Das ist allerdings erst einmal nur meine unmaßgebliche Überlegung dazu, gespeist aus den ganzen Quellen.

[PonderStibbons]

Diese Handlungsempfehlungen werden auch von Vickers & Altman (2001) beschrieben.
In einer der drei Berechnungen korrelieren die Baseline- und Follow-Up-Scores kaum, daher wird dort der Follow-Up-Score als Kriterium genutzt. In den anderen beiden Berechnungen korrelieren Baseline und Follow-Up hoch (r>.70), also wird der Veränderungswert genutzt.

Vickers & Altman nennen Kovarianzanalyse oder Analyse von change scores. Keine Kovarianzanalyse von change scores.
Kovarianzanalyse mit Change Score als Kriterium mutet mich seltsam an. Mach doch mal zu Anschauung mit t1 als
Kovariate eine Kovarianzanalyse für eine der abhängigen Variablen, einmal mit t2 als Kriterium und einmal mit (t2-t1).

Ist es zwingend erforderlich, eine multivariate Varianzanalyse mit 3 abhängigen Variablen zu machen, statt 3 getrennter Analysen?

Das haben wir auch überlegt. Tatsächlich liefe das dann aber für die Gesamtstudie auf insgesamt 11 einzelne Analysen hinaus, statt jetzt drei. Overkill?

Das ist eine inhaltliche Frage und eine der Fragestellung. Grundsätzlich sollte das Ergebnis einer multivariaten
Varianzanalyse für sich stehen. Man sieht aber oft, dass eigentlich die abhängigen Variablen einzeln interessiert
haben und mehrere einzelne Varianzanalysen noch "post hoc" draufgesattelt werden. Wenn aber die
einzelnen Variablen interessieren, kann man die MANOVA sein lassen.

Jedenfalls bilden die 3 baseline-Scores eine gewichtete Summe, mit welcher der Vektor der abhängigen
Variable vorhergesagt wird. Ich sehe nicht auf Anhieb ein Problem dabei, es so zu machen.

Für Rechnung 1 korrelieren die Kovariaten (Baseline-Scores glücklich, traurig, neutral) alle nicht (mit einer Ausnahme, die durch eine Bonferroni-Korrektur n.s. wäre) mit den als Kriterium verwendeten Follow-Up-Scores.

Jedesmal r=0,000 ? Das ist sehr ungewöhnlich. Aber baseline-Scores sollte man immer einbeziehen,
sei es als Messwiederholungs-Varianzanalyse oder als Kovariate oder im change score. Da kann man nicht
von den Deskriptivstatistiken abhängig machen.

Mit freundlichen Grüßen

PnderStibbons

[Nanina]

Vickers & Altman nennen Kovarianzanalyse oder Analyse von change scores. Keine Kovarianzanalyse von change scores. Kovarianzanalyse mit Change Score als Kriterium mutet mich seltsam an. Mach doch mal zu Anschauung mit t1 als Kovariate eine Kovarianzanalyse für eine der abhängigen Variablen, einmal mit t2 als Kriterium und einmal mit (t2-t1).

Gute Idee. Das betrifft Rechnung 2 und 3, da nur hier die change scores zum Einsatz kommen. Bei Rechnung 2 bleibt alles gleich (von der Richtung und Stärke her und dem was ich berichten würde, natürlich nicht jede Zahl einzeln), bei Rechnung 3 sind die interessanten Ergebnisse ebenfalls gleich, aber es gibt einzelne Änderungen bei den Kovariaten. Hier ist jetzt manchmal ein einzelner Zusammenhang signifikant, der es vorher nicht war und umgekehrt. Das interessiert im Rahmen der Forschungsfrage aber ohnehin weniger, die Ergebnisse für die wirklich interessierenden Variablen, die unter Berücksichtigung der Kovariaten herauskommen, sind ja das zentrale Ergebnis. Im Übrigen kommt ohnehin nicht sooo viel raus, es geht bei meiner Frage eher um die korrekte Methode.

In deinen ersten beiden Sätzen ist hier bestimmt ein Tippfehler, oder? Zudem, so wie ich Vickers & Altman verstehe, spiegelt dieser Paragraph die Vorgehensweise aus Fu & Holmer: "If the treatment is effective the statistical significance of the treatment effect by the two methods will depend on the correlation between baseline and follow up scores. If the correlation is low using the change score will add variation and the follow up score is more likely to show a significant result. Conversely, if the correlation is high using only the follow up score will lose information and the change score is more likely to be significant. It is incorrect, however, to choose whichever analysis gives a more significant finding." (aus Vickers & Altman)

Das ist eine inhaltliche Frage und eine der Fragestellung. Grundsätzlich sollte das Ergebnis einer multivariaten
Varianzanalyse für sich stehen. Man sieht aber oft, dass eigentlich die abhängigen Variablen einzeln interessiert
haben und mehrere einzelne Varianzanalysen noch "post hoc" draufgesattelt werden. Wenn aber die
einzelnen Variablen interessieren, kann man die MANOVA sein lassen.

Ja, darüber haben wir auch schon nachgedacht. Allerdings bisher ohne Entscheidung, wie wir nun damit umgehen. Für eine andere Rechnung im Paper haben wir schon zwei MANOVAs in unzählige ANOVAs aufgelöst. Bin mir hier aber nicht sicher, ob das wirklich ein Gewinn für die Leser ist.

Jedenfalls bilden die 3 baseline-Scores eine gewichtete Summe, mit welcher der Vektor der abhängigen
Variable vorhergesagt wird. Ich sehe nicht auf Anhieb ein Problem dabei, es so zu machen.

Das ist ja schonmal ein guter Anfang Dann sind wir schon zwei mit der Meinung. Das macht es nicht automatisch richtig, gibt aber in Abwesenheit von deutlichen Gegenanzeigen ein besseres Gefühl.

Jedesmal r=0,000 ? Das ist sehr ungewöhnlich. Aber baseline-Scores sollte man immer einbeziehen, sei es als Messwiederholungs-Varianzanalyse oder als Kovariate oder im change score. Da kann man nicht von den Deskriptivstatistiken abhängig machen.

Nein, das war unpräzise ausgedrückt. r ist überall sehr niedrig, range von -.07 bis .14 ... mit einem "höheren" Wert bei -.17. Ich würde das als "kein Zusammenhang, bestenfalls mit Tendenz zu 'nicht wirklich ein Zusammenhang'" benennen.

Ich würde jetzt erst einmal davon ausgehen, dass die Rechnung nicht kompletter Quatsch ist, und mir nochmal durch den Kopf gehen lassen, ob separate ANCOVAs mehr Sinn machen...

Danke

[PonderStibbons]

In deinen ersten beiden Sätzen ist hier bestimmt ein Tippfehler, oder? Zudem, so wie ich Vickers & Altman verstehe, spiegelt dieser Paragraph die Vorgehensweise aus Fu & Holmer: "If the treatment is effective the statistical significance of the treatment effect by the two methods will depend on the correlation between baseline and follow up scores. If the correlation is low using the change score will add variation and the follow up score is more likely to show a significant result. Conversely, if the correlation is high using only the follow up score will lose information and the change score is more likely to be significant. It is incorrect, however, to choose whichever analysis gives a more significant finding." (aus Vickers & Altman)

Da steht: Entweder Kovarianzanalyse mit Endpunkt als Kriterium. Oder Analyse von change scores.
Da steht nichts von Kovarianzanalyse mt change score als Kriterium. Kann man zwar machen, ist aber
sinnlos, weil der Gruppeneffekt derselbe ist wie in der Kovarianzanalyse mit Endpunkt.

Ja, darüber haben wir auch schon nachgedacht. Allerdings bisher ohne Entscheidung, wie wir nun damit umgehen. Für eine andere Rechnung im Paper haben wir schon zwei MANOVAs in unzählige ANOVAs aufgelöst. Bin mir hier aber nicht sicher, ob das wirklich ein Gewinn für die Leser ist.

Gewinn für den Leser ist, wenn die Fragestellung mit passenden Mitteln beantwortet wird.
Ob ein multivariates Kriterium vorliegt oder aber multiple Kriterien, ist eine substanzielle Sache,
das muss eigentlich vor der Analyse geklärt sein. Lesbarkeit ist da erstmal unerheblich.

Nein, das war unpräzise ausgedrückt. r ist überall sehr niedrig, range von -.07 bis .14 ... mit einem "höheren" Wert bei -.17. Ich würde das als "kein Zusammenhang, bestenfalls mit Tendenz zu 'nicht wirklich ein Zusammenhang'" benennen.

Das ist doch überflüssig. Es sind einfach niedrige Stichproben-Korrelationskoeffizienten.
Statistische Signifikanz (Ergebnisse eines Entscheidungsverfahrens, mit dem man
Aussagen über Populationen trifft) mit Stichproben-Beschreibung zu vermengen, wie
in der ersten Formulierung, wo fehlende statistische Signifikanz gleichgesetzt
wurde mit "existiert nicht", das führt nur in die irre. Es gibt auch keine Untergrenze für
den Stichproben-Koeffizienten, die begründen würde, warum man eine Baseline-Messung
nicht verwendet.

Mit freundlichen Grüßen

PonderStibbons

[Nanina]

Da steht: Entweder Kovarianzanalyse mit Endpunkt als Kriterium. Oder Analyse von change scores. Da steht nichts von Kovarianzanalyse mt change score als Kriterium. Kann man zwar machen, ist aber sinnlos, weil der Gruppeneffekt derselbe ist wie in der Kovarianzanalyse mit Endpunkt.

Jetzt war ich wirklich kurz verwirrt. Aber ich habe ja noch einige weitere Paper zu dem Thema gelesen, also habe ich die nochmal durchgesehen. Vickers und Altman sind da wirklich etwas unklar, und ich fragte mich, woher ich die Idee hatte, den change score als AV zu nehmen und dennoch baseline als Kovariate, obwohl im Grunde klar ist, dass die beiden zusammenhängen. Tatsächlich wird in den Papern immer wieder gesagt, dass der change score alleine nicht ausreicht, weil er letztendlich die Baseline-Unterschiede nicht berücksichtigt, Stichwort Regression to the Mean.
Aber so ganz konkret sagen es nur Clifton & Clifton, 2019: "We show that using the change score as the outcome measure does not address the problem of regression to the mean, nor does it take account of the baseline imbalance. Whether the outcome is change score or post score, one should always adjust for baseline using analysis of covariance (ANCOVA); otherwise, the estimated treat effect may be biased."
Und später nochmal: "In summary, one should be cautious about using change score as the outcome measure. If justification exists for using change score as the outcome measure, one should still adjust for baseline using ANCOVA. This will increase statistical power and avoid the pitfall of RTM."

Theoretisch gesehen finde ich das auch etwas ungewöhnlich, aber es scheint das vorgesehene Vorgehen zu sein.

Quelle: https://trialsjournal.biomedcentral.com ... 018-3108-3

[PonderStibbons]

Ich weiß wirklich nicht, wie diese Veröffentlichungen zustande kommen.
Einen fachlich versierten Überblick liefer
https://stats.stackexchange.com/questio ... t-2-t-1-or

Mit freundlichen Grüßen

PonderStibbons