STATISTIK-FORUM.de

[Blackwhite]

Hallo

Ich schreibe gerade meine Masterarbeit und möchte eine Mediationsanalyse durchführen, die sich jedoch nicht auf einen festen Zeitpunkt bezieht sondern auf die Veränderung der Variablen von t1 zu t2.

Konkret habe ich die Daten zur Allgemeinen Kompetenz (UV), der Lebensqualität (AV) und der Selbstwirksamkeitserwartung (Mediator) zu Beginn und Ende einer stationären Maßnahme vorliegen. Wichtig zu erwähnen ist, dass die Dauer der Maßnahme je nach Proband zwischen 6 Monaten und mehreren Jahren variiert. Die Dauer gilt es also statistisch zu kontrollieren.
Meine Hypothese lautet, dass eine Steigerung der Allgemeinen Kompetenzen zu einer Steigerung der Lebensqualität führt, mediiert über die Steigerung der Selbstwirksamkeitserwartung.

Alles was ich bislang zur Mediationsanalyse gefunden habe bezieht sich jedoch auf einen festen Zeitpunkt, ohne die Veränderung der Variablen über einen gewissen Zeitraum hinweg zu berücksichtigen. Meiner Logik nach müsste man in meinem Fall jedoch die Mediationsanalyse mit einer "klassischen" Regressionsanalyse (Veränderungshypothese jeder einzelnen Variable von t1 zu t2) kombinieren. Dazu habe ich jedoch absolut nichts in der Literatur gefunden.

Studien, die ich bislang gefunden habe und die eine ähnliche Fragestellung hatten, haben entweder die Veränderungshypothesen zunächst unabhängig von der Mediation geprüft und haben dann in einem zweiten Schritt die Mediationsanalyse ausschließlich für den Zeiptunkt t2 durchgeführt - was jedoch meiner Ansicht nach die eigentliche Fragestellung dann nicht beantwortet. Oder aber man hat für die Mediationsanalyse mit den Differenzen der Variablen (z. B. Kompetenzen t2 - Kompetenzen t1 = Steigerung der Kompetenz (=UV); gleiches Vorgehen bei AV und Mediator) gerechnet. So wirklich zufrieden bin ich mit der Lösung aber auch nicht, weil es die Ergebnisse der "klassischen" Regressionsanalysen von t1 zu t2 außen vor lässt, die aber doch eigentlich relevant sind (oder nicht?).

Hat jemand von euch eine Idee, wie man das Problem sinnvoll lösen kann? Und sofern ihr auch nur die beiden genannten Lösungen seht: welches Vorgehen haltet ihr warum für sinnvoller? Über Antworten würde ich mich wirklich sehr freuen

Liebe Grüße

[PonderStibbons]

Ich verstehe den Einwand gegen das Differenzwertmodell nicht.

Mit freundlichen Grüßen

PonderStibons

[strukturmarionette]

Hi,

- zunächst Moderation vs Mediation klar kriegen

Gruß
S.

[Blackwhite]

Hallo,

@PonderStibons:
Dei dem Differenzwertmodell stellen sich mir zwei Fragen, die meine Unsicherheit diesbezüglich auslösen:

1) Wenn ich die Mediationsanalyse mit den Differenzwerten durchführen, weiß ich am Ende, ob die Differenzwerte meddiert werden oder nicht. Aber ist nicht die Voraussetzung, um dieses Ergebnis überhaupt sinnvoll interpretieren zu können, dass alle drei Veränderungshyptohesen erst einmal bestätigt werden, d.h. die Steigerung von t1 zu t2 bei allen drei Variablen signifikant ist? Oder ist das tatsächlich irrelevant? Und wenn es nicht irrelevant ist: Wie muss ich die Bestätigung einer Mediation in der Mediationsanalyse sinnvollerweise interpretieren, wenn 1) nur ein Teil der Variablen sich signfikant verbessert hat oder 2) wenn sich tatsächlich keine der Variablen signfikant verbessert hat? Vielleicht klingen diese Fragen seltsam, aber vermutlich fehlt mir einfach noch das zugrundeliegende Verständnis zu den Statistikverfahren... im Moment bin ich schon froh, wenn ich halbwegs deren Anwendung verstehe :/

2) Soweit ich weiß, darf ich Differenzwerte nur bei mind. intervallskallierten Variablen berechnen. Hier habe ich aber das Problem bei den Allgemeinen Kompetenzen (UV). Dabei handelt es sich genau genommen um acht verschiedene Kompetenzen die jeweils auf einer Likert-Skala von 1 bis 7 mit einem einzigen Item erhoben werden. Somit sind die einzelenen Kompetenzen, die auch einzeln ausgewertet werden sollten, ordinalskaliert. Soweit meine Schlüsse richtig sind, darf ich somit für die einzelnen Kompetenzen das Differenzwertmodell nicht anwenden. Das Problem könnte ich nur umgehen, in dem ich einen Gesamtscore der allgemeinen Kompetenzen bilde, wodurch ich das Skalenniveau entsprechend anhebe. Damit verliere ich aber die Möglichkeit, Aussagen zu den einzelnen Bereichen treffen zu können. Deswegen wäre mir eine Lösung, in der ich die "klassische" Regressionsanalyse (bei der die UV nur nominalskaliert sein muss) mit der Mediationsanalyse "kombinieren" kann lieber.

@strukturmarionette:
Vielen Dank für den Hinweis, ich war schon wieder so sehr mit Moderation und Mediation beschäftigt, dass mir gar nicht aufgefallen ist, dass ich die Begriffe "synonym" verwendet habe. Aber es sollte ganz klar eine Mediation sein


Unabhängig davon hat sich mir heute noch eine zusätzliche Frage gestellt, die ich noch einbringen möchte:
Soweit ich gesehen habe, kann ich in Process in SPSS nur eine UV und mehrere Kontrollvariablen angeben. Bedeutet dass, dass ich die Mediationsanalyse für jede der acht Kompetenzen einzeln berechnen muss oder kann ich diese in einem Modell kombinieren, in dem ich sieben der acht Kompetenzen als Kontrollvariablen angebe? Ist es relevant, was ich als UV und was ich als Kontrollvariable angebe?

Vielen dank für eure Antworten!

[PonderStibbons]

Wenn ich die Mediationsanalyse mit den Differenzwerten durchführen, weiß ich am Ende, ob die Differenzwerte meddiert werden oder nicht. Aber ist nicht die Voraussetzung, um dieses Ergebnis überhaupt sinnvoll interpretieren zu können, dass alle drei Veränderungshyptohesen erst einmal bestätigt werden, d.h. die Steigerung von t1 zu t2 bei allen drei Variablen signifikant ist?

Zu signifikant kann ich nichts sagen, die Stichprobengröße ist unbekannt und damit der wesentliche Faktor im Bezug auf die
statistische power. Aber wenn eine Variable sich ändert, eine oder beide der beiden anderen Variablen nicht, scheint das
schon gegen das theoretische Modell zu sprechen. Das würde Arbeit sparen, das Modell weiter zu testen.

2) Soweit ich weiß, darf ich Differenzwerte nur bei mind. intervallskallierten Variablen berechnen. Hier habe ich aber das Problem bei den Allgemeinen Kompetenzen (UV). Dabei handelt es sich genau genommen um acht verschiedene Kompetenzen die jeweils auf einer Likert-Skala von 1 bis 7 mit einem einzigen Item erhoben werden.

Dann heißt das Item oder Likert-Item. Likert-Skala bezeichnet ein Messinstrument, das aus mehreren Likert-Items
besteht, die summiert werden.

Deswegen wäre mir eine Lösung, in der ich die "klassische" Regressionsanalyse (bei der die UV nur nominalskaliert sein muss) mit der Mediationsanalyse "kombinieren" kann lieber.

Ich weiß nicht, was eine klassische Regressionsanalyse ist, ich kenne keine nichtklassischen. Wenn Dir die
einzelnen spezifischen Komptenzen (nota bene gemessen jeweils mit 1 einzigen, mäßig reliablen Item) zur
Analyse eines Zusammenhang mit allgemeiner (?) Selbstwirksamkeit und allgemeiner (?) Lebensqualität
so wichtig ist, dann wird die Auswertung methodisch anspruchsvoll. Es sei denn, dein(e) Betreuer(in) akzeptiert
die 7er-Skalan als quasi-intervallskaliert. Die kursiven Begriffe deuten schon an, dass ich skeptisch bin, was
die Analyse von Zusammenhängen zwischen unterschiedlichen Spezifitätsebenen angeht. Wobei der Fehler
meist eher darin liegt, die spezifischen Effekte von zielgerichteten Trainingsmaßnahmen auf viel zu allgemeiner
Ebene erfassen zu wollen. Aber ich kenne die hier konkret vorliegenden Messungen natürlich nicht.

Mit freundlichen Grüßen

PonderStibbons

[Blackwhite]

Hallo

Zu 1)
Die Stichprobe umfasst insgesamt 4900 Kinder und Jugendliche. Der Einwand bzgl. dem theoretischen Modell ist richtig. Ich hab bei meiner Fragestellung den Gesamtkontext außer acht gelassen - aber ja, damit wäre diese hinfällig.

Zu 2)
Danke für die Aufklärung, wieder etwas gelernt

Zu 3)
Mit "klassisch" wollte ich nur den Unterschied zur Mediationsanalyse hervorheben, die streng genommen ja auch aus Regressionsanalysen besteht. Korrekt formuliert suche ich wohl eher nach einer Möglichkeit, eine Mediationsanalyse durchzuführen, welche berücksichtigt, dass für die Variablen Daten von zwei Messzeitpunkten vorliegen. Also z. B. nach einer Kombination aus ANOVA mit Messwiederholung mit integrierter Mediationsanalyse. Aber wahrscheinlich muss ich mich tatsächlich einfach damit anfreunden, dass es nur die Lösungsmöglichkeiten gibt, die ich zu Beginn bereits dargestellt habe :/

Das die Auswertung methodisch anspruchsvoll wird, weiß ich... deshalb suche ich so dringend nach Hilfe

Ansonsten kurz zur tatsächlichen Datenerhebung - ganz so "unprofessionell" wie es scheinbar angekommen ist, ist es nämlich nicht. Ich habe es nur versucht auf die relevanten Fakten zu beschränken. Die verwendeten Erhebungsinstrumente sind:

- ILK (Iventar zur Erfassung der Lebensqualität von Kindern und Jugendlichen): https://www.testzentrale.de/shop/invent ... 69696.html
- SWE - Skala zur Allgemeinen Selbstwirksamkeitserwartung: https://www.psycharchives.org/handle/20.500.12034/320
- Zielerreichungsskala zu Allgemeinen Kompetenzen: https://www.vr-elibrary.de/doi/abs/10.1 ... 9.58.6.450

Zwar wird bei der Zielerreichungsskala jeder Kompetenzbereich nur auf einer einzigen Skala von 1-7 erfasst. Allerdings erfolgt die Einschätzung in einem Gespräch zwischen pädagogischer Fachkraft und dem Jugendlichen anhand eines für jeden Kompetenzbereich vordefinierten Positiv- und Negativpols mit Kriterienliste. Letztlich handelt es sich also bereits um einen Gesamtscore, wobei dieser nicht anhand eines Fragbogens ermittelt wird, sondern vielmehr eine Quantifizierung des Gesprächsergebnisses darstellt. Die Gütekriterien wurden im Rahmen der Entwicklung des Instruments auch geprüft.

Ich habe inzwischen nochmal Studien herangezogen, welche die Zielerreichungsskala bereits eingesetzt haben. Aus den dort verwendeten Statistikverfahren (u. a. MANOVA) schließe ich, dass die einzelnen Kompetenzen interessanterweise als intervallskalliert eingestuft wurden. Auch wenn ich mir nicht erklären kann, auf welcher Grundlage diese Einschätzung erfolgt ist

Viele Grüße und erneut vielen Dank für die Antwort!

[PonderStibbons]

Die Stichprobe umfasst insgesamt 4900 Kinder und Jugendliche. Der Einwand bzgl. dem theoretischen Modell ist richtig. Ich hab bei meiner Fragestellung den Gesamtkontext außer acht gelassen - aber ja, damit wäre diese hinfällig.

Dass bei n=4900 einzelne Zusammenhänge nicht statistisch signifikant werden, kann ich fast nicht glauben.
Bei solch einer Stichprobengröße werden auch kleine Stichprobenkoeffizienten statistisch signifikant. Was
bekanntermaßen nichts über die Stärke von Zusammenhängen (in der Grundgesamtheit) aussagt.

Mit "klassisch" wollte ich nur den Unterschied zur Mediationsanalyse hervorheben, die streng genommen ja auch aus Regressionsanalysen besteht. Korrekt formuliert suche ich wohl eher nach einer Möglichkeit, eine Mediationsanalyse durchzuführen, welche berücksichtigt, dass für die Variablen Daten von zwei Messzeitpunkten vorliegen. Also z. B. nach einer Kombination aus ANOVA mit Messwiederholung mit integrierter Mediationsanalyse. Aber wahrscheinlich muss ich mich tatsächlich einfach damit anfreunden, dass es nur die Lösungsmöglichkeiten gibt, die ich zu Beginn bereits dargestellt habe :/

Es gibt z.B. auch noch Strukturgleichungsmodelle https://web.pdx.edu/~newsomj/semclass/h ... iation.pdf

Ansonsten kurz zur tatsächlichen Datenerhebung - ganz so "unprofessionell" wie es scheinbar angekommen ist, ist es nämlich nicht.

Es bezieht sich nicht auf die methodische Qualität der Erhebungsinstrumente, sondern darauf, dass in Studien
manchmal der Generalisierungrad der verschiedenen Variablen nicht zueinander passt. Und dass bei einer
Evaluation von Interventionen/Trainings mit spezifischen Zielen den Effekt auf allgemeiner Ebene zu messen
eventuell ein Nachteil ist.

Ich habe inzwischen nochmal Studien herangezogen, welche die Zielerreichungsskala bereits eingesetzt haben. Aus den dort verwendeten Statistikverfahren (u. a. MANOVA) schließe ich, dass die einzelnen Kompetenzen interessanterweise als intervallskalliert eingestuft wurden. Auch wenn ich mir nicht erklären kann, auf welcher Grundlage diese Einschätzung erfolgt ist

Die Grundlage lautet "dadurch wird manches leichter, und wenn die Gutachter es durchgehen lassen, ist es ok".
Meiner Vermutung und Lektüre nach macht man damit aber nicht gewaltig etwas falsch.

Mit freundlichen Grüßen

PonderStibbons

[Blackwhite]

Vielen Dank für den Hinweis zu den Strukturgleichungsmodellen - ich denke, das ist genau das, was ich gesucht habe! Werde mich nun im Detail einarbeiten und schauen, ob das wirklich passt

Dabei bin ich nun auch auf einen Hinweis zu den Differenz-Wert-Modellen gestoßen, der vielleicht auch für andere interessant sein könnte:
"Your impulse in such a design might be to calculate difference scores by subtracting earlier measurements from later measurements and then using these difference scores as M and Y in an ordinary mediation analysis. Although this is common, I discourage the use of difference scores such as this when interest is in change over time. Difference scores tend to be negative correlated with earlier measurements, and artifacts related to regression to the mean or measurement ceilings or floors can make it difficult to interpret the results of such an analysis. Models of difference scores also tend to be suboptimal, in that they force some of the weights in a regression model to one rather than letting the OLS criterion figure out how to best weight the variables (see, e.g., Darlington & Hayes, 2017)." (Buch: Introduction to mediation, Moderation, and Conditional Process Analysis von Andrew F. Hayes, S. 543 f.)

Liebe Grüße