STATISTIK-FORUM.de

[FlorianO]

Hi,

ich habe ein natürliches Experiment "durchgeführt" und die "Arbeitsbedingungen" mittels 8 Fragebögen vor und nach der Intervention untersucht.
Es gibt jeweils zwei Stichproben (Abschluss A, Abschluss B) davor und danach.
Die Versuchspersonen waren die Mitarbeiter der Abteilung.

1) Teilweise arbeiteten auf der Abteilung die gleichen Mitarbeiter, teilweise aber auch neue. Welcher t-Test ist für vorher-nachher der Richtige? Unabhängig?

2) Kann ich auch die Stichproben A und B zu eine Gruppe C jeweils vorher/nacher zusammenführen um die Interventionswirkung unabhängig vom Abschluss zu messen? Bzw. macht das Sinn?

3) Welchen Signifikantest wende ich an, um zu testen ob die Korrelation zwischen verschiedenen Fragebögen (vorher und nachher) signifikant ist? Also wer die Arbeitslast als hoch empfindet, empfindet auch seine Gesundheit als geringer? Es gibt ja nur eine Gruppe dann. Dafür konnte ich keinen Test finden.

4) Gibt es noch andere statistische Verfahren die ich anwenden könnte?

Vielen Dank!

[bele]

Hallo Florian,

1) Teilweise arbeiteten auf der Abteilung die gleichen Mitarbeiter, teilweise aber auch neue. Welcher t-Test ist für vorher-nachher der Richtige? Unabhängig?

Kannst Du die Fragebögen denn auseinander halten? Kannst Du die verbundenen Beobachtungen einander zuordnen? Dann gibt es spezielle Variationen des t-Tests für genau diese Situation. Wenn Du mit R rechnest, dann kannst Du Dir beispielsweise das passend benannte Paket Partiallyoverlapping herunterladen und darin die Funktion Partover.test nutzen.

Wenn Du kein R nutzt: Die Autoren des vorgenannten Pakets beziehen sich auf diese Publikation (tl;dr;): Derrick, Russ, Toher and White (2017), Test statistics for the comparison of means for two samples which include both paired observations and independent observations, Journal of Modern Applied Statistical Methods, 16(1). https://digitalcommons.wayne.edu/cgi/vi ... text=jmasm
Beim Überfliegen hat man den Eindruck, als könnte man die Formeln für die Teststatistik zur Not auch selbst umsetzen - ich habe das aber nicht vollständig gelesen, geschweige dann studiert. Wenn man ein paar wenige Grundlagen in R hat nimmt einen ansonsten auch dieses Video an die Hand und zeigt die Anwendung in R Schritt für Schritt: https://www.youtube.com/watch?v=49BqjP00CkA

2) Kann ich auch die Stichproben A und B zu eine Gruppe C jeweils vorher/nacher zusammenführen um die Interventionswirkung unabhängig vom Abschluss zu messen? Bzw. macht das Sinn?

Ohne Kenntnis des Sachverhalts schwer zu sagen. Wenn Du denkst, dass A und B voneinander unterschiedlich sind und Du packst sie alle in eine Gruppe, dann wird das Ergebnis halt vom Mischungsverhältnis beeinflusst - ob mehr A oder mehr B drin sind ist dann halt relevant. Ob das in Deiner Stichprobe vorhandene Mischungsverhältnis über Deine Stichprobe hinaus Relevanz hat, können wir nicht wissen.

3) Welchen Signifikantest wende ich an, um zu testen ob die Korrelation zwischen verschiedenen Fragebögen (vorher und nachher) signifikant ist? Also wer die Arbeitslast als hoch empfindet, empfindet auch seine Gesundheit als geringer? Es gibt ja nur eine Gruppe dann.

Es gibt nur eine Gruppe aber zwei Fragebögen.

4) Gibt es noch andere statistische Verfahren die ich anwenden könnte?

Ja. Bestimmt. Es gibt immer noch andere statistische Verfahren. Das ist aber die falsche Frage. Die Frage muss lauten: Gibt es noch andere Fragen, die Du anhand der vorhandenen Daten beantworten willst.

LG,
Bernhard

[FlorianO]

Vielen Dank für deine ausführliche Antwort!

1) Ich schaue mir mal das Paper mal an, herzlichen Dank! Die Fragebögen sind zuordbar per UID.

2) Gibt es hier eine "Regel" auf die ich mich berufen kann hinsichtlich des Anteils an Unterschieden? Zum Teil sind die Vergleiche zwischen den Gruppen schon signifikant verschieden, an sich ist das wichtigere aber die Auswirkung der Intervention als weniger die spezifische Berufsgruppe. Ich werde es vielleicht trotzdem einmal berechnen.

3) Ich verstehe deine Antwort nicht wirklich. Kannst du es mir bitte genauer erklären?

4) Ja, das stimmt natürlich Ich möchte die durch die Intervention möglicherweise bedingte Veränderung messen. Zudem ob es Zsmh. zwischen den einzelnen erhobenen Dimensionen gibt (siehe Frage 3)mIch habe Informationen über die Arbeitstätigkeiten (Dauer, Frequenz, Ort etc) und die subjektiven Meinungen zu verschiedenen Dimensionen. Meine Frage ist ob ich sowohl im Längs- als auch Querschnittsvergleich zwischen den Gruppen als auch innerhalb einer Gruppe noch andere statistische Verfahren als den t-Test anwenden soll.

Edit: Alle Daten sind metrisch und ich habe eine Normalverteilung unter Berücksichtigung der Diskussionen (z.B: 10.1007/s10459-010-9222-y ) zu dieser Thematik angenommen.

Edit2: Eine interessante Frage wäre auch ob eine durch die Intervention bedingte Veränderung einer Dimension mit einer anderen Dimension korreliert bzw. sich gegenseitig beeinflusst. Hier ist mir nicht ganz klar was ich anwenden soll. Allerdings habe ich das bisher noch nicht recherchiert Cross-lagged Panel vielleicht?

[bele]

1) Ich schaue mir mal das Paper mal an, herzlichen Dank! Die Fragebögen sind zuordbar per UID.

Gut, dann kannst Du den t-test für gemischt-verbundene Stichproben rechnen.

3) Ich verstehe deine Antwort nicht wirklich. Kannst du es mir bitte genauer erklären?

Vielleicht habe ich die Frage auch nicht verstanden. Du schreibst, dass Du eine Korrelation zwischen zwei Fragebögen untersuchen möchtest und dass es hier keine zwei Gruppen gibt. Wozu brauchst Du zwei Gruppen, wenn Du die Korrelation zwischen zwei Fragebögen untersuchen willst?

Meine Frage ist ob ich sowohl im Längs- als auch Querschnittsvergleich zwischen den Gruppen als auch innerhalb einer Gruppe noch andere statistische Verfahren als den t-Test anwenden soll.

Erst bestätigst Du mir, dass es um Fragestellungen geht und nicht um Verfahren, dann wiederholst Du die Frage nach den Verfahren. Momentan hört es sich nach einer Frage an den Betreuer der Arbeit und nicht nach einer Frage an ein Forum mit Menschen, die Aufbau, Sinn und Zwecke der Studie nicht kennen an, aber vielleicht verstehe ich das ja auch hier falsch. Oder ich sage einfach mal Hauptkomponetenanalyse und Regression und dann stellen wir gemeinsam fest, dass eine zu unkonkrete Frage zu zu unkonkreten Antworten im Forum führt

LG,
Bernhard

[FlorianO]

1) Ich schaue mir mal das Paper mal an, herzlichen Dank! Die Fragebögen sind zuordbar per UID.

Gut, dann kannst Du den t-test für gemischt-verbundene Stichproben rechnen.

Vielen Dank, erst einmal für den gemischten T-Test. Klappt reibungslos mit R!

3) Ich verstehe deine Antwort nicht wirklich. Kannst du es mir bitte genauer erklären?

Vielleicht habe ich die Frage auch nicht verstanden. Du schreibst, dass Du eine Korrelation zwischen zwei Fragebögen untersuchen möchtest und dass es hier keine zwei Gruppen gibt. Wozu brauchst Du zwei Gruppen, wenn Du die Korrelation zwischen zwei Fragebögen untersuchen willst?

Du hast es wahrscheinlich richtig verstanden und das Problem liegt eher bei mir, im Sinne dass ich nicht weiß, wie ich es berechnen soll.
Ich möchte folgende Fragen beantworten:
a) Korreliert ein höherer Wert im Fragebogen A zum Zeitpunkt t=0 mit einem höheren Wert im Fragebogen B zum Zeitpunkt t=0? (z.B. Sind weniger gestresste MA glücklicher?)
b) Korreliert ein höherer Wert im Fragebogen A zum Zeitpunkt t=1 mit einem höheren Wert im Fragebogen B zum Zeitpunkt t=1?
c) Korreliert die Veränderung des Fragebogens A zwischen t=0 und t=1 mit einer Veränderung im Fragebogen B zwischen t=0 und t=1?
d) Welche Bedeutung/Gewichtung hat eine Veränderung der Subdimension A zwischen t=0 und t=1 des Fragebogens A auf den Gesamtscore A?

A-C hätte ich mit Pearson berechnet. Mir ist aber nicht klar, welchen Test ich zur Signifikanztestung anwenden. Bei a+b handelt es sich ja um die gleichen Personen einer Gruppe, bei c hingegen zum Teil verbunden/unverbunden zweier Gruppen. Bei d weiß ich überhaupt nicht, wie ich dies berechnen soll.

Vielleicht kannst du mir ja einen Stups in die richtige Richtung geben

[bele]

Ich möchte folgende Fragen beantworten:
a) Korreliert ein höherer Wert im Fragebogen A zum Zeitpunkt t=0 mit einem höheren Wert im Fragebogen B zum Zeitpunkt t=0? (z.B. Sind weniger gestresste MA glücklicher?)
b) Korreliert ein höherer Wert im Fragebogen A zum Zeitpunkt t=1 mit einem höheren Wert im Fragebogen B zum Zeitpunkt t=1?
c) Korreliert die Veränderung des Fragebogens A zwischen t=0 und t=1 mit einer Veränderung im Fragebogen B zwischen t=0 und t=1?
d) Welche Bedeutung/Gewichtung hat eine Veränderung der Subdimension A zwischen t=0 und t=1 des Fragebogens A auf den Gesamtscore A?

A-C hätte ich mit Pearson berechnet. Mir ist aber nicht klar, welchen Test ich zur Signifikanztestung anwenden.

Wenn wir schon in R sind, kannst Du eine Pearson-Korrelationsrechnung mitsamt "üblichem" Signifikanztest (also über die t-Verteilung) mit der Funktion cor.test() durchführen. Man könnte sich auch einen Permutationstest programmieren, aber in der Regel passt das so schon.

Bei a+b handelt es sich ja um die gleichen Personen einer Gruppe, bei c hingegen zum Teil verbunden/unverbunden zweier Gruppen.

Die Veränderung zwischen und lässt sich ja durch Minusrechnen quantifizieren. Du rechnest also Die Vorher-Nachher-Differenz von A und dann die von B aus und schaust ob es da eine Korrelation gibt. Hierfür kommen natürlich nur solche Teilnehmer infrage, die vorher und nachher einen Fragebogen ausgefüllt haben. Was in dieser Fragestellung unverbunden sein sollte, verstehe ich noch nicht.

LG,
Bernhard

[FlorianO]

Ich möchte folgende Fragen beantworten:
a) Korreliert ein höherer Wert im Fragebogen A zum Zeitpunkt t=0 mit einem höheren Wert im Fragebogen B zum Zeitpunkt t=0? (z.B. Sind weniger gestresste MA glücklicher?)
b) Korreliert ein höherer Wert im Fragebogen A zum Zeitpunkt t=1 mit einem höheren Wert im Fragebogen B zum Zeitpunkt t=1?
c) Korreliert die Veränderung des Fragebogens A zwischen t=0 und t=1 mit einer Veränderung im Fragebogen B zwischen t=0 und t=1?
d) Welche Bedeutung/Gewichtung hat eine Veränderung der Subdimension A zwischen t=0 und t=1 des Fragebogens A auf den Gesamtscore A?

A-C hätte ich mit Pearson berechnet. Mir ist aber nicht klar, welchen Test ich zur Signifikanztestung anwenden.

Wenn wir schon in R sind, kannst Du eine Pearson-Korrelationsrechnung mitsamt "üblichem" Signifikanztest (also über die t-Verteilung) mit der Funktion cor.test() durchführen. Man könnte sich auch einen Permutationstest programmieren, aber in der Regel passt das so schon.

Bei a+b handelt es sich ja um die gleichen Personen einer Gruppe, bei c hingegen zum Teil verbunden/unverbunden zweier Gruppen.

Die Veränderung zwischen und lässt sich ja durch Minusrechnen quantifizieren. Du rechnest also Die Vorher-Nachher-Differenz von A und dann die von B aus und schaust ob es da eine Korrelation gibt. Hierfür kommen natürlich nur solche Teilnehmer infrage, die vorher und nachher einen Fragebogen ausgefüllt haben. Was in dieser Fragestellung unverbunden sein sollte, verstehe ich noch nicht.

LG,
Bernhard

Vielen Dank, mit R ist es deutlich einfacher als mit Excel. Da wird der p-value nicht automatisch berechnet, was zu Frage mit dem geeigneten Signifikantest geführt hat.
Frage a + b habe ich jetzt mit cor.test gemacht.

Bzgl. c: Vielen Dank! Wieso darf ich nur verbundene Stichproben benutzen? Ich kann doch den partially overlapping t test auch auf die Korrelation anwenden?

Hast du eine Idee wie man meine Frage d ausdrücken kann? Oder wird das durch die Signifikanztestung der Korrelation zwischen den Subdimensionen mit dem Gesamtscore eines Fragebogens bereits hinreichend ausgedrückt? Darf ich für diese Frage dann auch nur verbundene Stichproben verwenden?

[bele]

Hallo Florian,

Bzgl. c: Vielen Dank! Wieso darf ich nur verbundene Stichproben benutzen? Ich kann doch den partially overlapping t test auch auf die Korrelation anwenden?

Die Frage, ob Gruppe A oder Gruppe B den höheren Mittelwert hat, macht bei verbundenen wie auch bei unverbundenen Stichproben Sinn. Was aber eine Korrelation bei unverbundenen Stichproben sein soll, das weiß ich nicht.

Hast du eine Idee wie man meine Frage d ausdrücken kann?

Frage d) verstehe ich leider nicht.

Welche Bedeutung/Gewichtung hat eine Veränderung der Subdimension A zwischen t=0 und t=1 des Fragebogens A auf den Gesamtscore A?

Mir ist weder klar wie Bedeutung und Gewichtung das gleiche sein können, noch verstehe ich, weshalb die "Subdimension" das gleiche Formelzeichen hat wie der Gesamtscore noch warum bei der "Subdimension" in ein Vorher-Nachher-Unterschied besteht während es für den Gesamtscore nur einen Wert (ohne Angabe von t) gibt. Vielleicht ist es aber auch ganz banal gemeint: Ist der Gesamtscore denn ein Summenscore oder ein Mittelwertscore? Beim Summenscore würde sich die Summe um genausoviel verändern wie sich ein Summand verändert. Außer, wenn man die Korrelation der "Subdimensionen" berücksichtigen soll. Das scheint mir aber in der Fragestellung komplett offen zu bleiben.

LG,
Bernhard

[FlorianO]

Hallo Florian,

Bzgl. c: Vielen Dank! Wieso darf ich nur verbundene Stichproben benutzen? Ich kann doch den partially overlapping t test auch auf die Korrelation anwenden?

Die Frage, ob Gruppe A oder Gruppe B den höheren Mittelwert hat, macht bei verbundenen wie auch bei unverbundenen Stichproben Sinn. Was aber eine Korrelation bei unverbundenen Stichproben sein soll, das weiß ich nicht.

Hast du eine Idee wie man meine Frage d ausdrücken kann?

Frage d) verstehe ich leider nicht.

Welche Bedeutung/Gewichtung hat eine Veränderung der Subdimension A zwischen t=0 und t=1 des Fragebogens A auf den Gesamtscore A?

Mir ist weder klar wie Bedeutung und Gewichtung das gleiche sein können, noch verstehe ich, weshalb die "Subdimension" das gleiche Formelzeichen hat wie der Gesamtscore noch warum bei der "Subdimension" in ein Vorher-Nachher-Unterschied besteht während es für den Gesamtscore nur einen Wert (ohne Angabe von t) gibt. Vielleicht ist es aber auch ganz banal gemeint: Ist der Gesamtscore denn ein Summenscore oder ein Mittelwertscore? Beim Summenscore würde sich die Summe um genausoviel verändern wie sich ein Summand verändert. Außer, wenn man die Korrelation der "Subdimensionen" berücksichtigen soll. Das scheint mir aber in der Fragestellung komplett offen zu bleiben.

LG,
Bernhard

Vielen Dank, lieber Bernhard! Deine Ausführungen haben mir sehr geholfen (auch um meine eigenen Fragen zu verstehen)!

Der Gesamtscore ist ein Mittelwertscore. Mein Gedanke war in Erfahrung zu bringen, ob beispielsweise eine positive Differenz des Stress als Subdimension AA des Gesamtscores A der Arbeitsbelastung einen signifikanten Einfluss auf den Gesamtscore hat. Das habe ich ja an sich durch die Korrelationsanalyse der Differenzen zwischen t1 und t0 zwischen der Subdimension AA und des Gesamtscores A gemacht. Mir ist hier aber nicht ganz klar, wie ich dies interpretiere. Ist es identisch wie zu einer Korrelationsanalyse zwischen beider Variablen zum Zeitpunkt t0? Könntest du mir dabei weiterhelfen?

Z.b. korreliert die Differenz des Stress zwischen t1 und t0 signifikant positiv mit der Differenz der Arbeitsbelastung zwischen t1 und t0. Bedeutet das jetzt einfach nur, dass eine positive Veränderung des Stress signifikant mit einer positiven Veränderung der Arbeitsbelastung einhergeht? (oder muss ich die Vorzeichen der jeweiligen Differenzen berücksichtigen?)
Und wie würde ich das in meine andere statistischen Analysen einordnen?

Z.b.: Die Differenz des Stress zwischen t1 und t0 korreliert signifikant positiv mit der Differenz der Arbeitsbelastung zwischen t1 und t0
UND
-wenn es mittels beschriebenen T-Tests keinen signifikanten Unterschied zwischen dem Stress in t0 und in t1, sowie zwischen der Arbeitsbelastung in t0 und t1 gibt?
-wenn es in einer Korrelationsanalyse des Stress und der der Arbeitsbelastung zum Zeitpunkt t0 keine signifikante Korrelation gibt?
-wenn es in einer Korrelationsanalyse des Stress und der Arbeitsbelastung zum Zeitpunkt t1 dann eine signifikante Korrelation gibt?

Macht es zudem Sinn, diese Korrelationskoeffizienten zwischen Stress und Arbeitsbelastung von jeweils t0 und t1 auf einen statistisch signifikanten Unterschied hin zu überprüfen?

Ich vermute, dass es ziemlich amateurhafte Fragen sind. Mir würde es aber trotzdem sehr weiterhelfen, falls du sie beantworten könntest Ich habe leider keine andere Ansprechsperson....
Vielen lieben DanK!

[bele]

Hi,

Mein Gedanke war in Erfahrung zu bringen, ob beispielsweise eine positive Differenz des Stress als Subdimension AA des Gesamtscores A der Arbeitsbelastung einen signifikanten Einfluss auf den Gesamtscore hat.

Wenn nur eine positive Differenz untersucht werden soll, musst Du vorher alle Fälle mit negativer Differenz ausschließen. Davon war bisher nicht die Rede. Außerdem hast Du meine Rückfrage, welcher Gesamtscore A, also zu welchem Zeitpunkt, nicht beantwortet.

Das habe ich ja an sich durch die Korrelationsanalyse der Differenzen zwischen t1 und t0 zwischen der Subdimension AA und des Gesamtscores A gemacht.

Ich vertehe nicht, was hier korrelliert wurde und je mehr ich versuche, mit den Satz aufzudröseln umso mehr stolpere ich über den falschen Fall.

Z.b. korreliert die Differenz des Stress zwischen t1 und t0 signifikant positiv mit der Differenz der Arbeitsbelastung zwischen t1 und t0. Bedeutet das jetzt einfach nur, dass eine positive Veränderung des Stress signifikant mit einer positiven Veränderung der Arbeitsbelastung einhergeht? (oder muss ich die Vorzeichen der jeweiligen Differenzen berücksichtigen?)

Korrelation bedeutet: positive Veränderung im einen geht mit positiver Veränderung im anderen und negative veränderung im einen mit negativer Veränderung im anderen einher. Ob das wirklich beides der Fall ist und wie häufig beides vorkommt kann entweder eine Subgruppenanalyse oder ein schönes Streudiagramm zeigen.

Und wie würde ich das in meine andere statistischen Analysen einordnen?

Ich kenne den Aufbau Deiner Arbeit, das Thema, die Fragestellung und die anderen statistischen Analysen nicht. Du musst Dich halt um eine nachvollziehbare Ordnung Deiner Analysen, einen logischen Aufbau Deiner Arbeit und um eine angemessene Gewichutung der einzelnen Analysen mit Blick auf die Hauptfragestellung bemühen.

-wenn es mittels beschriebenen T-Tests keinen signifikanten Unterschied zwischen dem Stress in t0 und in t1, sowie zwischen der Arbeitsbelastung in t0 und t1 gibt?

Dann kann es sein, dass sich die Stresszunahme und die Stressabnahme durchschnittlich die Waage halten und trotzdem mit der berichtete Arbeitsbelastung einhergehen.

-wenn es in einer Korrelationsanalyse des Stress und der der Arbeitsbelastung zum Zeitpunkt t0 keine signifikante Korrelation gibt?

Was das bedeutet musst Du Dir doch überlegen, bevor Du sowas rechnest. Du musst Dich fragen, was inhaltlich Deine Hauptfragestellung ist und was die Korrelation von beidem zu t0 dazu beiträgt.

-

wenn es in einer Korrelationsanalyse des Stress und der Arbeitsbelastung zum Zeitpunkt t1 dann eine signifikante Korrelation gibt?

Der Unterschied zwischen signifikant und nicht-signifikant ist selbst nicht automatisch signifikant. Ganz wichtige Denkfalle über die Du Dir klar werden musst: http://www.stat.columbia.edu/~gelman/re ... ignif4.pdf

Macht es zudem Sinn, diese Korrelationskoeffizienten...

Sinnhaftigkeit von Berechnungen liegt immer im Gesamtbild der Arbeit und der zugrundeliegenden wahren Fragestellung. Sinn macht es dann, wenn es zu Deiner eigentlichen frage direkt oder indirekt beiträgt.

LG,
Bernhard