STATISTIK-FORUM.de

[Lara234234]

Hallo Leute,
ich möchte eine Fragebogenstudie auswerten und brauche eure Hilfe, da ich mit mich Anova etc. noch nicht so gut auskenne. Ausgewertet wird in R.

Die Probanden lassen sich aufgrund der Nationalität in 2 Gruppen einteilen (n_1 = 10; n_2 = 30). Sie haben etwa 20 Fragen beantwortet, wobei es 4 Antwortmöglichkeiten gab, von denen jeweils eine richtig war. Die Antworten wurden dementsprechend umkodiert in 1 oder 0 (richtig oder falsch). Für jede Person wurde so ein Gesamtscore ermittelt, wieviel % der Fragen korrekt beantwortet werden konnten. Zudem lassen sich die Fragen in 3 Kategorien einteilen (ungleiche Anzahlen), es wurde also auch ein Erfolgsscore pro Fragentyp berechnet.

Es soll nun in erste Linie der Unterschied zwischen den Nationalitäten und der Unterschied zwischen den Fragetypen untersucht werden, zudem noch der Einfluss von Störvariablen wie Geschlecht, Alter, etc.

Folgende Problem habe ich bei der Auswertung:
i)
Sollen die Störvariablen direkt mit ins Modell aufgenommen werden oder getrennt untersucht werden? Ich vermute, meine Stichprobe ist zu klein für ein großes Modell, daher war mein 1. Ansatz, das zu trennen, also z.B. einen gesonderten Test auf Unterschied der Geschlechter im Gesamtscore zu machen, nachdem die "wichtigen" Variablen untersucht wurden.

ii)
Kann man die Erfolgsscores je nach Fragetyp hier als repeated measures auffassen und somit Anova mit repeated measures anwenden? Oder als unterschiedliche Zielvariabeln und damit eine MANOVA machen? Oder alle Fragetypen einzeln untersuchen?

iii)
Sollte ich Nationalität und Fragetyp zusammen in ein Modell unterbringen oder gesondert untersuchen? Generell ist mir noch unklar, wie ich den Einfluss des Fragetypens untersuchen soll.


Liebste Grüße,
Lara

[PonderStibbons]

Es soll nun in erste Linie der Unterschied zwischen den Nationalitäten und der Unterschied zwischen den Fragetypen untersucht werden, zudem noch der Einfluss von Störvariablen wie Geschlecht, Alter, etc.

Wieso "etc."? um wieviele weitere Variablen handelt es sich?

Und ist die Fragestellung tatsächlich "welchen Einfluss haben Geschlecht, Alter etc."? Oder ist die
Fragestellung, ob ein etwaiger Herkunft-Effekt auch nach Adjustierung für Alter, Geschlecht etc. besteht
(wobei die Frage wäre, inwiefern die denn hier anzunehmenderweise mit Nationalität assoziiert sein sollen)?
Oder ist die Fragestellung, ob man den Effekt besser sichtbar machen kann, wenn man Alter, Geschlecht etc.
kontrolliert? Darauf deutet der Begriff "Störvariablen", durch deren Kontrolle man Fehlervarianz verringern
könnte, aber man weiß es von außen betrachtet halt nicht.

Ich vermute, meine Stichprobe ist zu klein für ein großes Modell,

Welchem Zweck dient denn die Studie, z.B. Hausarbeit, Seminarübung, Klassenarbeit? Dann wird man es
eventuell nicht so eng sehen und 3, 4 Ko-Variablen hinzupacken dürfen.

daher war mein 1. Ansatz, das zu trennen, also z.B. einen gesonderten Test auf Unterschied der Geschlechter im Gesamtscore zu machen, nachdem die "wichtigen" Variablen untersucht wurden.

Das wäre nur sinnvoll, wenn einen tatsächlich nur der Effekt von Geschlecht oder Alter auf das Antwortverhalten
interessiert. Wenn man adjustieren will oder Fehlervarianz reduzieren, muss man solches Vor-Testen
und nach Ergebnis auszuwählen unterlassen, weil das finale Modell nicht "weiß", dass ihm bereits mehrere
Tests und Auswahlen zugrunde liegen. Das führt zu Überanpassung (overfitting) und z.B. falschen p-Werten.

Kann man die Erfolgsscores je nach Fragetyp hier als repeated measures auffassen und somit Anova mit repeated measures anwenden?

Was anderes geht eigentlich nicht.

Sollte ich Nationalität und Fragetyp zusammen in ein Modell unterbringen oder gesondert untersuchen? Generell ist mir noch unklar, wie ich den Einfluss des Fragetypens untersuchen soll.

Das kommt unter anderem auf die Fragestellung an.

Mit freundlichen Grüßen

PonderStibbons

[bele]

Hallo Lara,

Ausgewertet wird in R.

Das ist für diese erste Frage noch nicht relevant, im Verlauf aber gut zu wissen. Deine Statistikfrage ist hier goldrichtig aufgehoben. Sollte der Thread einen Verlauf nehmen, in dem es nicht mehr primär um Statistik sondern um die Bedienung von R gehen, dann werde ich Dir vorschlagen, solche Fragen in einem anderen Forum, nämlich unter forum.r-statistik.de zu stellen.

Es soll nun in erste Linie der Unterschied zwischen den Nationalitäten und der Unterschied zwischen den Fragetypen untersucht werden, zudem noch der Einfluss von Störvariablen wie Geschlecht, Alter, etc.
[...]
Sollen die Störvariablen direkt mit ins Modell aufgenommen werden oder getrennt untersucht werden? Ich vermute, meine Stichprobe ist zu klein für ein großes Modell, daher war mein 1. Ansatz, das zu trennen, also z.B. einen gesonderten Test auf Unterschied der Geschlechter im Gesamtscore zu machen

Ich befürchte, dass Du da in Gefahr bist, Dich selbst zu betrügen. Du hast in der kleineren Gruppe nur Informationen über 10 Teilnehmer und mehr Information gibt es nicht, um die Gruppen zu unterscheiden. 40 Teilnehmer wenn es um Dinge gehen soll, für die die Gruppeninformation keine Rolle spielt. Das ist die vorhandene Information und mehr kannst Du daraus auch nicht auspressen. Wenn Du glaubst, dass Geschlecht und Alter und "etc" relevant sind, dann solltest Du nicht den Einfluss von Geschlecht ohne Alter und "etc" untersuchen. Wenn Du viele alte Frauen und viele junge Männer in Deinem Mix hast, brauchst Du beides im Modell. Wenn Du glaubst, dass Gruppenzugehörigkeit eine Rolle spielt, kannst Du den Einfluss von Geschlecht nicht ohne Gruppenzugehörigkeit bewerten, denn es könnte ja sein, dass die Männer gehäuft in Gruppe 1 und die Frauen gehäuft in Gruppe 2 gerutscht sind. Als Faustregel gilt daher: möglichst alles relevante in ein Modell.

Kann man die Erfolgsscores je nach Fragetyp hier als repeated measures auffassen und somit Anova mit repeated measures anwenden? Oder als unterschiedliche Zielvariabeln und damit eine MANOVA machen? Oder alle Fragetypen einzeln untersuchen?

Dafür müsste man jetzt wesentlich tiefere Einblicke haben, was es mit diesen Zielvariablen auf sich hat und wieso die mal als drei verschiedene Skalen und mal als Gesamtskala gewertet werden können/sollen. Was würdest Du denn davon halten, die Gesamtskala (Summe über alle richtigen) zur Hauptfragestellung zu definieren, die drei Unterskalen als Nebenfragestellung und für jedes ein eigenes Modell aufzustellen? Sonst wird es auch recht schnell unübersichtlich und Du musst das ja auch so rechnen, dass es für Dich und Deine Leser verständlich bleibt.

Generell ist mir noch unklar, wie ich den Einfluss des Fragetypens untersuchen soll.

Schreib doch mal ein bisschen mehr darüber, was hier mit Fragetyp gemeint ist und welche Fragestellung mit der Untersuchung beantwortet werden soll.

LG,
Bernhard

[Lara234234]

Hallo,
vielen Dank für die schnellen Antworten.

Wieso "etc."? um wieviele weitere Variablen handelt es sich?
Und ist die Fragestellung tatsächlich "welchen Einfluss haben Geschlecht, Alter etc."? Oder ist die
Fragestellung, ob ein etwaiger Herkunft-Effekt auch nach Adjustierung für Alter, Geschlecht etc. besteht
(wobei die Frage wäre, inwiefern die denn hier anzunehmenderweise mit Nationalität assoziiert sein sollen)?
Oder ist die Fragestellung, ob man den Effekt besser sichtbar machen kann, wenn man Alter, Geschlecht etc.
kontrolliert? Darauf deutet der Begriff "Störvariablen", durch deren Kontrolle man Fehlervarianz verringern
könnte, aber man weiß es von außen betrachtet halt nicht.

Es geht darum, den Effekt der Störvariablen zu kontrollieren, um den Effekt der Nationalität besser sichbar zu machen. Ein Problem ist hier, dass in der einen Stichprobe die Leute deutlich älter sind, daher dachte ich, es ist sinnvoll, dies zu untersuchen. Im Fragebogen wurde viele weitere Variablen erhoben, wieviele davon inhaltlich relevant sind, ist noch nicht ganz entschieden, daher habe ich dies offen gelassen. Belassen wir es fürs Erste dabei, dass es 3 Störvariablen gibt: Alter, Geschlecht und Vorwissen bzg der Fragen (3 stufig, ordinal).

Welchem Zweck dient denn die Studie, z.B. Hausarbeit, Seminarübung, Klassenarbeit? Dann wird man es
eventuell nicht so eng sehen und 3, 4 Ko-Variablen hinzupacken dürfen.

Nein, es handelt sich hier schon um "echte" Forschungsdaten bzw. um eine Übung des Auswertens "echter" Forschung. Die Fragestellung ist tatsächlich nicht so exakt formuliert, es hieß nur grob dass der Unterschied der Nationalitäten und der ragetypens untersucht werden soll und auf Störvariablen kontrolliert werden soll.

Das wäre nur sinnvoll, wenn einen tatsächlich nur der Effekt von Geschlecht oder Alter auf das Antwortverhalten
interessiert. Wenn man adjustieren will oder Fehlervarianz reduzieren, muss man solches Vor-Testen
und nach Ergebnis auszuwählen unterlassen, weil das finale Modell nicht "weiß", dass ihm bereits mehrere
Tests und Auswahlen zugrunde liegen. Das führt zu Überanpassung (overfitting) und z.B. falschen p-Werten.

Okay, verstehe.

Was anderes geht eigentlich nicht.

Okay. Könnte man auch ein linear mixed model verwenden?

Ich befürchte, dass Du da in Gefahr bist, Dich selbst zu betrügen. Du hast in der kleineren Gruppe nur Informationen über 10 Teilnehmer und mehr Information gibt es nicht, um die Gruppen zu unterscheiden. 40 Teilnehmer wenn es um Dinge gehen soll, für die die Gruppeninformation keine Rolle spielt. Das ist die vorhandene Information und mehr kannst Du daraus auch nicht auspressen. Wenn Du glaubst, dass Geschlecht und Alter und "etc" relevant sind, dann solltest Du nicht den Einfluss von Geschlecht ohne Alter und "etc" untersuchen. Wenn Du viele alte Frauen und viele junge Männer in Deinem Mix hast, brauchst Du beides im Modell. Wenn Du glaubst, dass Gruppenzugehörigkeit eine Rolle spielt, kannst Du den Einfluss von Geschlecht nicht ohne Gruppenzugehörigkeit bewerten, denn es könnte ja sein, dass die Männer gehäuft in Gruppe 1 und die Frauen gehäuft in Gruppe 2 gerutscht sind. Als Faustregel gilt daher: möglichst alles relevante in ein Modell.

Alles klar.

Dafür müsste man jetzt wesentlich tiefere Einblicke haben, was es mit diesen Zielvariablen auf sich hat und wieso die mal als drei verschiedene Skalen und mal als Gesamtskala gewertet werden können/sollen. Was würdest Du denn davon halten, die Gesamtskala (Summe über alle richtigen) zur Hauptfragestellung zu definieren, die drei Unterskalen als Nebenfragestellung und für jedes ein eigenes Modell aufzustellen? Sonst wird es auch recht schnell unübersichtlich und Du musst das ja auch so rechnen, dass es für Dich und Deine Leser verständlich bleibt.

Ich denke, ich werde es lieber in ein Modell unterbringen und den Gesamtscore dann weglassen.
Die Fragetypen beziehen sich auf unterschiedliche Themengebiete. Es gibt also 3 Themengebiete mit jeweils einigen Fragen dazu.

[PonderStibbons]

Es geht darum, den Effekt der Störvariablen zu kontrollieren, um den Effekt der Nationalität besser sichbar zu machen. Ein Problem ist hier, dass in der einen Stichprobe die Leute deutlich älter sind, daher dachte ich, es ist sinnvoll, dies zu untersuchen.

Das sind jetzt wieder zwei unterschiedliche Ziele. Und Adjustierung deswegen, weil man die Stichprobe nach
(eventuell Zufalls-)Zusammenhängen abgesucht hat, ist wie gesagt wegen des overfitting problematisch.
Normalerweise sollte man bei Adjustierung nach Vorwissen die Variablen auswählen. Inwiefern das
Alter, Geschlecht oder andere Variablen passend sind, weiß ich nicht; jede davon sollte üblicherweise
mit der Leistung in solchen Aufgaben assoziiert sein, damit man sie von vornherein für einschließbar
ins Modell erachtet.

Andererseits ist das den Aufgabestellern vielleicht auch egal.

Okay. Könnte man auch ein linear mixed model verwenden?

Ja, das auch. Ich dachte, es geht um die einfacheren Methoden.

Mit freundlichen Grüßen

PonderStibbons

[Lara234234]

Das sind jetzt wieder zwei unterschiedliche Ziele. Und Adjustierung deswegen, weil man die Stichprobe nach
(eventuell Zufalls-)Zusammenhängen abgesucht hat, ist wie gesagt wegen des overfitting problematisch.
Normalerweise sollte man bei Adjustierung nach Vorwissen die Variablen auswählen. Inwiefern das
Alter, Geschlecht oder andere Variablen passend sind, weiß ich nicht; jede davon sollte üblicherweise
mit der Leistung in solchen Aufgaben assoziiert sein, damit man sie von vornherein für einschließbar
ins Modell erachtet.
Andererseits ist das den Aufgabestellern vielleicht auch egal.

Okay danke. Nach Rücksprache werde ich nur Vorwissen als Störvariable ins Modell aufnehmen und Geschlecht und Alter weglassen.
Dann nehme ich also die three-way Anova (Nationalität, Vorwissen, Fragentyp) mit repeated measures, wenn ich das richtig verstanden haben.

[Lara234234]

Hallo nochmal,

leider ist die Normalverteilungsannahme in einer der 3 Fragekategorien bezüglich einer der Nationalitäten verletzt, Shapiro Wil Test lehnt hier mit p = 0.000101 ab. Auch der QQPlot spricht klar gegen die NV. In den anderen Gruppen sieht es okay aus. Vor Allem in Verbindung mit den kleinen und ungleichen Stichprobengrößen hier kann dies problematisch sein, denke ich.
Log-Transformation, Quadratwurzel-Transformation oder Kubikwurzeltransformation helfen auch nicht viel weiter. Nichtparametrische Tests für 3-way repeated measures Anova gibt es, soweit ich weiß, nicht. Habt ihr einen Vorschlag für das weitere Vorgehen?

[PonderStibbons]

Transformationen sind zu unterlassen, wenn es keine sachlogische Begründung gibt (wie z.B. bei Preisen),
weil sonst die transformierten Variablen und die statistischen Parameter nicht sinnvoll interpretierbar ist (was
wäre eine "durchschnittliche logarithmierte Fehlerquote" in der vorliegenden Studie). Bei n = 40 sollte man
von einer robusten Varianzanalyse ausgehen können, auch wenn die Residuen keine Normalverteilung in der
Grundgesamtheit folgen. Relevanter ist die Ähnlichkeit der Fehlervarianzen zwischen den Gruppen.

Mit freundlichen Grüßen

PonderStibbons

[Lara234234]

Okay danke. Der Mauchly's Test for Sphericity lehnt nicht ab mit p = 0.188 , das heißt die Ähnlichkeit der Fehlervarianzen zwischen den Gruppen ist in Ordnung, ja?

Andere Frage, die three way interaction ist nicht signifikant (p = 0.544). Bei den two way Interaktionen ist nur Nationalität:Fragetyp signifikant (p = 0.041). Das heißt, ich mache weiter mit dem Untersuchen der Haupteffekte, also mögliche Unterschiede zwischen den Nationalitäten gegeben der einzelnen Fragetypen? Oder auch gegeben der 3 möglichen Vorwissensgruppen, dessen Interaktion ja nicht signifikant war?

[Lara234234]

Hallo,

nochmal einige Fragen, wie man den Anova Output (Type III) richtig interpretiert.

1)
Wenn die 3-fache Interaktion (A:B:C) nicht signifikant ist und nur eine der beiden 2-fachen Interaktionen signifikant ist (A:B), dann mache ich weiter, indem ich 1-fache Anova mit A für alle Stufen von B rechne (oder anders herum), und C hier ignoriere ?

2)
Wenn weder 3-fache noch 2-fache Interaktionen signifikant sind, interpretiere ich die Signifikanzen der Haupteffekte direkt, ohne das Modell neu zu fitten ohne Interaktionsterme?