STATISTIK-FORUM.de

[Adnil.101]

Hallo an alle!

Ich würde mich sehr freuen, wenn sich jemand die Zeit nimmt und mir weiterhilft!

Für meine Masterarbeit habe ich ein Lernvideo erstellt, es Schüler*innen (n=93) gezeigt und die Lernwirksamkeit empirisch erhoben.
Das sah folgendermaßen aus:

1. Pretest
 Erhebung des Vorwissens über einen Fragebogen
 Items beziehen sich auf Inhalte des Lernvideos
2. Intervention
 Video wurde gezeigt
3. Posttest
 dieselben Items wie im Pretest

Die 15 Items der Fragebögen waren gleich aufgebaut und sahen wie folgendes Beispiel aus:
Der moderne Mensch stammt von den Menschenaffen ab.
A. Diese Aussage ist richtig.
B. Diese Aussage ist falsch.
C. Ich kann nicht beurteilen, welche der zwei oberen Möglichkeiten richtig ist.

Aus dem Antwortverhalten lassen sich verschiedene Gruppen ableiten:
1. Diejenigen, die es richtig wussten.
2. Diejenigen, die dachten sie wüssten es, aber die falsche Antwort gewählt haben.
3. Diejenigen, die von vorneherein gesagt haben, dass sie es nicht wissen.
4. Diejenigen, die richtig oder falsch geraten haben.

Bei Gruppe 4 kann ich nicht überprüfen, wie viele tatsächlich auf diese Weise geantwortet haben. In der Anweisung hatte ich daher explizit darauf hingewiesen, dass sie die 3. Antwortmöglichkeit ankreuzen sollen, sofern sie es nicht wissen. Dadurch sollte dieses Antwortverhalten möglichst vermieden werden. In der Auswertung arbeite ich nur mit den Gruppen 1-3.

Den Wissenszuwachs habe ich über einen t-Test für gepaarte Stichproben anhand der richtigen Antworten ausgewertet. So sieht mein Datensatz dazu aus: https://ibb.co/nfcWyL6
Jetzt möchte ich die Unterschiede der Gruppen 1-3 untersuchen. Vor allem bei einem Item ist das interessant, denn dort gab es keinen Wissenszuwachs, sondern sogar eine Verschlechterung, da die Anzahl falscher Antworten zugenommen hat.

Item 9:
Pretest
Richtige Antwort: 38
Falsche Antwort: 7
"Weiß nicht": 48
Posttest
Richtige Antwort: 38
Falsche Antwort: 39
"Weiß nicht": 16

Mein Dozent hat mir eine Anova mit Tukey-Test empfohlen (allerdings wirkte er dabei recht unsicher und wollte/konnte mir keine genauen weiteren Infos geben...). Jetzt habe ich Probleme, meinen Datensatz in SPSS so anzupassen, dass ich die Berechnungen durchführen kann. Leider gelingt es mir nicht, die Musterbeispiele zur Anova aus dem Internet auf meinen Fall zu übertragen. Ich weiß leider nicht, was genau meine abhängige und unabhängige Variable sind und wie ich den Datensatz passend anlege.

Hat jemand einen Rat für mich? Gibt es vielleicht andere Testverfahren, die sich an dieser Stelle besser eignen?

Vielen Dank schon mal im Voraus und liebe Grüße!

[PonderStibbons]

Ich verstehe die Fragestellung noch nicht. Du hast ein Item, das im Vortest n=38 richtig beantworteten,
n=7 falsch und n=48 mit "Weiß nicht". Das sind die drei Gruppen (?). Und hinsichtlich wessen sollen nun
"die Unterschiede der Gruppen 1-3" untersucht werden? Und die Gruppen 1 bis 3 ändern sich mit jedem
Item, sollen 15 Analysen gerechnet werden?

Mit freundlichen Grüßen

PonderrStibbons

[bele]

Hallo,

Also bisher wurden nur die richtigen Antworten gezählt und für Item 9 soll auch zwischen den beiden nicht-richtigen differenziert werden?
Hast Du mal über einen McNemar Bowker Test nachgedacht? https://biotoolbox.binghamton.edu/Biost ... tFinal.pdf

Der McNemar Bowker test würde die drei Antwortmöglichkeiten als nominal behandeln. Wenn Du sie ordinal sehen willst, stattdessen der Vorzeichentest https://de.m.wikipedia.org/wiki/Vorzeichentest

LG, Bernhard


PS: Was ist denn die richtige Antwort auf das Musteritem? Ich weiß natürlich, dass wir nicht von heute existierenden Menschenaffen abstammen, aber ob man die letzten gemeinsamen Vorfahren noch mit diesem Wort benennen würde, das glaube ich nicht, weiß es aber nicht.

[Adnil.101]

Hallo,

und vielen Dank für eure Antworten!

Ich möchte untersuchen, ob es signifikante Unterschiede zwischen den Gruppen gibt. Bei Item 9 gab es keinen Wissenszuwachs, wohl aber Veränderungen zwischen Gruppe 2 (die es falsch wussten) und Gruppe 3 (die es nicht wussten). Falls der Unterschied signifikant ist, würde das bei Item 9 dafür sprechen, dass entweder das Video die entsprechende Info schlecht vermittelt hat oder das Item schlecht formuliert war.

Ich habe nochmals überlegt und vielleicht habe ich die Gruppen auch falsch eingeteilt. Stattdessen habe ich jetzt folgende Einteilung gewählt:
1) Schüler*innen mit richtigem Vorwissen
2) Schüler*innen mit falschem Vorwissen
3) Schüler*innen ohne Vorwissen
Das wäre dann meine unabhängige Variable.

Meine abhängige Variable wäre dann die Differenz zwischen dem Antwortverhalten vorher/nachher:
0 = keine Veränderung
-1 = negative Veränderung
+1 = positive Veränderung

z.B.
Vorher richtig (1) – nachher richtig (1) = 0 (keine Veränderung durch Video)
Vorher richtig (1) – nachher falsch (2) = -1 (negative Veränderung)

Denkt ihr, ich bin damit auf dem richtigen Weg?

PS: Die Antwort auf das Musteritem lautet, dass Menschen und Menschenaffen gemeinsame Vorfahren haben, von denen sich mehrere Abstammungslinien abgeleitet haben, aus denen jeweils Mensch, Schimpanse, Gorilla usw. hervorgegangen sind. Menschen und Menschenaffen stammen also von diesen gemeinsamen Vorfahren ab, nicht aber der Mensch von den Menschenaffen. Diese Vorfahren hatten zwar ähnliche Merkmale wie Affen, werden aber nicht als solche bezeichnet. Stattdessen bezeichnet man sie als "affenähnlich". Der letzte gemeinsame Vorfahre von Mensch und Schimpanse (unser nächster Verwandter unter den Menschenaffen) hat vor etwa 6 Millionen Jahren gelebt. Dementsprechend wäre die richtige Antwort im Musteritem, dass die Aussage falsch ist.

[bele]

Hallo Adnil,

Du bist auf meine Testvorschläge mit keinem Wort eingegangen. Muss es denn unbedingt eine ANOVA sein?

Veränderungen zwischen Gruppe 2 (die es falsch wussten) und Gruppe 3 (die es nicht wussten). Falls der Unterschied signifikant ist, würde das bei Item 9 dafür sprechen, dass entweder das Video die entsprechende Info schlecht vermittelt hat oder das Item schlecht formuliert war.

Verstehe. Wenn das Video signifikant die Verteilung beeinflusst hat aber keine Verbesserung erzielt hat, dann stimmt was nicht. Ob sich eine Veränderung eingestellt hat zeigt der Vorher-Nachher-Vergleich nach McNemar und Bowker.

1) Schüler*innen mit richtigem Vorwissen
2) Schüler*innen mit falschem Vorwissen
3) Schüler*innen ohne Vorwissen
Das wäre dann meine unabhängige Variable.

Ich verstehe noch nicht, für welche Fragestellung das eine passende Unabhängige wäre. Willst Du beweisen, dass es bei denen, die vorher schon konnten weniger Verbesserung gibt als bei denen, die es vorher nicht konnten?

0 = keine Veränderung
-1 = negative Veränderung
+1 = positive Veränderung

Klingt ein wenig so, als wärst Du auf dem Weg, den Vorzeichentest neu zu erfinden. Das Video taugt in Bezug auf Item 9 dann etwas, wen es häufiger +1 als -1 gibt, ohne dass man dafür eine Gruppierungsvariable braucht.

LG, Bernhard