STATISTIK-FORUM.de

[Julia B.]

Hallo zusammen,

wir haben im Rahmen einer Spielintervention Videokodierungen vorgenommen, die die Qualität der Ausführung auf einer Skala von 1-5 (vgl. Notenskala) beurteilen - und das zu drei Messzeitpunkten, weil jedes Spiel (bis zu) 3x gespielt wurde. Zusätzlich haben wir kodiert, ob die Schwierigkeit des Spiels 1, 2 oder 3 (vorher in Kodiermanual definiert) betrug. Dabei kann es sein, dass z.B. zu MZP1 nur auf Stufe 1, vll. auch 2, manchmal aber auch 1-3 gespielt wurde.
Wie komme ich mit dieser Ausgangslage an eine Item- bzw. viel Spielschwierigkeit? Die Annahme wäre, dass eine Ausführung, die mit "3" kodiert wurde, auf der Schwierigkeit 1 natürlich schlechter einzustufen ist als mit der höchsten Schwierigkeit, d.h. 3.
Ich hänge gerade bei Überlegungen zu Cohen's d, G*Power (Effektstärke berechnen?)...

Viele Grüße,
Julia

[PonderStibbons]

Verstehe ich leider nicht. Bis zu 3 Messzeitpunkte, aber nicht immer, bei einem Messzeitpunkt kann Schwierigkeit 1-3 vorkommen?
Spielschwierigkeit wurde beurteilt, aber Du fragst wie man auf Spielschwierigkeit kommt? Was meinst Du hier mit "bzw." Itemschwierigkeit?
Und was soll das hier bedeuten: "Cohen's d, G*Power (Effektstärke berechnen?)", was denn wozu, wieso?

Bitte einmal vollständig und nachvollziehbar Thema, Fragestellungen, Versuchsaufbau, Versuchsablauf, Messungen, Stichprobengröße
beschreiben. Und vor diesem Hintergrund die Frage(n) formulieren.

Mit freundlichen Grüßen

PonderStibbons

[strukturmarionette]

Hi,

- welche Spiele? Wo?

Gruß
S.

[Julia B.]

Hallo,

oje, ich sehe schon, mein Versuch es kurz zu halten ist etwas misslungen.

Fragestellung: Lässt sich in der 10-wöchigen Spielintervention über die drei Messzeitpunkte (= Spieltage) hinweg eine Verbesserung der selbstregulatorischen und motorischen Kompetenzen der Kinder abbilden? (das soll die eigentlich geplante Evaluation via Prä-, Post-, Follow-up-Design ersetzen, welches Corona zum Opfer gefallen ist)
Versuchsaufbau: 10 Wochen Spielintervention à 2 Spieltagen pro Woche --> Auswahl an Spielen videokodiert (jedes Spiel wurde im Laufe der 10 Wochen i.d.R. dreimal gespielt, wegen Corona fehlen vor allem einige t3)
N= 67 (es gab natürlich auch eine KG, aber die ist nutzlos für diese Videokodierungen)

Es handelt sich um eine Spielintervention zur motorischen und selbstregulatorischen Entwicklung von Kindern im Alter von 4-6. Wir haben Videoaufnahmen von allen Spielstunden gemacht und kodieren nun einzelne Spiele im Bezug auf das kindliche Spielverhalten (sowie Feedback der Spielleitung). Das kindliche Spielverhalten kodieren wir auf einer Skala von 1-5 auf fünf verschiedenen Dimensionen. Jedes dieser Spiele gibt es in einer Anfänger-, Fortgeschrittenen- und Profivariante. Das Problem ist, dass diese Spiele zum einen nicht vollkommen standardisiert gespielt wurden und zum anderen auch nicht in gleichem Tempo das Anforderungsniveau gesteigert wurde. Man kann also nicht einfach sagen, dass zu t1 die Anfänger-, zu t2 die Fortgeschrittenen- und zu t3 die Profivariante gespielt wurden. Daher haben wir nachträglich auf einer Skala von 1-3 bewertet, wie schwer das Spiel in der jeweiligen Instruktions- und Ausführungsphase war (pro Spiel gibt es immer mehrere Instruktions- und Ausführungsphasen). Nun können wir ja aber nicht einfach hingehen und sagen, wenn die Schwierigkeit bei 2 oder 3 lag, rechnen wir das einfach direkt beim kindlichen Spielverhalten an. Was fehlt, ist sozusagen ein Schwierigkeitsfaktor, der die - ich sag mal flapsig - "Benotung" der kindlichen Spielleistung in Zielmotorik und Selbstregulation in ein angemessenes Verhältnis zur Spielschwierigkeit setzt. Ich kann ja nicht einfach selbst festlegen, dass ich bei einer Schwierigkeit von 2 die Bewertung mit z.B. 1,2 und bei einer Schwierigkeit von 3 mit 1,5 multipliziere. Das wäre ja vollkommen willkürlich.

Ich hoffe, das ist etwas verständlicher. Vielen Dank fürs Lesen!

[bele]

Hallo Julia,

als jemand, der mit Entwicklungspsychologie bislang nicht in Berührung gekommen ist, ist Deine Beschreibung nur sehr bedingt brauchbar. Wahrscheinlich würden Deine Fachkollegen das auf diesem Beschreibungsniveau verstehen, ich muss viel zu viele Annahmen machen, die jeweils falsch sein könnten, als dass ich mich trauen würde, irgendwas dazu zu sagen.

Du kodierst Spielverhalten und Feedback beim Spiel in fünf Dimensionen. Ich nehme an, das ist eine ordinale Codierung? Ich nehme an, es geht darum, ob ein Kind irgendetwas schon gut kann oder noch nicht? Jetzt ändern die Spielenden die Spielanleitung und damit die Regeln und ich nehme an, das Spiel wird damit anspruchsvoller sodass auf jeder der fünf Dimensionen in jedem der Spiele die Leistung eines Kindes nicht mehr von 1 bis 5 sondern von "einfache-Regeln + 1" bis "schwierige Regeln + 5" gemessen werden soll. Ich nehme an, dass die Spielleitungen nicht immer dann nicht immer dann die Regeln erschwert hat, wenn man vorher eine 5 diagnostiziert hat, sodass man nicht automatisch sagen kann, dass "mittlere Schwierigkeit + 1" besser ist als "einfache Schwierigkeit + 5". Ich nehme an, dass Dich eigentlich interessiert, ob es von Messzeitpunkt zu Messzeitpunkt zu Verbesserungen kommt, kannst das aber nicht beurteilen, weil du selbst nicht weißt, ob die Entwicklung von "einfache Schwierigkeit + 5" zu "mittlere Schwierigkeit + 1" einen Fortschritt darstellt? Du bist hier anscheinend auf der Suche nach einem Umrechnungsfaktor, bzw einer Ordnung, um aus dem zweidimensionalen "Schwierigkeitsgrad plus Bewertung" zu einer eindimensionalen Ordnung zu kommen.

Ist das alles soweit überhaupt richtig verstanden?

Ich stelle mir das gerade wie bei der Item-Respons-Theory vor, wo man ja auch aus den Antworten sowohl die Itemschwierigkeit als auch die Leistung einer Testkandidatin herausliest. In der Itemrespontheorie würde man aber auch nicht mit 67 Probanden 15 Items skalieren. Natürlich könnte sich die Anzahl der Beobachtungen drastisch erhöhen, wenn man ein partial pooling zwischen den verschiedenen Spielen und/oder Dimensionen machen könnte. Wenn es um ein Urteil geht wie "Schwierigkeit 2 Urteil 5" liegt zwischen "Schwierigkeit 3 Urteil 1" und "Schwierigkeit 3 Urteil 3", vielleicht könnte man ja unterstellen, dass das in allen Spielen und allen Dimensionen gleich ist? Dann hätte man mehr Beobachtungen. Bei meinem bisherigen (sehr kursorischen) Studium der IRT ist mir aber noch keine Skalierung bei Messwiederholungen untergekommen. Selbst wenn ich alles richtig verstanden haben sollte, wird das nicht banal werden.

[PonderStibbons]

Die Frage nach "Itemschwierigkeit" ist demnach nicht schlecht gestellt. Die Schwierigkeit ergibt sich daraus, wie oft eine adäquate Ausführung
einer Aufgabe auf Stufe k über alle Kinder hinweg erreicht wurde, oder aus der zentralen Tendenz der beobachteten Ausführungsqualität. An
sich kann man das dann nicht mit der 5erskala multiplizieren, die ist ordinalskaliert, aber vielleicht lässt sich das trotzdem verteidigen. bele
hat zurecht darauf hingewiesen, dass es eigentlich viel komplizierter ist.

Mit freundlichen Grüßen

PonderStibbons

[Julia B.]

Du kodierst Spielverhalten und Feedback beim Spiel in fünf Dimensionen.

--> Wir kodieren beides, Feedback aber nochmal anders. Das tut hier nichts zur Sache.

Ich nehme an, das ist eine ordinale Codierung?

--> Streng genommen ja. Intervallskaliert wäre mir lieber Es ist wirklich wie Schulnoten (plus natürlich einer wörtlichen Präzisierung im Kodiermanual), also 1= sehr gut, 2= gut usw.

Ich nehme an, es geht darum, ob ein Kind irgendetwas schon gut kann oder noch nicht?

--> Genau, wir wollen beurteilen, wie gut Aufmerksamkeit, Kooperationsbereitschaft, Spielfreude, Selbstregulation und Zielmotorik sind. Die Schwierigkeit wollen wir aus inhaltlichen Gründen aber nur für Selbstregulation und Zielmotorik bestimmen, da wir die anderen eher als Moderatoren mit reinnehmen wollen später.

Jetzt ändern die Spielenden die Spielanleitung und damit die Regeln und ich nehme an, das Spiel wird damit anspruchsvoller sodass auf jeder der fünf Dimensionen in jedem der Spiele die Leistung eines Kindes nicht mehr von 1 bis 5 sondern von "einfache-Regeln + 1" bis "schwierige Regeln + 5" gemessen werden soll.

--> Das haben wir eben gerade nicht auf der fünfstufigen Skala berücksichtigt, die die reine Umsetzung des Kindes beurteilt, sondern in einer separaten Kodierung der Schwierigkeit/ des Anspruchsniveaus auf einer Skala von 1 (leicht) bis 3 (schwer).

Ich nehme an, dass die Spielleitungen nicht immer dann nicht immer dann die Regeln erschwert hat, wenn man vorher eine 5 diagnostiziert hat, sodass man nicht automatisch sagen kann, dass "mittlere Schwierigkeit + 1" besser ist als "einfache Schwierigkeit + 5".

--> Ja, genau, also wir haben nicht adaptiv getestet, sondern mit den Kindern gespielt und subjektiv/ situativ eingeschätzt, ob man gerade das Gruppenniveau trifft. Da stülpen wir jetzt sozusagen die Videokodierung künstlich drüber und beurteilen nachträglich, wie schwer es tatsächlich war (da gibt es auch erheblich VL-Effekte).

Ich nehme an, dass Dich eigentlich interessiert, ob es von Messzeitpunkt zu Messzeitpunkt zu Verbesserungen kommt, kannst das aber nicht beurteilen, weil du selbst nicht weißt, ob die Entwicklung von "einfache Schwierigkeit + 5" zu "mittlere Schwierigkeit + 1" einen Fortschritt darstellt?

--> Ja, genau. Die "Noten", die die Kinder bekommen haben, relativieren sich ja total daran, ob es gerade z.B. eine sehr leichte Balancieraufgabe war oder eine sehr anspruchsvolle.

Du bist hier anscheinend auf der Suche nach einem Umrechnungsfaktor, bzw einer Ordnung, um aus dem zweidimensionalen "Schwierigkeitsgrad plus Bewertung" zu einer eindimensionalen Ordnung zu kommen.

--> Yes, genau das.

Ich stelle mir das gerade wie bei der Item-Respons-Theory vor, wo man ja auch aus den Antworten sowohl die Itemschwierigkeit als auch die Leistung einer Testkandidatin herausliest. In der Itemrespontheorie würde man aber auch nicht mit 67 Probanden 15 Items skalieren. Natürlich könnte sich die Anzahl der Beobachtungen drastisch erhöhen, wenn man ein partial pooling zwischen den verschiedenen Spielen und/oder Dimensionen machen könnte. Wenn es um ein Urteil geht wie "Schwierigkeit 2 Urteil 5" liegt zwischen "Schwierigkeit 3 Urteil 1" und "Schwierigkeit 3 Urteil 3", vielleicht könnte man ja unterstellen, dass das in allen Spielen und allen Dimensionen gleich ist? Dann hätte man mehr Beobachtungen. Bei meinem bisherigen (sehr kursorischen) Studium der IRT ist mir aber noch keine Skalierung bei Messwiederholungen untergekommen. Selbst wenn ich alles richtig verstanden haben sollte, wird das nicht banal werden.

--> Puh, ja, also wir haben leider nur diese 67 Kinder erhoben. Diese Kinder beurteilen wir über 10 verschiedene Spiele hinweg (wobei wir eigentlich erstmal pro Spiel analysieren wollten, bevor wir überhaupt versuchen, ein größeres Modell zu rechnen und auch dieses erstirbt ja wahrscheinlich eh an diesem kleinen N). Pro Spiel haben wir dann im Schnitt 10min Spielzeit und im Schnitt (hohe SD!) 5 Instruktions- und Ausführungsphasen.

[bele]

(da gibt es auch erheblich VL-Effekte).

VL-Effekte i. S. e. FHG oder einer Nicht-FHG?

[Julia B.]

VL-Effekte i. S. e. FHG oder einer Nicht-FHG?

Sorry, what?

[PonderStibbons]

Die Effekte Vermögenswirksamer Leistungen spielen in der betrachteten Altersgruppe doch gar keine Rolle.