STATISTIK-FORUM.de

[Fanna]

Hallo zusammen,

meine Frage bezieht sich auf das folgende Studiendesign:

Stichprobe: N=615 Kinder
Messinstrument: Schätztest mit 48 Fragen wie diese: "Wie lang ist das Seil an der Tafel ungefähr? Das Seil an der Tafel ist ungefähr ___ cm lang."

Der Bereich ist die Mathematikdidaktik. Dort ist es üblich, die Abweichung der Schätzung vom Realwert (also z.B. der tatsächlichen Länge des Seils) mit der sogenannten prozentualen Abweichung zu berechnen:
Proz. Abw. = (Schätzwert - Realwert) / Realwert

Zusätzlich werden dann Punkte vergeben, die auf dem Betrag der prozentualen Abweichung beruhen, z.B.:
< 50% 1 Punkt
>= 50 % 0 Punkte
Eine solche "Bepunktung" wird Scoring genannt.

Um diese Scorings geht es in meiner Studie. In der Literatur existieren sehr viele Scorings, die alle unterschiedlich sind (dichotom oder nicht, Intervallbreite, Intervallanzahl...). Das halte ich für problematisch, weil häufig weder Reliabilität oder sonst irgendein Gütekriterium angegeben ist und auch nicht begründet wird, weshalb ein Scoring ausgesucht wird. Ich möchte also untersuchen, inwieweit sich die Scorings voneinander unterscheiden, wenn man sie auf denselben Datensatz anwendet.

Also habe ich sechs Scorings ausgesucht und damit den Schätztest ausgewertet. Weil es unterschiedlich viele Punkte pro Scoring zu erreichen gibt, habe ich den Anteil der erreichten Punkte genutzt, um Vergleiche möglich zu machen. Jedes Kind hat also sozusagen 6 "Ergebnisse" im Schätztest. Diese habe ich als wiederholte Messung interpretiert.

Nun meine Fragen:
1) Handelt es sich hierbei um ein Design, das ich mit der ANOVA mit Messwiederholung auswerten kann?
2) Gibt es vielleicht eine Methode, die Scorings als Bedingung mit in die Analyse einzubringen, ohne den Anteil der erreichten Punkte ausrechnen zu müssen? (In Bezug auf den Anteil äußert ein Reviewer Bedenken, ohne das genauer zu erklären.)
3) Gibt es eine Methode, die sich besser eignet / die für unterschiedliche Scorings auf demselben Datensatz üblich ist?

Vielen Dank im Voraus für das Lesen und die Mühe.
Viele Grüße
Fanna

[PonderStibbons]

1) Handelt es sich hierbei um ein Design, das ich mit der ANOVA mit Messwiederholung auswerten kann?

Die Leistung ein- und desselben Kindes wird 6mal eingestuft, schlussendlich auf derselben Skala. Das geht.

2) Gibt es vielleicht eine Methode, die Scorings als Bedingung mit in die Analyse einzubringen, ohne den Anteil der erreichten Punkte ausrechnen zu müssen?

"Scorings als Bedingung" verstehe ich leider noch nicht.

Vielleicht ergänzt Du die Messwiederholungsanalyse durch Korrelationsanalysen. Womöglich Rangkorrelationen, die zeigen
wie sehr sich die Rangfolge der Kinder mit den Methoden verändert. Aber wenn es schon in Review ist, dann ist das evtl.
zu spät.


Mit freundlichen Grüßen

PonderStibbons

[bele]

Hi!

Ich glaube, ich habe die Fragestellung noch nicht ganz kapiert. Im Mittel kommen bei manchen von 6 verschiedenen Scorings größere Werte als bei anderen heraus? Ist das wirklich die Essenz der Studie?

LG, Bernhard

[strukturmarionette]

Hi,

Um diese Scorings geht es in meiner Studie. In der Literatur existieren sehr viele Scorings, die alle unterschiedlich sind (dichotom oder nicht, Intervallbreite, Intervallanzahl...). Das halte ich für problematisch, weil häufig weder Reliabilität oder sonst irgendein Gütekriterium angegeben ist und auch nicht begründet wird, weshalb ein Scoring ausgesucht wird. Ich möchte also untersuchen, inwieweit sich die Scorings voneinander unterscheiden, wenn man sie auf denselben Datensatz anwendet.

- Demnach geht es bei dir darum, ziemlich beliebig kategorisierte urspünglich intervallskalierte Messungen dahingehend zu untersuchen, ob diese unterschiedlichsten Kategorisierungen irgendeinen Sinn ergeben?

Gruß
S.

[Fanna]

Hallo,

vielen Dank für die schnellen Antworten!

1) Handelt es sich hierbei um ein Design, das ich mit der ANOVA mit Messwiederholung auswerten kann?

Die Leistung ein- und desselben Kindes wird 6mal eingestuft, schlussendlich auf derselben Skala. Das geht.

Alles klar, dann bin ich da schonmal sehr beruhigt.

2) Gibt es vielleicht eine Methode, die Scorings als Bedingung mit in die Analyse einzubringen, ohne den Anteil der erreichten Punkte ausrechnen zu müssen?

"Scorings als Bedingung" verstehe ich leider noch nicht.

Ich meinte so etwas wie eine Variable (?), die zusätzlich erstellt wird, die dann nominal ist (Scoring 1, 2, 3...). Aber ich habe da auch keine Lösung gefunden und vielleicht ist das auch Quatsch, denn scheinbar gibt es ja genug Möglichkeiten, das Design so wie es ist zu nutzen.

Vielleicht ergänzt Du die Messwiederholungsanalyse durch Korrelationsanalysen. Womöglich Rangkorrelationen, die zeigen
wie sehr sich die Rangfolge der Kinder mit den Methoden verändert.

Das ist eine super Idee, da werde ich mich mal belesen.

Herzlichen Dank und viele Grüße
Fanna

[Fanna]

Hallo,

Ich glaube, ich habe die Fragestellung noch nicht ganz kapiert. Im Mittel kommen bei manchen von 6 verschiedenen Scorings größere Werte als bei anderen heraus? Ist das wirklich die Essenz der Studie?

Demnach geht es bei dir darum, ziemlich beliebig kategorisierte urspünglich intervallskalierte Messungen dahingehend zu untersuchen, ob diese unterschiedlichsten Kategorisierungen irgendeinen Sinn ergeben?

Mein Ziel in diesem "Studienabschnitt" ist, die in der Literatur verwendeten Scorings zu untersuchen und die Unterschiede, die man ja mit der deskriptiven Statistik schon sieht, auf Signifikanz zu prüfen. Wenn sie sich gar nicht unterscheiden, wäre es ja vielleicht nicht so schlimm, dass es verschiedene gibt, das wäre dann eben zu diskutieren.

Zur Skala: Bei der Anwendung von Scorings gehen Informationen verloren, die man bei der prozentualen Abweichung als Fehlerbeschreibung noch hat, darüber bin ich auch gestolpert. Dennoch wird es klassischerweise so gemacht (gibt auch Vorteile, z.B. ist die Reliabilität meist höher), nur die Scorings unterscheiden sich eben. Das finde ich problematisch aus mehreren inhaltlichen Gründen (die hier zu weit führen, denke ich), und die kann ich ja nur anführen, wenn es überhaupt einen signifikanten Unterschied bezogen auf die Testleistung gibt.

Diese Untersuchung ist aber keinesfalls die ganze Studie, sondern nur ein kleiner Teil. Der größere Rahmen ist die Testentwicklung, und der noch größere dann auch die Auswertung der mathematikdidaktischen inhaltlichen Aspekte.

Herzliche Grüße
Fanna

[bele]

Hallo Fanna,

Das finde ich problematisch aus mehreren inhaltlichen Gründen (die hier zu weit führen, denke ich)

Mit meiner Rückfrage wollte ich genau darauf hinaus. Vielleicht solltest Du untersuchen, welche Inhaltlichen Gründe das genau sind und dann diese Gründe in den Daten bestätigen. Die ANOVA prüft eben nicht allgemein, ob sich irgendwas unterscheidet, sondern konkret, ob die Durchschnittsleistung eine andere ist. Was mit der Streuung passiert, was mit der Vergleichbarkeit innerhalb eines Scoring-Systems passiert etc. das wird mit der ANOVA nicht untersucht. Wenn das Deiner Fragestellung entspricht, ist alles gut.

LG, Bernhard

[Fanna]

Hallo Bernhard,

Die ANOVA prüft eben nicht allgemein, ob sich irgendwas unterscheidet, sondern konkret, ob die Durchschnittsleistung eine andere ist.

Das ist gut, dass du es nochmal so deutlich sagst. Es passt zu meiner Fragestellung, also kein Problem, aber es hilft mir dann, die Ergebnisse wirklich präzise zu berichten und zu interpretieren. Danke!

Viele Grüße
Fanna