Twoflower2 hat geschrieben:... aufgrund der abgefragten Themen wäre es praktisch, da verschieden-artige Multiple-Choice Items zu haben, die sich strukturell nicht alle gleichen; mal gibt es nur eine richtige Antwort, mal mehrere; mal sind es vielleicht 5 Antwortoptionen, mal auch mehr.
Wenn wir jetzt mit den Mitteln der Probabilistischen Testtheorie unterwegs wären, dann könnten wir für jedes dieser Items die unterschiedliche Ratewahrscheinlichkeit modellieren etc.
Klassische Testtheorie ist da etwas schlichter.
Das Ganze aber eben nur unter der Voraussetzung, dass ungeachtet der verschiedenen Itemstrukturen am Ende ein (mindestens) intervallskalierter Wert rauskommt
Formell hast Du da kein Problem: Du zählst die Anzahl der richtigen Items und Anzahlen sind rationalskaliert. Die Kernfrage lautet eher, macht es Sinn, die Anzahl der richtigen Items zusammenzuzählen? Ich kann meine Selbstwirksamkeitserwartung zur Raumtemperatur addieren und danach die Zahl der gerade am Himmel sichtbaren Wolken auch noch drauf rechnen plus die Dummyvariable dafür, ob heute ein Sonn- oder Feiertag ist. Da kommt ein intervallskalierter Wert heraus, aber der lässt halt keine vernünftige Interpretation zu.
Für die Frage, ob Deine Items das zu vermittelnder Wissen dieser Fortbildung sinnvoll abbilden bist Du hingegen selbst verantwortlich. Das kann Dir das Skalenniveau nicht abnehmen. Da solltest Du Dein Hirnschmalz rein stecken.
Jeder Lehrer stellt in der Klassenarbeit ein paar einfache Fragen, damit auch die schwächeren nicht durchfallen und ein paar schwere, um die wirklich Guten zu erkennen. Er braucht den schweren Aufgaben keine höhere Punktzahl zuzuordnen, denn die guten lösen ja auch die leichten Aufgaben. Das heißt aber nicht, dass er auf die Itemschwierigkeit und die Verteilung der Itemschwierigkeiten nicht zu achten braucht. Er macht das aber nach inhaltlichen Kriterien. Also, was müssen Teilnehmer unbedingt bei der Veranstaltung mitnehmen? was wäre wünschenswert? was ideal?
(und hier kommt die Frage der Äquidistanzannahme ins Spiel).
Äquidistanz ist ein Desiderat bei Ratingskalen um Summierbarkeit von abgestuften Ratings plausibel zu machen. Wenn Deine Items alle falsch oder richtig beantwortet sind, stellt sich diese Frage nicht.
LG,
Bernhard
)
