STATISTIK-FORUM.de

[katjagoesstatistik]

Hi Leute,

folgenden Fall habe ich: In einem Kurs haben 150 Studenten einen Test geschrieben und sich untereinander Feedback im Form von Punkten gegeben. Alle haben den gleichen Test geschrieben.
Jeder Test wurde von 5 Leuten aus der Gruppe bewertet. Jeder Student hat selbst 5 andere Tests bewertet und von 5 anderen Studenten Feedback bekommen.

Jetzt möchte ich gerne die Fragestellung klären, wie viele Studenten ich benötige für die Bewertung eines Tests. Ich hatte 5 Studenten in meinem Fall, würde aber gerne eine valide Aussage treffen wollen, wie viele Studenten ausreichend sind, weil bspw. 4 Studenten das gleiche Feedback geben wie 3 und man könnte sagen, dass Feedback von 3 Leuten ausreichend ist.

Ich habe auch eine Expertenbewertung von Dozenten durchführen lassen. Das ergibt das Ergebnis, dass die Dozenten immer strenger als die Studenten bewerten. Jetzt denke ich mir, kann ich das ja nicht als Referenzwert (Baseline) nehmen, wenn die Expertenbewertung und die Studentenbewertung unterschiedlich sind.

Hat jemand eine Ahnung für ein Vorgehen / eine Methode, wie ich errechnen kann, wie viele Studenten ich benötige für eine stabile Bewertung?

[bele]

Auf welchem Skalenniveau erfolgt das Feedback, wie stark streut das Feedback, was verstehst Du unter "ausreichend"? Wieviel Daten aus vorherigen Semestern liegen schon vor, mit denen man die von Dir gedachte Monte-Carlo-Simulation füttern könnte?

LG,
Bernhard

[katjagoesstatistik]

Hallo Bernhard,

Das Feedback erfolgte über einen Feedback-Bogen mit 3 Konstrukten á 6 Items. Jedes Item wurde über eine 7er-Likert-Skala gemessen.

Daten aus vorherigen Semestern liegen keine vor. Das Experiment wurde einmal im Semester durchgeführt. Nur mit diesen Daten kann ich arbeiten.

Unter ausreichend verstehe ich es so, dass sich errechnen lässt, dass bspw. das Feedback von 3 Studenten ausreichend ist, weil das Feedback von Student 4 kein signifikantes Delta mehr bringt. Also in der Praxis keinen zusätzlichen Erkenntnismehrwert.

Streuung: Was genau meinst du damit? Inwieweit Feedback von Studenten und Feedback von Experten zueinander abweicht, habe ich bisher mir nur deskriptiv angeschaut. Die Studenten bewerten ca. 40% besser. Zusätzlich will ich noch einen T-Test durchführen, um zu untersuchen ob die beiden Gruppen (Studenten und Experten) signifikant voneinander verschieden sind. Ich weiß nicht mit welchem Test ich zusätzlich untersuchen kann, inwieweit die beiden Gruppen voneinander abweichen. Hast du da eine zusätzliche Idee?

Ich hoffe das konnte deine Fragen beantworten.
LG, Katja

[katjagoesstatistik]

Vll ist die Monte Carlo Simulation auch nicht das richtige Vorgehen. Bei ersten Recherchen war ich drauf gestoßen und nahm an, dass man die Fragestellung damit lösen kann.

[bele]

Naja, Monte Carlo erlaubt bei komplexen Zusammenhängen oft Schätzungen, ohne dass man mutwillig unrealistische Annahmen über Verteilungen treffen muss. Zu jedem Studierenden liegen 5 Bewertungen von Kommilitonen vor. Du könntest nun einen Computer beauftragen, von jeder dieser 5 Bewertungen 4 zufällig auszuwählen und vergleichen, wie weit die Durchschnittsnoten aus 5 Bewertungen von den Durchschnittswerten von 4 Bewertungen abweichen. Das kannst Du beliebig oft wiederholen und musst dann entscheiden, ob Dir die Abweichungen zwischen den Durchschnitten der 5 Beurteiler und den Durchschnitten aus 4 Beurteilern akzeptabel oder nicht akzeptabel erscheinen.
Wenn akzeptabel, dann machst Du dasselbe mit 3 zufällig ausgewählten aus den 5 Bewertungen pro Student usw.

Wenn Du ein wenig programmieren kannst oder jemanden hast, der das für Dich programmieren kann, dann sollte das kein allzugroßes Problem sein. Du musst für Dich klar werden, welche Abweichungen zwischen den Bewertungen Du für noch akzeptabel hälst. Das muss inhaltlich erfolgen und kann Dir nicht von einem Zufallszahlengenerator abgenommen werden.

LG,
Bernhard

[katjagoesstatistik]

Hallo Bernhard,

vielen Dank für deine Antwort!! Ich schaue mal ob ich hinbekommen und vor allem ob was sinnvolles bei rauskommt
Danke dir!!