STATISTIK-FORUM.de

[reis96]

Hallo, ich schreibe gerade an meiner Stexarbeit. Und habe für die SuS einen Test erstellt der die kritische digitale Kompetenz messen soll.
Stichprobe: 21
Habe drei Bereiche erstellt die verschiedene Items erhalten. (Bereich 1 Wissen (20 Punkte); Bereich 2 Navigation bzw. Erkundung (15 Punkte); Bereich 3 Beurteilen (19 Punkte)

Und zwar hab ich am Anfang einen Test erstellt, um den Eingangswert (die Kompetenz) zu messen. Den ich hab ich jetzt auf die interne Konsistenz mit den Messwerten geprüft (Cronbachs Alpha) -> Wert 0,72 also akzeptabel.

Dann hab ich einen zweiten Test (Ausgangstest) erstellt, weil ich eine Unterrichtsmethode (Treatment) eingeführt habe und wollte schauen, ob die Kompetenz dadurch besser wird kann. Dennoch kommt mit den Messwerten eine interne Konsistenz von 0,55 raus. Obwohl die Fragen gleich blieben sind, mit gleichen Punktwerten, sie wurden nur inhaltlich (Beispiele von Bildern und so weiter) verändert??
Ich verstehe gerade nicht warum, dann eine andere interne Konsistenz raus kommt?

Kann mir jemand fehlen, warum das so ist? In sich misst der Test doch das gleiche und somit zuverlässig? (Ich möchte ja mit dem zweiten Test nur die Signifikanz berechnen?)

Und die Werte müssen sich ja nach der Methode (Treatment) verändern, was sie auch gemacht haben.

Kann ich bei der Abschlussarbeit trotzdem sagen, dass die Tests reliabel sind?


Danke

[bele]

Hallo,

Und zwar hab ich am Anfang einen Test erstellt, um den Eingangswert (die Kompetenz) zu messen. Den ich hab ich jetzt auf die interne Konsistenz mit den Messwerten geprüft (Cronbachs Alpha) -> Wert 0,72 also akzeptabel.

Diese 0,72 sind jetzt aber auch nur ein Zufallswert, der eine Stichprobenabhängige Schwankungsbreite aufweist. Man könnte bestimmt mittels Bootstrapping so etwas wie ein 95%-Konfidenzintervall für Cronbachs Alpha angeben, aber ich habe noch nie gesehen, dass das jemand gemacht hätte. Dennoch muss man sich bewusst sein, dass das nur ein Punktschätzer ist. Ich habe dazu keine theoretischen Vorkenntnisse, könnte mir aber vorstellen, dass bei kleinen Stichproben auch die Ergebnisse stark variieren können.

Obwohl die Fragen gleich blieben sind, mit gleichen Punktwerten, sie wurden nur inhaltlich (Beispiele von Bildern und so weiter) verändert??
Ich verstehe gerade nicht warum, dann eine andere interne Konsistenz raus kommt?

Du hast die Schüler verändert durch das Treatment und Du hast die Items verändert (andere Bilder und so weiter), wieso sollte man da gleiche Ergebnisse erwarten.

Kann mir jemand fehlen, warum das so ist? In sich misst der Test doch das gleiche und somit zuverlässig?

Vielleicht hast Du die Schüler mit Deinem Treatment so verwirrt, dass sie gar nicht mehr wussten, was sie angegeben haben?

Kann ich bei der Abschlussarbeit trotzdem sagen, dass die Tests reliabel sind?

Das ist schon kurios. Normalerweise wird in einer Arbeit ein Test evaluiert und dann gehen in Zukunft alle davon aus, dass dieser Test als validiert gilt und deshalb auf nahezu beliebige andere Stichproben angewendet werden darf, ohne neu hinterfragt zu werden. Und weil bei Dir Validierung und Anwendung jetzt in einer Arbeit erfolgen, sollst Du die Reliabilität immer wieder neu hinterfragen? Wie Du damit am besten umgehst, weiß ich leider auch nicht. Vielleicht lohnt es wirklich mal zu recherchieren, ob und wie man ein Konfidenzintervall an Dein Cronbach Alpha heften kann.

Ich hab es selbst nicht gelesen, aber vielleicht hilft das hier: https://doi.org/10.1207/S15327663JCP1304_14 (Journal of Consumer Psychology
Volume 13, Issue 4, 2003, Pages 478-487)

VG,
Bernhard