Pretest - Itemselektion

Fragen zur Planung einer Untersuchung oder eines Projekts.

Pretest - Itemselektion

Beitragvon Schulte » Do 31. Mai 2012, 19:47

Hallo erstmal liebe Forenmitglieder!

Ich erstelle gerade für meine Dipl einen Fragebogen zur Leseleistung und habe ein paar Fragen.

Das Ziel ist es einen Fragebogen zu konstruieren und später einen Normierung zu machen, damit man messen kann ob die Leseleistung gut, mittel oder schlecht ist.

1. ich habe 60 items in testteil 1. ich habe einen pretest gemacht und gesehen, dass 30 items entweder zu hohe lösungsquoten haben (da dichotome variablen habe ich eine inanspruchnahmekorrektur gemacht) oder die trennschärfe schlecht war (<0,25). Kann ich jetzt die 30 übrigen items nehmen und loslegen oder muss ich damit nochmal einen pretest machen??? (also, ich habe damit nochmal einen pretest gemacht, und danach waren wieder 17 items mit zu niedriger trennschärfe da). ich habe nur nicht das geld und die zeit jetzt noch zig pretests durchzuführen.

2. der zweite teil meines fragebogens besteht aus einem multiple choice fragetest. 4 antwortmöglichkeiten bei 4 fragen. ich habe die antwortmöglichkeiten jeweils als eigene dichotome items codiert und dann die trennschärfe für diese 4 items berechnet. kann man das so machen?

3. wenn ich einen test 60 fragen im pretest teste und sehen dass 20 items gut sind und in einem weiteren pretest die items auf 30 reduziere und sehe dass 10 gut sind, diese 10 aber auch im ersten test waren. kann ich die items dann aus beiden tests zusammenkopieren und dann nochmal die trennschärfe für diese items berechnen? oder ist das nicht legitim, weil sie aus zwei verschiedenen fragebögen zusammenkopiert wurden?

Ich bedanke mich schonmal sehr fürs durchlesen und hoffe, dass mir jemand weiterhelfen kann.

Tobi
Schulte
Grünschnabel
Grünschnabel
 
Beiträge: 3
Registriert: Do 31. Mai 2012, 19:30
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post

Re: Pretest - Itemselektion

Beitragvon Streuner » Fr 22. Jun 2012, 19:23

Hey Tobi,

kann dir vermutlich nicht so viel zu dem Thema sagen, wie du vielleicht erhoffst.

Ich höre momentan Grundlagen der Versuchsplanung an der Uni und da sind wir auch auf das Thema Pretest etc zu sprechen gekommen.

Laut Aussage des Profs führt man einen Pretest immer dann durch bzw solange durch, bis man max 8 Faktoren hat, diese werden dann in der 2ten Phase der Modellphase weiterhin getestet und reduziert bis du dann auf max. 3 Faktoren runter bist für die du dann eine Optimierung vornimmst.

In wie weit das ganze in der Praxis vertretbar und vorallem anwendbar ist (betrachte Kosten, Zeitaufwand etc) sei mal dahingestellt, aber in einer perfekten Welt, die die Uni nunmal gerne vorgibt, ist das obige Vorgehen wohl so richtig.


Hoffe ich konnte dir wenigstens etwas helfen.

Mit freundlichen Grüßen,

M.
Streuner
Power-User
Power-User
 
Beiträge: 58
Registriert: Di 25. Okt 2011, 17:28
Danke gegeben: 0
Danke bekommen: 14 mal in 14 Posts


Zurück zu Versuchsplanung

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste