STATISTIK-FORUM.de

[marina_w]

Hallo!

Folgendes Problem:

ich habe drei interessierende Variablen
Prozent richtig beantwortet (z.Bsp. 56%)
mittlere Reaktionszeit für Korrekte Antworten (bsp. 500ms)
mittlere Reaktionszeit für falsche Antworten (bsp. 600ms)

Es handelte sich um eine Wiedererkennungsaufgabe. Es konnte jeweils "ja, kommt mir bekannt vor" oder "nein, kommt mir nicht bekannt vor" angekreuzt werden.

Der mittelwert aller Versuchspersonen lag bei 55% richtig, was ich per t-test als signifikant abweichend vom Zufall einschätzen konnte. Des weiteren wurden korrekte Antworten signifikant schneller gegeben als inkorrekte.

Nun zum eigetlichen Problem. ich habe die gleiche Aufgabe von 30 neuen Versuchspersonen ausfüllen lassen, allerdings ohne dass diese vorher das Stimulusmaterial sahen. Der Test war also "sinnlos" und die Prozent Richtig sollten bei 50% liegen. Leider habe ich aber auch bei dieser Gruppe einen signifikant von 0.5 abweichenden Mittelwert (54%) gefunden. Dafür aber unterscheiden sich hier die Geschwindigkeiten zwischen korrekt und inkorrekt nicht mehr.

In einem nächsten Schritt habe ich eruiert, ob es einen möglichen bias im Stimulusmaterial gibt. Es würde zu lange dauern, dass genau zu erklären, aber grundsätzlich habe ich für jeden Stimulus, der abgefragt wurde, eine Wahrscheinlichkeit berechnet, dass er als richtig eingestuft wird.
der Mittelwert aller dieser biases lag allerdings bei 0.52, was laut t test nicht signifikant von 0.5 abweicht.

Nichts destotrotz ich dann stimuli ausgeschlossen, die einen ganz kleinen oder ganz hohen bias hatten. das führte dazu, dass weder in der experimentalgruppe, noch in der Kontrollgruppe sich der score von 0.5 unterschied und dass dann auch der Reaktionszeiten-Effekt futsch war. Es ist aber auch sehr gut möglich, dass das daran lag, dass ich mit viel weniger Stimuli (also trials) gerechnet habe.

Der weitaus wichtigere Effekt für mich ist der Reaktionszeiten effekt. Die Prozent richtig interessieren mich eigentlich gar nicht. Im gegenteil, die Hypothese war, dass sich die prozent richtig nicht unterscheiden vom Zufall, dafür aber die Reaktionszeiten für korrekte Antworten (versus inkorrekte). Hat jemand eine Idee, was ich noch rechnen könnte?

oder hat jemand vielleicht eine Idee, wie ich glaubhaft erklären kann, dass bei den %-Richtig angaben das Stimulusmaterial wahrscheinlich ein Problem darstellte, aber ich tortzdem noch den REaktionszeiten-effekt als ok interpretieren kann?

[PonderStibbons]

Leider habe ich aber auch bei dieser Gruppe einen signifikant von 0.5 abweichenden Mittelwert (54%) gefunden.

Wenn mit dem Versuchsdesign alles in Ordnung war, dann kommt das (bei Zugrundelegung der üblichen statistischen Signifikanzschwelle) in 5% der Stichproben vor.

Die Prozent richtig interessieren mich eigentlich gar nicht. (...) oder hat jemand vielleicht eine Idee, wie ich glaubhaft erklären kann, dass bei den %-Richtig angaben das Stimulusmaterial wahrscheinlich ein Problem darstellte, aber ich tortzdem noch den Reaktionszeiten-effekt als ok interpretieren kann?

Ich verstehe im Moment noch nicht, warum das Erste ein Problem sein sollte, und selbst wenn, wieso das die Interpretation des Zweiten beeinflussen sollte.

Mit freundlichen Grüßen

PonderStibbons

[strukturmarionette]

Hi,

In einem nächsten Schritt habe ich eruiert, ob es einen möglichen bias im Stimulusmaterial gibt.

- Mit sowas wäre aber zu beginnen und sorgfältig dabei vorzugehen, weil das entscheidend für alles weitere ist.

Gruß
S.

[marina_w]

Wenn mit dem Versuchsdesign alles in Ordnung war, dann kommt das (bei Zugrundelegung der üblichen statistischen Signifikanzschwelle) in 5% der Stichproben vor.

ja das stimmt, allerdings halte ich es als Interpretationsgrundlage für doch etwas schwach... Schliesslich müsste man dann ja jeden Nulleffekt erklären können als "per Zufall war es in dieser Stichprobe nicht der Fall"... Oder?

Ich verstehe im Momen noch nicht, warum das Erste ein Problem sein sollte, und selbst wenn, wieso das die Interpretation des Zweiten beeinflussen sollte.

Naja, ich behaupte ja, dass der Accuracy Effekt als nichtig zu erachten ist, weil er sowohl in der Kontrollgruppe als auch in der Experimentalgruppe signifikant ist. Dann vermute ich, dass mit dem Stimulusmaterial etwas nicht ganz koscher ist und dass das der grund war weshalb es zum effekt kam. Nun ist es ja eigentlich ein Problem, wenn ich das genau gleiche Stimulusmaterial als grundlage für meinen anderen Effekt nehme, und da aber kein Problem sehe? Oder denkst du die Interpretation ist ok, solange sich dieser zweite Effekt nur in der Experimentalgruppe zeigt?

Vielen Dank für deine konstruktiven Ansätze!

[marina_w]

Mit sowas wäre aber zu beginnen und sorgfältig dabei vorzugehen, weil das entscheidend für alles weitere ist.

das ist mir schon klar, aber
1. a little too late my friend und
2. Die Daten waren schon erhoben, bevor ich dem Projekt zugewiesen wurde.

[PonderStibbons]

ja das stimmt, allerdings halte ich es als Interpretationsgrundlage für doch etwas schwach... Schliesslich müsste man dann ja jeden Nulleffekt erklären können als "per Zufall war es in dieser Stichprobe nicht der Fall"... Oder?

Ich muss gestehen, ich verstehe die Frage nicht. Wenn Dein Design in Ordnung war, ist das ein statistisches Zufallsergebnis. Ob es nun tatsächlich in Ordnung war oder nicht, entzieht sich naturgemäß meiner Kenntnis.

Naja, ich behaupte ja, dass der Accuracy Effekt als nichtig zu erachten ist, weil er sowohl in der Kontrollgruppe als auch in der Experimentalgruppe signifikant ist. Dann vermute ich, dass mit dem Stimulusmaterial etwas nicht ganz koscher ist und dass das der grund war weshalb es zum effekt kam.

Du schriebst "Die Prozent richtig interessieren mich eigentlich gar nicht."

Nun ist es ja eigentlich ein Problem, wenn ich das genau gleiche Stimulusmaterial als grundlage für meinen anderen Effekt nehme, und da aber kein Problem sehe? Oder denkst du die Interpretation ist ok, solange sich dieser zweite Effekt nur in der Experimentalgruppe zeigt?

Dein Versuchsaufbau ist rudimentär beschrieben, daher bin ich nicht in der Lage, sowas oder auch das Gegenteil zu denken. Ich habe geschrieben, dass ich nicht verstehe, wo das Problem liegt. Wieso also die Reaktionszeitunterschiede zwischen richtigen und falschen Reaktionen davon abhängen, dass der Erwartungswert für richtige Reaktionen von 50% abweicht.

Mit freundlichen Grüßen

PonderStibbons

[strukturmarionette]

Hi,

Die Daten waren schon erhoben, bevor ich dem Projekt zugewiesen wurde.

- Es geht nicht um die Daten, sondern um die Tauglichkeit Deines Messprocederes dabei für die Zielpopulation.

Gruß
S.

[marina_w]

Du schriebst "Die Prozent richtig interessieren mich eigentlich gar nicht."

das war wohl etwas unglücklich formuliert von meiner Seite. Es ist so, dass ich erwartet hatte, dass sich die Wahrscheinlichkeit der "Prozent Richtig" Antworten nicht vom Zufall unterscheidet (bei keiner der Gruppen). Was ich aber erwartet hatte, war dass Reaktionszeiten schneller sind für korrekte Antworten als für inkorrekte (und das nur für die experimentalgruppe).

ch habe geschrieben, dass ich nicht verstehe, wo das Problem liegt. Wieso also die Reaktionszeitunterschiede zwischen richtigen und falschen Reaktionen davon abhängen, dass der Erwartungswert für richtige Reaktionen von 50% abweicht.

Hmm.. ich glaube ich verstehe langsam, was du meinst. der accuracy effekt (Prozent Richtig) ist bei beiden Gruppen überzufällig. Ein solcher Effekt kann zu einer Wahrscheinlichkeit von 5% auftreten. der effekt hat nichts mit meiner experimentellen Manipulation zu tun, weswegen er nicht interessant ist. Trotzdem finde ich einen Effekt, der "nur" (höchstwahrscheinlich) auf die experimentelle Manipulation zurückzuführen ist: Reaktionszeiten sind schneller für korrekte vs. inkorrekte Antworten.

Mein Gedanke war folgender: es werden Leuten mehrere Vergleiche vorgesetzt, bspw.

KATZE - GIRAFFE
HUND - MÜCKE
DELFIN - ELEFANT
...

sie müssen jedesmal entscheiden, welches der beiden Tiere sie gestern in der Wortliste gesehen hatten.

Wenn ich dann weiss, dass Bsp. "KATZE" in 90% der Fälle als richtig gewählt wird (obwohl das Wort vielleicht nie auf der Liste stand), dann könnte das auch ein Problem darstellen für die Interpretation der Reaktionszeiten. KATZE wird dann vielleicht grundsätzlich schneller beantwortet, was nichts mit korrekt oder inkorrekt zu tun hätte