STATISTIK-FORUM.de

[TH0R]

Hi,

ich habe zwei Probandengruppen getestet eine beinhaltete Piloten (Anzahl 5) und die zweite nicht Piloten (Anzahl 14).

Da die Anzahl der Piloten-Gruppe sehr gering ist möchte ich gerne überprüfen, ob ich diese mit der zweiten Gruppe zusammenlegen kann.

D.h. ich möchte schauen, ob die 5 Piloten einen Einfluss auf die zweite Gruppe haben und mein Ergebniss maßgeblich beeinflussen würden. Ist dies nicht der Fall würde ich sie zusammenlegen und als 19 Probanden in einer Gruppe aus meine gemessenen Werte des System Usability Scale und NASA TLX anwenden, damit ich vers. gemessene Technologien (Anzahl 3) vergleichen kann. Jeder Probandengruppe hat die Tests für alle 3 Technologien bewertet, d.h. es handelt sich um abhängige Daten.

Mit welchen Methoden kann ich dies einfach überprüfen?

[bele]

Verrätst Du uns noch das Skalenniveau, auf dem man Technologien misst?

[TH0R]

Das System Usability Scale besteht aus 10 Likert-Skalen aus denen ein Endwert berechnet wird, dieser Bewegt sich zwischen (0-100).

Der NASA TLX besteht aus 6 Likert-Skalen, welche in 20 Schritte unterteilt werden. D.h. sie beinhalten fünfer Schritte im Bereich 0-100. Anhand der sechs Skalen wird ein Durchschnittswert gebildet, welcher zwischen 0-100 liegen kann.

Somit müssten wenn ich das richtig sehe und verstanden habe beide Tests am Ende "intervallskaliert" sein.

[bele]

Du hast also zwei Gruppen mit intervallskalierten Merkmalen. Du könntest mittels eines t-Tests prüfen, ob beide Gruppen signifikant unterschiedliche Mittelwerte haben. Wenn ja, dann gehören sie nicht in einen Topf. Wenn nein, dann hast Du Dir wenigstens Mühe gegeben, danach zu schauen.

Manche würden sagen, dass die geringe Fallzahl eher gegen einen t-Test spricht, ich würde aber dennoch den t-Test vorschlagen: Da es hier mehr um die Kontrolle des Fehlers 2. Art als um die des Fehlers 1. Art geht, solltest Du das Verfahren mit der höheren Power wählen.

JMTC,
Bernhard

[PonderStibbons]

D.h. ich möchte schauen, ob die 5 Piloten einen Einfluss auf die zweite Gruppe haben und mein Ergebniss maßgeblich beeinflussen würden.

Da werden Tests nicht helfen, eventuell der Augenschein. Oder Du nimmst das mit ins Modell rein, also eine Messwiederholungs-Varianzanalyse mit dem Messwiederholungsfaktor "Technologie" und dem Gruppierungsfaktor "Pilot" (ja/nein).

Mit freundlichen Grüßen

P.

[TH0R]

1. Ok. D.h. ich muss es im Endeffekt nach gefühl entscheiden und man kann das nicht via Standardabweichung und Vergleichen eindeutig bestimmen?

2. Normalerweise hätte ich einen Friedman Test druchgeführt, um zu prüfen ob ein signifikanter Unterschied zwischen meinen 3 Technologien (unabh. Variablen) in Bezug auf den SUS und NASA TLX (abh. Variable) vorliegt?

Wenn ich nun das Modell mit zwei Faktore "Technologie" und "Pilot" (ja/nein); überprüfe bräuchte ich einen Test für Messwiederholung mit zwei Faktoren? Was ist dahingehen Vergleichbar mit dem Friedman Test?

[PonderStibbons]

Der Haupteffekt für "Technologie" entspricht in etwa dem Friedman-Test,
nur eben wird der Faktor Gruppenzugehörigkeit berücksichtigt sowie die
Wechselwirkung Gruppe*Technologie. Da Gruppeneffekt und Wechselwirkung
hier nicht inhaltlich interessieren, brauchen sie nicht interpretiert zu werden.

Mit freundlichen Grüßen

P.

[TH0R]

Der Haupteffekt für "Technologie" entspricht in etwa dem Friedman-Test,
nur eben wird der Faktor Gruppenzugehörigkeit berücksichtigt sowie die
Wechselwirkung Gruppe*Technologie. Da Gruppeneffekt und Wechselwirkung
hier nicht inhaltlich interessieren, brauchen sie nicht interpretiert zu werden.

Mit freundlichen Grüßen

P.

Wie meinst du das jetzt genau? Und auf welches Verfahren beziehst du deine Aussage?

1. Du meinst also das bei deinem Verfahren (welches ich jetzt nicht genau rauslesen kann) in den Haupteffekt der Technogie, also deren Einfluss, der Gruppenfaktor (Pilot/nicht Pilot) einfließt?
2. D.h. also ich hätte das schon in meinem Ergebniss für die Signifikanz mit drin? Sozusagen werden beide Faktoren zu einem Zusammengeführt?
3. Ich versteh allerdings deine Aussage nicht, wieso mich die Wechselwirkung nicht zu intressieren braucht. Ich will doch gerade wissen ob die Pilotengruppe einen Unterschied oder starke Wechselwirkung auslöst und mein Ergebnis verfälscht.

[PonderStibbons]

Wie meinst du das jetzt genau? Und auf welches Verfahren beziehst du deine Aussage?

Auf das, was ich bereits schrieb:

Oder Du nimmst das mit ins Modell rein, also eine Messwiederholungs-Varianzanalyse mit dem Messwiederholungsfaktor "Technologie" und dem Gruppierungsfaktor "Pilot" (ja/nein).

3. Ich versteh allerdings deine Aussage nicht, wieso mich die Wechselwirkung nicht zu intressieren braucht. Ich will doch gerade wissen ob die Pilotengruppe einen Unterschied oder starke Wechselwirkung auslöst und mein Ergebnis verfälscht.

Weil diese Befürchtung besteht, wird der Faktor "Gruppe" mit ins Modell genommen,
um den Effekt von "Technologie" ohne Verzerrung durch "Gruppe" testen zu können.
Inhaltlich interessiert er Dich der Gruppeneffekt aber nicht, nur als Störfaktor, zumindest
hatte ich es bisher so gelesen. Wenn Du ihn dennoch interpretieren willst, hindere ich
Dich natürlich nicht dran. Nur wäre ein nicht-signifikanter Gruppeneffekt nicht gleichbedeutend
mit "kein Einfluss". Die Stichprobe ist sehr klein und der Nachweis bestehender Effekte
damit von vornherein nur mäßig wahrscheinlich.

Mit freundlichen Grüßen

P.

[TH0R]

OK. Danke. Jetzt ist mir deine Aussage klar.

Ich weiß das die Stichproben allgemein sehr klein sind und da die Stichprobe von 5 Piloten sehr klein ist, wollte genau den Versuch starten die Statistik innerhalb einer Gruppe durchzuführen und dann mit den Interviewdaten mehr ins Detail gehen zu können.

Mit freundlichen Grüßen

TH0R