STATISTIK-FORUM.de

[TH0R]

Hi,

ich habe einen Versuch mit 3 Technologien mit denen die gleiche Aufgabe durchgeführt wird. (Die Aufgabe besteht aus 3x einstellen eines Wertes mit jeweils der selben Durchführung)

Ich möchte letzlich feststellen, wo die Unterschiede zwischen dem 3 Technologien in Bezug auf die gleiche Aufgabe liegen. D.h. einen signifikanten Wert in Bezug auf den Workload unterschied.

Ich tendiere zu einer ANOVA aber ich bin mir den mit den Leveln und Faktoren nicht sicher.

Kann mir jmd. sagen was sich eigent und hat evtl. Literatur/Links für die Einarbeitung?

MfG

TH0R

[rotkehlpieper]

Hi THOR,

was genau bedeutet "3x einstellen eines Wertes"? Bekommst Du also drei (kontinuierliche) Werte pro Technologie, die jeweils mit genau demselben Verfahren hergestellt wurden? Bedeutet dies, dass Du insgesamt nur 3 + 3 + 3 Messwerte hast?

Viele Grüße

[TH0R]

Das hängt vom Wert ab.

Bei der Eingabezeit habe ich 3+3+3 Werte bin aber am Überlegen einen Mittelwert zu bilden.
Ansonsten dient die Wiederholung zur Belastung des Probanden, da er im Anschluss an die Durchführung der 3 Ausführungen pro Technologie ein Workloadwert bestimmt wird.

Ist es möglich zudem mit einem Testfahren 2 Gruppen gegenüberzustellen oder sollte man beides Splitten und sagen ich nehme Technologie A und vergleiche die zwei Gruppen mit einem T-Test?

[strukturmarionette]

Hi,

Hi,

es wäre günstig, wenn zunächst hier mitteilst:
- deine Stichprobenumfänge
- die Skalenniveaus aller Variablen Deiner Rohdatenmesswerte

Gruß
S.

[TH0R]

Also bei den Stichprobenumfängen handelt es sich um circa 10 Probanden pro Gruppe, was schließliche eine Prüfung der Normalverteilung mit sich bringt.

Bei den Skalenniveaus handelt es sich zum einen um Eingabezeiten, den System Usability Scale und den NASA Task Load Index.

Der SUS (1-5 bzw. über die 10 Likert Skalen ein addierter Wert von 1-100) und der NASA TLX (1-20 je Skala bzw. werden die einzelenen Skalen in 5 Schritten in 0-100 umgerechtnet) beinhalten beide Intervallskalen (metrisch), diese letztlich in einem Gesamtwert zusammen laufen, welcher zum Vergleich der 3 Technologien führen soll.

Dieser Vergleich soll zudem zwischen 2 Gruppen druchgeführt werden, um einen Vergleich zwischen erfahrenen Personen und unerfahrenen zu erhalten.

[strukturmarionette]

Hi,

das:

SUS (1-5 bzw. über die 10 Likert Skalen ein addierter Wert von 1-100) und der NASA TLX (1-20 je Skala bzw. werden die einzelenen Skalen in 5 Schritten in 0-100 umgerechtnet)

durchschaue ich ich zwar nur zum Teil.

Weil aber kleine Stichproben vorliegen, bieten sich nichtparametrische Tests an (also keine F-Tests der Anova o.ä.).
Weil sowohl abhängige als auch unabhängige Stichproben zu vergleichen sind, kommen mehrere Tests in Frage.
Des Weiteren kann es Sinn machen zusätzlich 'Exact Tests' oder 'MonteCarlo' Prozeduren zu verwenden, je nach verwendeter Software.
Zusätzlich wären noch Anpassungen der Signifikanzniveaus in Betracht zu ziehen wegen multipler Testerei.

Gruß
S.

[TH0R]

Danke schonmal. Das hilft schonmal weiter.

Zur Erläuterung der beiden Tests das System Usability Scale enthält 10 Likert Skalen (1-5), welche am Ende mittels Umrechnungsverfahren in einen Gesamtwert (1-100) umgerechtnet werden.
Dieser Wert dient dem Vergleich der Usability zwischen den Systemen.

Der NASA Taskload Index beinhaltet 6 Sklalen mit einer Bereich von 1-20, aus diesen sechs Skalen wird ein Mittelwert (für den Workload) gebildet, welcher am Ende als Vergleich zwischen den Technologien genutzt wird und liegt zwischen 0-100.


Nun zum Verständnis die abhängigen Stichproben Test wären dann für den Vergleich zwischen den 3 Technologien innerhalb einer Aufgabe, da eine Stichprobe. Die unabhängigen Stichproben Test für den Vergleich zwischen den zwei Gruppen.

Fragen:

Mir stellt sich nun allerdings die Frage, wie muss ich die Daten verarbeiten. Wenn ich die 3 Technologien innerhalb einer Stichprobe vergleiche (Mittelwertvergleich zwischen den Technologien) ist, dass dann Vergleichbar mit den nichtparametrischen Verfahren, welche man für mehr als zwei Gruppen anwendet und eine Technologie stellt in diesem Sinne eine Gruppe dar? Oder welche Tests finden hier eine Anwendung?

Was genau verstehst du unter multipler Testerei?

Und zu letzt entnehme ich deiner Beschreibung, dass mit den gängigen Verfahren nur ein Vergleich von dem Workload von Technologie A zwischen den zwei Gruppen möglich ist und ein Vergleich des Workloads aller 3 Technologien gleichzeitg zwischen den beiden Gruppen so nicht in Frage kommt?

[TH0R]

Ich habe micht jetzt nochmal weiter mit der Thematik beschäftig und habe im Endeffekt immernoch die gleiche Frage.

Im Prinzip gilt es zwei Vergleiche durchzuführen:

1.) zum einen den Vergleich innerhalb einer Stichprobe, um den unterschied der Auswirkungen der Technologien auf den Workload zu bestimmen.
2.) Vergleich einer Technologien und dem Workload zweier Gruppen (das wäre dann wohl der U-Test, aufgrund der kleinen Stichproben und unabhängigen/unverbunden Gruppen)

Nun nochmals zu 1.)

- Hierbei handelt es sich doch schonmal um abhängige/verbundene Stichprobe da nur eine Stichprobe vorhanden, aber drei Technologien. (oder ist dem nicht so da die drei Technologien nicht miteinander direkt in Verbindung stehen, trotz der gleichen Stichprobe?)

-somit Verhält sich das ganze doch wie eine Untersuchung wie bspw. eine Zeitmessung mit Alkhol und das gleiche als zweite Messung nur ohne Alkohol. Die Technologien wären dann sozusagen der Alkohol und würde letztlich 3 Populationen erhalten, die letztlich aber unter abhängig fallen, da ich genau die exakte Anzahl an Probanden bzw. die Probanden selber habe. Und die Zeit wäre in meinem Fall der Workload.

-Weiterhin wird es wohl so sein, dass keine normalverteilten Werte vorliegen werden, da die Stichprobe so gering.


Letzlich zu klärende Fragen bzw. dem korrekten Verständnis:

Nehme ich nun sozusagen an, dass ich abhängige Stichproben habe und durch die 3 Technologien, demnach 3 Gruppen/Populationen auf ihren möglichen signifikanten Unterschied (im Workload) vergleiche?

Wenn ja käme doch der Friedman-Test für die Untersuchung in Frage, sehe ich das richtig?


Wäre nett und super, wenn mir das jmd. nochmal darstellen könnte. Da bei mir sich alles im Kopf dreht und ob mein Verständnis von abhänigen/unabhänigen bzw. der Einteilung druch die 3 Technologien korrekt ist.
Mir ist bewusst das noch Vortest, wie bspw. ob einen Normalverteilung vorliegt nötig sind. Ich möchte nur generell Verstehen, wo ich sozusagen das Ziel oder den Abschluss der Tests sehen kann, um mich besser einarbeiten zu können.