STATISTIK-FORUM.de

[DanielX]

Hallo Community,

ich stehe etwas auf dem Schauch bei der Auswertung eines Fragebogens, bei dem Inhalte unterschiedlich visuell dargestellt und im Anschluss abgefragt wurden.
Es ergibt sich, dass je Formatierung eine Spalte mit Richtig oder Falsch (beantwortet) stehend je Zeile.
Als Beispiel die Formatierung Grau und Rot:
Grau 0 1 1 1 1 1 1 1 1
Rot 0 1 0 0 0 0 1 0 0

Ich habe erst mit einem nichtparametrischen Mann-Withney-U bzw. Wilkox-Test das ganze einseitig getestet. Rot solle halt besser sichtbar sein und zu besseren Antworten führen.
Hierfür erhalte ich dann auch entsprechende Signifikante Ergebnisse, die ich rein logisch anhand der Zählungen und Stichprobengrößen auch nachvollziehen kann.
Nun möchte ich jedoch auch eine Teststärke (1-Beta) bzw auch Effektstärke (bspw. d) ermitteln.
Diese fällt selbst bei 300 Messungen durchweg schlecht aus und liegt kaum bei den avisierten 0,80.
Ich führe dies darauf zurück, dass die StdAbw ja stehts bei dem Binären Daten (0 oder 1) sehr hoch ist.
Damit sinkt natürlich die Effektstärke.

Nun habe ich die richtigen und falschen Antworten mal gezählt und in eine Chi Quadrat Tabelle geworfen.
Falsch Richtig
Grau 1 8
Rot 7 2

Rein vom den p-Werten her komme ich eigentlich zu fast den selben Ergebnissen.
Hingegen weiß ich nicht, wie ich Test- und Effektstärke ermitteln kann (G-Power verstehe ich hierbei nicht).

Eigentlich nahm ich an, dass diese Auswertung eine recht leichte sei.
Erst das Heranziehen der Test- und Effektstärken verwirrt mich nun, sodass ich nichtmal weiß, ob die Verfahren überhaupt richtig wären.

Weiß jemand, wie ich hier zu verfahren habe?

Vielen Dank

[PonderStibbons]

Es ergibt sich, dass je Formatierung eine Spalte mit Richtig oder Falsch (beantwortet) stehend je Zeile.
Als Beispiel die Formatierung Grau und Rot:
Grau 0 1 1 1 1 1 1 1 1
Rot 0 1 0 0 0 0 1 0 0

Verstehe ich nicht. Wie war konkret die Versuchsdurchführung, was wurde gemessen, bei wem wie oft, wie groß ist die Stichprobe, wie sah konkret die Datenanalyse aus?

Ich habe erst mit einem nichtparametrischen Mann-Withney-U bzw. Wilkox-Test das ganze einseitig getestet.

Getestet wird in aller Regel zweiseitig.

Nun möchte ich jedoch auch eine Teststärke (1-Beta) bzw auch Effektstärke (bspw. d) ermitteln.

Warum und wozu post hoc die Teststärke ermitteln?

Und Effektstärken kannst Du an Stichprobendaten nicht ermitteln, allenfalls ein Effektstärkemaß
fr die Stichprobe berechnen, was aber nicht die tatsächliche Effektstärke ist. Und d ist füt Intervallskalen,
wohingegen Du den U-Test (Rangdaten) durchgeführt hast.

Ich führe dies darauf zurück, dass die StdAbw ja stehts bei dem Binären Daten (0 oder 1) sehr hoch ist.

Schwer zu beurteilen, man weiß nicht, was Du da gemessen hast, und was Dzu mit hohen
Standardabweichungen bei binären Daten meinst, ist mir. leider nicht klar. Zudem hast Du
einen U-Test gerechnet, der ist wie gesagt für ordinale/Rangdaten, da gibt es keine
Standardabweichung.

Falsch Richtig
Grau 1 8
Rot 7 2

Jetzt hast Du n=18? Vorher war da was mit 300.

Mit freundlichen Grüßen

PonderStibbons

[DanielX]

Hallo,

vielen Dank für die schnelle Antwort.

Der Versuch ist recht simpel. Es wurden Inhalte unterschiedlich formatiert dargestellt und daraufhin abgefragt.
Bspw. wird etwas grau (schlecht lesbar) und etwas anderes rot (leicht lesbar) dargeboten.
Die Fragen bezogen sich dann auf die jeweilige Formatierung.
Es soll ermittelt werden, ob schlecht lesbares besser verarbeitet und gemerkt wird,
weil mehr Aufmerksamkeit oder Zeit investiert wird.

Die Fragen haben nur eine richtige Antwort und daher konnte ich 1 für richtig oder 0 für falsch recht schnell codieren.
Das Beispiel ist natürlich viel zu kurz aufgeführt. Es sind eben 170 0- und 1-en in der Folge und nicht lediglich die wenigen.
Die Chi Quadrat Matrix wäre damit natürlich numerisch größer.

Ich brauche eigentlich nur einseitig testen, da ich die Hypothese derart formuliert habe, dass eben schlecht lesbares besser abgerufen werde, anstatt anders abgerufen werde.

Die Teststärke zur Auswertung von Versuchen zu ermitteln ist sowohl für die Versuchsplanung als auch Auswertung, insbesondere bei weiteren Ergebnissen, sinnvoll.
In G*Power kann die Effektstärke anhand der Mittelwerte und Standardabweichungen bestimmt werden (zumindest wird das so angegeben).

Es ist aber gut zu wissen, dass für ordinale Daten keine StdAbw betrachtet werden können. Gibt es damit dann keine Teststärkenermittlung post hoc (G*power gibt es zumindest vor)?

[PonderStibbons]

Der Versuch ist recht simpel.
Es wurden Inhalte unterschiedlich formatiert dargestellt und daraufhin abgefragt.

Denselben Leuten? Verschiedenen Gruppen?

Die Fragen haben nur eine richtige Antwort und daher konnte ich 1 für richtig oder 0 für falsch recht schnell codieren.
Das Beispiel ist natürlich viel zu kurz aufgeführt. Es sind eben 170 0- und 1-en in der Folge und nicht lediglich die wenigen.
Die Chi Quadrat Matrix wäre damit natürlich numerisch größer.

Wie vielen Leuten wurde das vorgeführt? Und worin besteht die abhängige Variable, die dann
schließlich ausgewertet wird?

Ich brauche eigentlich nur einseitig testen, da ich die Hypothese derart formuliert habe, dass eben schlecht lesbares besser abgerufen werde, anstatt anders abgerufen werde.

Die Aussage verstehe ich leider nicht. Wie geagt, getestet wird in aller Regel zweiseitig,
siehe https://psychologie.uni-graz.at/de/biol ... -list/faq/ FAQ#3

Die Teststärke zur Auswertung von Versuchen zu ermitteln ist sowohl für die Versuchsplanung als auch Auswertung, insbesondere bei weiteren Ergebnissen, sinnvoll.

Bei der Versuchsplanung sicherlich, aber was genau willst Du jetzt noch ermitteln, nachdem
der Versuch bereits gelaufen ist?

In G*Power kann die Effektstärke anhand der Mittelwerte und Standardabweichungen bestimmt werden (zumindest wird das so angegeben).

Du hast einen U-Test gerechnet, da gibt es keine Mittelwerte udn Standardabweichungen.
Da ich nicht nachvollziehen kann, ob es sich um abhängige oder unabhängige
Messungen handelt und was die abhängige Variable ist, kann ich allerdings nicht
beurteilen, ob U-Test das passende Verfahren ist. Falls n < 20, dann wohl schon.

Mit freundlichen Grüßen

PonderStibbons

[DanielX]

Hallo,

es haben 35 Versuchsteilnehmer fünf Folienpaare betrachten. Nach jedem Folienpaar kamen zwei inhaltliche Fragen,
die entweder Falsch oder Richtig beantwortet wurden. Es gab keine halben Lösungen.
Eine Folie war derart formatiert, dass sie leichter und die andere eben schwerer lesbar war.

Die Betrachtungszeiten konnte ich mit einem t-Test vergleichen. Die Auswärtung zur Ästhetik mit einem Vorzeichentest.

Nun habe ich aber wie gesagt Probleme die Richtig und Falsch Antworten mit dem richtigen Verfahren auszuwerten und das Verfahren zu beurteilen (dafür halt die Teststärke).
Ein t-Test ist ja nicht möglich, da es binäre Werte sind (0 und 1). Ansonsten könnte ich ja den Mittelwert der beiden Folien einer Paarung vergleichen (Summe der 1 / Anzahl der Messungen).

Viele Grüße

[PonderStibbons]

es haben 35 Versuchsteilnehmer fünf Folienpaare betrachten. Nach jedem Folienpaar kamen zwei inhaltliche Fragen,
die entweder Falsch oder Richtig beantwortet wurden. Es gab keine halben Lösungen.
Eine Folie war derart formatiert, dass sie leichter und die andere eben schwerer lesbar war.

Demnach wäre die abhängige Variable "Gesamtzahl der richtigen Antworten je Bedingung"? Und es gab keine 2 Gruppen, sondern alle Probanden betrachteten dieselben Paare? Das letztere hieße, der U-Test wäre falsch, stattdessen bräuchte es ein Verfahren für abhängige Messungen.

Mit freundlichen Grüßen

PonderStibbons

[DanielX]

Genau,

die abhängige wäre die richtigen Antworten je Formatierung, wobei halt zu jeder formatierten Folie eine unformatierte als Referenz/Vergleich/Kontrolle angefügt wurde.
Die Reihenfolge variierte dabei zufällig. Jeder Proband bearbeitete also die Folienpaare und nicht getrennt eine Gruppe Folien mit Formatierungen und eine Gruppe ohne Formatierungen.
GraphPad ermittelt neben U auch gleich W (Wilcoxon Paarvergleichstest) und den zugehörigen p Wert.
Bei meinen Werten erhalte ich ein d = 0.2 bei Eingabe der W auf der Seite https://www.psychometrica.de/effect_siz ... transform2
Die erhaltenen d in G*Power sind dann leider enttäuschend.
Bisher habe ich aber immer post-hoc Wilcoxon-Mann-Withney (two groups) gewählt, da es ja ein within subject design ist.
n1 war dann halt immer gleich n2, da die Probanden ja beide Folie je Paarung betrachteten.
Wenn ich nun aber nach deinem einleuchtenden Vorschlag post-hoc Wilcoxon signed-rank Test (matched pairs) wähle, dann ist die Power für n1 bereits wirklich gut und für mich auch glaubhaft.
Nun weiß ich aber nicht ob n die Anzahl der Folienpaare oder die Summe aller Folien ist (2 x n).
Damit steigt natürlich die Power gleich nochmal deutlich an.

[PonderStibbons]

Tut mir leid, das so hart sagen zu müssen, aber was Du hier präsentierst, ist heilloses Gefasel.
Da Du nicht ansatzweise Willens oder in der Lage zu sein scheinst, Deine Studie und Deine
Auswertungsprobleme nachvollziehbar darzustellen, oder auf konkrete Fragen zu antworten,
nehme ich von einem weiterem Austausch Abstand.

Noch gutes Gelingen.

P.

[DanielX]

Dennoch vielen Dank,

Was daran heillos sein solle verstehe ich leider nicht, da du es ja schon richtig verstanden hast.
Es waren eben 35 Probanden die fünf Folienpaare betrachteten. Auf jedes Folienpaar folgten zwei Fragen (eine zur ersten und eine zur zweiten Folie,
wobei die Reihenfolge der Formatierung wechselte) mit Richtig und Falsch Antworten.
Hieraus folgen 14 Spalten für 14 Fragen auf 35 Zeilen. Zwei Spalten ergeben eine Vergleichsgruppe je Formatierungsart.
Wiederum 7 Spalten zu den formatierten Fragen ergeben 170 Messungen gegenüber 7 Spalten unformatierter Fragen.
Es folgen demnach zwei Spalten mit jeweils 170 0 und 1 in Folge.

All das hast Du bereits richtig erkannt.
Für mich war bzw. ist es nicht ersichtlich eine paarweise Messung zu sein.
Hierzu habe ich daher auch W und U mit einem Häckchen gleichzeitig ermittelt,
da es ein nichtparametrischer Test Wilcoxon Paarvergleichstest bzw. Mann-Whitney-U Test sein sollte.
Meiner Ansicht nach kann es zumindest kein (paarweiser) t-Test sein, da eben nur 0 und 1 vorliegen.

Wenn ich nun die 0 und 1 je Spalte auszähle erhalte ich eine Kreuztabelle.

Einseitig zu Testen ist hiebei von der Art der Hypothese abhängig. Ich brauche nicht nachweisen, dass die Ergebnisse sich unterscheiden.
Für mich ist wichtiger, dass mehr richtige antworten bei den Formatierten Folien vorliegen.
Dies kommt auch bei der Betrachtung des Mittelwertes 0.68 gegenüber 0.43 ((Summe der 1) / 175) erstmal gut hin.

Bisher musste ich in allen Arbeiten a priori als auch post hoc die Teststärke eventuell auch den Effekt nachweisen,
um eine Diskussion der Ergebnisse durchzuführen. Bei den nichtparametrischen Test fällt mir dies eben schwer und auch bei der Kreuztabelle verstehe ich das nicht.
Wie auf der angegebenen Seite aufgeführt kann sehr wohl auch für diese Teste ein Effekt anhand der ermittelten Daten errechnet werden.
Mit G*Power ist dies auch sehr gut möglich.

Ich verstehe es jedoch nicht bzw. weiß nicht damit umzugehen. Beim T Test oder einer Korrelation ist es kein Problem.
Wenn ich d mit G*Power ermitteln will, dann muss ich den Mittelwert und die StdAbw angeben.
Der Mittelwert bei 0 und 1 ist aber eigentlich ein Median, zumindest entsprechend dem Wilcoxon Paarvergleichstest.
Nehme ich stattdessen einen arithmetisches Mittel ((Summe 1)/175) erhalte ich auch eine StdAbw die Mittelwert zu den Grenzen 0 bis 1 entspricht.
Damit ist die StdAbw, meines achtens fehl am Platz und vertraue ich dem Verfahren nicht, wenn es das arithmetische Mittel statt dem Median vorzieht.

VG