STATISTIK-FORUM.de

[sprinter1]

Hallo,

in meiner Bachelorarbeit soll der Klang vier verschiedener Fahrzeuge bewertet werden, wozu ich eine Frage habe.

Die Bewertung der Fahrzeuggeräusche erfolgt in unterschiedlichen Kategorien, eine ist z.B. die Lautstärke. Es werden den Probanden die Geräusche vorgespielt und sie müssen einen Fragebogen ausfüllen. Zur Skalierung wird ein Kategorie-Unterteilungsverfahren verwendet. Hierbei werden grobe Kategorien z.B. Viel zu laut – zu laut – passend – zu leise – viel zu leise in jeweils 10 feinere Kategorien unterteilt, welche angekreuzt werden sollen. Dabei ergeben sich insgesamt Antwortmöglichkeiten von 1 bis 50, welche als intervallskaliert angenommen werden können.

Die Antworten der Probanden sollen zunächst zum Überblick als Boxplot dargestellt werden. Anschließend möchte ich dem Leser mitteilen, ob sich die Bewertung der Fahrzeuggeräusche statistisch signifikant unterscheiden. Hierfür möchte ich eine Varianzanalyse durchführen (Auswahl des Verfahren erfolgt, wenn Messdaten vorliegen). Anschließend strebe ich die Durchführung eines post hoc tests an, um herauszufinden, welche Fahrzeuggeräusche sich unterscheiden.

Sollten sich Unterschiede ergeben, stellt sich die Frage, wie groß diese sind. Sollten Klang A z.B. „mehr zu laut“ als Klang B sein, Klang B dafür aber z.B. anstrengender als Klang A, ist eine Kenntnis über die Größe der Unterschiede notwendig, um eine Gesamtbeurteilung zu ermöglichen. Ist Klang A nur unwesentlich „mehr zu laut“ als Klang B (z.B. Mittelwert Lautstärke: Klang A 40, Klang B 35), Klang B allerdings deutlich anstrengender als Klang A (z.B. Mittelwert anstregend: Klang A 25, Klang B 40), deutet dies darauf hin, dass Klang A insgesamt präferiert wird (es soll einfachheitshalber angenommen werden, dass Lautstärke und Angenehmheit exakt die gleiche Relevanz für die Gesamtbeurteilung hat) .

Was mich daher interessiert, wie kann ich die Größe der Unterschiede zwischen den Fahrzeuggeräuschen statistisch abgesichert bestimmen? Also eine Größe, die mir sagt, wie die Größe der Unterschiede zwischen den Mittelwerten zu bewerten ist.

Mir fallen zwei Möglichkeiten ein.
a) Cohens d oder vergleichbares für die post-hoc-tests berechnen. Vorteil: recht etabliert, Nachteil: Interpretation schwierig
b) Die sich bei den post-hoc-test ergebenen Konfidenzintervalle dürfen ja den Wert 0 nicht beinhalten, um einen statistisch signifikanten Unterschied
nachzuweisen. Deutet ein großer Abstand des Intervalls zu der 0, auf einen großen Unterschied zwischen den Geräuschen hin? Also besteht ein
Zusammenhang zwischen der Größe der Unterschiede und dem Abstand des Intervalls zu 0? Vorteil: falls, das überhaupt Sinn macht, einfacherer
Interpretation, da der Abstand ein Intervall auf der Intervallskala ist, Nachteil: macht evtl. keinen Sinn

Ich würde mich sehr freuen, wenn ihr die Möglichkeiten kommentieren könntet oder vielleicht sogar bessere Ideen nennen könnt.

[bele]

Wenn "laut" und "unangenehm" auf derselben Skala gemessen werden und als gleich relevant gelten und die Skalen als intervallskaliert angenommen werden dürfen, was spricht dagegen für jeden Probanden die Summe oder den Mittelwert von "laut" und "unangenehm" zu bestimmen? Das wäre dann Deine Gesamtbeurteilung.

Die Größe der Unterschiede zwischen intervallskalierten Daten ist normalerweise der Abstand der Mittelwerte. Entweder in absoluten Skalenwerten oder normiert an der Standardabweichung (siehe Cohen d).

LG,
Bernhard

[sprinter1]

Wenn "laut" und "unangenehm" auf derselben Skala gemessen werden und als gleich relevant gelten und die Skalen als intervallskaliert angenommen werden dürfen, was spricht dagegen für jeden Probanden die Summe oder den Mittelwert von "laut" und "unangenehm" zu bestimmen? Das wäre dann Deine Gesamtbeurteilung.

Erstmal Danke für deine Antwort.

Wenn der Mittelwert ausreicht, um Unterschiede zu beschreiben, käme ein Unterschied der größer als 0 ist, ja einem Signifikanztest mit abgelehnter Nullhypothese gleich. Nun macht man ja die Signifikanztests, da wenn man nur die Mittelwerte betrachtet, man dazu tendiert könnte, Unterschiede zu sehen, wo keine sind. Analog dazu könnte auch der Vergleich von Mittelwertunterschieden dazu führen, dass dadurch die Größe der Unterschiede zwischen den Geräuschen als größer oder kleiner angesehen wird, als sie tatsächlich sind. Ich finde es zumindest unlogisch zu sagen, ich habe ein statistisch signifikanten Unterschied mit einem Signifikanzniveau von 5% festgestellt und vergleiche anschließend die Mittelwert, wo ich gar kein Signifikanzniveau mehr beachte.

Deshalb frage ich mich, ob es eine Möglichkeit gibt, genauso wie man die Existenz von Mittelwertunterschieden mit einem bestimmten Signifikanzniveau absichern kann, auch die Größe von Unterschieden statistisch abzusichern. Also praktisch, wie sicher kann ich mir sein, dass Klang A tatsächlich nur wenig lauter als Klang B und Klang B tatsächlich deutlich unangenehmer als Klang A empfunden wird. Diese Sicherheit geben mir die alleinige Betrachtung der Mittelwerte ja nicht. Und da dachte ich, dass vielleicht einer der beiden Möglichkeiten eine bessere Lösung darstellt.

[PonderStibbons]

Schau vielleicht mal nach Äquivalenztest.

Mit freundlichen Grüßen

P.

[bele]

Ich finde es zumindest unlogisch zu sagen, ich habe ein statistisch signifikanten Unterschied mit einem Signifikanzniveau von 5% festgestellt und vergleiche anschließend die Mittelwert, wo ich gar kein Signifikanzniveau mehr beachte.

Unlogisch ist das nicht - das sind nur zwei verschiedene Dinge. Die Stichprobenmittelwerte sind der beste Schätzer für den wahren Mittelwert und der Test sagt Dir, ob Du von ihm auf die Grundgesamtheit schließen darfst.
Würde es Dir reichen, ein 95%-Signifikanzniveau für den Mittelwertunterschied hast oder müssen beide Informationen in einen Wert rein?

[sprinter1]

Schau vielleicht mal nach Äquivalenztest.

Danke für den Hinweis.

Bin mir bisher nicht sicher, wie ich das konkret verwenden kann. Vielleicht kann man die Grenzen verschieben, bis keine Äquivalenz mehr vorliegt und gucken, wie sich das bei den verschiedenen Geräuschvergleichen verhält. Muss ich mir noch mal genauer angucken.

Die Stichprobenmittelwerte sind der beste Schätzer für den wahren Mittelwert und der Test sagt Dir, ob Du von ihm auf die Grundgesamtheit schließen darfst.

Ich darf doch aber nur von ihm auf die Grundgesamtheit schließen, in der Behauptung, es kann ein statistisch signifikanter Unterschied zwischen den Mittelwerten nachgewiesen oder nicht nachgewiesen werden. Alle weiteren Aussagen über die Grundgesamtheit lassen sich doch daraus nicht ableiten.

Würde es Dir reichen, ein 95%-Signifikanzniveau für den Mittelwertunterschied hast oder müssen beide Informationen in einen Wert rein?

Ein Mittelwertunterschied mit einem 95%-Signifikanzniveau klingt gut. Das müsste doch dann aber ein Bereich sein oder? Also so eine Art 95% Konfidenzintervall für die Mittelwertunterschiede. Wobei ein Bereich die Vergleichbarkeit der verschiedenen Mittelwertunterschiede erschweren würde. Vielleicht entscheidet man sich dann für einen bestimmten Wert in diesem Intervall, z.B. die untere Grenze. Meinst du mit den beiden Informationen, den Mittelwertunterschied und das 95%-Signifikanznivaeu?

[bele]

Ob nun signifikant oder nicht signifikant - der Mittelwertunterschied in der Stichprobe bleibt Dein bester Schätzer dafür, wie groß der Unterschied in der Grundgesamtheit ist. Mit der Betonung auf "Schätzer". Dass ein Schätzer auch mal daneben liegen kann liegt in der Natur der Sache. Ich denke, ich habe immer noch nicht genau genug verstanden, wohin Du mit Deiner Frage willst. Was genau Du mit der statistischen Größe aussagen willst, nach der Du gerade suchst.

LG,
Bernhard

[sprinter1]

Ob nun signifikant oder nicht signifikant - der Mittelwertunterschied in der Stichprobe bleibt Dein bester Schätzer dafür, wie groß der Unterschied in der Grundgesamtheit ist. Mit der Betonung auf "Schätzer". Dass ein Schätzer auch mal daneben liegen kann liegt in der Natur der Sache. Ich denke, ich habe immer noch nicht genau genug verstanden, wohin Du mit Deiner Frage willst. Was genau Du mit der statistischen Größe aussagen willst, nach der Du gerade suchst.

LG,
Bernhard

Ich denke, ich suche nach einem konservativeren Schätzer der Mittelwertunterschiede. Und ein dazugehörigen Wert, der mir sagt, mit welcher Wahrscheinlichkeit dieser oder ein höherer Mittelwertunterschied in der Grundgesamtheit vorhanden ist.

Die Durchführung von Signifikanztests ist ja praktisch auch eine konservativere Betrachtung von Mittelwertunterschieden. So werden vorhandene Mittelwertunterschiede erst ab einem bestimmten Wert als statistisch signifkant eingestuft.

Einfach gesagt und mathematisch nicht korrekt: Bei nicht signifikantem Unterschied, sagt der konservative Schätzer des Mittelwertunterschieds, der Mittelwertunterschied beträgt 0 und das ist mit einer Wahrscheinlichkeit von 95% auch in der Grundgesamtheit der Fall. Bei signifikanten Unterschied, sagt der konservativer Schätzer des Mittelwertunterschieds, der Mittelwertunterschied beträgt X und zu Y %, tritt dieser oder ein höherer auch in der Grundgesamtheit auf. Nun die Frage, was X und Y ist.

[PonderStibbons]

Bei nicht signifikantem Unterschied, sagt der konservative Schätzer des Mittelwertunterschieds, der Mittelwertunterschied beträgt 0 und das ist mit einer Wahrscheinlichkeit von 95% auch in der Grundgesamtheit der Fall.

Beide Aussagen sind im Kontext der Signifikanztesterei nicht möglich.
Nichtsignifikant bedeutet lediglich, dass die Nullhypothese nicht
zurückgewiesen konnte (in der Regel, weil die Stichprobe zu klein war),
nicht dass die Annahme Parameter = 0 wahr ist.
Wahrscheinlichkeitsaussagen zu Parameterausprägung sind in
diesem Rahmen entsprechend nicht möglich. Das Konfidenzintervall ist
nicht das Intervall, das mit einer bestimmten Wahrscheinlichkeit
den Parameter (in der Grundgesamtheit) enthält, der p-Wert des
Signifikanztests ist keine Aussage darüber, wie wahrscheinlich der
Parameter in der Grundgesamtheit gleich Null oder nicht gleich Null
ist.

Wenn Äquivalenztests nicht Deinem Ausgangsproblem entsprechen,
musst Du Dich womöglich von der Signifikanztesterei ab- und der
Bayes-Statistk zuwenden. Diese kommt zu Aussagen darüber, mit
welcher Wahrscheinlichkeit die Ausprägung X eines Parameters
angenommen werden kann.

Mit freundlichen Grüßen

P.

[sprinter1]

Bei nicht signifikantem Unterschied, sagt der konservative Schätzer des Mittelwertunterschieds, der Mittelwertunterschied beträgt 0 und das ist mit einer Wahrscheinlichkeit von 95% auch in der Grundgesamtheit der Fall.

Beide Aussagen sind im Kontext der Signifikanztesterei nicht möglich.
Nichtsignifikant bedeutet lediglich, dass die Nullhypothese nicht
zurückgewiesen konnte (in der Regel, weil die Stichprobe zu klein war),
nicht dass die Annahme Parameter = 0 wahr ist.
Wahrscheinlichkeitsaussagen zu Parameterausprägung sind in
diesem Rahmen entsprechend nicht möglich. Das Konfidenzintervall ist
nicht das Intervall, das mit einer bestimmten Wahrscheinlichkeit
den Parameter (in der Grundgesamtheit) enthält, der p-Wert des
Signifikanztests ist keine Aussage darüber, wie wahrscheinlich der
Parameter in der Grundgesamtheit gleich Null oder nicht gleich Null
ist.

Bin ich mir bewusst. Habe diese falsche Darstellung nur verwendet, weil ich dachte, dass mein Anliegen damit klarer wird.

Wenn Äquivalenztests nicht Deinem Ausgangsproblem entsprechen,
musst Du Dich womöglich von der Signifikanztesterei ab- und der
Bayes-Statistk zuwenden. Diese kommt zu Aussagen darüber, mit
welcher Wahrscheinlichkeit die Ausprägung X eines Parameters
angenommen werden kann.

Bayes-Statistik klingt auch jeden Fall sehr interessant. Vielleicht ist es genau das, was ich suche. Ist nur die Frage, ob ich den Aufwand sich der Bayes-Statistik anzunehmen, eingehen möchte, da die statistische Auswertung nur ein Teil der Bachelorarbeit ist. Aber sehr gut, dass im Hinterkopf zu haben. Wahrscheinlich werde ich jetzt einfach Signifikanztests machen und dessen Ergebnisse in die Boxplots plotten. Da kann sich der Leser dann selbst ein Bild machen, wie er die Mittelwertunterschiede bewertet.