STATISTIK-FORUM.de

[Lina]

Hallo zusammen,

nachdem ich heute den Tag damit verbracht habe, unzählige Bücher und das halbe Internet zu durchwühlen und keine vernünftige Antwort auf meine Frage gefunden habe, muss ich euch leider damit auf den Wecker gehen Ich hoffe sehr, dass jemand eine Antwort weiß und ich bei meiner Suche nur etwas übersehen haben.

Folgender Sachverhalt:
Zwei Items wurden zu fünf verschiedenen Zeitpunkten anhand einer 5-stufigen Likert-Skala gemessen. Konkret lautete ein Item: "Die Qualität des Produktes X ist gut". Skala: "trifft zu (1)", "trifft eher zu (2)", "teils/teils (3)", "trifft eher nicht zu (4)", "trifft nicht zu (5)".
Die Frage wurde - wie gesagt - fünf Jahre hintereinander gestellt. Die Mittelwerte aneinander gereiht: 3,5 - 3,5 - 3,3 - 2,9 - 2,8.

So... dass da eine Verbesserung eintritt, kann man mit bloßem Auge sehen - besonders in der Graphik, die anhand dieser Werte erstellt wurde. Aber: ist die Veränderung auch irgendwie... ich weiß "signifikant" ist hier vielleicht nicht das richtige Wort, aber ich hoffe, ihr versteht, was ich meine. Kann der "Sprung" von 3,5 auf 3,3 bereits als "deutliche Verbesserung" angesehen werden oder erst der Sprung von 3,5 auf 2,8? Wo zieht man die Grenze? Bei 0,5-Punkte Unterschied? Mit welcher Begründung?

Wie ihr seht, bin ich ratlos... und dankbar für jede Hilfe.

[Albrecht]

Hm, das ist abhängig von der Anzahl der Personen, die befragt wurden. Wenn 1000 Personen befragt wurden, ist die Verbesserung von 3,5 zu 2,8 mit Sicherheit signifikant. Wenn aber nur 10 Personen befragt wurden, dann muss das nicht signifikant sein. Also ohne die Anzahl der Befragten zu berücksichtigen, ist eine solche Aussage, ob signifikant oder nicht, nicht möglich.

[PonderStibbons]

Zwei Items wurden zu fünf verschiedenen Zeitpunkten anhand einer 5-stufigen Likert-Skala gemessen.

Wenn Du Deine Gutachter beeindrucken willst, dann versuche, zu den 7,36% aller Verwender solcher
Items zu gehören, die sie NICHT fälschlicherweise "Likert-Skala" nennen, sondern "Item vom Likert-Typ"
oder "Item im Likert-Antwortformat". Eine Likert-SKALA besteht aus mindestens 2 (oder eben mehr)
solcher Items, die aufsummiert werden (siehe beispielsweise wikipedia dazu). Das ist insofern nicht ganz
Pillepalle, weil viele die Diskussion über die Frage, ob eine Likert-SKALA ordinal oder intervallskaliert ist,
fälschlicherweise auf Likert-ITEMS beziehen. Was Du im Weiteren gemacht hast, nämlich aus einem 5stufigen,
ordinalskalierten ITEM vom Likert-Typ den Mittelwert zu berechnen, ist ausgesprochen fragwürdig.
Median wäre allemal die solidere Lösung.

So... dass da eine Verbesserung eintritt, kann man mit bloßem Auge sehen - besonders in der Graphik, die anhand dieser Werte erstellt wurde. Aber: ist die Veränderung auch irgendwie... ich weiß "signifikant" ist hier vielleicht nicht das richtige Wort, aber ich hoffe, ihr versteht, was ich meine.

Ob inferenzstatistisch signifikant wäre aber erstmal eine interessante Frage; ob es auch relevant ist, wäre die andere
Frage. Wenn ersteres nicht gegeben ist, könnten die Unterschiede als zufällig - oder zumindest nicht vom
Zufall unterscheidbar - interpretiert werden. Dann braucht man sich über Relevanz keine Gedanken zu machen.
Das zweite ist auf Basis von Stichprobendaten schlecht zu beantworten (außer die Stichprobe ist sehr groß), aber
unabhängig davon: ob 1/2 Skalenwert wichtig/relevant ist, das ist nun wirklich eine inhaltliche Frage, keine rein
statistische. Wenn an jedem 1/2 Skalenwert Menschenleben hängen, oder jeder 1/2 Skalenwert einen Millionengewinn
oder -verlust bedeuten kann, dann wird man das wohl anders bewerten, als wenn es .B. um ein paar unbedeutende
Meinungsfragen geht.

Mit freundlichen Grüßen

P.

[Lina]

Die Stichprobe variiert von 45 Befragten bis zu 150 Befragten... Wie entscheidet sich denn, ab wann eine Stichprobe groß genug ist, um eine Differenz von... sagen wir 0.2 oder erst ab 0.5 als bedeutend einzustufen? Gibt es denn ein Verfahren, mit dem man das Testen kann?

Kann man die Frage überhaupt beantworten? Denn, sorry P., deine Antwort war zwar sehr lehrreich aber kaum hilfreich.

[PonderStibbons]

Die Stichprobe variiert von 45 Befragten bis zu 150 Befragten... Wie entscheidet sich denn, ab wann eine Stichprobe groß genug ist, um eine Differenz von... sagen wir 0.2 oder erst ab 0.5 als bedeutend einzustufen? Gibt es denn ein Verfahren, mit dem man das Testen kann?

Wie sollte man "testen", ob eine Veränderung von einem halben Punkt
bedeutend ist? Das ist doch eine Bewertungsfrage. Was man allenfalls
testen kan, ist ob er als zufällig oder als überzufällig zustandegekommen
sein könnte.

sorry P., deine Antwort war zwar sehr lehrreich aber kaum hilfreich

Kein Problem, es war auch weniger für Dich gedacht.

Mit freundlichen Grüßen

P.

[Albrecht]

Die Stichprobe variiert von 45 Befragten bis zu 150 Befragten... Wie entscheidet sich denn, ab wann eine Stichprobe groß genug ist, um eine Differenz von... sagen wir 0.2 oder erst ab 0.5 als bedeutend einzustufen? Gibt es denn ein Verfahren, mit dem man das Testen kann?

Kann man die Frage überhaupt beantworten?

Ganz einfach wäre ein T-Test bzw. ein U-Test. Damit könnte man jeweilis zwei Zeitpunkte miteinander auf Signifikanz vergleichen, wenn die Stichproben unabhängig ist. Wenn diese abhängig sind, dann den t-Test für abhängige Stichproben bzw. den Wilcoxon Test. (Du kannst Dich noch über die Voraussetzungen der verschiedenen Tests informieren.)

Ganz einfach bedeutet leider auch, dass es nicht ganz richtig ist, wenn man bloß so vorgehen würde, da es eigentlich eine Zeitreihe ist. Dafür wäre die Auswertung durchaus komplizierter. Was genau am besten ist, hängt auch davon ab, auf welchem Niveau die Auswertung sein soll, wie bisherige Auswertungen in deinem Gebiet dazu gelaufen sind und welches Ziel Du hast.