ich habe folgende Frage an euch: Und zwar arbeite ich in einem Marktforschungsinstitut, wo wir Befragungen durchführen. Nach jeder Befragung wird dann ein riesiger Tabellenband produziert,
wo dann die erhobenen Grössen nach Mittelwerten - aufgetrennt nach diversen Zielgruppenvariablen (Alter, Geschlecht, Haushaltsgrösse, Einkaufsverhalten etc.) - aufgeführt werden. Das sieht dann z.B. so aus (rein fiktive Daten). Allerdings wird nicht nur nach einigen wenigen Variablen (wie Geschlecht oder Altersgruppe) aufgesplittet, sondern meist sind es sehr viele Variablen.
Es wird dann bei jeder Zelle automatisch berechnet, ob der entsprechende Mittelwert im Vergleich zu allen anderen Ausprägungen derselben Variable entsprechend signifikant grösser bzw. kleiner ist (paarweise Mittelwertvergleiche). Dies wird mit hochgestellten Buchstaben angegeben:
Dieses Vorgehen kommt mir (als gewissenhafter Statistiker) aber ziemlich dubios vor und ich frage mich, ob es überhaupt legitim ist, so mit Signifikanzen umzugehen? Ich spreche hier auf die sog. Alphafehler-Kumulierung an. Müsste man hier bei den Signifikanzen nicht auch berücksichtigen, dass man zahlreiche Hypothesen an der immer gleichen Stichprobe aufstellt und das Signifikanzniveau entsprechend korrigieren? Manchmal werden die Zellen auch noch danach eingefärbt, ob die Unterschiede signifikant sind oder nicht:
Im Schlussbericht würde im obenstehenden Beispiel dann vermutlich stehen "Frauen und Personen über 61 Jahre sind signifikant zufriedener" etc.
Meine Fragen:
- wo genau liegt das Problem bei diesen Darstellungen?
- Welche Informationen müsste man sonst noch angeben, damit es seriöser wird?
