STATISTIK-FORUM.de

[Mofflerin]

hi,

ich suche Artikel, die sich kritisch mit der Sinnhaftigkeit von Signifikanztests befassen.

• Wann machen Signifikanztests Sinn?
• Wann nicht?
• Was sind die Vor- und Nachteile, was die Einschränkungen?

Bisher kenne ich:

Brandstetter, 1999. Konfidenzintervalle als Alternative zu Signifikanztests.
Cohen (1994). The earth ist round. P0.05.
Klemmert, Hella (2004). Äquivalenz- und Effekttests in der psychologischen Forschung.

Über weitere Hinweise zu guter Literatur bin ich dankbar!

[PonderStibbons]

http://library.mpib-berlin.mpg.de/ft/gg ... l_2004.pdf
http://www.indiana.edu/~stigtsts/index.html#contents
http://www.personal.kent.edu/~dfresco/C ... n_1990.pdf
http://www.plosmedicine.org/article/inf ... ed.0020124

HTH

P.

[Mofflerin]

Besten Dank. Werde das Sichten.

[Mofflerin]

Mal eine grundsätzliche Überlegung. Signifikanztests testen, ob ein in der Stichprobe aufgefundener Effekt auch in der Grundgesamtheit vorliegt. Das setzt aber eine Zufallsstichprobe voraus.

Ist also die Schlussfolgerung korrekt, dass, wenn keine Zufallsstichprobe hinsichtlich der Grundgesamtheit vorliegt, man gar nicht an einen Signifikanztest denken braucht?

[PonderStibbons]

Signifikanztests testen, ob ein in der Stichprobe aufgefundener Effekt auch in der Grundgesamtheit vorliegt. Das setzt aber eine Zufallsstichprobe voraus.

Das ist nicht richtig. Signifikanztests testen, ob sich die Nullhypothese
anhand der Stichprobendaten verwerfen lässt.

Ist also die Schlussfolgerung korrekt, dass, wenn keine Zufallsstichprobe hinsichtlich der Grundgesamtheit vorliegt, man gar nicht an einen Signifikanztest denken braucht?

Es wird auch bei anderen Stichprobenziehungsformen getestet.

Mit freundlichen Grüßen

P.

[Mofflerin]

Signifikanztests testen, ob ein in der Stichprobe aufgefundener Effekt auch in der Grundgesamtheit vorliegt. Das setzt aber eine Zufallsstichprobe voraus.

Das ist nicht richtig. Signifikanztests testen, ob sich die Nullhypothese
anhand der Stichprobendaten verwerfen lässt.

Hm, kann man das so sagen? Ich würde es so ausdrücken: Man berechnet einen p-Wert. Dieser-Wert gibt an, wie wahrscheinlich dieses oder ein extremeres Ergebnis unter Beibehaltung der H0 ist. Verwerfen kann man demnach die H0 nie, lediglich kann man sagen, wie wahrscheinlich ein bestimmes Ergebnis uner Beibehaltung der H0 ist. man kann auch nicht sagen, die H0 ist "unwahrscheinlich". Zumindest Brandstetter argumentiert so.

Ist also die Schlussfolgerung korrekt, dass, wenn keine Zufallsstichprobe hinsichtlich der Grundgesamtheit vorliegt, man gar nicht an einen Signifikanztest denken braucht?

Es wird auch bei anderen Stichprobenziehungsformen getestet.[/quote]

Ja, wird. Aber zu Recht?

Erfundenes Beispiel:

Ich will untersuchen, ob deutsche Männer signifikant größer als 180 cm sind. Ziehe eine Stichprobe und mache einen t-Test für eine Sichprobe. Bei einer repräsentativen Stichprobe bekomme ich ein Ergebnis das ich sinnvoll interpretieren kann. Aber was ist, wenn ich nur bei den Basketballspielern oder beim Selbsthilfeverein für Kleinwüchsige rekrutiere, obwohl die Grundgesamtheit aus allen deutschen Männern bestehen soll? Dann kann ich auch was rechnen, aber was besagt es, wenn das Ergebnis "signifikant" wird? Ich glaube daher, ein Signifikanztest macht nur bei einer echten Zufallsstichprobe Sinn.

[PonderStibbons]

Signifikanztests testen, ob sich die Nullhypothese
anhand der Stichprobendaten verwerfen lässt.

Hm, kann man das so sagen? Ich würde es so ausdrücken: Man berechnet einen p-Wert. Dieser-Wert gibt an, wie wahrscheinlich dieses oder ein extremeres Ergebnis unter Beibehaltung der H0 ist.

Nicht wenn Beibehaltung. Sondern falls H0 korrekt wäre.

Verwerfen kann man demnach die H0 nie, lediglich kann man sagen, wie wahrscheinlich ein bestimmes Ergebnis uner Beibehaltung der H0 ist.

Verwerfen kann man H0, wenn die Daten so stark von H0 abweichen,
dass man lieber annimmt, H0 gilt nicht, statt anzunehmen ein sehr
seltenes Ereignis liege vor.

man kann auch nicht sagen, die H0 ist "unwahrscheinlich". Zumindest Brandstetter argumentiert so.

Ja, über die Wahrscheinlichkeit von Hypothesen kann ein Signifikanzest
nichts aussagen, nur über die Wahrscheinlichkeit von Daten.

Bei einer repräsentativen Stichprobe bekomme ich ein Ergebnis das ich sinnvoll interpretieren kann. Aber was ist, wenn ich nur bei den Basketballspielern oder beim Selbsthilfeverein für Kleinwüchsige rekrutiere,

Dann hast Du eine Zufallsstichprobe von Basketballspielern.

Es vermischen sich anscheinend Zufallsziehung, Repräsentativität
und Generalisierbarkeit.

Mit freundlichen Grüßen

P.

[Mofflerin]

Dann hast Du eine Zufallsstichprobe von Basketballspielern.

Hm, aber wenn man es so sieht, dann gibt es keinen Stichprobenfehler, dann ist jede Stichprobe repräsentativ. Wenn ich z.B. ein Seminar evaluiere, und nur die Studenten die Lust haben an der Umfrage teilzunehmen nehmne Teil, dann sind die Ergebnisse eben für diese Studenten repräsentativ. Aber was nützt mit das, wenn ich alle Teilnehmer als Grundgesamtheit will?

Im Beispiel will ich eine Stichprobe die repräsentativ ist, für alle deutschen Männer, nicht nur für Basketballspieler. Du wirst mir jetzt sagen, dann muss ich eben eine solche Stichprobe ziehen. Ja, in dem Fall mag das durchführbar sein.

Aber in der Psychologie z.B. sind meist Studenten die Grundgesamtheit, weil "echte" VP ohnehin nie teilnehmen. Im Grund ist die Stichprobe noch nicht mal für alle Psychologiestudenten repräsentativ, weil auch hier keine Zufallsziehung erfolgt. Aber wozu dann überhaupt ein Signigikanztest? Die Aussage, ein Ergebnis ist "signifikant", also generalisierbar auf die Psychologiestudenten einer bestimmeten Uni und innerhalb der Uni nur innerhalb eines bestimmten Semesterst, und innerhalb dieses Semester nur "repräsentativ" für die die zufällig gerade Lust und Zeit hatten teilzunehmen, ist wertlos.

Es vermischen sich anscheinend Zufallsziehung, Repräsentativität
und Generalisierbarkeit.

Mein Verständnis:

Zufallsziehung
=============
Es gibt eine Grungesamtheit G. Bei einer Zufallsziehung besteht für jeden Merkmalsträger die gleiche Wahrscheinlichkeit, in die Stichprobe zu gelangen (in Psychologie, Sozialwissenschaften usw. meiner Ansicht nach nie der Fall).


Repräsentativität
================
Repräsentativ hinsichtlich eines Sets von Merkmalen ist eine Stichprobem für eine Grundgesamtheit, wenn hinsichtlich bestimmter Eigenschaften (Mittelwert, Streuung, Häufigkeiten, Median, Modalwert etc) die gleichen oder annähernd die gleichen Werte hat wie die Grundgesamtheit. Wobei hier die zufällige Ziehung wichtiger ist als die Größe der Stichprobe (natürlich ist eine große Stichprobe besser als eine kleine).


Generalisierbarkeit
==================
Wenn Signifikanz besteht ist dass Ergebnis generalisierbar, jedoch nur auf die Grundgesamtheit, für die die Stichprobe repräsentativ ist! Wenn ich weiß die Stichprobe ist hinsichtlich der gewünschten Grundgesamtheit nicht repräsentativ, kann ich mir den Signifikanztest sparen.

[PonderStibbons]

Muß man halt von Fall zu Fall diskutieren. Nur Studierende heranzuziehen hat bei
experimentellen Studien womöglich andere Auswirkungen auf den Geltungsbereich
eines signifikanten Ergebnisses, als wenn man eine Wahlumfrage macht.

Mit freundlichen Grüßen

P.

[Mofflerin]

Pardon, habe den Zitieren- mit dem Ändern-Button vewechselt und den Beitrag
überschrieben - Antwort siehe unten.
P.