STATISTIK-FORUM.de

[daniel]

Woher der Zufall kommt, der durch den jeweiligen Test erfasst werden soll, hängt u.a. vom Forschungsinteresse ab. Mathematisch/statistisch spielt das für den Test keine Rolle.

Vielleicht ein letztes Mal zum Verständnis ein (allgemeines) Beispiel. Lies Dir mal Artikel über psychologische Experimente durch. Diese werden i.d.R. ausschließlich mit Psychologiestudierenden (meist in den unteren Semestern) durchgeführt. Bei den in diesen Rahmen durchgeführten Signifikanztests ist sicher niemand daran interessiert auf eine Grundgesamtheit zu schließen -- welche sollte das auch sein? Vielmehr geht es darum statisitsch abzusichern, dass Unterschiede zwischen treatment und controll group systematisch auf das treatment und nicht auf Zufallsprozesse zurückzuführen sind.

Wie erwähnt, bin ich relativ sicher, dass Du mit Deiner Untersuchung nicht auf kausale Inferenz hinaus willst. Deskriptive Inferenz verlangt in der Theoire allerdings eine Zufallsstichprobe.

[openmind]

Hi Daniel,

danke für die Erläuterung. Ich möchte vor allem wissen, ob der mehr oder weniger starke Einfluß der erklärenden Variable(n) auf die jeweilige Outcome Variable rein zufällig zustande kommt oder nicht.

Gibt es dafür überhaupt zulässige inferenzstatistische Verfahren?

Willy

[daniel]

Ich möchte vor allem wissen, ob der mehr oder weniger starke Einfluß der erklärenden Variable(n) auf die jeweilige Outcome Variable rein zufällig zustande kommt oder nicht.

Wie erläutert, sind statistische Tests immer gleich aufgebaut. Worauf Du draus schließt hat nichts mit dem verwendeten Test zu tun. Bei Quotenstichproben kannst Du den Zufall, der durch die Auswahl der Untersuchungsobjekte ins Spiel kommt nicht berechnen, und damit nicht auf Fälle auserhalb Deiner Stichprobe verallgemeinern.

Dein Erkenntnisinteresse klingt eher nach kausaler denn deskriptiver Inferenz (auch wenn letztere sicher nicht ausgenommen ist). In diesem Falle solltest Du dringend Dein Vorgehen andres gestalten. Abgesehen davon, dass eine einzige Querschnitterhebung mit simpler linearer Regression zur kausalen Inferenz sicher weniger als suboptimal ist, ist die automatische Modellselektion nach Signifikanzniveau durch einen Softwarealogrithmus m.E. das Todesurteil. Kausale Inferenz setzt gerichtete Hypothesen, und im optimalen Falle auch einen theoretischen angenommenen, empirisch zu testenden Mechanismus vorraus. Unter keine Umständen läuft das explorativ und durch blinde, ignorante Auswahl von Prädikatoren durch den PC.

[openmind]

Abgesehen davon, dass eine einzige Querschnitterhebung mit simpler linearer Regression zur kausalen Inferenz sicher weniger als suboptimal ist, ist die automatische Modellselektion nach Signifikanzniveau durch einen Softwarealogrithmus m.E. das Todesurteil.

Welches Verfahren würdest Du mir als (sub-)optimal vorschlagen, wenn ich eine Abhängige Variable habe und herausfinden möchte, ob eine erklärende Variable, die ich vorher nach kausallogischen Erwägungen und einer signifikanten Beziehung ausgesucht habe, einen signifikanten Einfluß auf die abhängige Variable hat?

Sollte ich anstatt von SPSS lieber mit den entsprechenden Formeln per Hand ausrechnen? Ist es denn nicht korrekt, wenn man zunächst eine Korrelationsanalyse durchführt, um dann kausallogische Regressoren mit entsprechendem Zusammenhang in ein Regressionsmodell aufzunehmen, nachdem man Kollinearität der potentiell in Frage kommenen erklärenden Variablen durch eine partielle Korrelation ausgeschlossen hat. Wie kann ich das denn für 100 Haushalte optimal gestalten, ohne mir das von einer Software berechnen zu lassen?

[daniel]

[...] die ich vorher nach kausallogischen Erwägungen und einer signifikanten Beziehung ausgesucht habe, einen signifikanten Einfluß auf die abhängige Variable hat?

Du siehst das Problem bereits bei Deiner Formulierung. Wenn Du Variablen bereits vorher aufgrund eines Signifikanztests in Dein Modell aufnimmst, wie und wozu ein erneuter Signifikanztest? Bei der Aufnahme ins Modell spielen ausschließlich theoretisch/inhaltliche Überlegungen eine Rolle.

Ist es denn nicht korrekt, wenn man zunächst eine Korrelationsanalyse durchführt, um dann kausallogische Regressoren mit entsprechendem Zusammenhang in ein Regressionsmodell aufzunehmen, nachdem man Kollinearität der potentiell in Frage kommenen erklärenden Variablen durch eine partielle Korrelation ausgeschlossen hat.

Wie gesagt sollten nur theoretisch begründete Prädikatoren aufgenommen werden (bei SPSS heißt die Methode: Einschluss). Kollinearität ist der Grund die Regression bivariaten Korrelationen vorzuziehen. Und selbstverständlich willst Du die Software die Regression (und evtl. auch Korrelationen) berechnen lassen -- sie soll nur mit der Auswahl der Präduikatoren nichts zu tun haben.

[openmind]

Ok, daniel, verstehe jetzt was Du meinst.

Erklärende Variablen sollen einzig und allein aus sachtheoretischen Erwägungen als Regressoren einfließen. D.h., man überlegt sich, welche Variable(n) die Outcome-Variable wohl kausal erklären könnte(n).

Wenn ich das richtig verstanden habe, gibst Du auch erklärende Variablen in das Modell ein, wenn sie keine Signifikanz zur Outcome-Variable aufweist. Es muss also kein signifikanter Zusammenhang (Korrelation) bestehen. Dann berechnet SPSS durch die Einschlußmethode das Regressionsmodell. Wie behandelst Du denn dann die erklärenden Variablen mit geringen t-Prüfgrößen und nicht signifikantem p ?
Der Dozent, bei dem ich war, hat mir die schrittweise Regression demonstriert, bei der auch die partiellen Korrelationen gleichzeitig durchgeführt wird. Wenn man dann die signifikanten erklärenden Variablen in die Regressionsanalyse mit der Einschlußmethode eingibt, kommt man doch zu sehr ähnlichen Testwerten und Varianzaufklärungen. Letztendlich habe ich bei meinen Modellen immer die Ergebnisse der Einschlußmethode verwendet und dabei erklärende Variablen mit Signifikanzniveau <0,05) herausgelassen.

Ist es denn jetzt möglich, die Modelle inklusive der Signifikanzangaben (t, Wald, F uns Xi²) beizubehalten und klar zu machen, daß die Modelle AUSSCHLIESSLICH für die Familien einigermaßen ordentlich die Einflußvariablen auf die untersuchte Outcome Variable begründen? Daraan würde sich der Verweis anschließen, daß die Ergebnisse nicht auf die Grundgesamtheit übertragen werden dürfen.

Es ist schon merkwürdig, daß zu den Quotenstichproben eine jahrzehnte lange Diskussion herrscht.

Wie soll ich denn jetzt mit Hoeglinger von der ETH Zürich umgehen ? Nicht nur für ihn sind Quotenstichproben repräsentativ. Und bei Gelegenheitsstichproben könnte ich sogar die Korrelationsanalyse anwenden? Dann wäre ja deren pnicht auf das Schließen auf die Population bezogen.

Zufalls- und Quotenstichproben werden häufig als
„repräsentativ“ bezeichnet, da sie ein unverzerrtes Abbild der
Population liefern sollen.
 Repräsentative Stichproben werden benötigt, wenn man auf
Eigenschaften der Population schliessen will.
 Der Test von Zusammengangshypothesen kann aber oft auch mit
Gelegenheitsstichproben durchgeführt werden (z.B. Experimente mit
Studierenden)

[daniel]

Wie behandelst Du denn dann die erklärenden Variablen mit geringen t-Prüfgrößen und nicht signifikantem p ?

Die Frage verstehe ich nicht. Wenn ich einen Effekt erwarte, und keiner nachweisbar ist, dann diskutiere ich dass. Wenn es sich um eine (theoretisch begründete) Kontrollvariable handelt, dann interpretiere ich sie nicht weiter -- unabhängig vom t-Wert.

Wenn man dann die signifikanten erklärenden Variablen in die Regressionsanalyse mit der Einschlußmethode eingibt, kommt man doch zu sehr ähnlichen Testwerten und Varianzaufklärungen.

Ja, unter falschen theoretischen Annahmen. Was Du verstehen musst, ist die Tatsache, dass Software immer die gleichen Ergebnisse ausspuckt. Das Problem besteht auf einer theoretischen Ebene. Wenn ein 95 % Konfindezintervall intuituv aussagt, dass ein gefundener Zusammenhang in 5 von 100 Fällen rein zufällig ist, was sagt uns dass, wenn wir die Software 100 Regressionen und Korrelationen durchführen und testen lassen?

Letztendlich habe ich bei meinen Modellen immer die Ergebnisse der Einschlußmethode verwendet und dabei erklärende Variablen mit Signifikanzniveau <0,05) herausgelassen.

Wieso?

Wie soll ich denn jetzt mit Hoeglinger von der ETH Zürich umgehen ? Nicht nur für ihn sind Quotenstichproben repräsentativ. Und bei Gelegenheitsstichproben könnte ich sogar die Korrelationsanalyse anwenden? Dann wäre ja deren pnicht auf das Schließen auf die Population bezogen.

Ich denke, Du missverstehst das Zitat (zu dem keine Quelle angegeben ist). Im Grunde wird hier genau die von mir ebenfalls nun ausführlich dargelegte Unterscheidung zwischen deskriptiver und kausaler (letzer Abschnitt) Inferenz angesprochen.

Der Begriff "repräsentativ" wird hier missverständlich bzw. irreführend (und in dieser Satzfolge m.E. falsch) verwendet. Bei der ersten Aussage wird "repräsentativ" mit "verkleinertes Abbild der Grundgesamtheit" gleichgestezt. Diese Idee ist aber nicht diejenige, die Signifikanztests der frequentistischen Statisitk begründet. Hier bedeutet "repräsentativ" schlicht "berechenbare Auswahlwahrscheinlichkeit". Zu dieser Diskussion siehe auch meine Beiträhe hier: post8834.html?hilit=representativ#p8834

[openmind]

Danke für die Klarstellung, Daniel.


Trotzdem weiß ich jetzt immer noch nicht, wie ich statistisch akzeptabel vorgehen muß, wenn ich ein Abhängigkeitsmaß für eine Outcome Variable von einer oder mehreren Variablen bestimmen will, und zwar von Variablen, die nicht durch eine Zufallsstichprobe erhoben wurden. Welche Outputgrößen und Tests kann ich angeben, wenn ich nur an einer kausalen Inferenz interessiert bin?

Danke im voraus.

Willy

[openmind]

Hi Daniel,

schon im Urlaub?

Ich hab' als Nicht-Statistiker noch mal ein wenig weiter gesucht: Wolltest Du mit Deinen Ausführungen, für die ich Dir sehr danke, eigentlich auf den bayesianischen Analyseansatz hinaus, der auch bei Nicht-Zufallsstichproben inferenzielle Studien ermöglicht?

Vielen Dank
Willy

[daniel]

Wolltest Du mit Deinen Ausführungen, für die ich Dir sehr danke, eigentlich auf den bayesianischen Analyseansatz hinaus, der auch bei Nicht-Zufallsstichproben inferenzielle Studien ermöglicht?

Hatte ich eigentlich nicht im Sinn. Ist ein sehr weites und neues Gebiet.

Trotzdem weiß ich jetzt immer noch nicht, wie ich statistisch akzeptabel vorgehen muß, wenn ich ein Abhängigkeitsmaß für eine Outcome Variable von einer oder mehreren Variablen bestimmen will, und zwar von Variablen, die nicht durch eine Zufallsstichprobe erhoben wurden. Welche Outputgrößen und Tests kann ich angeben, wenn ich nur an einer kausalen Inferenz interessiert bin?

Ich denke, wir haben das relativ ausführlich diskutiert. Du wirst von mir kein "Rezept" bekommen. Nicht, weil ich Dich ärgern will, sondern weil ich der Meinung bin, dass Wissenschaft so nicht funktioniert. Mach Dir auf Basis des geschriebenen (und weiterer Quellen) Gedanken, und triff eine Entscheidung.