STATISTIK-FORUM.de

[Babel]

Hallo,

ich möchte die Gleichheit zweier Gruppen (Kontroll- (n = 50)/Interventionsgruppe (n = 51)) u.a. bzgl. des Merkmals Intelligenz zeigen, um sicher zu gehen, dass dieses Merkmal keinen Einfluss auf meine Daten-Analyse hat. Welchen statistischen Test kann ich anwenden?
Ich habe mir bereits überlegt einen T-Test bei unabhängigen Stichproben durchzuführen (p = .946). Allerdings kann ich aus der nicht vorhandenen Signifikanz nicht schließen, dass die Mittelwerte gleich sind.
Kann man eventuell über Konfidenzintervalle argumentieren?

Viele Grüße
Babel

[strukturmarionette]

Hi,

dass dieses Merkmal keinen Einfluss auf meine Daten-Analyse hat.

- durch randomisierte Vorab-Zuordnung der Pbn zu den zwei Bedingungen

Gruß
S.

[PonderStibbons]

ich möchte die Gleichheit zweier Gruppen (Kontroll- (n = 50)/Interventionsgruppe (n = 51)) u.a. bzgl. des Merkmals Intelligenz zeigen, um sicher zu gehen, dass dieses Merkmal keinen Einfluss auf meine Daten-Analyse hat. Welchen statistischen Test kann ich anwenden?

Gar keinen. Der beschäftigt sich mit der Frage, ob die beiden Populationen, aus denen Deine beiden Stichproben stammen, denselben Mittelwert haben (und signifikant heißt nicht wichtig, relevant, groß, sondern lediglich: in der Population nicht = 0,00000000) . Das ist für Deine Frage aber irrelevant. Solltest Du z.B. durch unglücklichen Zufall oder auch aus systematischen Gründen sehr unterschiedliche Mittelwerte der Intelligenz zwischen Deinen Stichproben haben, und Intelligenz hat einen Zusammenhang mit z.B. der abhängigen Variable, dann ist es unerheblich, ob der Unterschied inferenzstatistisch signifikant ist oder nicht, Signifikanzgeteste ändert am möglichen Problem für die aktuelle Datenanalyse nichts.

Wie sind die Gruppen denn zusammengestellt worden, wie lauten Mittelwerte und Standardabweichungen für "Intelligenz", und wieso könnten unterschiedliche Intelligenzlevel die Datenanalyse beeinflussen?

Mit freundlichen Grüßen

PonderStibbons

[bele]

Allerdings kann ich aus der nicht vorhandenen Signifikanz nicht schließen, dass die Mittelwerte gleich sind.

Stimmt, Signifikanztests sind dafür ungeeignet Mindestens ohne begleitende Poweranalyse. Du brauchst eine Verteilung, wie wahrscheinlich welche Abweichungen der Intelligenz sind. Das ist kein confidence interval sondern ein credible interval (*)(Gibt es dafür ein deutsches Wort?). Am einfachsten hackst Du Deine 101 Werte in den online-Rechner für den BEST-Test: http://www.sumsar.net/best_online/

Per Markov-Chain-Monte-Carlo erhälst Du dann eine Verteilung der plausiblen Mittelwertunterschiede und ein 95% Highest-Density-Intervall für die Mittelwertunterschiede (und auch für die Effektstärke) und kannst damit dann geradeheraus argumentieren, ob das hinreichend geringe Unterschiede sind oder nicht.

Ein p-Wert entsteht dabei nicht.

LG,
Bernhard


(*) Nachtrag: Es ist gut möglich, dass Konfidenzintervall und credible interval in Deinem Fall zum Verwechseln ähnlich sehen und es keinen praktischen Unterschied macht, welches von beiden Du verwendest. Vielleicht ist der Unterschied nur philosophisch und sehr viele Benoter/Prüfer würden wohl auch ein Vorgehen mit Konfidenzintervallen akzeptieren. Wenn Du Dich auf das Thema einlassen willst: Das Cookie-Beispiel in der obersten Antwort dieses Threads zeigt, dass beides nicht "irgendwie gleich" ist: http://stats.stackexchange.com/question ... e-interval

[PonderStibbons]

Aber was Inferenzstatistik (ob frequentistisch oder bayesianisch) hier beizutragen?
Es interessiert laut Beschreibung nicht, ob und wie sehr sich die Grundgesamtheiten
unterscheiden, sondern ob die Unterschiede der beiden Stichproben so groß sind,
dass sie die sonstigen Ergebnisse verzerren. Da helfen weder Signifikanzen noch
credible intervals. Die beziehen sich auf Unterschiede in der Grundgesamtheit.

Mit freundlichen Grüßen

PonderStibbons

[bele]

Ja, da hast Du zunächst einmal Recht, dass es um die Unterschiede in der Stichprobe geht. Das Maß für zulässige Stichprobenunterschiede leitet sich aber wieder aus den daraus zu ziehenden Schlüssen auf die Grundgesamtheit ab. Ich verstehe die Frage so: "Sind die Unterschiede in den Zufallsstichproben so groß, dass sie nicht mehr die gleiche Grundgesamtheit repräsentieren". Ich gebe gerne zu, dass ich adhoc keine präzise Definition für "eine Grundgesamtheit repräsentieren" anbieten kann und meine Argumentation dahingehend (noch?) unvollständig ist. Dennoch erscheint mir der Rückgriff auf die Grundgesamtheiten, die dieses IQ-Werte produziert haben, nicht aus der Luft gegriffen.

Babel will letztlich zeigen, dass die Mittelwerte beider Gruppen nahe genug beieinander sind und nicht "zu weit" voneinander weg liegen, um Aussagen über die Grundgesamtheit zu verzerren.

Mein Vorschlag eines Wechsels ins Bayes-Lager hat damit zunächst einmal nichts zu tun sondern folgt danach. Dabei ging es mir auch um etwas ganz anderes: Ein (zweiseitiger) Signifikanztest prüft Punkthypothesen, während eine Posterior-Verteilung ihr die Möglichkeit gibt, ein beliebiges Intervall zu testen. Wenn sie festlegt "Mein Glaube an zwei Zufallsstichproben aus der gleichen Grundgesamtheit wird nicht erschüttert, wenn die Daten keine Abweichung der mittleren IQs von mehr als 5 Punkten nahelegt, weil 5 Punkte Unterschied für meine Frage keine Rolle spielen", dann ist das mit dem Bayes-Ansatz besonders leicht zu prüfen. Man zieht halt eine Stichprobe aus der Posteriorverteilung und zählt, in welchem Anteil der zu diesen Daten passenden Grundgesamtheiten der mittlere IQ nicht mehr als 5 Punkte abweicht. Die Zahl 5 kann möglicherweise durch eine sachwissenschaftlich gut begründete andere Zahl ersetzt werden.

Mache ich mit dieser Sichtweise einen Denkfehler?

LG,
Bernhard

[PonderStibbons]

Studieninhalte, Studiendesign, Ausmaß der Mittelwertunterschiede, geplante Analyse,
Definition von "... Einfluss auf meine Daten-Analyse" sind allesamt unbekannt, weswegen
ich nicht abschätzen kann, welcher Gedankengang hier der passende ist.

Wenn ich z.B. 2 randomisiert gebildete Gruppen habe, dann ist ein Signifikanztest
von vornherein widersinnig, denn alle "signifikanten" Baseline-Unterschiede müssen
Fehler 1. Art sein.

Da hier p=0,946 bei n=100 vorliegt, müssen die Stichprobenmittelwerte allerdings
nahezu identisch sein, zumindest relativ zur Streuung, insofern ist die Diskussion
praktisch gesehen diesmal wohl eher müßig.

Mit freundlichen Grüßen

PonderStibbons

[Babel]

Wie sind die Gruppen denn zusammengestellt worden, wie lauten Mittelwerte und Standardabweichungen für "Intelligenz", und wieso könnten unterschiedliche Intelligenzlevel die Datenanalyse beeinflussen?

Vielen Dank für die umfangreichen Antworten die beiden Gruppen wurden randomisiert ausgewählt. Ich weiß nicht, ob ich damit die Frage nach Mittelwertgleichheit erübrigt hat. Da sich bei den Daten der Kontroll- und Interventionsgruppe um fachliche Leistungen im Bereich Mathematik handelt und Intelligenz ein guter Prädiktor für schulische Leistung ist, könnten allzu gravierende Unterschiede in der mittleren Intelligenz der beiden Gruppen das Ergebnis beeinflussen. Wahrscheinlich reicht aber eine Randomisierung aus, wie PonderStibbons es gesagt hat. Dennoch ist die Antwort zum BEST-Test interessant und in einem anderen Kontext für mich sehr hilfreich gewesen. Vielen Dank!

[bele]

Hallo Babel,

Randomisierung ist eine Methode, um gleiche Voraussetzungen herzustellen. Eine bei großen Zahlen sehr verlässliche Methode, aber eben keine fehlerfreie Methode. Ganz selten Mal wird Randomisierung zu verzerrenden Stichproben führen. Es könnte ja sein, dass die Randomisierung Dir drei Hochbegabte in die Interventionsgruppe und 4 Debile in die Kontrollgruppe verteilt hat. Besonders wahrscheinlich ist es nicht. Es spricht für den Popper in Dir, dass Du erst versuchst, das "Gelingen" Deiner Randomisierung zu widerlegen, bevor Du darauf vertraust. Insofern ist es Geschmackssache oder eine Frage des individuellen Sicherheitsbedürfnisses, welche und wieviele Annahmen Deines Modells Du überprüfen möchtest, bevor Du mit den Ergebnissen des Modells weiter arbeitest.

LG,
Bernhard

[strukturmarionette]

Hi,

bzgl. des Merkmals Intelligenz zeigen, um sicher zu gehen, dass dieses Merkmal keinen Einfluss auf meine Daten-Analyse hat.

- für diesen Zweck bieten sich (zusätzlich) noch verschiedene Verfahren an, UV-Einflüsse herauzrechnen (bspw Hierarch Lineare Regression)

Gruß
S.