STATISTIK-FORUM.de

[flavio]

Guten Tag

Angenommen, ich lasse eine Gruppe von Menschen eine Entweder-Oder Entscheidung treffen (z.Bsp. Welches Getränk schmeckt dir besser: A oder B?). Wie häufig muss dieselbe Person ein Urteil abgeben, sodass ihre Werte statistisch signifikant sind? Ist meine Annahme, dass ich ihr die Entscheidung 5 Mal vorlegen muss (0,5 x 0,5 x 0,5 x 0,5 x 0,5 = 0,031 < 0,05) korrekt, oder gehe ich das Ganze falsch an?
Vielen Dank für die Hilfe!

Liebe Grüsse
Flavio

[PonderStibbons]

Wenn Du denselben Personen 5mal dieselbe Frage stellst,
dreht sich das eher um die Konsistenz und die Zuverlässigkeit
der Antwort, nicht um inferenzstatistische Signifikanz.

Mit freundlichen Grüßen

PonderStibbons

[bele]

Hallo flavio,

Ist meine Annahme, dass ich ihr die Entscheidung 5 Mal vorlegen muss (0,5 x 0,5 x 0,5 x 0,5 x 0,5 = 0,031 < 0,05) korrekt,

Deine Rechnung ist nicht falsch, sie impliziert aber die zumeist falsche Herangehensweise des einseitigen Testens. Normalerweise testet man zweiseitig und dann ist der p-Wert in Deinem Beispiel 0,062, also doppelt so hoch. Ist Dir das Konzept von ein- und zweiseitigem Testen vertraut?

oder gehe ich das Ganze falsch an?

Ja. Vielleicht magst Du Dir diesen Thread einmal anschauen, mindestens empfehle ich aber Punkt "8. Erdachte Parallelprobleme". Anhand Deines erdachten Parallelproblems wissen wir nicht, ob Du wirklich eine Messwiederholung an ein und derselben Person planst und wir wissen nicht, ob Du wirklich einseitige testen möchtest und können deshalb nicht gezielt antworten. Beschreib lieber Dein echtes Problem.

LG,
Bernhard

[flavio]

Lieber Bernhard
Lieber PonderStibbons

Vielen Dank für die schnelle Antwort, das ist sehr freundlich. Verzeiht mir, falls ich etwas unbeholfene Fragen stelle, Statistik ist wirklich nicht mein Expertengebiet.

Mein reales Unterfangen
Wir möchten von Lehrpersonen erfahren, welche Erwartungen sie an die Schüler*innen in Abhängigkeit der Schulstufe haben. Deshalb haben wir einen Katalog an Indikatoren zusammengetragen (z.Bsp. "Kann Aufgaben selbstständig angehen." ; "Kann den Schulthek selber packen." ; "Kann Diskussionen moderieren:" etc.) und werden diesen nun mithilfe einer Applikation von einer grossen Menge Lehrpersonen validieren lassen: Konkret zeigen wir den Lehrpersonen die Indikatoren und sie entscheiden, ob das beschriebene Verhalten in ihrer Schulstufe eine realistische Erwartung sei oder nicht.

Da diese Beurteilung sehr intuitiv geschieht, war meine Idee, dass man die Indikatoren von den Lehrpersonen mehrmals beurteilen lassen könnte, bis dass die Einschätzung signifikant ist. Und ich wollte berechnen, wie häufig wir einen Indikator von einer Lehrperson beurteilen lassen müssen, damit die 0.05 unterschritten werden.

Ich habe vorher noch einen weiteren Versuch gestartet, mit dem CHIQU.TEST. Ich bin mir nicht sicher, ob ich es korrekt gemacht habe, aber meinen Berechnungen zufolge müsste ich dieselbe Lehrperson 4 Mal befragen, wenn sie immer das gleiche Urteil abgibt (p=0.046), 7 Mal, wenn das Verhältnis 7:1 ist (p=0.034), oder 9 Mal, wenn das Verhältnis 9:2 ist (p=0.035). Das verwendete Excel habe ich als Anhang hochgeladen.

Was meint ihr dazu?

Vielen Dank für die Hilfe!

Gruss
Flavio

[bele]

Hallo Flavio,

Wir möchten von Lehrpersonen erfahren, welche Erwartungen sie an die Schüler*innen in Abhängigkeit der Schulstufe haben. Deshalb haben wir einen Katalog an Indikatoren zusammengetragen (z.Bsp. "Kann Aufgaben selbstständig angehen." ; "Kann den Schulthek selber packen." ; "Kann Diskussionen moderieren:" etc.) und werden diesen nun mithilfe einer Applikation von einer grossen Menge Lehrpersonen validieren lassen: Konkret zeigen wir den Lehrpersonen die Indikatoren und sie entscheiden, ob das beschriebene Verhalten in ihrer Schulstufe eine realistische Erwartung sei oder nicht.

Das führt dann zu einer Aussage wie "78 von 100 Lehrern finden, dass Schüler der 3. Klasse Aufgaben selbständig angehen können". Leuchtet sofort ein. Oder: "Das Schüler Diskussionen moderieren können finden erst ab der 6. Klasse mehr als die Hälfte der Lehrer." Nachricht klar.

"Wir haben 100 Lehrern je 6x die gleiche Frage gestellt um sicher zu gehen, dass sie fragenbezogen antworten und nicht etwa ihre Antwort zu 50%/50% erwürfeln"??? Da habe ich Schwierigkeiten dem zu folgen, warum man das machen sollte.

wie häufig wir einen Indikator von einer Lehrperson beurteilen lassen müssen, damit die 0.05 unterschritten werden.

Du willst einen Test darauf machen, ob der Lehrer 50:50 zufällig antwortet und das unter Inkaufnahme, dass 5% der 50:50-würfelnden Lehrer übersehen wird? Du musst Dich schon fragen, welcher Aufwand zu welchem Erkenntnisgewinn führt und hier speziell, welches Menschenbild von Deinen Studienteilnehmern impliziert wird.

Das verwendete Excel habe ich als Anhang hochgeladen.

Nein hast Du nicht. Das Forum hat Dich zu dieser Annahme verleitet, weil es einen Tab "Dateianhang hochladen" gibt aber dann hast Du gemerkt, dass das Forum Dich damit nur in die Irre leitet, weil es Dir keinen Speicherplatz zum Hochladen zubilligt. Das kennen wir schon. Warum dann aber 24 Stunden später immer noch hier steht, dass wir die Logik Deiner Chi-Quadrat-Tests in dem Excel-File nachvollziehen könnten, erschließt sich mir nicht.

Was meint ihr dazu?

Wie beschrieben kann ich nicht nachvollziehen, warum man soviel Aufwand für sowenig Erkenntnisgewinn investieren sollte. Wenn doch, dann ist es ein Binomialtest, den Du zweiseitig ausführen solltest und deshalb reichen die 5 Fragen nicht, sondern Du bräuchtest 6 Antworten. Wie Dein Chiquadrat-Test mit kleineren Zahlen zurecht kommen soll weiß ich nicht. Aus der Dokumentation von Excel entnehme ich:

Use of CHISQ.TEST is most appropriate when Eij’s are not too small. Some statisticians suggest that each Eij should be greater than or equal to 5

( https://support.microsoft.com/en-us/off ... 88de3f260f )

Prüf mal, ob das hier erfüllt ist.

LG,
Bernhard

[flavio]

Guten Abend Bernhard

Danke vielmals für die Antwort. Ich krieg das mit dem Zitieren leider irgendwie nicht hin. Ich hoffe, es ist dennoch übersichtlich genug.

Der Hinweis mit dem Menschenbild der Studienteilnehmenden und der Abwägung Erkenntnisgewinn / Aufwand leuchtet mir ein.

Ich versuche zu präzisieren, warum ich überhaupt auf diese Idee gekommen bin, diese Mehrfachabfragung durchzuführen. Der Grund ist, dass es eine sehr grosse Stichprobengrösse sein wird (~1800 Lehrpersonen), weshalb es praktisch wäre, man hätte einen quasi objektiven Wert, wann wir Daten von Usern aufgrund von Inkonsistenzen aus der Umfrage rausnehmen. Aber die "Kosten", die dadurch entstehen, dass man eine Frage 5 oder 6 Mal stellt, sind vermutlich in der Tat zu gross.

Eine zweite Frage, die mich in diesem Zusammenhang beschäftigt: Ab welchem Verhältnis in Abhängigkeit der Gesamturteile ist es sinnvoll, das Urteil der Befragten zu verwenden, sprich den Indikator als Erwartung für eine bestimmte Schulstufe zu übernehmen.

Mal angenommen, nicht jede Lehrperson beantwortet auch alle Fragen:
- 1700 / 1800 (94%) sagen von Indikator X1, er sei eine realistische Erwartung an 3. Klässler
- 1200 / 1500 (80%) sagen von Indikator X2, er sei eine realistische Erwartung an 3. Klässler
- 200 / 220 (90%) sagen von Indikator X3, er sei eine realistische Erwartung an 3. Klässler

(1) Gibt die Statistik hier irgendeine Möglichkeit, unterschiedlich grosse Stichproben zu vergleichen?
(2) Gibt es einen statistischen "Schellenwert" (z.Bsp. 95%?), der sich anbieten würde, wenn es darum geht, Indikatoren dann auch wirklich zu übernehmen?

Ich danke vielmals für die Hilfe und wünsche einen erholsamen Abend.

Gruss
Flavio

[bele]

Hallo flavio,

Der Hinweis mit dem Menschenbild der Studienteilnehmenden und der Abwägung Erkenntnisgewinn / Aufwand leuchtet mir ein.

Dann hat sich das Konsultieren des Forums ja schon gelohnt.

Der Grund ist, dass es eine sehr grosse Stichprobengrösse sein wird (~1800 Lehrpersonen), weshalb es praktisch wäre, man hätte einen quasi objektiven Wert, wann wir Daten von Usern aufgrund von Inkonsistenzen aus der Umfrage rausnehmen.

Dann müsstest Du Dir genauer überlegen, welche Art von Inkonsistenzen Du erwartest bzw. woran man die erkennen könnte. Dazu könntest Du beispielsweise unsinnige Antwortvorschläge machen. Sagen wir "Beschulpersonen der dritten Klasse können Gleichungssysteme mit komplexen Zahlen lösen" -- Wer dazu "ja" sagt, die hat wahrscheinlich die Frage nicht gelesen und einfach überall "ja" angeklickt. Umgekehrt vielleicht "Beschulpersonen der 3. Klasse können Additionen im Zahlenraum bis 10 vornehmen" um die Überall-Nein-Sagerinnen herauszufischen. Das sind natürlich nur exemplarische Beispielse; da Du tiefer in der Materie steckst wirst Du passendere Fragen finden. Zum anderen liegt in der großen Zahl von Lehrpersonen auch eine riesige Chance: Wenn beispielsweise 10% der Befragten inkonsitent antworten kannst Du Dich bei den vielen Befragten darauf verlassen, dass immer 90% konsistente dabei sind.

Eine zweite Frage, die mich in diesem Zusammenhang beschäftigt: Ab welchem Verhältnis in Abhängigkeit der Gesamturteile ist es sinnvoll, das Urteil der Befragten zu verwenden, sprich den Indikator als Erwartung für eine bestimmte Schulstufe zu übernehmen.

Mal angenommen, nicht jede Lehrperson beantwortet auch alle Fragen:
- 1700 / 1800 (94%) sagen von Indikator X1, er sei eine realistische Erwartung an 3. Klässler
- 1200 / 1500 (80%) sagen von Indikator X2, er sei eine realistische Erwartung an 3. Klässler
- 200 / 220 (90%) sagen von Indikator X3, er sei eine realistische Erwartung an 3. Klässler

Was ist denn die Fragestellung? Wenn die Fragestellung ist, "wieviel Prozent der Lehrer halten das für realistisch?", dann solltest Du ein Konfidenzintervall für die Prozentzahl angeben. Wenn die Frage ist "Sind es eindeutig mehr als die Hälfte der Lehrer, die das für realistisch halten" dann könnte man das tatsächlich über einen Signifikanztest regeln.

Gibt es einen statistischen "Schellenwert" (z.Bsp. 95%?), der sich anbieten würde, wenn es darum geht, Indikatoren dann auch wirklich zu übernehmen?

Wohin zu übernehmen? Eine Beschreibung des für Drittklässlerinnen durchschnittlichen oder eine Abgrenzung, welches Kind einer genaueren Untersuchung bedarf oder welches Kind einer Förderbeschulung bedarf? Je nach Fragestellung wird man unterschiedlich strenge Maßstäbe anlegen müssen.

LG,
Bernhard

[flavio]

Guten Abend Bernhard

Danke für die hilfreichen Kommentare – das Konsultieren des Forums hat sich bisher allemal gelohnt!

Was ist denn die Fragestellung? Wenn die Fragestellung ist, "wieviel Prozent der Lehrer halten das für realistisch?", dann solltest Du ein Konfidenzintervall für die Prozentzahl angeben. Wenn die Frage ist "Sind es eindeutig mehr als die Hälfte der Lehrer, die das für realistisch halten" dann könnte man das tatsächlich über einen Signifikanztest regeln.

Was wir letztlich brauchen ist einen Katalog an Erwartungen (Indikatoren) für jede Stufe, von der wir sagen können: "Die Lehrpersonen sind der Auffassung, diese Erwartungen seien realistische Anforderungen!" Dieser Katalog wird im Schulalltag dann auch zur Anwendung kommen. Das heisst, entweder ein Indikator schafft es in den Katalog einer Stufe, oder nicht. Aber mir ist einerseits unklar, wie wir mit einer unterschiedlich grossen Anzahl an Antworten umgehen sollen.

Beispiel: Was ist wenn ein Indikator X2 1200 von 1500 Stimmen erhalten hat, Indikator X3 nur 200 von 220? Schafft es X3 in den Katalog und X2 nicht?

Andererseits frag ich mich, bei welchem Schwellwert wir die Grenze ziehen sollen: 90%, 60% oder reicht alles, was mehr als 50% ist?

Liebe Grüsse
Flavio

[PonderStibbons]

Ich versuche zu präzisieren, warum ich überhaupt auf diese Idee gekommen bin, diese Mehrfachabfragung durchzuführen. Der Grund ist, dass es eine sehr grosse Stichprobengrösse sein wird (~1800 Lehrpersonen),

Sine ira et studio: aber es verwundert schon, wenn bei einer Studie
dieser Größenordnung niemand dabei ist, der etwas von der
Theorie des Messens, von deskriptiver Statistk und von Inferenzstatistik
versteht. Wer betreut und verantwortet denn sowas? Wäre ich
Teilnehmer, wäre ich nicht begeistert, wenn nicht fachliche
Kompetenz, sondern Diskussionen in einem anonymen Webforum
Basis der Auswertung meiner freiwillig gegebenen Daten wären.

Mit freundlichen Grüßen

PonderStibbons

[flavio]

Das passiert alles noch, ist noch früh in der Planungsphase. Aber ich möchte - auch wenn ich die fachlichen Entscheidungen nicht treffen werde - gerne verstehen, wie dies von Fachleuten beurteilt wird. Dieses Forum scheint mir hierfür jedenfalls bisher für solche Anliegen sehr hilfreich zu sein
Gruss
Flavio