STATISTIK-FORUM.de

[Kaikante]

Grüßt euch,

Ich schreibe derzeit an meiner Examensarbeit. Ich komme bei der Auswertung meiner ersten Hypothese nicht vorwärts und hoffe, dass mir jemand helfen kann.

Ich habe eine schriftliche Befragung durchgeführt und Lehrkräfte gefragt, welche Schwerpunkte sie im Unterricht beobachtet haben wollen. Den Lehrkräfte wurden verschiedene Beobachtungsschwerpunkte genannt, zum Beispiel "Bewegung der Lehrkraft im Raum". Es existierten vier Überkategorien (Verhalten der Lehrkraft; Verhalten der Lernenden; Prozessqualität und Medieneinsatz). Jeder der Kategorien hatte eine unterschiedliche Anzahl von Aspekten. Die Lehrkräfte konnten angeben ob sie den Beobachtungsschwerpunkt beobachtet haben wollen. Dazu existierte eine vierstufige Intervallskala (trifft voll zu, trifft eher zu, trifft eher nicht zu; trifft gar nicht zu).

Meine Hypothese lautete, dass es einen Unterschied in der Häufigkeit der Nennung der Schwerpunkte gibt. Mir wurde gesagt, ich solle dazu einen Chi-Quadrat-Test machen. Dafür sollte ich meine Variablen umcodieren. Das habe ich folgendermaßen gemacht. Alle Mittelwerte die unter 2,5 lagen bekamen eine 1 und alle über 2,5 eine 2. Als Ergebnis erhielt ich folgendes:

Verhalten der Lehrkraft: 1 = 60 2 = 5
Verhalten der Lernenden: 1 = 58 2= 7

Die beiden Werte möchte ich nun in einer Kreuztabelle miteinander vergleichen und gucken, ob es einen signifikanten Unterschied gibt. Ich teste doch mit dem Chi-Quadrat-Test Zusammenhänge und nicht Unterschiede. Ich verstehe also nicht, wie ich aus meinem Ergebnis p = 0,011 (exakter Test nach Fisher) etwas für meine Hypothese ableiten soll. Ich finde den Haken einfach nicht und meine Bearbeitungszeit neigt sich dem Ende zu. Kann mir jemand helfen?

[PonderStibbons]

Dazu existierte eine vierstufige Intervallskala (trifft voll zu, trifft eher zu, trifft eher nicht zu; trifft gar nicht zu).

Das ist eine ordinale Skala.

Meine Hypothese lautete, dass es einen Unterschied in der Häufigkeit der Nennung der Schwerpunkte gibt.

Das wäre dann, der Formulierung der Hypothese entsprechend,
"trifft gar nicht zu" versus alle anderen Stufen, letztere zusammengefasst.

Oder meinst Du vieleicht nicht die Häufigkeit, sondern den Ausprägungsgrad?
Wenn nicht, wieso dann erst eine 4stufige Skala verwenden und nicht von
vornherein ja/nein?

Mir wurde gesagt, ich solle dazu einen Chi-Quadrat-Test machen.

Erstens geht das nicht mit dem Chi²-Test, weil der für unabhängige Beobachtungen
ist, hier aber von denselben Leuten mehrere Antworten verglichen werden sollen
(abhängige Messungen). Bei dichotomen abhängigen Messungen kann man den
McNemar's-Test verwenden.

Zweitens wäre es eine Informationsverschwendung, die ordinalen Messungen zu
dichotomisieren. Für den Vergleich abhängiger ordinaler Messungen gibt es
den Vorzeichentest.

Dafür sollte ich meine Variablen umcodieren. Das habe ich folgendermaßen gemacht. Alle Mittelwerte die unter 2,5 lagen bekamen eine 1 und alle über 2,5 eine 2.

Ordinale Skalen keinen Mittelwert. Aber vor allem: was sollte das inhaltlich
für einen Sinn ergeben? Ich sehe keinen. Wenn überhaupt, dann kannst Du
(wie oben angesprochen) anhand der Stufen der Orginalskala dichotomisieren.

Die beiden Werte möchte ich nun in einer Kreuztabelle miteinander vergleichen und gucken, ob es einen signifikanten Unterschied gibt. Ich teste doch mit dem Chi-Quadrat-Test Zusammenhänge und nicht Unterschiede.

Wortklauberei. Wenn es einen Unterschied zwischen Männern und Frauen
hinsichtlich des Besitzes einer Bohrmaschine gibt, dann gibt es einen
Zusammenhang zwischen Geschlecht und Bohrmaschinenbesitz.

Aber wie gesagt ist Chi² der falsche Test für dichotome abhängige Messungen.
Und sowieso sollte man ein Verfahren verwenden, das das vorhandene höhere
Skalenniveau ausnutzt.

Ich verstehe also nicht, wie ich aus meinem Ergebnis p = 0,011 (exakter Test nach Fisher) etwas für meine Hypothese ableiten soll.

Das ist das Ergebnis des Signifikanztests (wenn auch eines falsch angewendeten).
Falls Du überhaupt nicht weißt, was ein Signifikanztest ist, dann ist es allerdings
etwas überraschend, dass Du eine solche Auswertung unternimmst. Wer betreut
das denn?

Mit freundlichen Grüßen

PonderStibbons

[Kaikante]

Danke für deine Antwort. Ich versuche mein Vorhaben näher zu beschreiben eventuell wird dann deutlicher was ich möchte. Folgendermaßen war der Fragebogen aufgebaut.


2. Beobachtungsschwerpunkt zum Verhalten der Lehrkraft
Studierende (im Praktikum) möchten bei Ihnen im Unterricht Beobachtungen zum Verhalten der Lehrkraft machen.
Bitte geben Sie an, inwieweit Sie persönlich folgende Beobachtungsschwerpunkte beobachtet haben wollen.

2.2 Ausstrahlung der Lehrkraft
2.3 Persönliches Engagement der Lehrkraft
2.4 Flexibilität der Lehrkraft
.
.
.

3. Beobachtungsschwerpunkt zum Verhalten der Lernenden
Studierende (im Praktikum) möchten bei Ihnen im Unterricht Beobachtungen zum Verhalten der Lernenden machen.
Bitte geben Sie an, inwieweit Sie persönlich folgende Beobachtungsschwerpunkte beobachtet haben wollen.

3.1 Zielstrebigkeit der Lernenden
3.2 Aufgabenbewältigung durch die Lernenden
3.3 Beiträge der Lernenden (Häufigkeit von Antworten)
.
.
.

Insgesamt habe ich 65 Lehrerinnen und Lehrer befragt. Nun möchte ich gucken, welche Beobachtungsschwerpunkte für die Lehrkräfte besonders wichtig sind bzw. welche sie hauptsächlich beobachtet haben wollen. Wenn ich keine Mittelwerte nutzen kann, dann könnte ich doch auch die Häufigkeiten der einzelnen Aspekte addieren und als neue Gesamtvariable SummeVerhalten der Lehrkraft und Summe Verhalten der Lernenden definieren. Beim Chi-Quadrat-Test möchte ich gerne bleiben, weil mir meine Methodenberatung gesagt hat, ich solle den Test nehmen. Schließlich habe ich doch zwei Variablen und kann diese auf einen Unterschied testen!?

Den Signifikanzwert habe ich verstanden. Ich habe aber nicht verstanden was es bedeutet, wenn der Chi-Quadrat-Test signifikant ist. Das konntest du mir aber beantworten.

[PonderStibbons]

Wenn ich keine Mittelwerte nutzen kann, dann könnte ich doch auch die Häufigkeiten der einzelnen Aspekte addieren und als neue Gesamtvariable SummeVerhalten der Lehrkraft und Summe Verhalten der Lernenden definieren.

Was meinst Du mit Häufigkeit der Aspekte addieren?
Du hast für die Beurteilung der Aspekte eine Skala
"trifft voll zu, trifft eher zu, trifft eher nicht zu;
trifft gar nicht zu". Möchtest Du die Antworten
summieren? Das wäre durchaus ein gängiges Vorgehen.

Beim Chi-Quadrat-Test möchte ich gerne bleiben, weil mir meine Methodenberatung gesagt hat, ich solle den Test nehmen. Schließlich habe ich doch zwei Variablen und kann diese auf einen Unterschied testen!?

Was Deine Methodenberatung Dir aufgrund welcher Annahmen
gesagt hat, kann ich von hier aus nicht nachvollziehen. Ich kann
Dir lediglich mitteilen, was nach dem, was Du beschreibst,
sachlich falsch bzw. eine schlechte Wahl wäre.

Es sind hier abhängige Beobachtungen - dieselben Leute haben
als Messwerte a) Summe Verhalten Lehrkraft und b) Summe
Verhalten der Lernenden vorzuweisen. Chi² Tests sind geeignet
für unabhängige Messungen, z.B. Vergleich der Werte
von befragten Schülern auf einer Skala mit den Werten
von befragten Lehrer auf derselben Skala. Sowas liegt hier nicht
vor, daher wäre der Chi2 Test falsch.

Zudem sind es, so wie es sich nun darstellt, mindestens
ordinal- vermutlich sogar intervallskaliert zu behandelnde
Messungen und damit wäre eher ein Vorzeichentest oder
sogar ein t-Test (Mittelwertvergleich für abhängige Messungen)
angebracht.

[Kaikante]

Du hast Recht ich wollte die Antworten und nicht die Aspekte addieren. Allerdings unterscheidet sich die Anzahl der Aspekte in den Kategorien Verhalten der Lehrkraft (15), Verhalten der Lernenden (10), Prozessqualität (14) und Medieneinsatz (6). Einen t-test kann ich nicht durchführen, da meine Daten nicht normalverteilt sind. Es kann doch nicht so schwer sein, herauszubekommen, ob die Lehrkräfte beim Verhalten der Lernenden signifikant häufiger trifft voll zu und trifft eher zu angekreuzt haben, als bei Aspekten zum Verhalten der Lernenden. Kannst du mir auch sagen, wie ich meine Daten für den Vorzeichentest umcodieren müsste?

Macht es eventuell einen Unterschied für die Auswertungsmethode, wenn ich die Hypothese gerichtet formuliere und vermute: Die Lehrkräfte wollen den Beobachtungsschwerpunkt Verhalten der Lehrkraft signifikant häufiger beobachtet haben, als die anderen Schwerpunkte?

[PonderStibbons]

Du hast Recht ich wollte die Antworten und nicht die Aspekte addieren. Allerdings unterscheidet sich die Anzahl der Aspekte in den Kategorien Verhalten der Lehrkraft (15), Verhalten der Lernenden (10), Prozessqualität (14) und Medieneinsatz (6).

Summieren oder Mittelwerte bilden wäre hier äquivalent. Also kannst Du
auch letzteres machen, das würde die Skalen vergleichbar machen.
Im Fall einer Skalenbildung aus mehreren ordinalen Items gilt das als
zulässig.

Einen t-test kann ich nicht durchführen, da meine Daten nicht normalverteilt sind.

Daten müssen für den t-test niemals normalverteilt sein.

Im Falle von Gruppenvergleichen sollten die Daten innerhalb
der Gruppen normalverteilt sein (aus normalverteilten
Grundgesamtheiten stammen, um genau zu sein). Im Falle von
t-Tests für abhängige Messungen, wie sie hier anscheinend
vorliegen, sollten die Differenzwerte normalverteilt sein,
nicht die Messungen.

Allerdings ist in beiden Fällen die Normalverteilungsannahme
entbehrlich, wenn die Srichprobe ausreichen groß ist (zentraler
Grenzwertsatz), n > 40 reicht da sicher aus.

Es kann doch nicht so schwer sein, herauszubekommen, ob die Lehrkräfte beim Verhalten der Lernenden signifikant häufiger trifft voll zu und trifft eher zu angekreuzt haben, als bei Aspekten zum Verhalten der Lernenden.

Da kannst Du auszählen, wie die relativen Häufigkeiten im ersten
bzw. zweiten Fall aussehen.
D.h. wie bei jedem Befragten die %-Rate "trifft voll/eher zu" bei allen
Antworten im Bereich "Verhalten der Lernenden" aussieht (e.g. 3 von 10
= 30%), und wie diese %-Rate im Bereich "Verhalten der Lehrenden"
aussieht (e.g. 5 von 15 = 33%). Diese Raten kann man dann als abhängige
Variablen benutzen und mit dem t-Test oder dem Vorzeichentest vergleichen.

Aber ich würde eher den Mittelwert der einzelnen Items eines
Bereches nehmen (s.o.).

Kannst du mir auch sagen, wie ich meine Daten für den Vorzeichentest umcodieren müsste?

Benutzt Du denn keine Auswertungssoftware?

Mit freundlichen Grüßen

PonderStibbons

[Kaikante]

Ich verstehe durch deine Antworten deutlich mehr als vorher. Zur Auswertung nutze ich SPSS 22. Einen t-test habe ich soeben durchgeführt. Beim Vergleich von Prozessqualität des Unterrichts (MW = 1,7) und Verhalten der Lehrkraft (MW = 1,78) erhalte ich (p = 0,251). Demgegenüber gibt es bei Prozessqualität und Medieneinsatz (MW = 1,9) anscheinend einen Zusammenhang (p = 0,000).

Zwei offene Fragen habe ich noch. Reicht die Irrtumswahrscheinlichkeit zur Interpretation der Ergebnisse und hast du einen Literaturtipp, wo ich nachlesen kann, dass bei Stichprobenzahlen über n = 40 die Normalverteilung entfällt? Zweiteres habe ich bei meiner Literaturrecherche nämlich nicht gefunden. Vielen Dank schon jetzt für die Hilfe.

[PonderStibbons]

Zwei offene Fragen habe ich noch. Reicht die Irrtumswahrscheinlichkeit zur Interpretation der Ergebnisse

Das weiß ich nicht. Für sich genommen ist ein "signifikanter" Test nicht so spannend,
der sagt lediglich, dass die Stichprobendaten von der Nullhypothese ("Der Unterschied
ist in der Grundgesamtheit exakt = 0,000") abweichen. In der Stichprobe wirkt der
Mittelwertunterschied nicht besonders groß, aber das ist Ansichtssache.

und hast du einen Literaturtipp, wo ich nachlesen kann, dass bei Stichprobenzahlen über n = 40 die Normalverteilung entfällt?

Zentraler Grenzwertsatz.

Mit freundlichen Grüßen

Ponderstibbons

[Kaikante]

Ich habe heute meiner Methodenberatung mein Vorgehen geschildert und habe die ein oder andere Entgegnung bekommen. Das grundlegendste Problem ist, dass sie meinte meine Stichprobe sei unabhängig und nicht verbunden. Begründung: verbunden ist zu mehreren Messzeitpunkten (Längsschnitt) unverbunden zu mehreren (Querschnitt). Ich finde dazu im Internet nur uneindeutige Aussagen.

"Verbundene Stichproben sind Daten, die an den gleichen Fällen/Patienten gemessen wurden." - das haut bei mir hin
nächster Satz: "Wenn zum Beispiel ein Laborparameter an allen Patienten vor und nach der Behandlung gemessen wird, dann hat man zwei Stichproben:
eine mit Messungen vor der Behandlung und
eine mit Messungen nach der Behandlung." - das haut bei mir nicht hin.

Kannst du mir das erklären?

[PonderStibbons]

Ich habe heute meiner Methodenberatung mein Vorgehen geschildert und habe die ein oder andere Entgegnung bekommen. Das grundlegendste Problem ist, dass sie meinte meine Stichprobe sei unabhängig und nicht verbunden. Begründung: verbunden ist zu mehreren Messzeitpunkten (Längsschnitt) unverbunden zu mehreren (Querschnitt).

Das ist, mit Verlaub, Unfug. Es geht darum, dass mehrere
Messungen auf derselben Skala am selben Objekt vorgenommen
werden, und dass diese Messungen miteinander verglichen werden
sollen. Ob die Messungen darin bestehen, dass dasselbe über die
Zeit hinweg mehrmals erhoben wird, oder ob mehrere
verschiedenen Messungen zur selben Zeit vorgenommen
werden, ist dabei unerheblich. Wenn ich von jemandem zur
selben Zeit das linke und das rechte Bein messe, um die Längen
zu vergleichen, habe ich selbstverständlich abhängige (verbundene)
Messungen. Wenn ich jemanden Frage, wie sehr er Eiskonfekt und
wie sehr er Sauerkraut liebt, jeweils auf einer Skala von 1 bis 6,
dann sind das 2 abhängige Messungen von "Essensvorliebe",
unter 2 Bedingungen. Und wenn ich am Montag und Mittwoch
frage, ob er Sauerkraut liebt, sind das ebenenfalls abhängige
Messungen.

Was schwebt denn der Methodenberatung vor, die Stichprobe
verdoppeln, um dann die Antworten auf Skala 1 mit denen auf
Skala 2 mithilfe eines Tests für 2 unabhängige Probandengruppen
zu analysieren?

Kannst du mir das erklären?

Steht da doch schon: es ist ein Beispiel. Wiederholte Messungen
sind verbundene Messungen. Aber nicht alle verbundenen Messungen sind
wiederholte Messungen. Alle Pudel sind Hunde aber nicht alle Hunde sind
Pudel.