STATISTIK-FORUM.de

[frontschwein]

Hallo zusammen,

Ich habe in einer Umfrage ca 40 Fakten zu einer gewissen Thematik aufgeführt. Nach jedem Fakt wird erstmal gefragt:
-Sind sie sich bewusst über diesen Fakt? [Ja/Nein]
Und dann kommt noch:
-Wie wichtig finden sie diesen Fakt? [Unwichtig/Eher unwichtig/ Eher wichtig/ Wichtig]. Also eine 4-Punkt Likert Skala.

Nun möchte ich eine Korellation zwischen den beiden Variablen machen. Also des Bewusstseins(Awareness) und der Wichtigkeit. Es soll geschaut werden, welchen Mittelwert der Wichtigkeit die Ja-Sager hatten, und welchen Mittelwert der Wichtigkeit die Nein-Sager hatten, und diese beiden Mittelwerte verglichen werden.

Dazu wurde mir von einer Freundin geraten, den t-test zu machen. Frage 1: Denkt ihr, dass der t-test in dem Falle der richtige Test ist?


Nun zu den Ergebnissen:

Die 42 Fragen sind in 14 Kategorien à 3 Fragen geordnet. Ich habe gedacht, dass ich vielleicht die Ergebnisse von jeweils einer Kategorie zusammenfasse, und dann pro Kategorie den t-test mache. Also insgesamt 14 t-tests, anstelle von 42. Frage 2: Geht das so?

Ich bekomme eigentlich 2 verschiedene arten von Ergebnisse und frage mich wie aussagekräftig die wohl sind.

Fall 1: Die Signifikanz im Levene Test ist kleiner 0,05. Somit nehme ich dann die Signifikanzen aus der Zeile "Varianzen nicht gleich". Der ist die Signifikanz (2-seitig) dann ebenfalls unter 0,05. Cohen´s D ist dem dem falle immer über 0,2, teilweise sogar über 0,6. Also leichte bis mittlere Effektstärke. (Siehe Screenshot 1, "water consumption")

Das würde ja heißen, dass der Unterschied signifikant ist. Aber die Varianzen nicht gleich sind (Levene Test). --> Folglich ist dieser signifikante unterschied nicht wirklich aussagekräftig wegen dem Levene Test? Frage 3: Oder wie würdet ihr das interpretieren?

Fall 2: Die Signifikanz im Levene Test ist größer 0,05. Somit nehme ich dann die Signifikanzen aus der Zeile "Varianzen gleich". Dort ist die Signifikanz (2-seitig) dann ebenfalls über 0,05. Cohen´s D ist dem dem falle immer unter 0,2. Also keine Effektstärke. (Siehe Screenshot 2, "Energy and Emissions")
Das würde ja heißen, dass die Varianzen gleich sind (Leven test), und somit der t-test aussagekräftig ist. Jedoch wurde im t-test kein signifikatner unterschied festgestellt, und auch cohen`s D sagt keine Effektstärke. Frage 4: Oder wie würdet ihr das interpretieren?

Ich finds halt komisch...sobald die Varainzen nicht übereinstimmen (Levene test) wird mir ein signifikanter Unterschied (t-test) und eine leichte bis mittlere Effektstärke (Cohens D) dargestellt. Kaum stimmen die Varianzen aber überein, wird mir dargestellt, dass kein signifikatner Unterschied (t-test) und keine effektestärke (cohens D) da ist. Deswegen kann ich den dargestellten Effekten, welche bei Fall 1 auftreten, nicht so wirklich vertrauen... Frage 5: Wie interpretiert ihr das denn?

Leute, ich wäre euch so dankbar für eine Antwort. Ich hatte noch nie Statistik, und das ist meine Masterarbeit, bei welcher ich mittlerweile von unter Zeitdruck stehe...ich hoffe das irgendwie hinzubekommen und bin voll auf euch angewiesen. Danke!

Der Upload der Bilder hat nicht hier funktioniert, deswegen hier ein Link zu den beiden Screenshots: https://ibb.co/CJwdwNT

[PonderStibbons]

-Wie wichtig finden sie diesen Fakt? [Unwichtig/Eher unwichtig/ Eher wichtig/ Wichtig]. Also eine 4-Punkt Likert Skala.

Das ist allerdings keine Likert-Skala, sondern ein einzelnes Rating-Item. Likert-Skala ist die Bezeichnung für ein Messinstrument,
das aus mehreren Items vom Likert-Typ besteht, deren Werte summiert werden. Das korrekt zu unterscheiden ist oft wichtig wegen
des Skalenniveaus.

Nun möchte ich eine Korellation zwischen den beiden Variablen machen. Also des Bewusstseins(Awareness) und der Wichtigkeit. Es soll geschaut werden, welchen Mittelwert der Wichtigkeit die Ja-Sager hatten, und welchen Mittelwert der Wichtigkeit die Nein-Sager hatten, und diese beiden Mittelwerte verglichen werden.

Dazu wurde mir von einer Freundin geraten, den t-test zu machen. [b]Frage 1: Denkt ihr, dass der t-test in dem Falle der richtige Test ist?

Deine Rating-Items sind ordinal skaliert. Der t-Test erfordert Intervallskalenniveau. Du kannst zum Vergleich zwischen
den Gruppen stattdessen den Mann-Whitney U-Test in Betracht ziehen.

Die 42 Fragen sind in 14 Kategorien à 3 Fragen geordnet. Ich habe gedacht, dass ich vielleicht die Ergebnisse von jeweils einer Kategorie zusammenfasse, und dann pro Kategorie den t-test mache. Also insgesamt 14 t-tests, anstelle von 42. Frage 2: Geht das so?

Messen denn die zusammenfassten Items dasselbe Konstrukt? An sich hast Du erstmal
keine Aussagen darüber, ob es tatsächlich so ist.

Ungeachtet dessen, mehrere Rating-Items zusammengefasst zu einer Skala werden oft
als intervallskaliert behandelt, da wäre dann ein Mittelwertvergleich mit t-Test bzw.
immer von vornherein Welch-Test (t-Test mit Korrektur für etwaige ungleiche Varianzen).

Cohen´s D ist dem dem falle immer über 0,2, teilweise sogar über 0,6. Also leichte bis mittlere Effektstärke. (Siehe Screenshot 1, "water consumption")

Vorsicht, Effektstärken sind Angaben über Grundgesamtheiten, nicht über Stichprobendaten.
Der "Effekt" in Stichproben ist zusammengesetzt aus dem "echten" Effekt und dem Stichprobenfehler,
also zu groß oder zu klein. Bei nicht-großen Stichproben können sie weit daneben liegen. Das ist ja
der Grund für das Nullhypothesentesten, andernfalls könnte man sich gleich die "Effektstärke" ansehen.
Ein 95%-Konfidenzintervall um einen Mittelwertunterschied kann sow etwas zusätzlich
verdeutlichen.

Mit freundlichen Grüßen

PonderStibbons

[frontschwein]

Das ist allerdings keine Likert-Skala, sondern ein einzelnes Rating-Item. Likert-Skala ist die Bezeichnung für ein Messinstrument,
das aus mehreren Items vom Likert-Typ besteht, deren Werte summiert werden. Das korrekt zu unterscheiden ist oft wichtig wegen
des Skalenniveaus.

So ganz habe ich das zwar noch nicht verstanden, auch nicht mit dem Artikel, welchen du im SPSS Forum verlinkt hast, aber ich akzeptiere es einfach mal. Ich habe keine Likert Skala. Sondern ein einzelnes Rating Item. Dies ist ordinal skaliert. Und somit muss ich den Withney Mann U test machen. Alles klar.

Ich habe übrigens für alle Kategorien beide Tests gemacht. Den T-Test und den Withney Mann U test. Es kamen sehr ähnliche Zahlen bezüglich der Signifikanz heraus. Alle Kategorien, welche laut t-test signifikante Unterschiede haben, haben diese auch im withney mann u test. Genau so auch mit nicht-signifikaten ergebnissen.

Messen denn die zusammenfassten Items dasselbe Konstrukt?

Was ist denn ein "Konstrukt"?
Ich gebe mal ein Beispiel für meine Kategoriesystem.
Der Fragebogen thematisiert Nachhaltigkeit in Profifussballvereinen.
Erstmal wird das ganze in 3 Subkategorien eingeteilt --> Ökologisch, Ökonomisch, Sozial.
Diese Subkategorien sind noch weiter eingeteilt--> Ökologisch: Beinhaltet 5 Subkateogiren wie "Energie", "Wasser".... ; Sozial: beinhaltet 5 Subkateogiren wie "Mitarbeiter", "Fans"..... ; Ökonomisch: beinhaltet 4 Subkategorien wie "Transparenz", "Management".....

Summa summarum, gibt es also 3 Subkategorien, und 14 Sub-Subkategorien.

Jede der 14 Sub-Subkategorien enthält 3 Fragen. Beispiel die Sub-Subkategorie "Wasser" enthält fragen wie:
F1: Der Frischwasserverbrauch des Vereins XY konnte im Jahr XY gesenkt werden
F2: Der Verein XY veringert das eindringen von Chemikalen ins Grundwasser
F3: Der Verein XY hat im Jahr XY ein Wasserrückgewinnsungssystem entwickelt.

So kommen wir insgesamt auf 42 Fragen. (Da 14x3=42).

Ich halte es für etwas seltsam, 42 mal einen withneyUtest zu machen. Die Fragen sollen ja exemplarisch jeweils das Thema der Kategorie (z.b. Wasser) repräsentieren. Deshalb, dachte ich dass ich die Antworten zusammenfassen kann, und nen withney u test für die Sub-Subkateogiren machen kann. Und ebenfalls dann noch einen für die 3 Subkategorien. Und einmal einen Withney U test für alle Ergebnisse zusammen.

Vorsicht, Effektstärken sind Angaben über Grundgesamtheiten, nicht über Stichprobendaten.

Die Cohens D geschichte hat sich ja jetzt wohl eh erledigt, da ich keinen T-Test machen soll.



Ich möchte dir jetzt schonmal sehr danken für die Beantwortung meiner Fragen! Vielen Dank!!!

[PonderStibbons]

Für die zusammengefassten Items, also die 14 Kategorien, wären t-Tests (bzw. besser Welch-Tests)
durchführbar. Ob es inhaltlich und methodisch zulässig ist, die Items zu summieren, kann ich nicht
beurteilen. Es wäre zumindest sinnvoll, wenn die Items, die zusmmengerechnet werden, miteinander
positiv korreliert sind.

Mit freundlichen Grüßen

PonderStibbons

[frontschwein]

Für die zusammengefassten Items, also die 14 Kategorien, wären t-Tests (bzw. besser Welch-Tests)
durchführbar.

Uff, jetzt bin ich etwas überfordert Weiter oben hast du mir den Withney Mann U test nahegelegt. Zitat:

Deine Rating-Items sind ordinal skaliert. Der t-Test erfordert Intervallskalenniveau. Du kannst zum Vergleich zwischen
den Gruppen stattdessen den Mann-Whitney U-Test in Betracht ziehen.

Welchen der beiden tests passt methodisch besser?
Ich möchte ja nach wie vor den Importance-Mittelwert der Ja-Sager (Awareness) mit dem Importance-Mittelwert der Nein-Sager (Awareness) vergleichen. Um eine Korrelation zu prüfen.

...

Es wäre zumindest sinnvoll, wenn die Items, die zusmmengerechnet werden, miteinander
positiv korreliert sind.

Wie kann ich das prüfen, ob sie positiv korreliert sind? Mittelwert und Standardabweichung?


Vielen Dank!

[PonderStibbons]

Uff, jetzt bin ich etwas überfordert Weiter oben hast du mir den Withney Mann U test nahegelegt. Zitat:

Die Items sind streng genommen als ordinalskaliert anzusehen, da passt der U-Test.

Wenn Du mehrere Itens zusammenfasst, kann man vertreten, die so entstandene Skala als intervallskaliert
zu behandeln und dementsprechend einen Welch-t-Test durchzuführen.

Es wäre zumindest sinnvoll, wenn die Items, die zusmmengerechnet werden, miteinander
positiv korreliert sind.

Wie kann ich das prüfen, ob sie positiv korreliert sind? Mittelwert und Standardabweichung?

Wenn Korrelationskoeffizient (Pearson oder hier besser nach Spearman) Dir noch kein Begriff ist,
lassen wir das vielleicht besser fallen.

Mit freundlichen Grüßen

PonderStibbons

[frontschwein]

Wenn Du mehrere Itens zusammenfasst, kann man vertreten, die so entstandene Skala als intervallskaliert
zu behandeln und dementsprechend einen Welch-t-Test durchzuführen.

Wieso? Da die Anzahl dann erhöht ist? Pro Item liege ich aktuell bei n=100. Wenn ich also pro Kategorie 3 Items zusammenfasse, wäre ich bei n=300 pro Kategorie.

Vielen lieben Dank und beste Grüße!