Seltsame Paper-Ergebnissen??

Seltsame Paper-Ergebnissen??

Beitragvon mismatch eta » Do 17. Okt 2024, 21:19

Hi,

ich habe interessehalber eine Frage zu einem Paper, dass ich vor kurzem gelesen habe, weil ich mir nicht sicher bin, ob ich nicht fähig genug bin den "Findings"-Teil zu verstehen, oder die Autoren das unsauber gemacht haben. Ich versuche es hier zusammenzufassen, hier aber auch der Link zum Paper: https://eric.ed.gov/?id=EJ1409786

Die Autoren machen eine Untersuchung mit eine Experimtal- und einer Kontrollgruppe mit jeweils 24 Probanden. Sie messen jeweils vor und nach einer Intervention einen Effekt (Achievement und Attitudes in Linearer Algebra, genaueres bei Interesse im Paper). Seite 34ff. beschreibt die Findings. Dort werden tabellarisch die Vergleiche von Prä- und Posttest innerhalb beider Gruppen, sowie die Vergleiche beider Messzeitpunkte zwischen beiden Gruppen präsentiert. Ich beziehe mich jetzt weiter auf "Achievement", das die Tabellen 1, 3, 4 und 5, meine Fragen sind aber die gleichen für die "Attitude"-Daten. Die Autoren sprechen davon, dass sie einen t-Test verwenden, dass Kolmogorov Smirnov(p=.558;p>.05) und Levene (0.003) ok seien. Zur Zusammenfassung habe ich die Tabellen auch mal in einem Bild zusammengefasst (hier: https://ibb.co/XFJLPbw). In den Tabellen sind die Kontroll- und Experimentalgruppen jeweils mit K2 bzw. E2 abgekürzt, dazu "pre" oder "post" für den Messzeitpunkt. Darunter auch jeweils die Sachen aus dem Fließtext zu den Tabellen, die ich wesentlich für den Kontext fand.

Meine Fragen dazu:
    1. Den Daten bzw. den angegebenen Freiheitsgraden (siehe Bild) entnehme ich, dass für die Vergleiche der beiden Gruppen ein t-Test für unabhängige Stichproben und für den Vergleich innerhalb der Gruppen einer für verbundene Stichproben durchgeführt wurde. Müssten es für ersteren aber bei N=24 in beiden Gruppen 24+24-2=46 Freiheitsgrade sein und nicht 47?

    2. In den Tabellen wird einmal die Abkürzung S (wahrscheinlich Standardabweichung?) und S.S. (Sum of Squares??) verwendet. Das ist scheinbar auch nicht das Gleiche, da in Zellen, wo ich dann eigentlich die gleichen Werte erwarten würde, unterschiedliche stehen. Sind das geläufige Abkürzungen? Wenn ja, kann mir jemand sagen, was sie bedeuten?

    3. Weil ich verwirrt und skeptisch war, habe ich für den Vergleich der Prätests beider Gruppen (im Bild links oben) versucht den t-Wert zu Fuß auszurechnen (mit den Werten für Stichprobengrößen, Mittelwerte und die Standardabweichungen der Tabelle). Da komme ich aber auf 0.397. Was läuft da falsch? Genommen habe ich eine Gleichung für homogene Varianz von hier: https://datatab.de/tutorial/unabh%C3%A4ngiger-t-test

Ich bin für jede Hilfe dankbar, ich komme mit meinem beschränkten Wissen nämlich absolut nicht weiter.

Danke! :)
mismatch eta
Grünschnabel
Grünschnabel
 
Beiträge: 2
Registriert: Do 17. Okt 2024, 20:24
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post

Re: Seltsame Paper-Ergebnissen??

Beitragvon PonderStibbons » Do 17. Okt 2024, 23:22

Ich kann Dir folgen, Das ist ein Kuddelmuddel. Bei der verwirrenden df=47 statt df=46 wurde womöglich versehentlich ein t-Test für abhängige Messungen gerechnet.

Bei S und SS weiß ich es nicht Vielleicht einmal die Standardabweichung der Stichprobe, das andere Mal die Standardabweichung in der Grundgesamtheit (mit n-1 im Nenner statt n).

NB Levene-Test p < 0,003 bedeutet, dass gegen die Voraussetzung Varianzhomogenität verstoßen wurde.

Mit freundlichen Grüßen

PonderStibbons
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 11364
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 51
Danke bekommen: 2503 mal in 2487 Posts

Re: Seltsame Paper-Ergebnissen??

Beitragvon mismatch eta » Fr 18. Okt 2024, 09:23

Danke für schnelle Antwort.

Bei der verwirrenden df=47 statt df=46 wurde womöglich versehentlich ein t-Test für abhängige Messungen gerechnet.

Das ist natürlich eine Möglichkeit. Wenn ich das richtig sehe, habe ich dann aber keine Möglichkeit das zu prüfen, weil ich dafür ja den Mittelwert der Differenzen bräuchte?!

Bei S und SS weiß ich es nicht Vielleicht einmal die Standardabweichung der Stichprobe, das andere Mal die Standardabweichung in der Grundgesamtheit (mit n-1 im Nenner statt n).

Das war auch mein erster Gedanke, dann müsste ich doch aber den größeren Wert (in Spalte S) mit und den kleineren Wert (in Spalte S.S.) mit multiplizieren können um jeweils zu erhalten, würde ich denken. Und das passt auch abseits von Rundungsfehlern nicht.

NB Levene-Test p < 0,003 bedeutet, dass gegen die Voraussetzung Varianzhomogenität verstoßen wurde.

Stimmt, danke. Ich habe vorher den t-Wert bei Varianzhomogenität bestimmt. Aber auch im Fall von Varianzinhomogenität komme ich auf 0.397.

Es scheint ja aber dann doch so zu sein, dass nicht hervorgeht, wie die Ergebnisse zustande kommen. Kann man denn vor diesem Hintergrund die Schlussfolgerungen der Autoren ernst nehmen?

Beste Grüße
mismatch eta
mismatch eta
Grünschnabel
Grünschnabel
 
Beiträge: 2
Registriert: Do 17. Okt 2024, 20:24
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post

Re: Seltsame Paper-Ergebnissen??

Beitragvon PonderStibbons » Sa 19. Okt 2024, 16:30

Bei der verwirrenden df=47 statt df=46 wurde womöglich versehentlich ein t-Test für abhängige Messungen gerechnet.

Das ist natürlich eine Möglichkeit. Wenn ich das richtig sehe, habe ich dann aber keine Möglichkeit das zu prüfen, weil ich dafür ja den Mittelwert der Differenzen bräuchte?!

Der ergibt sich aus der Differenz der beiden Mittelwerte. Aber die Standardabweichung der Differenzen ist nicht bekannt.
Es scheint ja aber dann doch so zu sein, dass nicht hervorgeht, wie die Ergebnisse zustande kommen. Kann man denn vor diesem Hintergrund die Schlussfolgerungen der Autoren ernst nehmen?

Teilweise nicht. Aber vielleicht sind die Deskriptivstatistiken korrekt.

Mit freundlichen Grüßen

PonderStibbons
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 11364
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 51
Danke bekommen: 2503 mal in 2487 Posts


Zurück zu t-Test

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 7 Gäste