STATISTIK-FORUM.de

[Einhorn]

Hi zusammen,

ich habe eine Pilotstudie durchgeführt, bei der 11 Subjekte unter drei Bedingungen getestet wurden (Repeated Measures). Eine One-Way Repeated Measures ANOVA zeigte keinen signifikanten Effekt (p>0,05). Auf Basis dessen wollte ich mit G*Power die erforderliche Stichprobe für die finale Studie berechnen (Alpha: 5%, Power: 80%).
Parameter:
• Effektstärke: 0,84
• Korrelation nach Pearson = 0,4
• Non-Sphericity Correction = 1
Das Ergebnis ist eine Sample Size von 5. Wie kann es sein, dass das Ergebnis geringer ist als in der Pilotstudie? Müsste dann der Effekt nicht bereits in der Pilotstudie signifikant sein?

Besten Dank im Voraus!

[PonderStibbons]

Effektstärke: 0,84

Das klingt sehr ambitioniert.

Mit freundlichen Grüßen

PonderStibbons

[Einhorn]

Ja, das stimmt Ich benutzte Formel (2) aus dieser Anleitung (s. 14):
Prajapati, B., Dunne, M., & Armstrong, R. (2010). Sample size estimation and statistical power analyses. Optometry today, 16(07), 10-18.
Meine Mittelwerte sind: 5.23 (SD 2.61), 5.67 (SD 2.12) und 3.61 (SD 2.51)

Mittlerweile habe ich auch ausprobiert, die Effektgröße automatisch mit G*Power über das Partial Eta Squared zu berechnen. Da ich dieses mit SPSS berechnet habe (partial η² = .23), wählte ich in G*Power die entsprechende Option (analog dieser Erklärung https://www.youtube.com/watch?v=CEQUNYg80Y0). Die Effektgröße ist dann 0.54 und die Sample Size 20. Das entspricht bei meinem repeated measures Design 7 pro Gruppe, also 7 insgesamt. Damit liegt die Zahl jedoch immer noch unter der Samplegröße meiner Pilotstudie (N=11). Was mache ich falsch?

Besten Dank!

[PonderStibbons]

Ist die Effektgröße in g*power dasselbe wie partial (!) η² in SPSS?

NB verstehe ich nicht, wieso man seine erwartete und/oder als relevant
erachtete Effektgröße aus einer Stichprobe n=11 schätzen sollte.

Mit freundlichen Grüßen

PonderStibbons

[Einhorn]

Vielen Dank für die schnellen Antworten!

Nein. G*power bietet lediglich die Option die Effektgröße aus dem partial η² aus SPSS zu berechnen.

Ich hatte bislang verstanden, man könne eine Pilotstudie durchführen und darauf basierend berechnen, bei welcher Fallzahl die Ergebnisse signifikant werden. Daher die Vorgehensweise. Ist dem nicht so?

Besten Dank!

[PonderStibbons]

die Sample Size 20. Das entspricht bei meinem repeated measures Design 7 pro Gruppe

Wieso das denn? Es gibt 1 Gruppe mit sample size 20, die 3mal gemessen wird.
Oder definiert das g*power anders?

Ich hatte bislang verstanden, man könne eine Pilotstudie durchführen und darauf basierend berechnen, bei welcher Fallzahl die Ergebnisse signifikant werden. Daher die Vorgehensweise. Ist dem nicht so?

Du hast eine Effektmessung in der Stichprobe, die aufgrund der winzigen
Stichprobengröße mt einem sehr großen Schätzfehler behaftet ist, und
agierst dann so, als sei das ein brauchbarer Schätzer für die tatsächliche
Effektstärke (die in der Population)? Die Logik kann ich leider nicht
nachvollziehen. Fallzahlkalkuationen stützen sich auf begründete Annahmen
von Effektstärken auf Basis der Literatur, gegebebenfalls gepaart mit
Enordnungen, welche Effekte man für relevant hielte. Pilotstudien sind
eher Machbarkeitsstudien, kein Instrument der Effektstärkeschätzung.

Mit freundlichen Grüßen

PonderStibbons

[Einhorn]

Wieso das denn? Es gibt 1 Gruppe mit sample size 20, die 3mal gemessen wird.
Oder definiert das g*power anders?

Ja, zumindest nach meiner Quelle: Prajapati, B., Dunne, M., & Armstrong, R. (2010). Sample size estimation and statistical power analyses. Optometry today, 16(07), 10-18.

Fallzahlkalkuationen stützen sich auf begründete Annahmen
von Effektstärken auf Basis der Literatur, gegebebenfalls gepaart mit
Enordnungen, welche Effekte man für relevant hielte. Pilotstudien sind
eher Machbarkeitsstudien, kein Instrument der Effektstärkeschätzung.

Danke für deine Einschätzung! Die oben genannte Quelle schreibt dazu folgendes: "Determining the effect size can be a difficult task. In some cases it can be based on data from previous studies. A pilot study may be required for this purpose or expert clinical judgement could be sought." (S. 10).

[PonderStibbons]

Ja, zumindest nach meiner Quelle: Prajapati, B., Dunne, M., & Armstrong, R. (2010). Sample size estimation and statistical power analyses. Optometry today, 16(07), 10-18.

Kann ich leider nicht nachvollziehen. Meiner Erinnerung nach wird
in g*power die Zahl der Gruppen (hier = 1) und die Zahl der
Messzeitpunkte eingetragen und es wird eine Gesamtstichprobengröße
ausgegeben. Warum sollte bei einem reinen Messwiederholungsdesign
mit 1 Gruppe die Zahl der Probanden pro Messzeitpunkt ausgegeben
werden, das ergibt meines Erachtens keinen Sinn.

Mit freundlichen Grüßen

PonderStibbons

[Einhorn]

Okay, vielen Dank! Noch einmal für mein Grundverständnis: G*Power (oder jeder andere Sample Size Calculator) berechnet die Samplesize, mit der bei einer gegebenen Effektgröße die gewünschte Power erreicht werden kann. Das heißt die Größe, bei der ich nicht fälschlicherweise eine Nullhypothese akzeptiere/ einen Typ 2 Fehler begehe. Stimmt das?

Zum Hintergrund meiner Studie: Über eine experimentelle Manipulation sollten drei Konditionen geschaffen werden, die sich bei einer Self-Report Messung signifikant unterscheiden. Darauf aufbauend sollte getestet werden, ob/ inwiefern diese Unterschiede auch durch physiologische Daten abgebildet werden. Die Self-report Messung bildet also die "Ground Truth" für die Physiomessung. Mit der Sample Size Kalkulation anhand der Pilotstudie sollte die Qualität der Studie untermauert werden. Der Punkt fällt nun weg, wenn ich das richtig sehe? Gibt es eine Alternative?

Besten Dank für die hilfreiche Diskussion!

[PonderStibbons]

Okay, vielen Dank! Noch einmal für mein Grundverständnis: G*Power (oder jeder andere Sample Size Calculator) berechnet die Samplesize, mit der bei einer gegebenen Effektgröße die gewünschte Power erreicht werden kann. Das heißt die Größe, bei der ich nicht fälschlicherweise eine Nullhypothese akzeptiere/ einen Typ 2 Fehler begehe. Stimmt das?

Angenommen, es besteht ein Effekt der Größe X in der Grundgesamtheit, dann wird man mit Stichprobengröße Y
mit einer 80% [oder welche man auch immer vorgibt] Wahrscheinlichkeit ein statistisch signifikantes Testergebnis
erhalten.

Mit der Sample Size Kalkulation anhand der Pilotstudie sollte die Qualität der Studie untermauert werden. Der Punkt fällt nun weg, wenn ich das richtig sehe? Gibt es eine Alternative?

Literatur und Erfahrungswerte.

Mit freundlichen Grüßen

PonderStibbons