Poweranalyse post hoc

Fragen, die sich auf kein spezielles Verfahren beziehen.

Poweranalyse post hoc

Beitragvon etsilke » Mo 31. Mai 2021, 15:14

Hallo!
Ich habe eine Frage zur Post hoc Poweranalyse. Für meine Master These habe ich eine Pilotstudie durchgeführt und zwei verschiedene Behandlungsmethoden miteinander verglichen. In einer Gruppe kann ich keine signifinkante Verbesserung darstellen: In der StEt - Gruppe verbessert sich der Anfangswert von 57,4 (SD 10,43) auf 70,6 (SD12,64); t (9) = -2,11, p = 0,103 bei alpha =,05.

Die Ethikkomission hätte gerne eine Post Hoc Poweranalyse und eine Fallzahlberechnung. Kann ich den in der Pilotstudie errechten Korrelationskoeffizient übernehmen, die Power selbst festlegen (z.B.: 0,9) und so die benötigte Fallzahl bestimmen?

Dankr für Eure Hilfe und Erklärungen! :D

lg Silke
etsilke
Einmal-Poster
Einmal-Poster
 
Beiträge: 1
Registriert: Mo 31. Mai 2021, 15:00
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post

Re: Poweranalyse post hoc

Beitragvon PonderStibbons » Mo 31. Mai 2021, 15:33

In einer Gruppe kann ich keine signifinkante Verbesserung darstellen: In der StEt - Gruppe verbessert sich der Anfangswert von 57,4 (SD 10,43) auf 70,6 (SD12,64); t (9) = -2,11, p = 0,103 bei alpha =,05.

Das doch ist eigentlich nicht von Belang? Deine angegebene Fragestellung dreht sich nicht um Veränderungen innerhalb von Gruppen,
sondern um den Vergleich zwischen den Gruppen.
Die Ethikkomission hätte gerne eine Post Hoc Poweranalyse

Das wäre ein ziemlicher Unfug. War das genau deren Formulierung?
und eine Fallzahlberechnung. Kann ich den in der Pilotstudie errechten Korrelationskoeffizient übernehmen, die Power selbst festlegen (z.B.: 0,9) und so die benötigte Fallzahl bestimmen?

Was für einen Korrelationskoeffizienten?

Übernehmen geht nicht, weil die Stichprobe Deiner Pilotstudie sehr klein ist, dementsprechend ist der Effekt aus der Pilotstudie
kein zuverlässiger Schätzer für den "echten" Effekt, den man für die Poweranalyse braucht.

Seriös und sinnvoll wäre eine a priori Power-Analyse bzw. Fallzahlbestimmung. Entsprechend Deiner Fragestellung müsstest
Du abschätzen, welchen Wechselwirkungseffekt zwischen Gruppe und Zeitpunkt Du erwarten darfst bzw. wie sehr sich die
prä-post-Differenzen anzunehmenderweise unterscheiden. Power ist normalerweise 0,8.

lg

wtf

Mit freundlichen Grüßen

PonderStibbons
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 11368
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 51
Danke bekommen: 2504 mal in 2488 Posts

Re: Poweranalyse post hoc

Beitragvon bele » Mo 31. Mai 2021, 16:18

Hallo etsilke,

eine posthoc Poweranalyse macht man zum Abschluss einer Studie und Ethikkommissionen werden i. d. R. vor und nicht nach einer Arbeit befragt. Dürfen wir Dich so verstehen, dass Du aufgrund eine bereits abgeschlossene n = 10 Pilotstudie heranziehen möchtest für die Fallzahlplanung einer noch durchzuführenden Studie? Das wäre dann ja keine posthoc-Analyse mehr sondern eine Vorbereitung für eine neue Studie.

etsilke hat geschrieben:zwei verschiedene Behandlungsmethoden miteinander verglichen. In einer Gruppe kann ich keine signifinkante Verbesserung darstellen

Bloß weil die Verbesserung in der einen Gruppe signifikant war und in der anderen nicht heißt das nicht, dass zwischen beiden Verbesserungen ein signifikanter Unterschied besteht. Das hast Du nicht behauptet, aber das ist ein so häufiges Missverständnis, dass ich das nochmal geschrieben haben wollte und es passt auch zu PonderStibbons Einwurf, dass Du Dich bei der Fallzahlplanung entscheiden musst, ob Du für beide Behandlungen eine Verbesserung nachweisen willst oder ob Du einen Unterschied der Verbesserung nachweisen willst. Letzteres wird zu einer größeren Fallzahl führen als ersteres.

Kann ich den in der Pilotstudie errechten Korrelationskoeffizient übernehmen, die Power selbst festlegen (z.B.: 0,9) und so die benötigte Fallzahl bestimmen?

Ersetzen wir Korrelationskoeffizient jetzt einfach mal durch den Überbegriff "Effektstärkemaß" und dann lautet die Antwort klar: JEIN. Wie Ponderstibbons schon geschrieben hat, ist das Effektstärkemaß aus der Pilotstudie ein sehr, sehr grober Schätzer der wahren Effekstärke. So grob, dass man ihn keinesfalls eins zu eins als wahr annehmen darf.
Du solltest für eine Fallzahlschätzung eine Effektstärke einsetzen, die eine sinnvoll-differenzierte Abwägung aus allen verfügbaren Informationen ist. Welche Effektstärke wäre wissenschaftlich oder praktisch relevant? Welche kann man sich theoretisch gut vorstellen? und am Schluss auch: Welche Effektstärkemaße wurden in vergangenen Studien beobachtet und wenn Deine Pilotstudie die einzige bisher erfolgte Studie ist, so kann sie Deine Überlegungen beeinflussen, kann in sie einfließen.


...die Power selbst festlegen (z.B.: 0,9)

Wie bei Radio Eriwan: Im Prinzip ja, aber... Üblich sind die beiden Werte 80% und 90%(*), alles andere bedürfte einer Begründung.

LG,
Bernhard


(*) die Werte 80% und 90% finden sich beispielsweise hier https://link.springer.com/content/pdf/1 ... 0-5_10.pdf und hier: https://www.uni-wh.de/fileadmin/user_up ... e__II_.pdf , etwas mehr Freiheit hier auf Folie 9: http://www.bfarm.de/SharedDocs/Download ... onFile&v=1 , wenn es zitierfähig sein soll liest man z. B. "Experience and convention has led to this typically being chosen to be 0.1 to 0.2, giving a power of 0.8 to 0.9." in Stallard, N. (2012), Optimal sample sizes for phase II clinical trials and pilot studies. Statist. Med., 31: 1031-1042. https://doi.org/10.1002/sim.4357 (tl;dr)
----
`Oh, you can't help that,' said the Cat: `we're all mad here. I'm mad. You're mad.'
`How do you know I'm mad?' said Alice.
`You must be,' said the Cat, `or you wouldn't have come here.'
(Lewis Carol, Alice in Wonderland)
bele
Schlaflos in Seattle
Schlaflos in Seattle
 
Beiträge: 5917
Registriert: Do 2. Jun 2011, 23:16
Danke gegeben: 16
Danke bekommen: 1399 mal in 1385 Posts


Zurück zu Allgemeine Fragen

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 15 Gäste

cron