STATISTIK-FORUM.de

[bele]

Hallo,

ich habe gerade eine wissenschaftliche Publikation gelesen, die Ihr hier finden könnt, die Ihr aber für meine Frage nicht lesen müsst: http://onlinelibrary.wiley.com/doi/10.1 ... 12611/full

Es handelt sich um eine medizinische Arbeit, bei der man einer Patientengruppe zusätzlich zur Regelbehandlung ein Medikament gegeben hat, der anderen nicht, und dann nach Unterschieden im Ergebnis gesucht hat. Eingeschlossen hat man, ohne erkennbare statistische Betrachtungen, alle Patienten, die in einem gegebenen Zeitraum da waren und vernünftige Einschlusskriterien erfüllt haben. Im Ergebnisteil steht dann folgender Satz:

The G power statistical program was used in post hoc mode to calculate the statistical power of the present study.

Und bei mir geht sofort die Warnlampe an: Post hoc Poweranalysen sind Quatsch! Geschätzte Effektstärken sind immer total unpräzise Schätzungen (will heißen: riesige Konfidenzintervalle), mit denen man eigentlich nicht zu rechnen braucht. ABER, dann geht es wie folgt weiter:

Choosing α = 0.05 as per convention and a large effect size d of 0.8, with 23 patients in non-PPI group and 19 patients in PPI group, gives a power of 0.81.

Man hat also, wie bei einer korrekten ex ante Poweranalyse, ein und eine Effektstärke benannt und die Power anhand der durch höhere Gewalt festgelegten, realen Teilnehmerzahl berechnet. Und abgesehen davon, dass die Wahl der zu findenden Effektstärke irgendwie total willkürlich ist, habe ich an dieser Art von post hoc Poweranalyse nichts auszusetzen.

Teil Ihr meine Meinung? Ist das ein valides Vorgehen, die Teilnehmerzahl durch äußere Restriktionen festzulegen und die Aussagekraft der eigenen Untersuchung durch so eine Poweranalyse zu stärken, die zwar nach der Erhebung der Daten aber vor der Berechnung eines Effektstärkemaßes erfolgt?

LG,
Bernhard

[PonderStibbons]

Ist das eine post-hoc-Poweranalyse im Wortsinn? Wenn sie d nicht aus den Daten schätzen,
lautet die Aussage: ein Populationseffekt von d=0,8 (bissel arg groß) hat eine Chance
von 81%, bei gegebener Stichprobengröße ein statistisch signifikantes Testergebnis zu erzielen.

Mit freundlichen GRüßen

PonderStibbons

[bele]

Ich weiß nicht genau, was der Wortsinn ist. Ich denke, dass es ein Graubereich ist und dass es im Prinzip zwei Arten von post-hoc geben muss. Hier wurde ja der Stichprobenumfang nicht vorher gegeben. Der Stichprobenumfang hat sich ergeben und stand erst nach Abschluss eines Untersuchungszeitraums fest. Somit ist es post-hoc, weil die Daten ja schon erhoben sind und die Berechnung erst möglich war, nachdem die Beobachtungen erfolgt waren. Trotzdem erfolgt diese Berechnung ohne Betrachtung der erhobenen Zielparameter für die Tests und ist somit nicht post-hoc. Das fand ich interessant.

LG,
Bernhard

[PonderStibbons]

Ich weiß nicht genau, was der Wortsinn ist. Ich denke, dass es ein Graubereich ist und dass es im Prinzip zwei Arten von post-hoc geben muss. Hier wurde ja der Stichprobenumfang nicht vorher gegeben. Der Stichprobenumfang hat sich ergeben und stand erst nach Abschluss eines Untersuchungszeitraums fest.

Mag sein, aber durchgeführt wird das wie eine a priori-Analyse, die fragt,
ob die Stichprobe, die man erreichen kann oder will, überhaupt genug power
hat, wenn ein definierter Effekt angenommen wird. Die tatsächlichen post-hoc-
Analysen nehmen den Stichprobeneffekt als Populationseffekt.

Mit freundlichen Grüßen

PonderStibbons

[bele]

Dann denkst Du auch, dass die hier durchgeführte Berechnung legitim bzw. aussagekräftig ist? Und wenn ja, warum?

Ich denke, dass das eine solide/aussagekräftige Berechnung ist. Aus meiner derzeitigen Sicht ist der entscheidende Unterschied, dass hier nicht die Schätzung einer Fallzahl eingesetzt wird, sondern eine konkrete, "wahre" Fallzahl eingesetzt wird.

LG,
Bernhard