STATISTIK-FORUM.de

[bele]

Hallo Forum,

ich bin da kürzlich über ein Thema im Netz gestoßen, über das ich gerne mehr wüsste und hoffe, dass Ihr mir Leseempfehlungen geben könnt.

Versteckt in diesen Vortragsfolien hier: https://bitssblog.files.wordpress.com/2 ... tation.pdf ab Seite 14 wird die Poweranalyse sehr kritisch angegangen. Ich fasse wie folgt zusammen: Poweranalyse ist eine unzureichende Annäherung an das Thema Power. In der Poweranalyse geht es in der Regel um die Abschätzung einer Fallzahl n auf Basis einer Effektstärkeschätzung d.
Die Effektstärkeschätzung beruht auf einer mehr oder willkürlichen Schätzung durch Sachverständige, auf vorbestehender Literatur oder auf Pilotstudien. Die willkürliche Schätzung hat offensichtliche Probleme, vorbestehende Literatur untersucht an anderen Kollektiven mit anderen Messmethoden zu anderen Zeiten und mit anderen Messinstrumenten und akkumuliert so sehr viel Rauschen. Bleibt die Pilotstudie als Goldstandard. Diesen Goldstandard geht meine Quelle nun an mit der Argumentation, dass die meisten Pilotstudien unterpowert seien, um die Effektstärke ausreichend genau abzuschätzen. Teilweise brauche man weniger Fälle n um den Unterschied signifikant nachzuweisen als für eine ausreichend genaue Schätzung von d (impliziert in Folie 22, 23 und 24).

Das Thema "Power von Pilotstudien zur Schätzung der Effektstärke" ist für mich sehr interessant und ich würde gerne mehr davon verstehen. Hat jemand einen allgemeinverständlichen Lesevorschlag dazu? Vielleicht eher ein Editorial oder ein Review als Primärquellen - ich bin ja kein Mathematiker. Gerne Englisch.

Vielen Dank und viele liebe Grüße,
Bernhard

[PonderStibbons]

Dass jemand eine Pilotstudie verwendet, um zu erwartende oder erwünschte
Effektstärken abzuschätzen, habe ich noch nicht kennengelernt. Da beißt sich
doch auch die Katze in den Schwanz - wer power-Analysen rechnet, steckt genau
in der Denke bereits drin, die zu dem Schluss führt, dass man mit n=20 keine
zuverlässige Schätzung machen kann. Allerdings werden die Ergebnisse von
Pilotstudien zur Abschätzung von Varianzen verwendet, das kann für die power-
Analyse nutzen (wieweit auch die Varianzen bei kleineren Stichproben
unzuverlässig sind, ist mir allerdings nicht präsent).

Mit freundlichen Grüßen

P.

[bele]

Hallo PonderStibbons,

vielen Dank für die schnelle Antwort. Ich grüble immer noch über die Stellung der Poweranalyse/Fallzahlschätzung in meinem Weltbild. Das hat zwei verschiedene Gründe. Erstens sitzt bei uns in der Ethikkommission ein hier einflussreicher Mensch, der bei jedem Vortrag seinen freiwilligen wie unfreiwilligen Zuhörern erzählt, dass Studien ohne Fallzahlschätzung unethisch sind. Ich weiß von Wissenschaftlern hier, die aufgrund ihrer sehr speziellen Untersuchungsmethoden keine validen Schätzungen abgeben konnten und damit in sehr ernste Probleme gelaufen sind, weil ihre Ethikanträge nicht durchgingen.
Zweitens, und wichtiger, ist das Problem des p-Wertes größer 0,05. Ich weiß, dass man eine Nullhypothese nie annehmen kann, aber ich dachte bisher immer, dass ein p>0,05 eine gewisse Aussagekraft hat, wenn eine vernünftige Fallzahlschätzung der Arbeit zugrunde liegt. Wenn aber die Fallzahlschätzungen überwiegend auf schlecht begründeten Effektstärkeannahmen beruhen, muss ich mich vielleicht doch der Bayes-Statistik zuwenden. Das aber ist viel Arbeit und denken tut bekanntlich weh...

Nun bin ich mit der Poweranalyse eben nie wirklich glücklich geworden obwohl sie in meiner Lektüre immer als Problemlöserin auftauchte und deshalb bin ich jetzt wach geworden, als ich endlich mal kritisches darüber gelesen habe.

Wenn also noch jemand Lesefutter für mich findet, bitte gerne posten.

Viele Grüße,
Bernhard



PS: Ich selbst habe mich beim letzten Ethikantrag mit einem Taschenspielertrick gerettet. Der ging etwa so: Wir wollen einen mindestens mittleren Effekt nicht übersehen und setzen daher d=0,5 ein. Natürlich weiß ich, dass Cohens Wert 0,5 für einen mittleren Effekt in der Sozialforschung gemünzt wurde und ich keine Sozialforschung betreibe, aber woher soll man denn ein d nehmen, wenn man etwas neues ausprobiert?