STATISTIK-FORUM.de

[NadineR]

Hallo,

ich würde gerne ein Ratingsystem zur Erfassung der Therapeutenkompetenz evaluieren. Dazu habe ich Therapievideos, die ich mir angesehen und mit dem Ratingsystem ausgewertet habe. Ich habe mich an andere Untersuchungen gehalten, in denen ungefähr 7% der vorliegenden Therapievideos zur Evaluierung ausgewertet wurden. Ich habe 20 Videos zur Evaluierung des Systems eingesetzt, dass entspricht 8% der Videos, die ich zur Verfügung habe. Das habe ich so in meine Arbeit geschrieben, aber mein Betreuer hat angemerkt, dass ich die Anzahl an ausgewerteten Videos mittels einer Poweranalyse begründen muss. Nu ist das Kind zwar schon in den Brunnen gefallen und die Videoauswertung ist längst abgeschlossen, aber kann mir jemand verraten, wie ich so eine Poweranalyse durchführen kann?

Danke!!!

Nadine

[PonderStibbons]

Das habe ich so in meine Arbeit geschrieben, aber mein Betreuer hat angemerkt, dass ich die Anzahl an ausgewerteten Videos mittels einer Poweranalyse begründen muss.

Du hast Deine Fallzahl aber gar nicht durch eine power-Analyse begründet,
und sie wird (da sich nichts mehr ändern lässt) folgenlos bleiben, insofern
ist der Ratschlag entweder missverständlich oder unseriös.

Nu ist das Kind zwar schon in den Brunnen gefallen und die Videoauswertung ist längst abgeschlossen, aber kann mir jemand verraten, wie ich so eine Poweranalyse durchführen kann?

Du hast so gut wie nichts über Deine Studie geschrieben, daher kann
man natürlich gar nichts konkretes sagen. Zudem ist mir noch nicht
recht klar, wie vertraut Du mit dem Konzept power/poweranalyse bist.
Einführend, falls nötig, Artikel im Netz und Jacob Cohen's Artikel
"A power primer" lesen. Praktische Durchführung; Programm gpower
(freeware) von Faul und Erdfelder http://www.gpower.hhu.de/
(siehe dort auch links zu Manual und Tutorial).

Mit freundlichen Grüßen

P.

[NadineR]

Danke für die Antwort! Ich habe mich in das Manual zu dem Programm eingelesen, allerdings scheitere ich schon an der Auswahl des statistischen Verfahrens ganz am Anfang. Mir geht es ja zunächst gar nicht um die Durchführung von Berechnungen, sondern erstmal um die Bestimmung der Videoanzahl, die ich zur Evaluierung meines Ratingsystems auswerten sollte.
Ich erkläre mal genauer, was ich gemacht habe (und ja du hast vollkommen recht, die Poweranalyse im Nachhin zu machen ist nicht seriös, ich war davon ausgegangen, dass es ok ist, wenn ich mich an früheren Studien orientiere, aber das reicht meinen Betreuer wohl nicht). Ich habe 144 Therapievideos, auswertbar davon sind 116, die übrigen sind schlecht beschriftet worden, so dass ich sie nicht zuordnen kann oder sie laufen nicht. Die 116 Videos beziehen sich auf 16 Gruppentherapien, von 7 Therapeuten. Ich habe ein Ratingsystem entwickelt, mit dem ich die Therapeutenkompetenz erfassen möchte. Dieses sollte erst an einer Stichprobe von Videos evaluiert werden und dann später ging es darum aus jeder Gruppe zwei Videos anzusehen und die hinsichtlich der Therapeutenkompetenz auszuwerten.
Ich habe, wie ich es in einer anderen Untersuchung gesehen habe, zunächst 5% der Videos genutzt, um das Ratingsystem erstmal "auszuprobieren" und zu gucken, ob es anwendbar ist (7 Videos). Dann habe ich 20 Sitzungen zusammen mit einem Zweitrater angesehen und die daraus gewonnenen Daten genutzt, um das Ratingsystem zu evaluieren, also die Itemparameter zu berechnen, die Interraterreliablität etc. Nun stolpert mein Betreuer über die 20 Sitzungen und meint ich müsste durch eine Poweranalyse begründen, warum ich 20 Sitzungen zur Evaluierung genutzt habe. Leider habe ich, wie du bestimmt schon bemerkt hast, absolut keine Ahnung wie das geht. Die Statisikberatung an der Uni meinte, dass könnte man nicht berechnen, da müsste ich theoretisch argumentieren. Das Einlesen in Poweranalysen im Internet hatte ich schon versucht bevor ich hier gefragt habe, aber leider hat mich das nicht weiter gebracht

[PonderStibbons]

Nun stolpert mein Betreuer über die 20 Sitzungen und meint ich müsste durch eine Poweranalyse begründen, warum ich 20 Sitzungen zur Evaluierung genutzt habe.

Das kannst Du nicht, weil die Zahl 20 nicht durch eine Poweranalyse begründet ist.
Wenn das wörtlich so geäußert wurde, so wäre das Aufforderung zur Täuschung,
weswegen ich wie gesagt von einem Mißverständnis ausgehe.
Was aber noch wichtiger ist, was soll den der Test sein, dessen power analysiert
werden soll? Es geht hier doch um Messung der Beobachterübereinstimmung/Reliabilität?
Hast Du da irgendeinen Test gerechnet? Wenn nicht, was soll man also mit einer
Poweranalyse? Allenfalls kannst Du Konfidenzintervalle für Deine Reliabilitätsmaße
angeben.

Mit freundlichen Grüßen

P.

[NadineR]

Ich habe keine Tests gerechnet sondern lediglich Itemanalysen durchgeführt und die Interraterreliabilität durch Korrelationen berechnet.
Heißt das, dass es keine statistische Möglichkeit gibt, zu berechnen wieviele Sitzungen man auswerten sollte um aussagekräftige Ergebnisse bei der Evaluierung zu erhalten? Dann wäre meine theoretische Begründung aufgrund vorangegangener Untersuchungen, die eine ähnliche Anzahl an Sitzungen ausgewertet haben, ja ok.

[PonderStibbons]

Vielleicht gibt es Handreichungen für sample size determination
bzw. power analysis im Zusammenhang mit item analysis bzw. mit
reliability ananlysis .

Mit freundichen Grüßen

P.