STATISTIK-FORUM.de

[Mofflerin]

Hallo liebe Statistikfreunde,

ich mache eine Untersuchung die ich mit einer messwiederholten ANOVA auswerten möchte. Zur Berechnung der idealen Stichprobengröße habe ich G-Power 3.1 herangezogen.

Ich gehe von einem großen Effekt aus. Die ideale Stichprobengröße für den F-Bruch bei einer dreifach messwiederholten ANOVA wird dann mit 43 angegeben. Anschließend will ich noch t-Tests berechnen (post-hoc). Für einen post-hoc-t-Test für abhängige Messungen wird bei einer großen Effektstärke aber eine Stichprobengröße von 121 empfohlen.

Welche Stichprobengröße ist denn nun wirklich die ideale?

Gruß,
Mofflerin

[Mofflerin]

Falls es auf mein Problem keine Lösung gibt, würde mir bereits diese Aussage weiterhelfen...

[PonderStibbons]

Bei drei Messzeitpunkten wären 3 post-hoc Tests zu rechnen. Wenn diese maximal streng, also Bonferroni-korrigiert
würden, wäre ein alpha-Niveau von 5%/3, also 0,0166 anzunehmen. Eine große Effektstärke (gemeinhin also Cohens
d=0,8) erfordert bei diesem alpha-Niveau und einer üblichen power von 0,80 oder 0,9 ganz sicher nicht n=121, sondern
sehr viel weniger. Um die 20-30, schätze ich mal.

Mit freundlichen Grüßen

P.

EDIT: falsche Effekstärkeangabe korrigiert.
---
Gottseidank...Kanon für 36

[Mofflerin]

Danke für die Antwort.

Wie ist damit umzugehen, dass die ideale Stichprobengröße für den F-Bruch eine andere ist wie für den t-Test? Kann man die ANOVA nicht gleich ganz weglassen, wenn man korrigierte post-hoc-Tests macht? Der Sinn davon vorher eine ANOVA zu rechnen erschließt sich mir noch nicht. Ich muss dazu sagen, dass ich nur einen messwiederholten Faktor habe, d.h. es gibt keine Interaktionseffekte.

[PonderStibbons]

Ob ein globaler Test angebracht ist, wenn man ohnedies auf jeden Fall post-hoc Test rechnet, darüber
streiten sich die Gelehrten. Allerdings bedeutet ein "signifikanter" globaler Test nicht zwangsläufig,
dass einer der spezifischen Vergleiche "signifikant" wird, insofern hat man 2 zu unterscheidende
Informationsquellen. Die Ergebnisse Deiner beiden power-Analysen leuchten mir allerdings ohnedies
nicht so ein. Wie gesagt ist die berechnete Stichprobengröße für t-Tests bei "großer"
Effektstärke um ein mehrfaches zu hoch.

Mit freundlichen Grüßen

P.

[Mofflerin]

Ob ein globaler Test angebracht ist, wenn man ohnedies auf jeden Fall post-hoc Test rechnet, darüber
streiten sich die Gelehrten. Allerdings bedeutet ein "signifikanter" globaler Test nicht zwangsläufig,
dass einer der spezifischen Vergleiche "signifikant" wird, insofern hat man 2 zu unterscheidende
Informationsquellen.

Das ist auch ein Grund warum ich den globalen Test hier sinnlos finde. Die Interpretierbarkeit verschlechtert sich schlimmtenfalls, Mehrwert gibt es aber keinen. Bei den Einzelvergleichen finde ich aber tatsächlich Signifikanzen. Ich werde die ANOVA wohl weglassen. Weißt Du zufällig einen Artiekel oder den Namen eines Gelehrten mit dessen Zitation ich diese Argumentation stützen könnte?

Die Ergebnisse Deiner beiden power-Analysen leuchten mir allerdings ohnedies
nicht so ein. Wie gesagt ist die berechnete Stichprobengröße für t-Tests bei "großer"
Effektstärke um ein mehrfaches zu hoch.

Das hat mich auch überrascht, dass wir da zu so unterschiedlichen Ergebnissen gekommen sind. Ich bin also der Sache nachgegangen. Bist Du von unabhängigen Stichproben ausgegangen? Ich habe im ersten Posting nicht erwähnt, dass es sich um abhängige Stichproben handelt, ich also abhängige t-Tests durchgeführt habe.Es gibt aber noch eine weitere Ungereimtheit. G-Power verwendet bei abhängigen t-Tests als Effektgrößemaß dz ohne eine Konvention dafür anzugeben wann man von einem starken Effekt sprechen kann. Bei allen anderen verwendeten Effektgrößemaßen (z.B. f oder Cohens d) gibt G-Power Konventionen an. Ich konnte auch sonst nirgends eine Konvention für dz finden. Heißt das etwa, dass es hinsichtlich dz noch keine Konvention gibt? Das wäre natürlich schlecht, dann weiß ich nicht welche Effektstärke ich meiner Berechnung zugrunde legen soll.

Gruß,
Mofflerin

[PonderStibbons]

Das ist auch ein Grund warum ich den globalen Test hier sinnlos finde. Die Interpretierbarkeit verschlechtert sich schlimmtenfalls, Mehrwert gibt es aber keinen.

Das sind ex post Beurteilungen nach Analyse der Daten, wie es scheint. Das ist für die Beurteilung
der Logik des Vorgehens bei der inferenzstatistischen Datenanaylse aber nicht von Bedeutung.

Bei den Einzelvergleichen finde ich aber tatsächlich Signifikanzen. Ich werde die ANOVA wohl weglassen. Weißt Du zufällig einen Artiekel oder den Namen eines Gelehrten mit dessen Zitation ich diese Argumentation stützen könnte?

Weglassen durchgeführter Analysen? Dafür gibt es keine seriösen Referenzen.

G-Power verwendet bei abhängigen t-Tests als Effektgrößemaß dz ohne eine Konvention dafür anzugeben wann man von einem starken Effekt sprechen kann. Bei allen anderen verwendeten Effektgrößemaßen (z.B. f oder Cohens d) gibt G-Power Konventionen an. Ich konnte auch sonst nirgends eine Konvention für dz finden. Heißt das etwa, dass es hinsichtlich dz noch keine Konvention gibt? Das wäre natürlich schlecht, dann weiß ich nicht welche Effektstärke ich meiner Berechnung zugrunde legen soll.

Vielleicht sind die g*power Autoren mit Ihren Eingabehilfen ein bißchen weit gegangen. Es ist Aufgabe
des Forschers zu bestimmen, welche Effekte er erwarten darf oder will. dz lässt sich berechnen über
den erwarteten Mittelwertsunterschied ausgedrückt in Standardabweichungen und unter Einbezug der
Korrelationen zwischen den beiden Messungen. Da gibt es bei G+power ja auch ein Berechnungsfenster,
wenn ich mich recht erinnere.

Mit freundlichen Grüßen

P.

[Mofflerin]

Das ist auch ein Grund warum ich den globalen Test hier sinnlos finde. Die Interpretierbarkeit verschlechtert sich schlimmtenfalls, Mehrwert gibt es aber keinen.

Das sind ex post Beurteilungen nach Analyse der Daten, wie es scheint. Das ist für die Beurteilung
der Logik des Vorgehens bei der inferenzstatistischen Datenanaylse aber nicht von Bedeutung.

Bei den Einzelvergleichen finde ich aber tatsächlich Signifikanzen. Ich werde die ANOVA wohl weglassen. Weißt Du zufällig einen Artiekel oder den Namen eines Gelehrten mit dessen Zitation ich diese Argumentation stützen könnte?

Weglassen durchgeführter Analysen? Dafür gibt es keine seriösen Referenzen.

Diese Entscheidung ist nicht dadurch begründet, dass ich versuchen würde die gewünschten Ergebnisse durch Veränderung der Auswertung zu erreichen. Allerdings mache ich das zum erstenmal und einiges wird mir erst "on the job" klar. Beispielsweise würde ich beim nächsten mal, wenn ich ohnehin post-hoc (d.h. jede Gruppe gegen jede) testen möchte, die ANOVA weglassen. Wenn man die post-hoc-Tests korrigiert sehe ich keinen Sinn in einer ANOVA. Werden die post-hoc-Tests n.s. nützt mir auch ein signifikanter F-Bruch nichts. Bei vielen Gruppen sollte er ohnehin generell signifikant werden. Und wenn beides signifikant wird (F-Bruch und post-hoc-Test), ist der signifikante F-Bruch eine redundante Information.

G-Power verwendet bei abhängigen t-Tests als Effektgrößemaß dz ohne eine Konvention dafür anzugeben wann man von einem starken Effekt sprechen kann. Bei allen anderen verwendeten Effektgrößemaßen (z.B. f oder Cohens d) gibt G-Power Konventionen an. Ich konnte auch sonst nirgends eine Konvention für dz finden. Heißt das etwa, dass es hinsichtlich dz noch keine Konvention gibt? Das wäre natürlich schlecht, dann weiß ich nicht welche Effektstärke ich meiner Berechnung zugrunde legen soll.

Vielleicht sind die g*power Autoren mit Ihren Eingabehilfen ein bißchen weit gegangen. Es ist Aufgabe
des Forschers zu bestimmen, welche Effekte er erwarten darf oder will. dz lässt sich berechnen über
den erwarteten Mittelwertsunterschied ausgedrückt in Standardabweichungen und unter Einbezug der
Korrelationen zwischen den beiden Messungen. Da gibt es bei G+power ja auch ein Berechnungsfenster,
wenn ich mich recht erinnere.

Ja, gibt es. Habe ich auch gefunden. Ich wusste aber nicht, was damit zu tun ist. Ich kann damit aus den tatsächlich angefallenen Mittelwerten und den tatsächlich angefangenen SD eine Effektstärke berechnen. Bedeutet das nicht, ich berechne eine tatsächlich aufgetretene Effektstärke ? A-priori hätte ich mit dieser Vorgehensweise jedenfalls keine Effektstärke berechnen können. Ich dachte, man sollte von einer theoretisch erwarteten Effektstärke ausgehen und nicht von einer die tatsächlich aufgetreten ist. Da es sich um eine explorative Arbeit handelt, hätte ich auch keinen zu erwartenden Mittelwert a-priori "schätzen" oder theoretisch fundiert festlegen können.


Viele Grüße
Mofflerin

[PonderStibbons]

Wenn man die post-hoc-Tests korrigiert sehe ich keinen Sinn in einer ANOVA. Werden die post-hoc-Tests n.s. nützt mir auch ein signifikanter F-Bruch nichts.

In der Regel verhält es sich nicht so. Aber wenn Du in Deinem speziell vorliegenden Fall von vornherein
keinen Messwiederholungsfaktor (e.g. Forschungsfrage "verändert sich generell über die Zeit etwas?")
betrachten willst, sondern explizit nur die 3 Paarvergleiche rechnen, weil so auch die Forschungsfragen
und Hypothesen formuliert sind, dann wäre ein Globaltest natürlich entbehrlich. Ein globaler Test
gestattet nebenbei ja auch den Einsatz sinnvollerer Korrekturverfahren als den übermäßig strengen
Bonferroni, z.B. Tukey.

Bei vielen Gruppen sollte er ohnehin generell signifikant werden.

Nein.

Ja, gibt es. Habe ich auch gefunden. Ich wusste aber nicht, was damit zu tun ist. Ich kann damit aus den tatsächlich angefallenen Mittelwerten und den tatsächlich angefangenen SD eine Effektstärke berechnen.

Nein, eine Fallzahlbestimmung macht man VOR der Datenerhebung, auf Basis von Vorwissen und/oder plausiblen Annahmen. Dafür ist eben auch dieser Rechner da. Dort trägt man seine erwarteten Effekte ein.

Da es sich um eine explorative Arbeit handelt, hätte ich auch keinen zu erwartenden Mittelwert a-priori "schätzen" oder theoretisch fundiert festlegen können.

Du hast angegeben, von einem "großen" Effekt ausgegangen zu sein. Das muss ja wohl auf Vorüberlegungen beruht haben.

Mit freundlichen Grüßen

P.

[Mofflerin]

In der Regel verhält es sich nicht so. Aber wenn Du in Deinem spezziell vorliegenden Fall von vornherein
keinen Messwiederholungsfaktor (e.g. Forschungsfrage "verändert sich generell über die Zeit etwas?")
betrachten willst, sondern explizit nur die 3 Paarvergleiche rechnen, weil so auch die Forschungsfragen
und Hypothesen formuliert sind, dann wäre ein Globaltest natürlich entbehrlich. Ein globaler Test
gestattet nebenbei ja auch den Einsatz sinnvollerer Korrekturverfahren als den übermäßig strengen
Bonferroni, z.B. Tukey.

Letzteres (nur Paarvergleiche, keine Änderung über die Zeit) ist bei mir tatsächlich der Fall. Die Korrekturen würde ich per Hand durchführen, in einem der jüngsten Threads wurde die Tukey-Korrektur ja schon sehr gut erklärt.

Nein, eine Fallzahlbestimmung macht man VOR der Datenerhebung, auf Basis von Vorwissen und/oder plausiblen Annahmen. Dafür ist eben auch dieser Rechner da. Dort trägt man seine erwarteten Effekte ein.

Da es sich um eine explorative Arbeit handelt, hätte ich auch keinen zu erwartenden Mittelwert a-priori "schätzen" oder theoretisch fundiert festlegen können.

Du hast angegeben, von einem "großen" Effekt ausgegangen zu sein. Das muss ja wohl auf Vorüberlegungen beruht haben.

Das macht die Sache jetzt kompliziert. Ich ging von einem "großen" Effekt aus, ja. Auf einen exakten Mittelwert mich festzulegen wäre mir aber schwer gefallen, auch in der Literatur habe ich keine Daten gefunden aus dem ich einen Mittelwert hätte ableiten könnte. A-Priori finde ich das wirklich sehr schwer. Wenn man mehrere Untersuchungen macht, d.h. mindestens eine Vorstudie kann man daraus einen Mittelwert ziehen und versuchen diesen zu replizieren, wäre es wohl einfacher. Da ich eine Diplomarbeit schreibe und keine Vorstudie durchführen konnte, fällt das schon mal weg. Was macht noch dazu kommt: Ich kenne die Daten und die tatäschlichen Mittelwerte jetzt leider schon, da die Erhebung schon gelaufen ist. Ich hatte a-priori zwar eine ideale Stichprobengröße berechnet, aber jetzt nachträglich gemerkt, dass das irgendwie nicht ganz stimmen kann (siehe erstes Posting). Derzeit habe ich eine Stichprobe von n=49. Ich wollte dann wenigstens nachträglich die ideale Stichprobengröße berechnen und ggf. Fälle auslosen die nicht in die Auswertung kommen, wenn die ideale Stichprobe niedriger ausfallen sollte.

Wie kann ich jetzt vorgehen, um im seriösen Bereich zu bleiben?

Grüße
Mofflerin