STATISTIK-FORUM.de

[Hernando]

Hallo,

im Zuge einer Literaturrecherche bin ich auf eine Meta-Analyse zu meinem Thema aufmerksam geworden. In der Meta-Analyse wurden Regressionsergebnisse aus anderen Studien, statistisch signifikant wie auch nicht signifikante, regressiert.
Mich wundert es, dass nicht signifikante Ergebnisse berücksichtigt wurden. Was ist die Erklärung dafür? In der Studie selbst, steht keine Begründung. Ich könnte mir vorstellen, dass man dadurch eine größere Stichprobengröße generieren kann.
Bin mir aber unsicher ob das statistisch sauber ist. Kann mir da jemand weiterhelfen?

Ich selbst würde wohl für eine Arbeit gern Daten aus Regressionen nutzen und diese in einem Boxplot oder Wald-Diagramm darstellen. Für mich stellt sich jetzt die Frage, ob ich aus den einzelnen Studien auch insignifikante Regressionsergebnisse miteinbeziehe.
Und wenn ja, wie ich dies womöglich verargumentiere. Über Erklärung der Zusammenhänge bzw. über Literaturhinweise, gern frei verfügbar, würde ich mich sehr freuden.

Vielen lieben Dank.

[PonderStibbons]

In der Studie selbst, steht keine Begründung.

Wozu auch. Die Meta-Analysen zielen darauf ab, Effektstärken durch Zusammenfassung
der Daten vieler Studien zu schätzen. Ob eine einzelne Studie dabei ein "signfikantes"
Ergebnis hatte oder nicht, ist doch völlig gleichgültig.

Mit freundlichen Grüßen

PonderStibbons

[Hernando]

Danke für die rasche Antwort.

Spielt es dabei keine Rolle, wenn einzelne Studien bspw. mehrere Spezifikationen angeben (bsp.: eine Spezifikation mit signifikantem Ergebnis die andere nicht) ob signifikant oder nicht? Wäre es nicht natürlich, in solchem Fall, nur signifikante Spezifikationen abzubilden?
Gibt es dazu Literatur oder ist das zu trivial? In meinem speziellen Fall, möchte die Bandbreite von Estimates zu einem bestimmten Thema abbilden - was wäre hier sinnvoll? Nur signifikante Werte oder über alle? Ich präferiere eine Darstellung von einzelnen Studien mit MIN, MAX und MEAN und möchte das dann gern irgendwie in Relation setzen (geographisch, zeitlich).

[PonderStibbons]

Spielt es dabei keine Rolle, wenn einzelne Studien bspw. mehrere Spezifikationen angeben (bsp.: eine Spezifikation mit signifikantem Ergebnis die andere nicht) ob signifikant oder nicht?

Für die Meta-Analyse? Selbstverständlich nicht.

Gibt es dazu Literatur oder ist das zu trivial?

Du fragst mich, ob es Literatur zu Meta-Analysen gibt?

In meinem speziellen Fall, möchte die Bandbreite von Estimates zu einem bestimmten Thema abbilden - was wäre hier sinnvoll?

Angesichts einer derart diffusen Problembeschreibung ist es
mir leider nicht möglich, irgendeinen Kommentar abzugeben.

Mit freundlichen Grüßen

PonderStibbons

[Hernando]

Lieber Ponder Stibbons, danke für deine Antwort.

Du fragst mich, ob es Literatur zu Meta-Analysen gibt?

Nein, anders formuliert: Warum man alle estimates berücksichtigt und nicht nur signifikante? Bzw. unter welchen Umständen es möglich ist, aus bestimmten Estimates einen Mittelwert zu bilden (Bsp.: 2 Spezifikationen: Eine OLS mit signifikantem Ergbenis 0,3; eine IV mit insignifikantem Ergebnis 0,45; bei identischer Population, Min 0,3; Max 0,45; Mean 0,375)?

Angesichts einer derart diffusen Problembeschreibung ist es
mir leider nicht möglich, irgendeinen Kommentar abzugeben.

Ich arbeite an einer systematischen Literaturübersicht (Systematic Literature Review) zu Effiezienzeffekten im privaten Tranpsort und möchte gern die Bandbreite der Estimates in einem Kontext (geographisch) darstellen/vergleichen.
Die untersuchten Population unterscheiden sich von Studie zu Studie, abhängige Variablen sind teilweise auch unterschiedlich (nicht im Beispiel), jedoch die unabhängige Variable gleich definiert.

Ein Beispiel :



ln(Efficiency) ist der Estimate, der mich interessiert.
Aus diesen Daten würde ich jetzt folgendes machen: Effekt Beijing: Min -0,411; Max 0,602; Mean: 0,4088; Tokyo: Min -0,073; Max 0,923; Mean 0,2251. Schlussfolgerung, anhand der untersuchten Studien, bei gegebener Population ist der Effekt in Tokyo kleiner als in Beijing. Weitergehend würde ich dann aus Tokyo und Beijing eine Kategorie Asien bilden und diese bspw. mit Europa vergleichen.
MIN,MAX,MEAN Daten würde ich in einen modifizierten Boxplot darstellen. Dabei habe ich nun alle Estimates berücksichtigt, wie in einer Meta-Analyse üblich, aber ich frage mich ob dieses Vorgehen bei mir auch adequat ist? Und auch, wie ich mein Vorgehen argumentieren kann? Hierauf bezieht sich die Frage nach Literatur, das Vorgehen ist in den Meta-Analysien, die ich gelesen habe, nicht erklärt.

[PonderStibbons]

Nein, anders formuliert: Warum man alle estimates berücksichtigt und nicht nur signifikante?

Weil statistische Signfikanzaussagen an der Schätzung nichts ändern. Ein
inferenzstatistsch nicht signifikantes Resultat einer einzelnen Analyse setzt
den Schätzer doch nicht auf Null. Signifikanztests sind Entscheidungsverfahren,
und die Beibehaltung der Nulhypothese beruht in aller Regel auf zu geringer
power (Fehler 2. Art).

Wenn ich 10 Studien mit jeweils n=30 habe, bei denen der Mittelwertunterschied
jedes Mal 0,3 SD beträgt und der t-Test jedesmal p=0,049 ergibt, dann nehme ich
selbstverständlich die 10mal ermittelten 0,3 SD von insgesamt 300 Probanden
in meine Schätzung mit auf.

Mit freundlichen Grüßen

PonderStibbons