STATISTIK-FORUM.de

[AND5]

Hallo zusammen,

Ich habe eine parallele Mediationsanalyse mit PROCESS im Rahmen meiner Abschlussarbeit durchgeführt und konnte die hypothesierten Zusammenhänge alle nachweisen.
Jedoch stellt sich mir die Frage, ob potenziell ein Overfitting vorliegen könnte. Mein Stichprobe umfasst 142 Teilnehmer. Ich habe eine metrische UV, zwei metrische Mediatoren, 3 metrische Kontrollvariablen sowie 5 dichotom nominal-skalierte Kontrollvariablen.

Besteht hier die Gefahr eines Overfittings? Wie könnte ich das gegebenfalls feststellen?

Vielen Dank im Voraus.

[bele]

Worum geht es Dir denn in der Analyse? Wenn es, wie geschrieben, um den Nachweis von Effekten geht, dann stütz Dich auf die Signifikanztestung.

Wenn es bei der Regression um Vorhersagekraft in neuen Daten geht, dann kann es schlau sein, eine Kreuzvalidierung und ggf regularisierte Regressionen zu rechnen.

JMTC,
Bernhard

[AND5]

Worum geht es Dir denn in der Analyse? Wenn es, wie geschrieben, um den Nachweis von Effekten geht, dann stütz Dich auf die Signifikanztestung.

Wenn es bei der Regression um Vorhersagekraft in neuen Daten geht, dann kann es schlau sein, eine Kreuzvalidierung und ggf regularisierte Regressionen zu rechnen.

JMTC,
Bernhard

Vielen dank für die schnelle Antwort.

In meiner Arbeit geht es rein um den Nachweis von Effekten. Speziell möchte ich prüfen, ob der Zusammenhang zwischen der UV und der AV über Mediator 1 und Mediator 2 vermittelt. Hierzu habe Hypothesen formuliert, die ich anhand meiner Stichprobe testen möchte. Spielt dann für mich quasi Overfitting eher weniger eine Rolle? Ist das eher relevant bei Machine Learning?

[bele]

Ich würde die Grenze nicht zwischen Statistik und Maschinenlernen ziehen. Diese Grenze ist viel zu schwammig, wenn es sie überhaupt gibt.

Die Unterscheidung in Inferenz und Vorhersage macht da mehr Sinn. Overfitting bedeutet, dass Du die Details eines spezifischen Datensatzes zu ernst nimmst und deshalb schlechter in der Vorhersage wirst, Signifikanz sagt Dir, wie unwahrscheinlich Deine Daten wären, wenn eine Nullhypothese gälte. Das sind zwei verschiedene Fragestellungen. Bloß, weil es eine Mediation gibt ist ja noch nicht gesagt, dass die Dir wesentlich bei der Prädiktion hülfe, wenn Du eine machen wolltest.

Vielleicht verstehe ich Deine Sorge besser, wenn Du erklärst, worum genau Du Dir Sorgen machst.

LG,
Bernhard

[AND5]

Ich würde die Grenze nicht zwischen Statistik und Maschinenlernen ziehen. Diese Grenze ist viel zu schwammig, wenn es sie überhaupt gibt.

Die Unterscheidung in Inferenz und Vorhersage macht da mehr Sinn. Overfitting bedeutet, dass Du die Details eines spezifischen Datensatzes zu ernst nimmst und deshalb schlechter in der Vorhersage wirst, Signifikanz sagt Dir, wie unwahrscheinlich Deine Daten wären, wenn eine Nullhypothese gälte. Das sind zwei verschiedene Fragestellungen. Bloß, weil es eine Mediation gibt ist ja noch nicht gesagt, dass die Dir wesentlich bei der Prädiktion hülfe, wenn Du eine machen wolltest.

Vielleicht verstehe ich Deine Sorge besser, wenn Du erklärst, worum genau Du Dir Sorgen machst.

LG,
Bernhard

Im Endeffekt mache ich mir darüber Sorgen, dass ich möglicherweise zu viele Kontrollvariablen für eine zu geringe Stichprobengröße einbezogen habe, und inwiefern sich dies möglicherweise auf meine Ergebnisse ausgewirkt hat, wobei ich meine hypothesierten Zusammenhänge eigentlich alle nachweisen konnte.

Schönen Abend noch!

[bele]

Dagegen sollte Dich die Signifikanztestung (und darin das Konzept der Freiheitsgrade) schützen. Das Signal-Rausch-Verhältnis scheint groß genug zu sein um mit 142 Datensätzen "Beweise" zu führen.

LG,
Bernhard