STATISTIK-FORUM.de

[FJK93]

Hey

Ich arbeite zurzeit an einem Datensatz, in dem es um die Klassifikation von Geschlechtern anhand kieferorthopädischer Maße geht. Es handelt sich um eine Stichprobe von 35 Personen. Bei dem Prozess der Klassifikation gibt es ja die Möglichkeit einen bestimmten prozentualen Anteil der Daten als Trainingsdaten zu verwenden, um dann die Testdaten zu klassifizieren. In meinem Fall habe ich 28 Personen bzw. 80 % der Daten als Trainingsdaten verwendet und daher 7 Personen bzw. 20 % als Testdaten.
Für mich hat das Sinn ergeben, weil so mehr Trainingsdaten vorhanden sind und daher eine höhere Klassifikation der Testdaten möglich erscheint.

Allerdings habe ich das Ganze zum ersten Mal durchgeführt und bin mir etwas unsicher, ob das üblicherweise anders gemacht wird. In der Literatur, die ich dazu finden konnte, gab es keine wirklich sinnvollen Angaben.

Vielleicht hat ja jemand von euch eine Tipp für mich?

Liebe Grüße

[bele]

Hi,

Also wenn ich Du wäre, dann wäre mir das zuviel Informationsverlust. Nur 28 zum Training wenn Du 35 hast ist blöd und eine Beurteilung anhand von nur 7 Individuen ist auch viel zuwenig. So eine Aufteilung kann man machen, wenn man vierstellige Beobachtungszahlen hat. Von mir aus auch hoch dreistellige.

IN deiner Situation würde ich 35 mal die Klassifikationsrechnung machen, jedes Mal mit 34 lm Trainings- und nur einem im Testdatensatz. Das nennt man "Leave One Out" oder LOO-Crossvalidation. Dann kann Dein Klassifizierer jeweils an 34 Patienten lernen und der Verlust durch den Testsatensatz wird minimiert.

Wenn das peer-reviewed medizinisch publiziert werden soll und Du noch einen Statistiker im Autorenteam brauchst, dann schick mir gerne eine PN.

LG, Bernhard

[FJK93]

Hallo Bernhard,

Okay, lieben Dank für den Tipp. Wusste jetzt nicht, wie man da noch mehr raus holen kann.

Ist leider "nur" eine zahnmedizinische Doktorarbeit, die ein Kumpel von mir schreibt. Trotzdem Danke für das Angebot.

LG, Falk

[bele]

Hallo Falk,

ein Leseeinstieg in die Kreuzvalidierung der jetzt nicht superkompliziert ist und doch genug Tiefgang hat wäre zum Beispiel das Buch Introduction to Statistical Learning. Das gibt es legal als kostenloses PDF hier: https://hastie.su.domains/ISLR2/ISLRv2_website.pdf Dich interessiert Kapitel 5.1 ab Seite 198. Das erklärt in KApitel 5.1.1 das was Du machen wolltest, in Kapitel 5.1.2 die LOOCV die ich Dir vorgeschlagen habe und in Kapitel 5.1.3 die k-fold CrossValidation als Kompromiss, falls Du die 35 Klassifizierungen nicht automatisieren kannst und es Dir zuviele sind, um das händisch zu machen. Das ist auch problemlos als Literatur zitierfähig.

Etwas formalistischer und dadurch nicht automatisch besser wäre auch Kapitel 12 in "Computer Age Statistical Inference" ab Seite 208 im ebenfalls legal frei verfügbare PDF unter https://hastie.su.domains/CASI_files/PDF/casi.pdf

Ich wünsche der Arbeit viel Erfolg.

LG,
Bernhard