STATISTIK-FORUM.de

[tharuani]

Hallo,

ich vergleiche im Rahmen meiner Diplomarbeit
zwei Modelle (logistische Regressionsanalyse versus
Entscheidungsbaumverfahren), die für prognostische
Zwecke eingesetzt werden sollen.
Als Kennwerte der prognostische Güte berechne ich
unter anderem die AUC-Werte aus der ROC-Analyse
und biseriale Rangkorrelationen.
Ich habe mich für die Durchführung einer 10-fachen
Kreuzvalidierung entschieden und beim bearbeiten
festgestellt, dass die am Trainingssatz mitunter
noch auf dem 5\% Signifikanzniveau sigifikanten
Korrelationen auf dem Testset deutlich schlechter
wurden und mitunter der p-Wert bis zu 0,3 stieg.
(Für möglicherweise unsaubere Formulierung wird um
Entschuldigung gebeten..).
Lange Rede; meine Frage ist folgende:

Kann es sinnvoll sein, den Mittelwert der Korrelationen
aus den 10 Testsets mittels t-test für eine Stichprobe
auf Signifikanz zu prüfen oder ist das völliger Unsinn
und wenig aussagekräftig?

Für Kritik, Fragen und Anmerkungen stehen ich immer zur Verfügung;
über Antwort würde ich mich sehr freuen.

[jobu]

Hallo tharuani,

Also der Mittelwert (allerdings korrigiert nach Fisher-Transformation; http://de.wikipedia.org/wiki/Korrelatio ... sformation) der Korrelationen kannst Du als Schätzer für den "wahren Zusammenhang" durchaus verwenden. Was Du mit Deinen Testsets ja eigentlich machst, ist das empirische Austesten eines Konfidenzintervals der Korrelationen (Du schätzst also nicht anhand einer hypothetischen Verteilung, sondern ziehst Zufallsstichproben aus der Population).
Zu Deiner Frage: Korrelationen folgen einer t-Statistik, den Mittelwert kannst Du also prüfen mit t = r*sqr(n-2) / sqr(1-r^2), mit df=n-2.

Übrigens, da habe ich mal recht lange nach Informationen dazu gesucht: AUC-Werte kannst Du mittels Mann-Whitney-U Statistik miteinander vergleichen...

Gruss,