Frage zur Vorgehensweise

Fragen, die sich auf kein spezielles Verfahren beziehen.

Frage zur Vorgehensweise

Beitragvon smith0815 » Sa 13. Aug 2011, 21:19

Hi

Ich habe einen Datenpaket von ca. 800.000 Datensätzen.
Jeder Datensatz enthält dabei genau 38 einzelne Merkmale.
Die Merkmale bestehen aus realen oder boolschen Werten.

Das ganze Datenpaket habe ich zur späteren Regressionsanalyse
in 3 Teile geteilt,

- Trainingsdaten ca. 400.000 Datensätze
- Testdaten ca. 60.000 Datensätze
- Validierungdaten ca. 350.000 Datensätze

Da die spätere Verwendung teilweise Probleme mit großen
Datenmengen hat, habe ich beschlossen die Trainingsdaten und
die Testdaten zu tauschen.

Die Datensätze wurden vor der Teilung aber gemischt, erwarte ich also,
dass trotz des Tausches ähnliche Ergebnisse rauskommen sollten.

Kann ich nur anhand der Datensätze genau dieses nachweisen?
smith0815
Grünschnabel
Grünschnabel
 
Beiträge: 6
Registriert: Fr 15. Jul 2011, 22:29
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post

Re: Frage zur Vorgehensweise

Beitragvon smith0815 » Mi 17. Aug 2011, 17:53

Hat denn keiner eine Lösung für mein Problem???

Vielleicht kann der Korrelartionskoeffizient helfen, doch der benötigt immer bestimmte Voraussetzungen, die aber nicht jeder Teil der Daten erfüllt.
z.B. bei den boolschen Werten gibt es keine Normalverteilung.
smith0815
Grünschnabel
Grünschnabel
 
Beiträge: 6
Registriert: Fr 15. Jul 2011, 22:29
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post

Re: Frage zur Vorgehensweise

Beitragvon strukturmarionette » Do 18. Aug 2011, 08:52

Hi

hierzu:

Da die spätere Verwendung teilweise Probleme mit großen
Datenmengen hat, habe ich beschlossen die Trainingsdaten und
die Testdaten zu tauschen.

Die Datensätze wurden vor der Teilung aber gemischt, erwarte ich also,
dass trotz des Tausches ähnliche Ergebnisse rauskommen sollten.

Kann ich nur anhand der Datensätze genau dieses nachweisen?


Wie soll das funktionieren?

S.
strukturmarionette
Schlaflos in Seattle
Schlaflos in Seattle
 
Beiträge: 4353
Registriert: Fr 17. Jun 2011, 22:15
Danke gegeben: 32
Danke bekommen: 586 mal in 583 Posts


Zurück zu Allgemeine Fragen

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 9 Gäste