Korrelationsanalyse in "Big Data"

Fragen, die sich auf kein spezielles Verfahren beziehen.

Korrelationsanalyse in "Big Data"

Beitragvon winternet » Mi 25. Jun 2014, 15:22

Hallo,

ich bin Mediziner und arbeite in einem großen Krankenhaus, in dem wir täglich hunderte Daten in einem computergestützten System generieren. Wir haben neben verschiedenen Laborwerten auch klinische Daten etc. zur Verfügung.

Ich habe mich in den letzten Wochen gefragt, wie man die generierten Daten nutzen könnte, um daraus interessante Erkenntnisse zu generieren.

Insbesondere interessieren würde mich, ob es eine Möglichkeit gibt, die Daten einfach mal "in der Masse" gegeneinander zu verrechen, um zu sehen ob es interessante Zusammenhänge gibt, die uns vielleicht noch nicht bekannt sind (vielleicht korreliert zum Beispiel ein bestimmter Laborwert gut mit den Überlebenstagen etc...) - Sprich: Eine Korrelationsanalyse aller Daten gegeneinander durchzuführen. Ich würde gerne sehen ob es vielleicht interessante Zusammenhänge gibt.

Ist das möglich? Welche Plattform würdet ihr dafür verwenden und welche Methode?

Herzliche Grüße,
winternet
winternet
Einmal-Poster
Einmal-Poster
 
Beiträge: 1
Registriert: Mi 25. Jun 2014, 15:04
Danke gegeben: 0
Danke bekommen: 0 mal in 0 Post

Re: Korrelationsanalyse in "Big Data"

Beitragvon bele » Mi 25. Jun 2014, 17:57

Hallo winternet,

hunderte Daten täglich müssen noch kein Big Data sein: 1000 Datensätze an 365 Tag über 10 Jahre sind "nur" 3,6 Mio Datensätze. Das schaffen nicht nur spezielle Big-Data-Programme, das kann man durchaus mit einem "normalen" Statistikprogramm versuchen. Ich würde R verwenden. Nicht, weil es notwendig das beste Werkzeug ist, sondern weil ich mich dort am besten auskenne. Die Gefahr, in den vielen Daten den Überblick zu verlieren, erscheint mir höher, als an der Rechenkapazität von R, Stata, SPSS, Python+NumPy oder SAS zu scheitern. Deshalb ist es gut, wenn man sich wenigstens mit der Software auskennt. Du musst damit rechnen, in einer Flut von Banalitäten zu ertrinken. Ich sag mal: Hohes fT3 geht mit hohem fT4 einher, Plasmaeiweiß ist mit der Osmolalität korreliert, Menschen mit hoher ASAT haben auch eine hohe ALAT, NAchblutungen erhöhen die Liegezeit, ... Einfach alles mit allem Korrelieren wird Dich daher eher nicht glücklich machen. Ein bisschen Theoriegeleitetheit ist auch bei BigData gut.
Wenn Du noch an keine Software gebunden bist, willst Du Dir vielleicht Rattle anschauen:
http://rattle.togaware.com/
http://data-mining-tutorials.blogspot.d ... ckage.html
http://www.youtube.com/watch?v=89qfaHGFsX8
http://journal.r-project.org/archive/20 ... lliams.pdf
http://www.youtube.com/watch?v=OBilaZZpvGs

LG,
Bernhard
----
`Oh, you can't help that,' said the Cat: `we're all mad here. I'm mad. You're mad.'
`How do you know I'm mad?' said Alice.
`You must be,' said the Cat, `or you wouldn't have come here.'
(Lewis Carol, Alice in Wonderland)
bele
Schlaflos in Seattle
Schlaflos in Seattle
 
Beiträge: 5928
Registriert: Do 2. Jun 2011, 23:16
Danke gegeben: 16
Danke bekommen: 1403 mal in 1389 Posts

Re: Korrelationsanalyse in "Big Data"

Beitragvon strukturmarionette » Mi 25. Jun 2014, 21:51

Hi,

besser als von "Eine Korrelationsanalyse aller Daten gegeneinander" zu sprechen, wären wohl 'korrelative Verfahren allgemein' besser geeignet.
Des Weiteren wäre es vorteilhaft, diese ('vielen') Daten vorab fachlich medizinisch einzugrenzen.

Dann würde man m.E. explorativ einiges interessantes erfahren.

Gruß
S.
strukturmarionette
Schlaflos in Seattle
Schlaflos in Seattle
 
Beiträge: 4356
Registriert: Fr 17. Jun 2011, 22:15
Danke gegeben: 32
Danke bekommen: 587 mal in 584 Posts


Zurück zu Allgemeine Fragen

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 16 Gäste