STATISTIK-FORUM.de

[Blech]

Liebe Forumsmitglieder,

ich habe ein kleines Problemchen. Ich würde gerne die Sensitivität und Spezifität meines Verfahrens untersuchen. Soweit richtig recherchiert, sollte dies anhand der ROC-Kurven - mir bis dato leider noch unbekannt - geschehen.
Ich habe Bilder raten lassen anhand von zwei Dimensionen, sodass ich zu jedem Bild zwei Werte habe. Zudem habe ich zwei Gruppen (hoch/niedrig). Nun möchte ich für einen Teil der Bilder (die "statistisch besten" sozusagen ^^) mir die Sensitivität und Spezifität ausgeben lassen. Wenn ich das mache, bekomme ich aber viel zu viele Kurven (klar, für jede Dimensionsbewertung einzeln). Damit kann ich aber irgendwie nichts anfangen.. Bin ich überhaupt richtig vorgegangen?
Richtig positiv wären übrigens Werte zwischen 25 und 61 (Gruppe hoch), 0 bis 15 sind Werte der zweiten Gruppe (niedrig). Deshalb habe ich diese Variable auch als Zustandsvariable verwendet und den Wert der Zustandsvariablen (ab wann es eine positive Zuordnung wäre? also ab >25?!) auf 25 gesetzt.. Ich habe auch schon bei Youtube geschaut, aber es auf die eigenen Daten anzuwenden, ist dann doch immer nochmal ein anderes Paar Schuhe.. o.O

Ich hoffe, das sind alle notwendigen Informationen. ^^
Ich verstehe das ganze leider noch nicht ganz und würde mich über einen Austausch sehr freuen!!

LG

[strukturmarionette]

Hi,

Moosbrugger, H. & Kelava, A. (Hrsg.) (2012).
Testtheorie und Fragebogenkonstruktion. 2te Auflage. Heidelberg: Springer

- S. 183ff

Gruß
S.

[Blech]

Ok danke, das war noch einmal gut für die Theorie!

Leider komme ich trotzdem nicht weiter, was ich nun genau bei mir machen muss..
Bei SPSS gebe ich ein:
- Gruppenzugehörigkeit (hoch/niedrig) als Zustandsvariable mit Wert der Zustandsvariablen "1" (da hierbei dann die Diagnose vorliegt)
- Bewertungen der Dimensionen der besten Bilder (anhand der Signifikanzwerte, vorher getestet) als Testvariablen

Denn: Ich will ja wissen, ob ich anhand der besten Bilder vorhersagen kann, ob jemand in der Gruppe hoch oder niedrig ist, ich also zuverlässig auch eine Diagnose vergeben könnte anhand des Bilderratings. Das Problem ist ja nur, dass ich wahrscheinlich 20 Testvariablen habe (ich nehme wahrscheinlich die 10 besten Bilder, die jeweils auf 2 Dimensionen bewertet wurden) und ich somit nicht nur dementsprechend viele Kurven im Output erhalte, sondern auch für jede Dimension eines Bildes eigene Sensitivitäts- und Spezifitätswerte erhalte. Ich hätte jedoch natürlich gerne nur jeweils einen Sensitivitäts- und Spezifitätswert für alle meine besten Bilder.. versteht ihr, was ich meine? ^^

Wenn ich nur eine Testvariable hätte, wäre das alles etwas Anderes, aber ich weiß nicht, wie ich bei mir das auf eine Testvariable reduzieren kann bzw. wie ich die einzelnen Werte im Output sinnvoll zusammenfassen kann..

DANKE!!

Nachtrag: Ich frage mich gerade, ob das überhaupt die richtige Methode dazu ist? Ich habe mir nochmal den Output angeschaut, und in der Spalte "Positiv, wenn größer gleich null" kriege ich nur Werte zwischen 0 und 10, obwohl meine Diagnose erst ab einem Wert von 25 vergeben wird.. oder stehe ich gerade voll auf dem Schlauch?! o.O
(Dateien kann ich übrigens seit zwei Jahren nicht mehr anhängen, ich kriege immer die Meldung, dass das Kontingent erschöpft ist.. :/ )

Nachtrag 2.0: Für mein "Problem" sollte ich aber schon ROC verwenden oder? 2x2-Tabellen/ 4-Felder-Tafeln reichen ja nicht, weil ich ja dann nur die Sensitivität und Spezifität herausbekomme, oder?!

(sorry, falls es blöde Fragen sind, aber Statistik liegt mir leider nicht so, aber ich will es sehr gut hinkriegen )

[Blech]

Jemand eine Idee?

[Blech]

Komme leider immer noch nicht weiter und wäre für jeden Denkanstoß super dankbar!!!

[bele]

Hallo Blech,

Denn: Ich will ja wissen, ob ich anhand der besten Bilder vorhersagen kann, ob jemand in der Gruppe hoch oder niedrig ist, ich also zuverlässig auch eine Diagnose vergeben könnte anhand des Bilderratings. Das Problem ist ja nur, dass ich wahrscheinlich 20 Testvariablen habe (ich nehme wahrscheinlich die 10 besten Bilder, die jeweils auf 2 Dimensionen bewertet wurden) und [...].. versteht ihr, was ich meine? ^^

Nein.

Du willst die Sensitivität und Spezifität eines Verfahrens untersuchen, ohne uns zu sagen, wie das Verfahren aussehen soll. Im Ergebnis kommt eine Person durch die Tür, die beurteilt 20 Bilder und anhand der Beurteilung aller 20 Bilder zusammen willst Du Schlussfolgerungen ziehen, in welche von zwei Kategorien diese Person eingeteilt wird. Habe ich das richtig verstanden?

Wenn ja, wie planst Du die Ergebnisse der 20 Bilder zusammen zu fassen? Wie soll aus den 20 Ratings eine Entscheidung extrahiert werden? Das habe ich bislang noch nicht gefunden.

LG,
Bernhard

[Blech]

Lieber Berhard, liebe Forumsmitglieder,

danke für den Austausch!
Ich versuche nochmal, alles zu erklären, damit es verständlich wird. ^^

Hier konnte ich übrigens auch den Output hochladen (also im SPSS-Forum, hier geht das bei mir leider nicht.. --> http://www.spss-forum.de/tests-und-grup ... t2578.html )

Ja genau, das was du beschreibst, ist genau richtig. Jemand bewertet Bilder - sagen wir 10 - und für jedes Bild muss er zwei Bewertungen abgeben, also haben wir dann für jede Person 20 Bewertungen insgesamt (von 10 Bildern). Anhand dessen würde ich gerne die Gruppenzugehörigkeit vorhersagen (hoch/niedrig).

Ich müsste - so denke ich zumindest - diese 20 Bewertungen zu einem Wert zusammenfassen, damit ich dann eine Kurve beim Output bekomme. Ansonsten bekomme ich ja 20 Kurven, damit kann ich ja nichts anfangen. Vielleicht geht das auch gar nicht und ich kann die ROC-Kurven gar nicht verwenden?!

Also ich habe eine relativ große Stichprobe, die ich in zwei Substichproben einteile. Die erste Hälfte nutze ich, um die Bewertungen zwischen den beiden Gruppen anzuschauen. Hier suche ich die 10 Bilder heraus, die zwischen den beiden Gruppen an stärksten diskriminieren. Die Gruppenzugehörigkeit weiß ich, da ich noch einen Fragebogen erhoben habe. Anhand der ersten Stichprobe weiß ich also, welche Bilder einen signifikanten Gruppenunterschied aufweisen und zwar auf den beiden Bewertungsdimensionen (deshalb habe ich auch für jedes Bild zwei Werte, also zwei Bewertungen). Gerechnet habe ich das mit einer Diskriminanzanalyse.

Dann kommt die zweite Hälfte. An dieser zweiten Stichprobe will ich testen, ob ich mit den 10 besten Bildern, die ich soeben herausgefunden habe, die Gruppenzugehörigkeit vorhersagen kann. Wie ich das mache, kam wahrscheinlich nicht rüber, weil ich gerade merke, dass mir das selbst gerade noch nicht klar ist..

Ich könnte das zum Beispiel anhand der Mittelwerte der Bewertungen mittels der ersten Stichprobe festmachen. Sagen wir, Bild 1 hat einen Mittelwert von M = 1,23 in der Gruppe hoch und einen Mittelwert von M = 5,67 in der Gruppe niedrig. Könnte ich jetzt bei der zweiten Stichprobe schauen, ob eine Person der einen oder der anderen Gruppe angehört, indem ich einen Gesamtmittelwert aller Bilder nehme und dann schaue, ob die Person darunter oder darüber liegt?

Sagen wir, der Gesamtmittelwert für Bewertungsdimension 1 liegt bei M = 1,50 für Gruppe hoch und bei M = 5,10 für Gruppe niedrig. Für Bewertungsdimension 2: hoch --> M = 2,00; niedrig --> M = 4,80.
Person x hat bei Dimension 1 einen Wert von 1,48 und bei Dimension 2 einen Wert von 1,88. Dann würde ich sie in die Gruppe hoch einordnen.. macht das Sinn?
Wenn ich den Mittelwert bilde, würde ich doch auch das Problem der vielen Kurven umgehen, oder? Dann hätte ich ja für jede Bewertungsdimension nur noch eine Kurve?!
Ich weiß, da bin ich erstmal noch weit entfernt von der Berechnung von Sensitivität und Spezifität, was ja hier mein eigentliches Anliegen war.. hatte nur nicht gemerkt, dass ich da einen Zwischenschritt vergessen hatte..

Tut mir leid, mir fällt sowas wirklich nicht leicht, Statistik ist leider nicht mein Spezialgebiet, aber ich gebe alles, um es zu verstehen und möglichst alleine weiter zu kommen!

Danke euch und danke dir Bernhard!
LG

[bele]

Hallo Blech,

war.. hatte nur nicht gemerkt, dass ich da einen Zwischenschritt vergessen hatte..

Dann hat sich ja die Beratung durch das Forum schon mal gelohnt. In der Tat wird sich das mit der Sensitivität und der Spezifität wahrscheinlich leicht lösen lassen, wenn das Auswerteverfahren gefunden ist. Ob das Mittelwerte-und-Cutoff-Werte bilden in Deinem Fall inhaltlich sinnvoll erscheint, kannst nur Du abwägen. Wenn ja, solltest Du eine Faktorenanalyse erwägen, die Dir zeigen könnte, ob alle 10 Bilder das gleiche messen oder vielleicht in verschiedene Bildergruppen einzuteilen sind. Wenn Du wirklich viele Datensätze hast, könntest Du auch ein Neuronales Netz für die Entscheidung trainieren. Das könnte dann jedes Bild unterschiedlich gewichten und komplexe Zusammenhänge zwischen den Bildern auswerten, braucht aber viele Trainingsdaten und das Ergebnis ist nicht unbedingt für Menschen leicht nachvollziehbar. Es gibt viele andere Wege, Entscheidungen zu fällen (logistische Regression, Entscheidungsbäume, Support Vector Machines, ...).

Viele Grüße,
Bernhard

[Blech]

Lieber Bernhard,

ja das stimmt

Ja, das denke ich auch. Ich werde mir alles nochmal durch den Kopf gehen lassen und schonmal an den anderen Parts weiter schreiben.
GGf. würde ich mich dann hier nochmal melden, falls das ok ist? ^^

LG

[Blech]

Danke nochmal, ich habe etwas Abstand gebraucht von der Statistik und mich erst einmal anderen Teilen der Arbeit gewidmet. Jetzt habe ich einen neuen Plan und der sollte funktionieren.
Ich wollte mich nur nochmal bedanken, da ich durch euuch auf die richtigen Fragen gestoßen bin, die mich weiter gebracht haben.

Ich hoffe, dass keine weiteren Fragen aufkommen, aber falls doch, weiß ich, wo es Leute gibt, die mit mir zusammen überlegen wollen.

LG