STATISTIK-FORUM.de

[flavourflax]

Hallo,

ich brauche einen Rat wie ich die Signifikanzen meiner Doktorarbeit ausrechnen kann.

1. Einmal untersuche ich zwei Verfahren auf ihre Geschwindigkeit. D.h. es wurde je Verfahren Zeiten in Sekunden gemessen und ich muss errechnen ob der Unterschied hier signifikant ist. Habe dazu mit SPSS gearbeitet (Analysieren -> Mittelwerte vergleichen -> t-Test bei unabhängigen Stichproben). Das sollte bei dieser Skalierung das richtige Verfahren sein, oder?

2. Geht es darum Tumorpunkte dichochtom zu bewerten (Tumor "ja" oder "nein"). Hier werden ebenfalls wieder zwei Verfahren verglichen. Die Daten sind also nominal (ja/nein) skaliert. Also errechne ich die Signifikanz innerhalb eines Verfahrens anhand der richtigen und falschen (erwarteten) Werte mit dem Chi-Quadrat-Test. So gucke ich ob die Antworten nur geraten waren oder nicht.
Nun will ich aber weiter überprüfen ob ein signifikanter Unterschied zwischen zwei Verfahren bzw. Aufnahmetechniken besteht in der Anzahl richtiger Antworten. Welcher Test wäre dafür geeignet? UPDATE: Im Prinzip ein zweiseitiger Chi-Quadrat-Test???

Ich hoffe meine Angaben sind verständlich und nicht allzu verwirrend. Auf Nachfrage werde ich gerne so konkret wie möglich! Ich will das wirklich verstehen!

Vielen, vielen Dank schon mal im Vorraus für eure Hilfe!!!

[bele]

Der t - Test in 1 und ein Chi-Quadrat-Test in 2 klingen anhand der bisher gegebenen Informationen erst einmal plausibel.

Ein Pendant des Chi-Quadrat-Tests für verbundene Stichproben wäre der McNemar-Test. Der könnte die Antwort sein, wenn ich die Frage richtig errate. Ich bin aber nur ein einfacher Arzt und weiß nicht, was ein Tumorpunkt sein soll und ob vielleicht mehrere Tumorpunkte in einem Patienten genestet sein könnten.
Weil ich nicht weiß, was ein "Tumorpunkt" ist und Du wahrscheinlich nicht weißt, was "genestet" in der Statistik heißt, bietet es sich an, dass Du Ziel und Vorgehen Deiner Studie vernünftig darlegst. Hinweise dazu findest Du z. B. hier: nutzung-des-forums-f44/das-musste-mal-gepostet-werden-t6682.html . Das hindert Dich nicht daran, schon mal den McNemar-Test nachzulesen.

LG,
Bernhard

[flavourflax]

Zunächst vielen Dank für die "erste Hilfe" und Danke für den Link zu Deinem Übersichtspost!

Ich versuche einmal mein Vorgehen bei der Studie präziser darzulegen.

1. Fragestellung der Studie: Ist eine Aufnahmetechnik für Ultraschallbilder im OP besser als eine andere? Es werden also zwei Aufnahmetechniken (Prallel- vs. Fächeraufnahme) miteinander verglichen.

2. Wie wird dabei vorgegangen? Um zu ermitteln wie gut die EINZELNE Aufnahmetechnik ist wurde ein Goldstandard definiert. Da in diesem Bereich das MRT das Maß aller Dinge ist werden die Antworten bzgl. 10 individuell gesetzter Punkte pro Fall in jeder Aunahmetechnik bewertet und mit dem MRT korreliert. Ist ein Punkt (= Tumorpunkt) mit Tumor ja bzw. nein im MRT und im Ultraschall bewertet wird eine höhere Übereinstimmung für die EINZELNE Aufnahmetechnik ermittelt.

https://picload.org/view/drigoiaw/bildschirmfoto2017-12-01um17.3.png.html

Die Signifikanz dieser Ergebnisse habe ich, weil nomalskaliert, mit dem Chi-Quadrat-Test errechnet.

https://picload.org/view/drigoioa/bildschirmfoto2017-12-01um17.4.png.html

Das wird für die eine Aufnahmetechnik durchgeführt, und auch für die andere. Die Ergebnisse sollen dann verglichen werden. Welche Aufnahmetechnik, wenn überhaupt, ist besser? Und, wenn eine überlegen ist, ist das Ergebnis statistisch signifikant? Und das ist meine Frage: Welcher Signifikanz-Test eignet sich hier?

3. Wie groß ist die Fallzahl? Es sind 20 Patienten. Insgesamt werden JE Aufnahmtechnik 800 Punkte mit der Frage Tumor ja/nein bewertet.

4. Verwendete Software: V.a. Excel, aber auch SPSS

EDIT: Es tut mir leid, aber trotz der Imagefunktion lässt sich das Bild nur als URL einfügen! Weiß jemand Rat, damit ich das zukünftig vermeiden kann?

[PonderStibbons]

Statistisch signifikant bedeutet nicht "bedeutsam", "relevant", "groß". Sondern, ob man die Nullhypothese zurückweisen kann, also eine Punkthypothese des Typs: "In der Grundgesamtheit ist die Korrelation = 0". "In der Grundgesamtheit ist der Mittelwertunterschied = 0". Es ist nicht erkennbar, inwiefern ein statitischer Signifikanzest hier einen Beitrag zur Klärung der Fragestellung leisten sollte. Welche Nullhypothese soll getestet werden? Und nicht-signifikante Ergebnisse sind sicherlich auf die zu geringe statistische power aufgrund einer kleinen Stichprobe zurückzuführen.

Mit freundichen Grüßen

PonderStibbons

[bele]

Hallo flavourflax,

Du bist augenscheinlich auf der Suche nach einem einfachen Auswerteweg und nicht nach dem kompliziertesten statistischen Modell, das sich finden lässt. Nehmen wir an, Du hast 800 Punkte (im MRI) und zu jedem dieser Punkte die Aussage, ob das Ergebnis in den beiden Sonovarianten mit dem Goldstandard übereinstimmt. Da ließe sich jetzt eine schöne Vier-Felder-Tafel zeichnen: Nebeneinander die Frage, ob eine Messung im Parallelmode mit dem MRT übereinstimmt, untereinander, ob die Messung im Fächermode mit dem MRT übereinstimmt. Jeder Punkt zählt in einem der Kästchen als ein Fall und damit kann man dann einen McNemartest rechnen. Vielleicht hilft diese URL:

https://www2.ccrb.cuhk.edu.hk/stat/conf ... 20Test.htm

Schwieriger wird das Modell, wenn man glaubt, dass der einzelne Patient eine Rolle spielt etc., aber dann wird es ganz schnell ganz kompliziert.

Neben dieser Frage, ob ein Messmodell häufiger oder seltener mit dem MRT übereinstimmt, würde man wohl noch eine Analyse fordern, ob die beiden Verfahren in der Sensitivität oder in der Spezifität vom MRT abweichen.

Im Übrigen hat PonderStibbons natürlich recht, dass ein p-Wert wenig aussagt. Aber im Medizinkontext wird dieser Abgott noch angebetet.


LG,
Bernhard

[flavourflax]

Erst mal vielen Dank an euch beide! Es macht Spaß das alles mal zu diskutieren und man bekommt mehr Hilfe als von unserem Statistiker.

Statistisch signifikant bedeutet nicht "bedeutsam", "relevant", "groß". Sondern, ob man die Nullhypothese zurückweisen kann, also eine Punkthypothese des Typs: "In der Grundgesamtheit ist die Korrelation = 0". "In der Grundgesamtheit ist der Mittelwertunterschied = 0". Es ist nicht erkennbar, inwiefern ein statitischer Signifikanzest hier einen Beitrag zur Klärung der Fragestellung leisten sollte. Welche Nullhypothese soll getestet werden?

Die Frage ist: Ist ein Verfahren besser als das andere? bzw. Utraschall in 3D besser als in 2D?

Und nicht-signifikante Ergebnisse sind sicherlich auf die zu geringe statitsiche power aufgrund einer kleinen Stichprobe zurückzuführen.

Klar, es sind nur 20 Patienten, aber radiologisch sind es immerhin 800 Punkte. Macht das nichts aus?

Besten Gruß

[flavourflax]

Du bist augenscheinlich auf der Suche nach einem einfachen Auswerteweg und nicht nach dem kompliziertesten statistischen Modell, das sich finden lässt. Nehmen wir an, Du hast 800 Punkte (im MRI) und zu jedem dieser Punkte die Aussage, ob das Ergebnis in den beiden Sonovarianten mit dem Goldstandard übereinstimmt. Da ließe sich jetzt eine schöne Vier-Felder-Tafel zeichnen: Nebeneinander die Frage, ob eine Messung im Parallelmode mit dem MRT übereinstimmt, untereinander, ob die Messung im Fächermode mit dem MRT übereinstimmt. Jeder Punkt zählt in einem der Kästchen als ein Fall und damit kann man dann einen McNemartest rechnen.

Danke das hilft mir erst mal ungemein! Ich werde es (leider erst nach meinem Urlaub) ausrechnen und euch Rückmeldung geben.

Neben dieser Frage, ob ein Messmodell häufiger oder seltener mit dem MRT übereinstimmt, würde man wohl noch eine Analyse fordern, ob die beiden Verfahren in der Sensitivität oder in der Spezifität vom MRT abweichen.

Ja, das haben wir getan. Allerdings mittels eines Rater bzw. Interrateragreements für die verschiedenen Untersucher. Hier ein Link dazu: http://www.john-uebersax.com/stat/raw.htm

Wir haben mit einem dichochtomen Rating gearbeitet. Ersetzt sowas Deiner Meinung nach "die Forderung" nach Sensitivität und Spezifität? Da wir mit dem MRT vergleichen wird diese ja definitiv schlechter sein (denn das MRT bleibt der Goldstandard also, in unserem Fall, 100 % Spezifität und sensitiv.

Beste Grüße

[bele]

Hallo flavourflax,

bloß, weil ein Verfahren häufiger richtig liegt heißt das ja nicht, dass es immer auch die bessere Sensitivität, die bessere Spezifität, den besseren positiven prädiktiven Wert und den besserenm negativen prädiktiven Wert hat. Es mag ja sein, dass der eine Schallkopf zu häufig einen Tumor, der andere zu häufig Tumorfreiheit anzeigt. Für den Chirurg hätte das relevante Konsequenzen. Wenn der Eingriff mit dem Ziel erfolgt, eine Histologie des Tumors zu gewinnen, dann muss vor allem dort, wo man einen Tumor sieht, auch wirklich Tumor sein. Wenn der Eingriff mit dem Ziel einer vollständigen Resektion erfolgt, dann muss vor allem dort, wo man keinen Tumor mehr sieht, auch wirklich keiner mehr sein.

Du musst also die genannten Kenngrößen untersuchen und nicht nur global die Übereinstimmung mit dem Goldstandard.

LG,
Bernhard

[flavourflax]

Hallo zusammen!

ich möchte die Diskussion noch einmal aufleben lassen, da ich mir nicht sicher bin, ob der McNemar-Test ausreicht um einen signifikanten Unterschied zwischen den beiden Untersuchergruppen herauszuarbeiten. Nochmal zur Wiederholung: Untersucher eins wird für einen Algorithmus mit dem MRT verglichen. Dann wird Untersucher 1 für den Algorithmus mit dem MRT verglichen. Gibt es jetzt bei den Antworten zwischen den Algorithmen signifikante Unterschiede? Das ist die Frage!

Ich habe mich etwas eingelesen und verstehe die Literatur so, dass hier ein McNemar Test nicht ausreicht, sondern eher der Q-Test nach Cochrane in Frage kommt?

Hier u.a. einer der Links, den ich gelesen habe: https://www.medistat.de/glossar/analyse ... mar-test/#

ein Video (wobei es hier um verschiedene Zeitpunkte der Untersuchung bei gleichbleibenden Merkmalen und nicht, wie bei mir, unterschiedlichen Algorithmen geht): https://www.youtube.com/watch?v=6uaXy-Xtsd4

Wie seht ihr das?

[flavourflax]

Um das Thema, nach reichlichen Einlesen, für alle abzuschließen.

Der McNemar-Test ist genau der Test den ich gesucht habe!

Danke an alle!