Bland-Altman-Plot und Alternativen

Bland-Altman-Plot und Alternativen

Beitragvon Sprungstudie » Do 13. Aug 2020, 11:09

Liebes Forum,

für meine Bachelorarbeit muss ich Daten verschiedener Messsysteme vergleichen, die wir in einer Studie mit verschiedenen Sprüngen erhoben haben. Dabei vergleiche ich jeweils eine Methode mit einem Goldstandard. Wir haben pro Untersuchungsbedingung und Versuchsperson 3 gültige Sprünge aufgenommen. Nun möchte ich Bland-Altman-Plots erstellen, um die Messsysteme zu vergleichen. Das erste Problem ist, dass nicht für jede Sprungbedingung die Differenz der Messwerte normalverteilt ist. Darüber hinaus würde ich gerne zur stärkeren Aussagekraft die mehrfachen Sprünge und nicht nur die Mittelwerte der gemessenen Größen betrachten. Jedoch finde ich keine Möglichkeit, das in SPSS durchführen zu können. Von anderen Programmen habe ich aber leider keine Ahnung und programmieren kann ich auch nicht... :(

Kann mir jemand sagen, wie ich das hinbekommen könnte? Ansonsten freue ich mich auch sehr über Ideen, wie man die Messsysteme sonst noch statistisch vergleichen kann.

Liebe Grüße
Sprungstudie
Grünschnabel
Grünschnabel
 
Beiträge: 5
Registriert: Do 13. Aug 2020, 10:55
Danke gegeben: 2
Danke bekommen: 0 mal in 0 Post

Re: Bland-Altman-Plot und Alternativen

Beitragvon PonderStibbons » Do 13. Aug 2020, 11:46

Beschreibe doch bitte einmal vollständig und nachvollziehbar, wie der Versuch insgesamt durchgeführt wurde, wie viele Probanden teilgenommen haben, konkret was gemessen wurde. Eine klare Fragestellung wäre wünschenswert ("ich muss die Daten verschiedener Messysteme vergleichen" ist keine).

Mit freundlichen Grüßen

PonderStibbons
PonderStibbons
Foren-Unterstützer
Foren-Unterstützer
 
Beiträge: 11364
Registriert: Sa 4. Jun 2011, 15:04
Wohnort: Ruhrgebiet
Danke gegeben: 51
Danke bekommen: 2503 mal in 2487 Posts

Re: Bland-Altman-Plot und Alternativen

Beitragvon Sprungstudie » Fr 14. Aug 2020, 10:39

20 Versuchspersonen haben je 3 Countermovement-Jumps und je 3 Drop-Jumps barfuß im Sand, barfuß auf Hallenboden und mit Schuhen auf Hallenboden durchgeführt. Dabei wurden die maximalen Bodenreaktionskräfte von einem Goldstandard und einem Druckverteilungsmesssystem aufgenommen. Außerdem wurden die Sprunghöhen durch ein Videoanalysesystem als Goldstandard und von dem Druckverteilungsmesssystem aufgenommen. Jetzt soll ich das Druckverteilungsmesssystem bzgl. der Bodenreaktionskräfte und der Sprunghöhen mit den Goldstandards vergleichen. Die Fragestellung ist also: Inwieweit ist das Druckverteilungsmesssystem zur Erfassung von Sprunghöhen und maximalen Bodenreaktionkräften anwendbar?

Über jegliche Hilfe bezüglich meiner bereits genannten Probleme würde ich mich sehr freuen.

Vielen Dank schon mal!

Mit freundlichen Grüßen
Sprungstudie
Grünschnabel
Grünschnabel
 
Beiträge: 5
Registriert: Do 13. Aug 2020, 10:55
Danke gegeben: 2
Danke bekommen: 0 mal in 0 Post

Re: Bland-Altman-Plot und Alternativen

Beitragvon bele » Fr 14. Aug 2020, 14:10

Ein Bland-Altman-Plot ist in erster Linie dazu da, zwei Messungen zu vergleichen, von denen man nicht weiß, welche von beiden die "bessere" Messung ist. Deshalb wird behelfsweise der Mittelwert beider Messwerte auf der X-Achse aufgetragen. Da Du das eine Messverfahren als Goldstandard bezeichnest, würde ich persönlich keinen Bland-Altman-Plot machen. Ich würde auf der x-Achse den Messwert des Goldstandards auftragen und auf der y-Achse analog zum BA-Plot die Differenz beider Messsysteme.

Ich würde wahrscheinlich einen solchen "quasi-BA-Plot" für die Bodenreaktionskräfte und einen für die Sprunghöhe machen. Dann würde ich die drei Untersuchugnsbedingungen (Sand, barfuß-Halle und Schuh) durch drei verschiedene Farben markieren (am besten in einem Farbsystem, dass auch rot-grün-blinde erkennen können) und würde die je drei Durchgänge pro Proband mit einer Linie verbinden. Damit wären die meisten vorhandenen Informationen in einer Grafik zusammengefasst und die müsste man sich dann anschauen ob
a) die Grafik überfüllt und unübersichtlich ist -- dann Daten auf mehrere Grafiken aufteilen (6 anstelle von 2 Grafiken)
b) man Muster erkennen kann, die wissenschaftlich interessant erscheinen.

Wie groß der Aufwand dafür in SPSS ist oder ob SPSS von Haus aus leicht erreichbare Alternativen anbietet kann ich leider nicht beurteilen.

Hilft das?

LG,
Bernhard

PS:
  • http://davidmathlogic.com/colorblind/
  • https://thenode.biologists.com/data-visualization-with-flying-colors/research/
----
`Oh, you can't help that,' said the Cat: `we're all mad here. I'm mad. You're mad.'
`How do you know I'm mad?' said Alice.
`You must be,' said the Cat, `or you wouldn't have come here.'
(Lewis Carol, Alice in Wonderland)
bele
Schlaflos in Seattle
Schlaflos in Seattle
 
Beiträge: 5912
Registriert: Do 2. Jun 2011, 23:16
Danke gegeben: 16
Danke bekommen: 1397 mal in 1383 Posts

folgende User möchten sich bei bele bedanken:
Sprungstudie

Re: Bland-Altman-Plot und Alternativen

Beitragvon Sprungstudie » Fr 14. Aug 2020, 15:44

Hallo Bernhard,

vielen Dank für deine Antwort. Dafür müsste dann aber auch eine Normalverteilung der Differenzen vorliegen, oder? Für 2 Bedingungen liegt keine Normalverteilung der Differenzen vor. Hast du vielleicht noch eine Idee, wie man das dann analysieren kann? Oder gibt es irgendein nichtparametrisches Verfahren das ich in dem Fall nutzen kann?

Außerdem habe ich noch nicht ganz verstanden, wie genau ich die Diagramme erstellen soll. Ich habe ja 3 Countermovement-Jumps und 3 Drop Jumps pro Proband pro Bedingung (Sand, Schuh, barfuß-Halle), also insgesamt 18 Sprünge pro Proband. Bei 20 Probanden sind das 360 Sprünge, die einerseits für die Bodenreaktionskräfte und andererseits für die Sprunghöhen ausgewertet werden müssen. Für bessere Übersichtlichkeit wäre es doch dann sinnvoller ein Diagramm pro Sprung-Bedingung aufzustellen, oder mache ich gerade einen Denkfehler? Also ich würde jetzt für die Bodenreaktionskräfte ein Diagramm zur Betrachtung der Countermovement-Jumps barfuß auf Hallenboden, eins für Drop-Jumps barfuß auf Hallenboden, eins für Countermovement-Jumps im Sand, eins für Drop-Jumps im Sand, eins für Countermovement-Jumps mit Schuhen auf Hallenboden und eins für Drop-Jumps mit Schuhen auf Hallenboden erstellen und analog nochmal 6 Diagramme für die Sprunghöhen.

Danke für deine Hilfe.

LG,
Jessica
Sprungstudie
Grünschnabel
Grünschnabel
 
Beiträge: 5
Registriert: Do 13. Aug 2020, 10:55
Danke gegeben: 2
Danke bekommen: 0 mal in 0 Post

Re: Bland-Altman-Plot und Alternativen

Beitragvon bele » Fr 14. Aug 2020, 16:19

Hallo!

Sprungstudie hat geschrieben: Dafür müsste dann aber auch eine Normalverteilung der Differenzen vorliegen, oder?


Bislang reden wir von einer grafischen Darstellung, von einer visuellen Beurteilung. Das ist grundsätzlich nichtparametrisch. Wenn Du Hypothesen/Nullhypothesen aufstellen und testen möchtest, dann kann das mit der Normalverteilung vielleicht nochmal ein Thema werden, vielleicht auch nicht. Für den (Quasi)-Bland-Altman-Plot ist das egal.

Bei 20 Probanden sind das 360 Sprünge, die einerseits für die Bodenreaktionskräfte und andererseits für die Sprunghöhen ausgewertet werden müssen. Für bessere Übersichtlichkeit wäre es doch dann sinnvoller ein Diagramm pro Sprung-Bedingung aufzustellen, oder mache ich gerade einen Denkfehler?


Ich habe ja geschrieben, dass ich es erstmal in einem Diagramm probieren würde und wenn sich das nicht übersichtlich gestalten lässt, dann auf mehrere aufteilen würde. Wenn Du schon vorher weißt, dass Dir die erste Variante zu unübersichtlich wird, dann kannst Du die natürlich auch überspringen. Es könnte ja passieren, dass die verschiedenen Bedingungen jeweils Punkte an ganz verschiedenen Stellen machen und sich gar nicht im Weg sind. Man kann auch mit Punktgrößen und mit dem Alpha-Kanal/Transparenz spielen.

Was denkst Du, wieviele Punkte sind in diesem Diagramm?
Bild
(Quelle)

Das hätte auch schiefgehen können, ist es aber meines Erachtens nicht.

Das hier ist mir persönlich zuviel, aber das sind auch über fünfzigtausend Punkte und selbst daraus kann man noch allgemeine Trends ablesen:

Bild
(Quelle)

Und Du hast Angst vor 360 Punkten?

LG,
Bernhard
----
`Oh, you can't help that,' said the Cat: `we're all mad here. I'm mad. You're mad.'
`How do you know I'm mad?' said Alice.
`You must be,' said the Cat, `or you wouldn't have come here.'
(Lewis Carol, Alice in Wonderland)
bele
Schlaflos in Seattle
Schlaflos in Seattle
 
Beiträge: 5912
Registriert: Do 2. Jun 2011, 23:16
Danke gegeben: 16
Danke bekommen: 1397 mal in 1383 Posts

folgende User möchten sich bei bele bedanken:
Sprungstudie

Re: Bland-Altman-Plot und Alternativen

Beitragvon Sprungstudie » Fr 14. Aug 2020, 22:19

Hallo,

vielen Lieben Dank für deine Antworten. Kannst du mir jetzt vielleicht sogar noch einen Hinweis darauf geben, wie ich es schaffe, verschiedene Daten auf einer Achse darzustellen (ich müsste ja alle 6 Bedingungen (2x Sprungart, 3x Untergrundbedingung) vom Goldstandard an die x-Achse und 6 Differenzvariablen an die y-Achse bekommen, allerdings finde ich in SPSS bislang nur die Möglichkeit jeweils eine Variable gegen eine andere darzustellen...). Mit Excel könnte ich sonst auch arbeiten, alles was darüber hinaus geht, ist für mich nicht drin, da wäre ich mit überfordert :oops:

Liebe Grüße
Jessica
Sprungstudie
Grünschnabel
Grünschnabel
 
Beiträge: 5
Registriert: Do 13. Aug 2020, 10:55
Danke gegeben: 2
Danke bekommen: 0 mal in 0 Post

Re: Bland-Altman-Plot und Alternativen

Beitragvon bele » Sa 15. Aug 2020, 11:15

Hallo Jessica,

zu SPSS und Excel kann ich nichts sagen. Vielleicht hilft ja eine Frage im SPSS Forum?

Hilfe zu der ersten von mir verlinkten Grafik gäbe es wohl auf https://www.python-forum.de/viewforum.php?f=30 zu der zweiten unter forum.r-statistik.de .

Aber Deine Uni hätte Dich ja bestimmt nicht von einem so teuren Werkzeug wie SPSS abhängig gemacht, wenn das weniger könnte als die kostenlosen Alternativen.

Viel Erfolg,
Bernhard
----
`Oh, you can't help that,' said the Cat: `we're all mad here. I'm mad. You're mad.'
`How do you know I'm mad?' said Alice.
`You must be,' said the Cat, `or you wouldn't have come here.'
(Lewis Carol, Alice in Wonderland)
bele
Schlaflos in Seattle
Schlaflos in Seattle
 
Beiträge: 5912
Registriert: Do 2. Jun 2011, 23:16
Danke gegeben: 16
Danke bekommen: 1397 mal in 1383 Posts

Re: Bland-Altman-Plot und Alternativen

Beitragvon Sprungstudie » Mo 17. Aug 2020, 10:40

Hallo Bernhard,

tatsächlich hat es über Excel nun funktioniert, allerdings habe ich nachfolgend nochmal tiefergehend recherchiert und es ist tatsächlich eigentlich nicht angebracht, die Differenzen der Messwerte gegen die Werte einer Standardmethode zu plotten, siehe Bland & Altman 1986: "It would be a mistake to plot the difference against either value separately because the difference will be related to each, a well-known statistical artefact." (Bland JM, Altman DG. Statistical methods for assessing agreement between two methods of clinical measurement. Lancet 1986; i: 307–310.) und ich werde wohl oder übel doch die Bland-Altman-Plots für die normalverteilten Daten nutzen und mir für nicht normalverteilte Werte etwas anderes ausdenken müssen.

Dennoch vielen Dank für die zahlreiche Hilfe! Wenn jetzt doch noch jemand eine Idee hat, wie ich mit den nicht normalverteilten Daten umgehen könnte, freue ich mich sehr!

LG,
Jessica
Sprungstudie
Grünschnabel
Grünschnabel
 
Beiträge: 5
Registriert: Do 13. Aug 2020, 10:55
Danke gegeben: 2
Danke bekommen: 0 mal in 0 Post

Re: Bland-Altman-Plot und Alternativen

Beitragvon bele » Mo 17. Aug 2020, 13:07

Hi!

Ich finde, dass Du Bland-Altman im Kontext zitieren musst. Es geht um den Kontext einer Messung, die man nur indirekt vornehmen kann, weil sie direkt zu invasiv wäre und Bland-Altman formulieren das so:
"The true values remain unknown. Instead indirect methods are used, and a new method has to be evaluated by comparison with an established technique rather than with the true quantity."

Für diese Situation gilt auch Dein Zitat, was deutlich wird, wenn man noch einen Satz davor zitiert:

"We do not know the true value, and the mean of the two measurements is the best estimate we have. It would be a mistake to plot the difference against either value separately because ..."


Du hast aber ein Verfahren, dass Du als Goldstandard bezeichnest. Je mehr Du glaubst, dass man mit dem Goldstandard den wahren Wert misst, umso unangemessener sind Bland-Altman-Plots. Je mehr Unsicherheit auch nach der Goldstandard-Messung bleibt, umso eher gilt der Satz "We do not know the true value, and the mean of the two measurements is the best estimate we have".

Das Zitat nimmt Dir nicht die Abwägung ab, wie weit das Zitat hier überhaupt passt.

LG,
Bernhard
----
`Oh, you can't help that,' said the Cat: `we're all mad here. I'm mad. You're mad.'
`How do you know I'm mad?' said Alice.
`You must be,' said the Cat, `or you wouldn't have come here.'
(Lewis Carol, Alice in Wonderland)
bele
Schlaflos in Seattle
Schlaflos in Seattle
 
Beiträge: 5912
Registriert: Do 2. Jun 2011, 23:16
Danke gegeben: 16
Danke bekommen: 1397 mal in 1383 Posts


Zurück zu Reliabilitätsanalyse

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 3 Gäste