STATISTIK-FORUM.de

[h-auke]

Liebe Menschen,

auch wenn ich Zahlenjonglieren und Mathe eigentlich sehr mag, bin ich im Bereich Statistik noch recht wenig bewandert. Deshalb habe ich eine etwas größeren Frage zu folgendem Projekt.

Ich schreibe zurzeit meine Abschlussarbeit, bei der es um NOx Messungen geht.
Ich habe 5 „Low Cost“ Sensorsysteme, die zum gleichen Zeitpunkt NOx Werte messen. Jedes Sensorsystem hat 4 einzelne Sensormodule. Die 4 Messwerte werden jeweils durch eine Software des Herstellers in einen Wert pro Sensorsystem zusammengefasst. Dieser ähnelt dem Mittelwert ist aber nicht immer identisch. Der zugrundeliegende Algorithmus ist unbekannt. Bisher habe ich der einfachheitshalber die 5 berechneten Werte verwendet und nicht die 20 „Rohwerte“. Während ich das schreibe, stell ich aber fest das die 20 Rohwerte vielleicht besser wären.

Eine Woche lang habe ich die Sensoren nebeneinander aufgestellt und die Messwerte aufgenommen. Das heißt ich habe jetzt ca. 6000 Messreihen mit jeweils 5 bzw. 20 Messwerten. Über die Zeit hat sich die Umgebungskonzentration natürlich geändert, da die Sensoren aber zusammenstanden, sollten die Sensoren in jeder Messreihe der gleichen Konzentration ausgesetzt sen.
Ziel ist es mit diesen Daten die Messgenauigkeit der Sensoren untereinander beurteilen zu können.
Dies ist aus meiner Sicht relevant, da für das Projekt die Sensoren in unterschiedlichen Umgebungen aufgestellt werden sollen, und anschließend miteinander verglichen werden sollen.

Was ich bisher gemacht habe:
- Pearson Koeffizient aller Sensor Kombinationen bestimmt: Ist bei allen über 0,98
- Mittelwert, Standardabweichung und Range jeder Messreihe bestimmt.
- Geniale Hauke Idee: Für jeden Messwert die Different zum Mittelwert gebildet. Anschließend gezählt, wie häufig jede einzelne „Abweichung“ vorkommt und dies grafisch dargestellt. Daraus zeigt sich, dass diese Abweichungen normalverteilt sind und z.B. mit 95% Wahrscheinlichkeit ein einzelner Messwert nicht mehr als 1,3 vom Mittelwert abweicht. Die Grafik ist zwar ganz nett, aber ich bin nicht so ganz zufrieden und vermute auch, dass es deutlich bessere und aussagekräftigere statistische Werkzeuge gibt.

Schön wäre es zum Beispiel einen einzelnen Wert zu haben, der Auskunft darüber gibt wie gut die Messergebnisse der Sensoren zueinander passen. Könnte ich hierfür die Standardabweichungen der einzelnen Messreihe einfach mitteln? Das fühlt sich irgendwie verboten an. Wenn ihr Tipps und Ideen habt würde ich mich sehr freuen.

Nächste Woche werde ich außerdem alle 5 Sensoren neben ein geeichtes Messgerät stellen, um zu gucken wie genau die „Low Cost“ Sensoren tatsächlich sind. Dazu hätte ich nun den Mittelwert der Low Cost Sensoren mit den Werten des Referenzmessgerätes verglichen. Würdet ihr das auch so machen? Oder gibt’s da eine bessere Möglichkeit?

Vielen Dank fürs durchlesen dieses Aufsatzes… Ich habe probiert Alles so anschaulich wie möglich zu beschreiben. Wenn nötig beantworte ich aber noch gerne weitere Fragen zu dem Projekt.

Vielen Dank für eure Hilfe!!

Gruß Hauke

ps: Ich hoffe das ist in der Richtigen Kategorie, Bei "Versuchsplanung" fand ich gehörts eher nicht hin, weil die Daten ja bereits vorliegen.

[bele]

Hallo Hauke,

hier kein Lehrbuchwissen, sondern meine persönliche Einschätzung, unmaßgelbiche Meinung eines Nicht-Statistikers.

Pearson Koeffizient aller Sensor Kombinationen bestimmt: Ist bei allen über 0,98

Das ist schön und zeigt, dass alle Sensoren das gleiche Messen und einigermaßen genau Messen. Aber wenn ein Sensor immer dreimal so hohe Werte anzeigt wie der andere, dann führt das auch zu einer super Korrelation. Korrelation zeigt Dir also nicht an, ob beide bei gleicher Konzentration auch die gleiche Konzentration anzeigen.

Daraus zeigt sich, dass diese Abweichungen normalverteilt sind und z.B. mit 95% Wahrscheinlichkeit ein einzelner Messwert nicht mehr als 1,3 vom Mittelwert abweicht. Die Grafik ist zwar ganz nett, aber ich bin nicht so ganz zufrieden und vermute auch, dass es deutlich bessere und aussagekräftigere statistische Werkzeuge gibt.

Es gibt für alles und jedes immer spezialisierte Werkzeuge. Die Frage ist, ob die dann wirklich hilfreicher sind. Mit einer Aussage wie: Die Differenzen sind normalverteilt um den Wert x und die Standardabweichung beträgt y kann man konkret rechnen, man kann Simulationen anstellen und kommt weiter. Ob es jetzt clever ist die mittleren Abweichungen vom Mittelwert zu nehmen oder vielleicht cleverer wäre den Mittelwert von den Abweichungen des Mittelwerts der anderen vier Sensoren oder die durchschnittliche Abweichung zwischen allen Sensoren zu nehmen, darüber müsste man dann konkret nochmal nachdenken.

Wenn Du nach anderen Metriken zur Übereinstimmung verschiedener Sensoren mal die Intraklassen-Korrelationen ICC an, z.B. https://de.wikipedia.org/wiki/Intraklassen-Korrelation.

Ich drücke Dir die Daumen für weitere Antworten,
Bernhard

[h-auke]

Hallo Bele,

erstmal vielen Dank für deine Antwort!!
Die ICC Korrelation hört sich schonmal spannend an. Aus dem Wiki Artikel bin ich noch nicht ganz schlau geworden aber ich werde mich da auf jeden Fall genauer reinlesen.

Korrelation zeigt Dir also nicht an, ob beide bei gleicher Konzentration auch die gleiche Konzentration anzeigen.

Da stimme ich dir voll und ganz zu. Deshalb möchte ich ihn auch gerne um irgendwelche Streuungs bzw. Fehlermaße ergänzen.

Weißt du wie ich die Standardabweichung des gesamten Versuchs bestimme ? Bisher habe ich nur die Standardabweichung der einzelnen Messreihen. Die Standardabweichung aus allen Mittelwerten der Messreihen zu bilden führt ja auch nicht wirklich zum Ziel, weil sich die Konzentration in der Umgebung ja in jeder Messreihe ändert.

Zum Vergleich der Low Cost Sensoren mit dem Referenzmessgerät werde ich nun vermutlich Fehlermaße wie MAE und RMSE verwenden. Wobei diese ja nach meinem Verständnis auch erst im vergleich wirklich aussagekräftig sind.

Viele Grüße
Hauke

[bele]

Die ICC Korrelation hört sich schonmal spannend an. Aus dem Wiki Artikel bin ich noch nicht ganz schlau geworden aber ich werde mich da auf jeden Fall genauer reinlesen.

Freut mich, wenn ich Dir da den richtigen Einstieg gezeigt haben sollte.

Weißt du wie ich die Standardabweichung des gesamten Versuchs bestimme ? Bisher habe ich nur die Standardabweichung der einzelnen Messreihen. Die Standardabweichung aus allen Mittelwerten der Messreihen zu bilden führt ja auch nicht wirklich zum Ziel, weil sich die Konzentration in der Umgebung ja in jeder Messreihe ändert.

Ich weiß nicht, wie ich das beantworten soll. Du schreibst, was nicht zum Ziel führt, ohne das Ziel zu definieren. Rechnerisch könntest Du von jeder Messreihe den Mittelwert abziehen, dann wären die alle um Null zentriert und man könnte aus allen eine gemeine Standardabweichung ausrechnen, ob und wozu das brauchen könntest weiß ich aber nicht.

Zum Vergleich der Low Cost Sensoren mit dem Referenzmessgerät werde ich nun vermutlich Fehlermaße wie MAE und RMSE verwenden. Wobei diese ja nach meinem Verständnis auch erst im vergleich wirklich aussagekräftig sind.

Der MAE gibt an, wie viel mg/l der Sensor im Schnitt daneben liegt. Warum sollte das nur im Vergleich aussagkräftig sein? Man muss sich halt überlegen, wie weit man daneben liegen kann, ohne dass man falsche Schlüsse zieht.

LG,
Bernhard

[h-auke]

Moin Bernhard,

Der MAE gibt an, wie viel mg/l der Sensor im Schnitt daneben liegt. Warum sollte das nur im Vergleich aussagkräftig sein?

Stimmt, da hast du natürlich recht. :)

Ich weiß nicht, wie ich das beantworten soll. Du schreibst, was nicht zum Ziel führt, ohne das Ziel zu definieren. Rechnerisch könntest Du von jeder Messreihe den Mittelwert abziehen, dann wären die alle um Null zentriert und man könnte aus allen eine gemeine Standardabweichung ausrechnen, ob und wozu das brauchen könntest weiß ich aber nicht.

Mein Ziel ist es ja bewerten zu können wie sehr die Low-Cost Sensoren untereinander abweichen/ streuen. Wenn man nun davon ausgeht, daas der Mittelwert der Sensoren mehr oder weniger der realen Schadstoffkonzentration entspricht, wäre es
ja cool eine Aussage treffen zu können wie: Die Messwerte streuen im Durchschnitt 0,003 mg/m³ um den Mittelwert. Über diesen Gedanken bin ich dann zur Standardabweichung gekommen.
Was meinst du mit Messreihe wenn du sagst "von jeder Messreihe den Mittelwert abziehen"?

Herzliche Grüße
Hauke