STATISTIK-FORUM.de

[peveka]

Hallo Statistiker.

Ich bin Physio mit Masterabschluss, verfüge deshalb über gewisse Statistikgrundkenntnisse die aber leider nicht ganz ausreichen ...
Im Rahmen einer Fragebogen-Validierungsgeschichte ist folgendes Problem aufgetaucht. (Die Sufu, Tante Google und meine Statistikbücher bringen mich leider nicht weiter.)

Zwei Untersuchergruppen haben den selben Fragebogen übersetzt und validiert und einen cut-off für "gesund" und "pathologisch" festgelegt .
Daten Untersuchergruppe 1: n=68, Score mean 12.9, range 4-38, SD = 8.2 (Männer/Frauen nicht separat aufgeführt). Cut-off: 95% Konfidenzintervall: mean plus 2 x SD = etwa 30 Punkte. Alles oberhalb 30 Punkte (Skala 4-100) = pathologisch.
Untersuchergruppe 2: n = 94, Score Männer mean 17, range 4-56 (keine SD Angabe), Frauen 12 (4-62) (keine SD Angabe). Cut-off 95. Perzentil (da die Verteilung rechtsschief war) bei 50 Punkte. Alles oberhalb 50 = pathologisch.

Meine Fragen:

1. Weshalb würde man sich für das 95% KI oder für das 95.Perzentil entscheiden?
2. Hat die Auswahl des statistischen Verfahrens in diesem Falle Einfluss auf das Ergebnis? Wenn ja: welchen?

Ich wäre euch wirklich sehr dankbar, wenn ihr mir hier weiterhelfen könnt.

Schöne Grüsse

Pieter

[PonderStibbons]

Daten Untersuchergruppe 1: n=68, Score mean 12.9, range 4-38, SD = 8.2 (Männer/Frauen nicht separat aufgeführt). Cut-off: 95% Konfidenzintervall: mean plus 2 x SD = etwa 30 Punkte. Alles oberhalb 30 Punkte (Skala 4-100) = pathologisch.

Sagt man da Konfidenzintervall zu? Das ist ein mir unbekannter Gebrauch des Begriffs.
Was die Sache angeht, Mittelwert plus 2 SD ist 42,9 und nicht 30. Da der Range bis
38 ging, gibt es in der Stichprobe keinen pathologischen Fall. Ist aber ein bißchen sehr
schief verteilt, das Ganze, zumindest deuten die Kennwerte darauf hin.

Wäre die Verteilung eine Normalverteilung, lägen übrigens bei dem geschilderten Vorgehen
über dem Grenzwert 2,5% der Stichprobe, nicht wie beim anderen Ansatz 5%.

Falls es sich um eine klinische Skala handelt, ist eine Orientierung an Perzentilen
die sicherere Sache, da solche Skalen in aller Regel schief verteilt sind.

Wie weit die Grenzwerte aber als allgemeine Norm herhalten können, ist so oder so
fraglich. Zum einen kommt es darauf an, was für eine Refernzgruppe das eigentlich
ist, zum anderen sind die Stichproben recht klein für solche Zwecke, d.h. der
Cutoff ist sicherlich mit einem Stichproben-Zufallsfehler behaftet.

Mit freundlichen Grüßen

P.
---
Gottseidank...Kanon für 36

[peveka]

Hallo P.

Vielen Dank für die Antwort.

Yup, in der Publikation steht "confidence intervall"
Zitat: "The upper limit of the 95% confidence interval (calculated as the mean + 2 times the standard deviation) is a CISS score of 29.3."
Referenzgruppe. "The CISS score of the normative study population, i.e. volunteers with no medical history of upper extremity surgery or injury, averaged 12.9 (SD 8.2, range 4-38.4)."

Wie kommst Du auf 42.9 statt 30?

Wie gross müsste die Referenzgruppe in etwa sein?

Schöne Grüsse!

Pieter

[PonderStibbons]

Yup, in der Publikation steht "confidence intervall"

Kenne ich so nicht. Klingt auch abwegig. Und bei einer so asymmetrischen
Verteilung, wie sie hier anscheinend vorliegt, ist auch zweifelhaft, was das
Inhaltlich eigentlich noch bedeuten soll.

Zitat: "The upper limit of the 95% confidence interval (calculated as the mean + 2 times the standard deviation) is a CISS score of 29.3."

In der Tat, ca. 30, da hatte ich mich bei den Angaben im Originalposting verlesen.

Wie gross müsste die Referenzgruppe in etwa sein?

Müssen muss da nichts, aber je größer, desto genauer. Das 95% Konfidenzintervall
(jetzt im korrekten Sinne gebraucht) für z.B. den Mittelwert beträgt im vorliegenden
Fall mit n=68 und SD 8,2 ca. 12,9 +/- 2, hätte also Breite 4.

Dass die Cutoffs aus beiden Studien so enorm auseinanderliegen, ist jedenfalls
bemerkenswert.

Mit freundlichen Grüßen

P.

[peveka]

Hallo P.

Fazit für mich:
Die Statistik von Gruppe 1 ist suboptimal.
Das 95.Perzentil ist sicherer.
Die Gruppe sollte grösser sein.

Bleibt noch das Problem mit den sehr unterschiedlichen cut-off Werten. Mit einer Skala von 0-100 wird die Entscheidung zwischen <30 = gesund oder <50 = gesund recht problematisch.
Gibt es da eine vertretbare Lösung?

Schöne Grüsse!

Pieter

[PonderStibbons]

Lösung wofür jetzt? Du hast kein konkretes Problem formuliert.
Jedenfalls ist es hier kein Problem der Methode zur Cutoff-
Bestimmung, sondern der Stichprobenzusammensetzungen.
Eine Erklärung für die unterschiedlichen Cut-offs wurde ja, wie
eigentlich auch zu erwarten, von den Autoren des jüngeren Artikels
durchaus versucht:

"A cut-off value for self-reported abnormal cold
intolerance in a normal population has been reported
earlier (Ruijs et al., 2006). It suggests that a total
CISS (Cold Intolerance Symptom Severity: score
range 4–100) score above 30 indicates pathological
cold intolerance. (...) It is not known
whether the previously suggested cut-off value is also
applicable in a specific region with Scandinavian climate;
thus there is a need to investigate a normal Swedish
population."

"Previously, a total CISS score of 30 has been
suggested as a cut-off value for pathological cold intolerance
(Ruijs et al., 2006). The difference in cut-off
values may be explained by the different ages of those
investigated, variations in the procedures for recruiting
the normal population, collection of data and exclusion
criteria. Our reason for choosing the 95th percentile
instead of the standard deviation was the positively
skewed ordinal data. However, comparing the different
statistical approaches for defining the cut-off values in
our study and the previous study (Ruijs et al., 2006), we
conclude that there was no major impact on the difference
in cut-off values. There are difficulties in defining
a normal population, since digital thermoregulatory
dysfunction is common in a normal population
(Silman et al., 1990)."

Mit freundlichen Grüßen

P.

[peveka]

Richtig.

Mein Problem ist folgendes.
Die Durchschnittwerte der CISS-scores waren bei Ruijs etwas niedriger als bei Carlsson, die Spannweiten waren aber sehr unterschiedlich (Ruijs 4-38, Carlsson 4-62 [Frauen], 4-56 [Männer]).
Ich kenne mich mit Perzentile nicht aus. Wenn ich es richtig verstehe, liegen beim 95.Perzentil 95% der gemessenen Werte links, 5% rechts.
Bedeutet das, dass der cut-off durch die grössere Spannweite (sprich Ausreisser) beeinflusst wird?


Schöne Grüsse und danke für deine Geduld

Pieter

[PonderStibbons]

Ob die Spannbreite durch Ausreißer so groß ist, kann ich nicht beurteilen.
Eigentlich sollte es im Text Hinweise geben, ich habe es lediglich überflogen.
Ich glaube, da war auch irgendwo ein boxplot.

Prozentrangbetrachtungen sind normalerweise ein Gegengift bei Ausreißern.
Bzw. Ausreißer sind anscheinend genau das, was hier durch den Cuotoff von
den "Normalen" abgegrenzt werden soll. Die Mittelwerte beider Stichproben
liegen anders als die Cutoffs nahe beieinander. Also sind die befragten
SchwedInnen im Schnitt nicht robuster als die NiederländerInnen. Warum die
Streuungen so unterschiedlich sind, die niederländische Stichprobe weitaus
homogener, das wäre demnach die Frage.


Mit freundlichen Grüßen

P.---
Gottseidank...Kanon für 36

[peveka]

Nochmals vielen Dank für deine Antwort.

Carlsson hat genau beschrieben, wie sie ihre Stichprobe zusammengesetzt hat, Ruijs nicht (volunteers). Ich werde bei ihr nachfragen.
Was spräche dagegen, zum Beispiel das --sagen wir mal-- 80. Perzentil zu verwenden? Würde man damit den Einfluss der Ausreisser reduzieren?

Schöne Grüsse

Pieter

[PonderStibbons]

Grenzsetzung ist letztlich zu einem guten Teil willkürlich, wenn
Außenkriterien fehlen. +2 SD oder > PR 95 sind halt so traditionelle
Kriterien. Mir fehlt das substanzielle Wissen um das gemessene
Phänomen und den letztlichen Einsatzzweck der Skala, typische
Referenzwerte, und die Pävalenz der Störung in der Allgemeinbevölkerung,
daher kann ich das schlecht einschätzen. Für ein Screening (falls das Verfahren
dafür gedacht sein sollte) wären derart hohe Cutoffs ungewöhnlich.
Sollte das Phänomen aber normalerweise nur (z.B.) 1% der nicht
vorbelasteten Normalbevölkerung betreffen, würde das wieder einleuchten.

Mit freundlichen Grüßen

P.
---
Gottseidank...Kanon für 36