STATISTIK-FORUM.de

[Graf-Zahl]

Hallo zusammen,
ich habe folgendes Messergebnis

Anzahl Probanten 30
von denen habe ich Messwerte vorher und nachher
Mittelwert vorher 40
Mittelwert nachher 45
Somit Ergebnis "Steigerung +12,5%

Wenn ich mir die Standardabweichung ansehe (vorher 15 nachher 19) sehe ich, dass die Werte a) stark streuen und b) nachher noch etwas mehr streuen. Aber welchen Einfluss hat das auf die Bewertung von der Steigerung?
Der Variationskoeffizient liegt bei vorher 37,5% und nachher 42,2%. Könnte man sagen dass solange die Veränderung (hier Steigerung +12,5%) innerhalb von dem Niveau Variationskoeffizient liegt, handelt es sich nicht um ein signifikantes Testergebnis sondern um eine normale Schwankung die gemessen wurde?

Ich hoffe mit den Angaben könnt ihr etwas anfangen. Ich möchte drum herum kommen einen t-test anzuwerfen, da es dann für nicht mathematiker/statistiker recht unverständlich wird.

Danke

[bele]

Wenn Du einfach verständlich sein willst, mach einen schönen Plot. Wenn Du Signifikanz behaupten willst, mach einen t-Test für verbundene Stichproben. Was Fu mit dem Variationskoeffizient erzielen möchtest, verstehe ich nicht. Der unterscheidet nicht einmal, ob Du 3 oder 30 oder 300 Probanden hast Woe soll er da zum Signifikanztest führen?

LG,
Bernhard

[Graf-Zahl]

Hallo Bernhard,
danke für deine Hilfe.

Ich würde es gerne mit einem Plot versuchen. Die Frage ist, wie helfen mir da die Fehlerwerte bei der Bewertung von dem Ergebnis?
Ich sehe dann deb Balken vorher mit 40 und nachher mit 45.
Und ich sehe eben die Fehlereinzeichnung, die recht hoch ist. Wenn ich die geringern Werte (also Mittelwert - 1x Fehler) vergleiche sehe ich auch eine Steigerung, wenn ich die höheren Werte (also Mittelwert + 1x Fehler) vergleiche, sehe ich auch eine Steigerung.
Wären die Fehler noch höher oder geringer, hätte das keinerlei Auswirkung auf das Ergebnis. Wenn ich das so jemandem zeige, sagt er ok, im Mittelwert +12,5% !

Interessant wäre also eher ein Plot in dem ich die 12,5% zeige. Dann könnte man nämlich sehen dass es auch Fälle ohne Steigerung gibg, Fälle mit +100% Steigerung ein wirres durcheinander und der Mittelwert nunmal 12,5% beträgt.

Dann könnte ich mich zurück lehnen: Ich habe ein Ergebnis berechnet (12,5%) und auf das Chaos/die Unsicherheit hingewiesen.

Ob die 12,5% nun statistisch Signifikant sind, kann ich aber wirklich nur mit einem T-Test messen?
Denn das war meine Überlegung zu sagen wenn der Effekt "nur" so groß ist wie die Standardabweichung in % (Variationskoeffizient) dann handelt es sich um kein Messergebnis sondern eben eine zufällige Schwankung. Wenn der Effekt aber viel größer ist, dann liegt wohl ein Testeffekt vor.

Ich hoffe das kommt so rüber was ich meine. Ich möchte halt den T-Test verhindern, da den von meinen Empfängern keiner verstehen wird.
Und ich möchte eben etwas mehr mitgeben als +12,5%.

Vielleicht hast du ja noch einen Tip oder Idee.

Danke & Gruß

[bele]

Hallo,

Ich sehe dann deb Balken vorher mit 40 und nachher mit 45.
Und ich sehe eben die Fehlereinzeichnung, die recht hoch ist. Wenn ich die geringern Werte (also Mittelwert - 1x Fehler) vergleiche sehe ich auch eine Steigerung, wenn ich die höheren Werte (also Mittelwert + 1x Fehler) vergleiche, sehe ich auch eine Steigerung.

Ich würde wahrscheinlich keine Balken und Fehler sondern dreißig Punkte links für vorher und dreißig Punkte rechts für nachher und dann jeweils die zwei Zusammengehörigen mit einer Linie verbinden, dann kann jeder selbst schauen, ob die Linien hoch oder runter gehen und wie der Abstand im Verhältnis zur Streuung ist.

Ob die 12,5% nun statistisch Signifikant sind, kann ich aber wirklich nur mit einem T-Test messen?

Statistische Signifikanz kann nur ein statistischer Test angeben. Nicht zuletzt weil man die Verfahren, die statistische Signifikanz ermitteln als statistischen Test bezeichnet.

Denn das war meine Überlegung zu sagen wenn der Effekt "nur" so groß ist wie die Standardabweichung in % (Variationskoeffizient) dann handelt es sich um kein Messergebnis sondern eben eine zufällige Schwankung. Wenn der Effekt aber viel größer ist, dann liegt wohl ein Testeffekt vor.

Vielleicht müssen wir nochmal über die Begriffe "statistische Signifikanz" und "praktische Signifikanz" nachdenken. Wenn Dein Publikum nicht versteht, was ein statistischer Test ist, dann versteht es ziemlich sicher auch nicht, was statistische Signifikanz ist. So ein Publikum ist dann wahrscheinlich ohnehin eher an praktischer Signifikanz interessiert. Außerdem steht Dir jede für Dein Publikum passende Argumentation für praktische Signifikanz frei.

LG,
Bernhard

[Graf-Zahl]

Das mit den Linien ist eine gute Idee, danke. Ich habe zwar auch eine Tabelle mit den 30 Probanten und ihren Ergebnissen aber letzendlich werden die Empfänger solch detaillierte Tabellen nicht sehen wollen und nur auf die Summe schauen. Mit dem Liniendiagramm kann ich ihnen dann aber auch alles auf einen Blick zeigen.

Aber auch bei dem Diagramm wird es dazu führen dass man sagt ok es gibt einen gewissen Kanal in dem sich die Werte befinden, die meisten gehen hoch, manche stark, andere schwach, auch andere runter. Im Durchschnitt eben +12,5%. Das wäre ein erhebliches Ergebnis und man würde den Test ausrollen.

Von daher möchte ich noch einmal auf den Variationskoeffizienten zurück kommen. Den hatte ich verwendet weil ich dachte man müsse die Standardabweichung auf den Mittelwert beziehen, da ja auch das Testergebnis (+12,5%) ein Bezug zu einem Mittelwert hat.

Wir können es aber auch mit den absoluten Zahlen machen:
Die Mittelwerte steigen von 40 auf 45, also um 5. Das wäre ein erhebliches Ergebnis und man würde den Test ausrollen.
Nun mein Einwand: Die Standardabweichungen betragen vorher 15 und nachher 19. Ich möchte also behaupten dass das Testszenario evtl. nicht ideal war (zu wenig Probanten, Test zu kurz) und man hier nur die üblichen Standardabweichungen gemessen hat.
Wirklich Aussagekräftig wäre der Test für mich nur gewesen wenn die Veränderung größer als die Standardabweichung ist. Oder kann man das so nicht vergleichen/sagen?

/Nachtrag
Ich habe es einfach mal gebaut. Ich schaue in Schritt 1 wie lagen die "vorher" Werte der Probanten (Mittelwert 40) gegen den Durchschnitt aller Mitglieder.
Da sieht man im Durchschnitt -1,5 Standardabweichung 8
In Schritt 2 schaue ich wie lagen die "nachher" Werte der Probanten (Mittel 45) gegen den Durschnitt aller Mitglieder (gleiche Zeit), da sieht man +0,4 Standardabweichung 8.
Der Abstand der Probanten gegen die sagen wir mal Kontrollgruppe verbesserte sich also um 1,9 Standardabweichung 4.
Für "meine Empfänger" würde ich das dann wieder in Prozent ausrechnen und sagen "Probanten verbesserten sich um 5%". Auch das wäre noch ein gutes Ergebnis.
Meine Bauchschmerzen sind: Diese 5% sind absolut 1,9 und die Standardabweichung ist 4. Es gibt also viele Probanten bei denen es sehr gut lief und andere bei denen es sehr schlecht lief. Das sieht also nicht nach einem guten Test aus dessen Konzept man ausrollen sollte.

Gerne kann ich auch mal die Daten alle zur Verfügung stellen.

[bele]

Hi,

Aber auch bei dem Diagramm wird es dazu führen dass man sagt ok es gibt einen gewissen Kanal in dem sich die Werte befinden, die meisten gehen hoch, manche stark, andere schwach, auch andere runter.

Ja, aber so kann sich eben Dein Statistik-averses Publikum selbst seine Meinung bilden. Die Tabelle mit 30 Leuten ist m. E. nur relevant, wenn jemand selbst zeichnen und rechnen möchte.

Das wäre ein erhebliches Ergebnis und man würde den Test ausrollen.

Ich kenne die Formulierung "einen Test ausrollen" nicht, aber ich reime mir zusammen: der t-Test erscheint Dir als vermeidenswerter Aufwand, wenn man ohnehin sieht, dass da nichts ist und nur wenn der Unterschied erheblich erscheint, bist Du bereit ihn zu rechnen und zu berichten. Das ist ok aus meiner Sicht.

Von daher möchte ich noch einmal auf den Variationskoeffizienten zurück kommen. Den hatte ich verwendet weil ich dachte man müsse die Standardabweichung auf den Mittelwert beziehen, da ja auch das Testergebnis (+12,5%) ein Bezug zu einem Mittelwert hat.

Wir hatten ja in einem anderen Thread schon besprochen, dass ich grundsätzlich für das Rechnen mit absoluten Zahlen bin. Es mag Einzelfälle wie die Kursentwicklung von Aktien oder Inflationsberechnungen geben, wo der absolute Wert weitgehend egal und nur die Entwicklung interessant ist, das musst Du für Deinen Anwendungsfall entscheiden.

und man hier nur die üblichen Standardabweichungen gemessen hat.

Sorry, ich weiß nicht, was übliche Standardabweichungen sind und welche unüblichen Du sonst noch messen wolltest.

Wirklich Aussagekräftig wäre der Test für mich nur gewesen wenn die Veränderung größer als die Standardabweichung ist.

Das ist eine Frage der praktischen Signifikanz, keine der statistischen Signifikanz. Praktische Signifikanz ist i.d.R. die vorrangige Frage.

Oder kann man das so nicht vergleichen/sagen?

Das ist sicher kontextabhängig und nicht allgemein gültig. Ich habe beruflich Anwendungsfälle, bei denen immer hunderte von Messungen gemittelt werden weil die Standardabweichungen ganz überwiegend nur lästiges Rauschen sind und ganz allein die Frage im Raum steht, ob neben Unmengen von Störungen ein noch so kleines Signal vorliegt. Davon machen wir immerhin abhängig, ob wir Neugeborene Babys in Narkose legen.

Ich habe es einfach mal gebaut. Ich schaue in Schritt 1 wie lagen die "vorher" Werte der Probanten (Mittelwert 40) gegen den Durchschnitt aller Mitglieder.

Sorry, was Probanden sind kann ich mir zusammenreimen, aber von Mitgliedern war bisher keine Rede.

In Schritt 2 schaue ich wie lagen die "nachher" Werte der Probanten (Mittel 45) gegen den Durschnitt aller Mitglieder (gleiche Zeit), da sieht man +0,4 Standardabweichung

Aha. Das klingt nach einem kunstvollem Weg, aus eigentlich verbundenen Beobachtungen künstlich unverbundene zu machen. Warum rechnest Du nicht für jeden Probanden den Unterschied zwischen vorher und nachher aus?

Der Abstand der Probanten gegen die sagen wir mal Kontrollgruppe verbesserte sich also um 1,9 Standardabweichung 4.

Ok, bisher hatten wir Probanden mit einem Vorher und einem Nachher-Wert. Jetzt auf einmal taucht eine Kontrollgruppe auf?

Es gibt also viele Probanten bei denen es sehr gut lief und andere bei denen es sehr schlecht lief.

Genau dafür sind statistische Verfahren da: Wenn alles klar und eindeutig und einsichtig ist, dann braucht man die nicht, um Entscheidungen zu treffen. Statistik fasst Datenwust menschlich verständlich zusammen, wo der Datenwust die menschliche Auffassung und Einschätzung überfordert.

Gerne kann ich auch mal die Daten alle zur Verfügung stellen.

Wenn das hilft, kannst Du die Zahlen einfach in Excel so anordnen, dass Variablen in Spalten und Beobachtungen in Zeilen stehen und dass dann per copy&paste in code-Tags ins Forum posten. Noch klingt es aber nicht so, als hättest Du Probleme beim Zeichnen oder Rechnen?

Gruß,
Bernhard