STATISTIK-FORUM.de

[ChrisGee]

Hallo ihr,

ich habe ein Problem mit der Formulierung einer Schlussfolgerung einer Signifikanzanalyse.
Hier mal kurz mein Problem:

Ich möchte untersuchen, ob das Entfernen eines Substanz bei der Herstellung eines Werkstoffes die Zugfestigkeit dieses Materials erhöht oder nicht.
Um das zu untersuchen, wird das Werkzeug oben und unten eingespannt und so lange auseinander gezogen, bis es reißt. Als Read-out wähle ich die Kraft, die zum Zerreißen aufgebracht werden muss.

Mit Hilfe von G*Power habe ich nun den Probenumfang bestimmt. Hier habe ich als Fehler 1. Art 5% gewählt und als Fehler 2. Art 10%. Bei der Berechnung des Effektes konnte ich auf Daten aus Vorexperimenten zurückgreifen (ich hatte also einen Mittelwert und die Standardabweichung von einer Gruppe) und bin weiterhin von einem 20%igen Unterschied für die zweite Gruppe ausgegangen.
Hier die erste Frage! Wie würde die Fragestellung in diesem Falle richtig lauten?
Wie viele Probenkörper muss ich analysieren, um mit einer Wahrscheinlichkeit von 95% einen 20%igen Unterschied zu detektieren?
Welche Rolle spielt dann aber der Fehler 2. Art??
Spuckt G*Power eigentlich die zu analysierenden Probenpaare und Probenkörper aus? Dazu konnte ich bisher leider auch nichts finden!

Nach den Versuchen habe ich die Daten mittels Prism analysiert und erhalte als Ergebnis, dass es keinen signifikanten Unterschied zwischen den beiden Gruppen gibt.
Was bedeutet das nun für die Grundgesamtheit? Welche Schlussfolgerungen kann ich also ziehen? Ich bin versucht zu sagen, dass sich die aufzubringenden Kräfte zum Zerreißen der Probenkörper in der Grundgesamtheit mit einer Sicherheit von 95% nicht mehr als 20% unterscheiden! Stimmt das so? Erneut stellt sich die Frage, welche Rolle der Fehler 2. Art spielt!

Ich danke euch schon jetzt für eure Hilfe.
Viele Grüße.

[bele]

Spuckt G*Power eigentlich die zu analysierenden Probenpaare und Probenkörper aus?

Nee, die Probenkörper musst Du in Labor u/o Werkstatt herstellen. G*Power spuckt nur Information aus. SCNR.

Nach den Versuchen habe ich die Daten mittels Prism analysiert und erhalte als Ergebnis, dass es keinen signifikanten Unterschied zwischen den beiden Gruppen gibt.
Was bedeutet das nun für die Grundgesamtheit?

Das bedeutet, dass Du anhand Deiner Untersuchung nicht beweisen konntest, dass der Stoff die zum Zerreißen benötigte Kraft verändert. Und das, obwohl Du genügend Proben untersucht hast, damit eine Abweichung in Form der vorgegebenen Effektstärke eigentlich mit einer Wahrscheinlichkeit in Höhe der Power hätte entdeckt werden sollen. Entweder hast Du also einfach Pech gehabt und die verbliebene Unsicherheit bei gegebener Power hat zugeschlagen oder die Effektstärke ist geringer als Du geschätzt hattest.
Woher nimmst Du jetzt die 95% Sicherheit? Hoffentlich nicht aus dem Alpha-Niveau von 5% - das wäre falsch.

LG,
Bernhard

[ChrisGee]

Hallo Bele,

danke für deine Antwort und ein frohes und gesundes Jahr 2016!

Zunächst meinte ich natürlich, ob G*Power die ANZAHL der Probenkörper oder Probenkörperpaare ausgibt? Ähnliche Software, die ich kenne, gibt bei einem gepaarten Test die Anzahl der Objekte (nicht Paare an). Bei G*Power erhält man aber mit unter auch ungerade Zahlen als Ergebnis. In diesem Fall, bestünde die eine Gruppe aus einem Objekt weniger als die andere. Leider habe ich jedoch hierzu in den Herstellerangaben nichts finden können.

Nun zur Auswertung:
Wie groß ist denn die Wahrscheinlichkeit, dass es trotzdem einen Unterschied gibt (die 95% kommen tatsächlich vom Alpha-Niveau – was sagt mir das denn sonst?)? Oder anders gefragt: Wie sicher bin ich, dass es keinen Unterschied zwischen den beiden Gruppen gibt (auch wenn ich das Experiment unendliche Male wiederholen würde)?

Vielen Dank, Christin

[bele]

Hallo ChrisGee,

Zunächst meinte ich natürlich, ob G*Power die ANZAHL der Probenkörper oder Probenkörperpaare ausgibt?

Sorry, keine eigene Erfahrung mit G*Power, aber ich bin sicher, das ist irgendwo dokumentiert.

Wie groß ist denn die Wahrscheinlichkeit, dass es trotzdem einen Unterschied gibt (die 95% kommen tatsächlich vom Alpha-Niveau – was sagt mir das denn sonst?)?

Alpha wird verglichen mit dem p-Wert. Der p-Wert ist die Wahrscheinlichkeit, dass ein solches oder noch extremeres Ergebnis herauskommt, falls die Nullhypothese wahr ist. Wie der p-Wert ist, wenn die Nullhypothese falsch ist, das bleibt offen. Du kannst also eine Nullhypothese entweder ablehnen, oder Du kannst sie nicht ablehnen. Das Nicht-Ablehnen der Nullhypothese ist nicht das gleiche wie das Ablehnen der Hypothese!

DENN: Es kann auch sein, dass Du die Nullhypothese nicht ablehnen kannst obwohl sie falsch ist!

Genau da springt jetzt die Fallzahlberechnung ein. Du hast mit einer Power von 90% gerechnet. Das heißt, einen Effekt von mindestens 20% hättest Du mit 90% Wahrscheinlichkeit finden müssen. Mehr nicht.

An diese Stelle ein Link zum Auflockern, aber auch zum Nachdenken: http://xkcd.com/1132/

[...] auch wenn ich das Experiment unendliche Male wiederholen würde?

Wenn Du das Experiment unendlich oft wiederholen könntest, dann bräuchtest Du keinen statistischen Test mehr.

LG,
Bernhard

[bele]

Vielleicht ist die folgende Antwort hilfreicher: Ich nehme an, Du hast zwei Reihen von Messwerten die Du mit einem t-Test verglichen hast. Vergessen wir mal kurz den t-Test. Dich interessiert, wie groß mit welcher Wahrscheinlichkeit der Unterschied zwischen den Mittelwerten beider Gruppen ist.

Wenn Du nicht auf einen p-Wert angewiesen bist, wäre die BEST-Prozedur vielleicht das passendere für Dich. Du kannst hier etwas darüber lesen und sie online ausprobieren unter http://www.sumsar.net/best_online/ bevor Du entscheidest, ob Du Dich näher damit beschäftigen willst. Am Ende erhälst Du eine Wahrscheinlichkeitsverteilung, wie wahrscheinlich welcher Unterschied zwischen den Mittelwertunterschieden ist.

LG,
Bernhard