STATISTIK-FORUM.de

[AB-Tester]

Guten Morgen Zusammen,

leider konnte ich bisher kein Thread finden, wo ich mein Problem mit lösen konnte.
Daher hoffe ich, ihr könnt mir weiterhelfen.

Ich habe 2 Datensätze, in denen je 2000 Werte enthalten sind, welche Umsatzzahlen darstellen (also intervallskalierte Daten).
Mittelwert liegt bei ca. 100€ bei beiden Datensätzen.
Standardabweichung bei ca. 500€ bei beiden Datensätzen.

Laut einem Leitfaden von der WebArts AG kann man das 95% Konfidenzintervall mit folgender Formel berechnen:
95% Konfidenzintervall = Mittelwert +/– 2 x Standardabweichung

Wenn ich das nun rechne:
95% Konfidenzintervall = 100 + 2 x 500 = 1100
95% Konfidenzintervall = 100 - 2 x 500 = -900

Irgendwie habe ich erwartet, dass das Intervall im positiven Bereich liegen muss.
Wie kann ich nun dieses Intervall, wenn es denn korrekt ist, interpretieren?
Bzw. ist die angegebene Formel korrekt?

Meine Interpretation wäre:
Zu einer Wahrscheinlichkeit von 95% liegt der minimale Umsatz bei -900€ und der maximale Umsatz bei 1100€.
(Was für mich keinen Sinn macht).

Besten Dank und viele Grüße aus Nürnberg
Gerhard

[bele]

Die von Dir angegebene Formel ist korrekt für normalverteilte Daten. Natürlich sind Daten im wirklichen Leben fast nie normalverteilt und eine erhebliche Abweichung im Falle Deiner Umsatzdate ist das Fehlen negativer Umsätze.

Hast Du die Rohdaten oder hast Du nur Mittelwert und Standardabweichung? Im ersteren Fall könntest Du ein Bayes'sches credibility intervall errechnen, im letzteren Fall bleibt Dir nichts weiter übrig, als von der (in Wahrheit falschen) Normalverteilungsannahme auszugehen und anstelle von -900 halt 0 zu schreiben.

LG,
Bernhard

[AB-Tester]

Hallo Bernhard,

besten Dank!

Ich habe die Rohdaten.
Dann werde ich mal das Bayes'sches credibility intervall berechnen.
Muss mich da mal reinfuchsen.

Falls das nicht klappt, werde ich schauen, ob ich mit der 0 leben kann.

[PonderStibbons]

Laut einem Leitfaden von der WebArts AG kann man das 95% Konfidenzintervall mit folgender Formel berechnen:
95% Konfidenzintervall = Mittelwert +/– 2 x Standardabweichung

Das ist kein Konfidenzintervall, sondern das ist der Bereich,
in dem bei einer perfekten Normalverteilung 95% der Werte
liegen würden. Eigentlich nichts, womit man praktisch was
anfangen könnte (den Bereich, kann man direkt aus den Daten
ablesen, wenn man ihn brauchen würde).

Zu einer Wahrscheinlichkeit von 95% liegt der minimale Umsatz bei -900€ und der maximale Umsatz bei 1100€.
(Was für mich keinen Sinn macht).

Würde das mehr Sinn ergeben, wenn der minimale Umsatz
im positiven Bereich läge? Ich für meinen Teil verstünde die
Aussage auch dann nicht. Wozu brauchst Du das eigentlich?

Die Formel für ein 95% Konfidenzintervall des Mittelwertes
übrigens berücksichtigt logischerweise die Stichprobengröße,
sie lautet
Mittelwert +/- 1,96 * (Standardabweichung/Wurzel der Stichprobengröße).

Mit freundlichen Grüßen

P.

[AB-Tester]

Vielleicht zur Erklärung:
Wir machen A/B-Tests auf Websites und schauen, in welcher Variante wir eine signifikante Verbesserung haben.
Das haben wir bis dato für die Kaufrate (Käufe/Besuche) gemacht.

Die Frage war nun, ob wir auch eine signifikante Verbesserung im Umsatz sehen.
Dazu wird auch der T-Test empfohlen im Leitfaden zur Interpretation von Testergebnissen.
Was haltet ihr von dem T-Test?

Die Formel für ein 95% Konfidenzintervall des Mittelwertes
übrigens berücksichtigt logischerweise die Stichprobengröße,
sie lautet
Mittelwert +/- 1,96 * (Standardabweichung/Wurzel der Stichprobengröße).

Hilft mir dann diese Formel, um einen signifikanten Unterschied der Mittelwerte aus den beiden Datensätzen zu berechnen?

Hey,
und danke euch...für Leute mit richtig Ahnung muss das grausam sein, was sie von mir lesen ;D

[PonderStibbons]

Dazu wird auch der T-Test empfohlen im Leitfaden zur Interpretation von Testergebnissen.
Was haltet ihr von dem T-Test?

Wenn mindestens mehrere hundert Käufer in die Rechnung eingehen,
kann man ihn vermutlich benutzen. Allerdings würde ich empfehlen,
eine Abwandlung des t-Tests, den Welch-Test zu benutzen (der
korrigiert, falls die Streuungen zwischen den Gruppen unterschiedlich
groß sind, was eine Voraussetzung des t-Tests verletzen würde).

Mit freundlichen Grüßen

P.

[AB-Tester]

Wenn mindestens mehrere hundert Käufer in die Rechnung eingehen,
kann man ihn vermutlich benutzen.

Wir warten immer bis wir ca. 1.000 Käufer pro Variante haben.
Daher würde das passen.

Danke für den Hinweis mit dem Welch-Test.
Diesen kannte ich nicht.
Ich werde ihn mal anwenden.