STATISTIK-FORUM.de

[webpat]

Hallo zusammen,

ich komme aus dem Online-Marketing Bereich und habe eine Frage an euch.
Es geht, einleitend gesprochen, darum, dass ich für gewisse Werbe-Anzeigen, die über Online-Werbekanäle laufen (z. B. Google AdWords), einen Gewinner ermitteln möchte. Dabei laufen zu einer gegebenen Zeitspanne mehrere Anzeigen gleichzeitig bzw. parallel. Die verschiedenen Anzeigen unterscheiden sich und stellen quasi gestalterische Variationen dar. Somit ergibt sich eine gewisse Zahl von Anzeigenschaltungen für jede einzelne Anzeige. Ziel eines Werbetreibenden ist, dass die Anzeigen angeklickt werden. Die Klick-Rate, die sich aus dem Verhältnis von Klicks und Anzeigenschaltungen ergibt, ist somit als Erfolgsquote zu sehen. Je höher die Klick-Rate, desto erfolgreicher ist die jeweilige Anzeige. Das Vorgehen ist nun grundsätzlich so, dass man die schlechten Anzeigen pausiert und sich nur noch auf die beste(n) Anzeige(n) konzentriert. Die Bewertung, ob sich eine Anzeige nun wirklich signifikant von einer anderen unterscheidet, muss mit Hilfe von „statistischer Berechnung“ erfolgen, da eine höhere Klick-Rate auch nur Zufall sein könnte. Es wird weiterhin die Annahme getroffen, dass alle Anzeigen die gleiche Chance haben – der Kontext ist also als homogen zu sehen.

Folgende Tabelle zeigt nun beispielhaft vier Anzeigen:

Anzeige Nr. | Anzeigenschaltungen | Klicks | Klick-Rate
#1 |1000 |25 |2,5%
#2 |1000 |30 |3,0%
#3 |1000 |50 |5,0%
#4 |1000 |70 |7,0%


Die Anzeigen unterscheiden sich durch die Klick-Rate (und auch durch die Anzahl der Klicks). Die Fragen sind nun:

- Ist Anzeige #1 wirklich die schlechteste Anzeige? Reicht es in diesem Fall, die zwei schlechtesten Anzeigen gemessen an der Klick-Rate zu vergleichen und einem statistischen Test zu unterziehen?
- Ist Anzeige #4 wirklich die beste Anzeige? Reicht es in diesem Fall, die zwei besten Anzeigen gemessen an der Klick-Rate zu vergleichen und einem statistischen Test zu unterziehen?

Letztendlich geht es darum, dass eine Aussage getroffen werden kann, mit welcher Wahrscheinlichkeit die vermeintlich beste Anzeige wirklich die beste Anzeige ist - und umgekehrt -, mit welcher Wahrscheinlichkeit die vermeintlich schlechteste Anzeige wirklich die schlechteste Anzeige ist.

Mein Vorgehen war bisher dergestalt, dass ich für die zwei besten bzw. schlechtesten Anzeigen einen Signifikanztest gemacht habe. Hierzu habe ich folgende Schritte (vereinfacht) gemacht:

- Aufstellung der Null-Hypothese: „Die beiden Anzeigen unterscheiden sich nicht hinsichtlich ihrer Klick-Rate. Der gemessene Unterschied ist also Zufall.“
- Aufstellung der Alternativ-Hypothese: „Die beste Anzeige gemessen an der Klickrate wird signifikant häufiger angeklickt. Für die schlechteste Anzeige gilt entsprechend, dass sie signifikant am seltensten geklickt wird.
- Festlegung eines Konfidenz-Intervalls, z. B. 95%
- Zu guter Letzt werden mithilfe eines zweiseitigen T-Tests die P-Werte berechnet
Anhand der P-Werte lässt sich dann entsprechend des festgelegten Konfidenz-Intervalls die Null-Hypothese verwerfen oder eben nicht verwerfen

Ist dieses Vorgehen so korrekt? Wir sollte man stattdessen Vorgehen? Ich amche mir etwas Sorgen, dass ich bei meinen Tests nicht alle Anzeigen gleichzeitig berücksichtige. Es geht mir aber tatsächlich um die einfachste Methode, um den Gewinner bzw. den Verlierer zu ermitteln.

Ich hoffe, ihr könnt mir helfen und freue mich auf eure Antworten.

Vielen Dank und viele Grüße, Patrick

[PonderStibbons]

Der ermittelte p-Wert ist insofern verzerrt, als er nicht berücksichtigen kann,
dass die beiden verglichenen Gruppen nach Augenschein bzw. nach Reihenfolge
der Prozentwerte ausgewählt wurden. Diese Reihenfolge enthält aber wieder
ein Zufallselement, das berücksichtigt werden muss.

t-Test hat hier nichts verloren, der wäre für intervallskalierte Daten, hier
hingegen handelt es sich um Häufigkeiten (z.B. 973x nicht gklickt/27x geklickt).

Man könnte im vorliegenden Beispiel eine 2x4-Tafel mit Chi² Test rechnen,
wenn das Ergebns inferenzstatistisch signifikant ausfällt, kann man paarweise
Vergleiche anstellen, wobei das Signifikanzniveau wegen der (potenziellen)
Mehrfach-Vergleiche korrigiert werden muss, um das Fehlerrisiko 1. Art im
Griff zu behalten (z.B. statt der üblichen 5% eine Bonferroni-Korrektur
5%/Zahl der paaarweisen Vergleiche = 5% /6).

Du könntest ein bißchen nach A/B-Test(ing) recherchieren.

Mit freundlichen Grüßen

P.