Statistische Signifikanz – Machen die Ergebnisse des A/B-Tests Sinn?
Zugegeben, es klingt erstmal sehr erschreckend: Statistische Signifikanz – dabei ist die Anwendung dieser Methode eigentlich ganz einfach und bietet dabei noch wichtige Erkenntnisse.
Was ist die statistische Signifikanz?
Sie sagt aus, mit welcher Wahrscheinlichkeit der Unterschied zwischen zwei Messgrößen signifikant – also nicht dem Zufall zuzuschreiben – ist.
Wo macht das Sinn?
Bei A/B-Tests, E-Mailkampagnen (z.B. 2 unterschiedliche Angebote), der Frage welche von zwei Werbeanzeigen z.B. bei Google AdWords besser sind…
Ein Beispiel
Wir schalten zum Test zwei Werbeanzeigen auf Analytics und erhalten folgende Zahlen, die ich gleich in ein Tool eingetragen habe:
Szenario 1
Hier ist die Standardabweichung zu gering – mit hoher Wahrscheinlichkeit handelt es sich nur um zufälliges Rauschen: Der Test bietet bisher also keine Entscheidungsgrundlage, obwohl die Conversion Rates etwas anders hätten vermuten lassen können!
Szenario 2
Hier handelt es sich mit einer Wahrscheinlichkeit von 95% nicht um zufälliges Rauschen. Es kann also mit großer Sicherheit davon ausgegangen werden, dass Anzeige Nummer 2 auch in Zukunft besser konvertieren wird.
Fazit
Mit Anwendung dieser Methode erhalten wir in wenigen Sekunden einen tiefern Einblick in unsere Testergebnisse. Natürlich schaffen wir es nicht, saisonale Schwankungen herauszurechnen, erhalten aber ansonsten wertvolle Informationen wie die Ergebnisse einzuordnen sind.
Link
Das oben genutzte Tool kann kostenlos unter teasley.net/free_stuff.htm heruntergeladen werden. (Dabei ist es egal, welches der beiden Tools ihr nutzt – abgesehen von den Beschriftungen unterscheiden sie sich nicht).
Ein Kommentar zu "Statistische Signifikanz – Machen die Ergebnisse des A/B-Tests Sinn?"
Guter Artikel, der die Relevanz von statistischer Aussagekraft bei Online-Tests hervorhebt. Die Praxis zeigt jedoch, dass so etwas oftmals ignoriert wird. Da werden Tests (A/B oder Multivariat) gefahren, bei welchen kein Konfidenzintervall festgesetzt ist. Nach 3 Tagen werden Tests abgeschalten, weil man denkt dass die Ergebnisse aussagekräftig sind. Reine Häufigkeitsauswertungen.
Auch Dienstleister steuern zu solch einer Entwicklung bei: es gibt doch tatsächlich kostenpflichtige Testingtools, welche Statistik nicht berücksichtigen. Ich persönlich lege bei jedem Test viel Wert auf die stat. Korrektheit.
Meine Tipps:
Tests immer mind. 2 Wochen laufen lassen. Wochenendsurfer können sich anders verhalten als Werktagssurfer. Konfidenzintervall hoch genug festlegen (>90%). Und Füße unter dem Tisch still halten – dann gibts korrekte Ergebnisse. Und erst dann ist Testing erst sinnvoll.
Moritz / 13. November 2008, 7:18
Was denkst du?