Erfolgsmessung im Marketing - Folge 30: Die für einen Signifikanztest erforderliche Gruppengröße (Power-Analyse, Teil 2)

08.02.2018 ++ Verfasser: Rainer Hastedt

Ich hatte in Folge 24, Folge 25 und Folge 26 die durchschnittlichen Konversionsraten für vier Varianten einer Landing-Page verglichen. Die Besucher wurden durch Zufallsauswahl in vier Gruppen eingeteilt. Jeder Besucher sah nur die für seine Gruppe vorgesehene Variante der Landing-Page.

Die für meinen Test gebildeten vier Gruppen umfassten jeweils 35 Leads. Für eine der vier Varianten (H1T1) ergab sich eine wesentlich höhere durchschnittliche Konversionsrate als für die anderen Varianten. Mein Permutations-F-Test zeigte, dass die Unterschiede zwischen den vier Mittelwerten nicht alle zufallsbedingt sind. Die anschließenden paarweisen Mittelwertvergleiche lieferten trotzdem kein signifikantes Ergebnis.

Ich schätze jetzt, welche Gruppengrößen für meine Mittelwertvergleiche sinnvoll gewesen wären. Anschließend bewerte ich die Güte der in Folge 26 durchgeführten Mittelwertvergleiche (vier Gruppen mit jeweils 35 Leads).

Erfolgsmessung im Marketing - Folge 29: Die für einen Signifikanztest erforderliche Gruppengröße (Power-Analyse, Teil 1)

06.03.2017 ++ Verfasser: Rainer Hastedt

In Folge 21 habe ich im Rahmen eines A/B-Tests zwei Gruppen gebildet, bestehend aus jeweils elf Leads. Mein Signifikanztest legte nahe, den bei meinem A/B-Test gefundenen Unterschied zwischen den beiden Gruppenmittelwerten als zufallsbedingt anzusehen (p-Wert gleich 0,387). In Folge 26 - vier Gruppen mit jeweils 35 Leads - legten meine p-Werte ebenfalls nahe, Kausalität zu verneinen.

Ein solches Ergebnis kann zweierlei bedeuten:

1. Möglichkeit: Der Unterschied zwischen den Gruppenmittelwerten ist in Wirklichkeit nur zufallsbedingt und die Nullhypothese H0 daher richtig. Der p-Wert (0,387) führt in diesem Fall zur richtigen Entscheidung (H0 ist richtig und wird beibehalten).

2. Möglichkeit: Der Unterschied zwischen den Gruppenmittelwerten ist in Wirklichkeit systematisch und die Nullhypothese H0 daher falsch. Der p-Wert (0,387) führt in diesem Fall zur falschen Entscheidung (H0 ist falsch und wird beibehalten).

Welche dieser beiden Möglichkeiten trifft zu? Eine Antwort auf diese Frage erhalten Sie, wenn Sie sich mich mit der Güte von Signifikanztests beschäftigen, mit der Testpower.

Einführung in die Statistik-Software R Commander

05.09.2016 ++ Verfasser: Rainer Hastedt

Der R Commander ist eine grafische Benutzeroberfläche für R - ausgereift, weitgehend selbsterklärend und ebenso wie R kostenlos. Zielgruppe sind Nutzer, die nur gelegentlich mit Statistik-Software arbeiten und ein intuitiv zu bedienendes System bevorzugen, vergleichbar mit SPSS.

Mein Tutorial soll zum selbständigen Arbeiten mit dem R Commander befähigen. Hierzu bespreche ich alle meiner Ansicht nach für die Beherrschung des R Commanders bedeutsamen Arbeitstechniken, die Sie anhand meiner Beispiele sehr leicht an Ihrem Computer nachvollziehen können. Ich bespreche auch fortgeschrittene Techniken, sofern sie für gelegentliche Nutzer interessant sind, insbesondere zur Anpassung von Grafiken.

Mein Tutorial behandelt nur einen kleinen Teil der über den R Commander zugänglichen statistischen Methoden. Trotzdem: Wenn Sie sich mit meinem Tutorial beschäftigt haben, dann sollte es leicht für Sie sein, den R Commander auch für andere Aufgaben zu nutzen, zum Beispiel für eine Cluster-, Faktoren- oder Hauptkomponentenanalyse.

Erfolgsmessung im Marketing - Folge 28: Konversionsvergleiche für mehr als zwei Gruppen (logistische Regression)

17.06.2016 ++ Verfasser: Rainer Hastedt

Ich bin in Folge 27 für mein Zahlenbeispiel zu dem Ergebnis gekommen, dass sich die Konversionswahrscheinlichkeiten für mindestens zwei der vier Landing-Page-Varianten signifikant unterscheiden. Ich will jetzt untersuchen, für welche Varianten dies zutrifft.

Ein hierfür geeignetes Verfahren ist die logistische Regression, mit der ich die vier Landing-Page-Varianten anhand von Regressionskoeffizienten vergleichen kann.

Ich erläutere zunächst den Ansatz der logistischen Regression. Anschließend schätze ich mein logistisches Regressionsmodell und validiere es mit zwei Devianztests, einmal auf Basis der Chi-Quadrat-Verteilung und einmal als Permutationstest. Zum Schluss bespreche ich die Schätzergebnisse.

Erfolgsmessung im Marketing - Folge 27: Konversionsvergleiche für mehr als zwei Gruppen (Permutations-Chi-Quadrat-Test)

05.04.2016 ++ Verfasser: Rainer Hastedt

Ich beschäftige mich wieder mit meinem in Folge 24 beschriebenen Test von vier Varianten einer Landing-Page. In Folge 25 und Folge 26 hatte ich die mit den vier Varianten erzielten durchschnittlichen Konversionsraten verglichen. Danach unterscheiden sich mindestens zwei der vier durchschnittlichen Konversionsraten signifikant. Meine paarweisen Mittelwertvergleiche blieben trotzdem erfolglos (alle p-Werte > 0,05).

Ich werde jetzt die vier Varianten der Landing-Page vergleichen, indem ich für jede Variante die Konversionswahrscheinlichkeit schätze und prüfe, ob zwischen diesen Werten signifikante Unterschiede bestehen.

Ähnlich wie bei den Mittelwertvergleichen teste ich zunächst anhand eines Index‘, ob eine weitergehende Untersuchung sinnvoll ist. Als Index diente bei meinen Mittelwertvergleichen der empirische F-Wert. Jetzt verwende ich als Index den empirischen Chi-Quadrat-Wert.

Erfolgsmessung im Marketing - Folge 26: Konversionsvergleiche für mehr als zwei Gruppen (multiple Mittelwertvergleiche)

14.01.2016 ++ Verfasser: Rainer Hastedt

Ich bin in Folge 25 für mein Zahlenbeispiel mit einem Permutations-F-Test zu dem Ergebnis gekommen, dass die durchschnittlichen Konversionsraten für mindestens zwei Varianten der Landing-Page signifikant verschieden sind.

Für die insgesamt vier Varianten der Landing-Page hatten sich die folgenden durchschnittlichen Konversionsraten ergeben (siehe Folge 24):

H1T1: 0,77
H1T2: 0,51
H2T1: 0,57
H2T2: 0,46

Ich will jetzt prüfen, welche der vier Mittelwerte sich signifikant unterscheiden. Hierzu muss ich die durchschnittlichen Konversionsraten der vier Varianten paarweise vergleichen, was auf unterschiedliche Weise geht.