R

Die Statistiksoftware R, Allgemeines dazu, konkrete Anwendungsbeispiele, R-Grafiken, R-Skripte.

Erfolgsmessung im Marketing - Folge 29: Die für einen Signifikanztest erforderliche Gruppengröße (Power-Analyse, Teil 1)

In Folge 21 habe ich im Rahmen eines A/B-Tests zwei Gruppen gebildet, bestehend aus jeweils elf Leads. Mein Signifikanztest legte nahe, den bei meinem A/B-Test gefundenen Unterschied zwischen den beiden Gruppenmittelwerten als zufallsbedingt anzusehen (p-Wert gleich 0,387). In Folge 26 - vier Gruppen mit jeweils 35 Leads - legten meine p-Werte ebenfalls nahe, Kausalität zu verneinen.

Ein solches Ergebnis kann zweierlei bedeuten:

1. Möglichkeit: Der Unterschied zwischen den Gruppenmittelwerten ist in Wirklichkeit nur zufallsbedingt und die Nullhypothese H0 daher richtig. Der p-Wert (0,387) führt in diesem Fall zur richtigen Entscheidung (H0 ist richtig und wird beibehalten).

2. Möglichkeit: Der Unterschied zwischen den Gruppenmittelwerten ist in Wirklichkeit systematisch und die Nullhypothese H0 daher falsch. Der p-Wert (0,387) führt in diesem Fall zur falschen Entscheidung (H0 ist falsch und wird beibehalten).

Welche dieser beiden Möglichkeiten trifft zu? Eine Antwort auf diese Frage erhalten Sie, wenn Sie sich mich mit der Güte von Signifikanztests beschäftigen, mit der Testpower.

Einführung in die Statistik-Software R Commander

Der R Commander ist eine grafische Benutzeroberfläche für R - ausgereift, weitgehend selbsterklärend und ebenso wie R kostenlos. Zielgruppe sind Nutzer, die nur gelegentlich mit Statistik-Software arbeiten und ein intuitiv zu bedienendes System bevorzugen, vergleichbar mit SPSS.

Mein Tutorial soll zum selbständigen Arbeiten mit dem R Commander befähigen. Hierzu bespreche ich alle meiner Ansicht nach für die Beherrschung des R Commanders bedeutsamen Arbeitstechniken, die Sie anhand meiner Beispiele sehr leicht an Ihrem Computer nachvollziehen können. Ich bespreche auch fortgeschrittene Techniken, sofern sie für gelegentliche Nutzer interessant sind, insbesondere zur Anpassung von Grafiken.

Mein Tutorial behandelt nur einen kleinen Teil der über den R Commander zugänglichen statistischen Methoden. Trotzdem: Wenn Sie sich mit meinem Tutorial beschäftigt haben, dann sollte es leicht für Sie sein, den R Commander auch für andere Aufgaben zu nutzen, zum Beispiel für eine Cluster-, Faktoren- oder Hauptkomponentenanalyse.

Erfolgsmessung im Marketing - Folge 28: Konversionsvergleiche für mehr als zwei Gruppen (logistische Regression)

Ich bin in Folge 27 für mein Zahlenbeispiel zu dem Ergebnis gekommen, dass sich die Konversionswahrscheinlichkeiten für mindestens zwei der vier Landing-Page-Varianten signifikant unterscheiden. Ich will jetzt untersuchen, für welche Varianten dies zutrifft.

Ein hierfür geeignetes Verfahren ist die logistische Regression, mit der ich die vier Landing-Page-Varianten anhand von Regressionskoeffizienten vergleichen kann.

Ich erläutere zunächst den Ansatz der logistischen Regression. Anschließend schätze ich mein logistisches Regressionsmodell und validiere es mit zwei Devianztests, einmal auf Basis der Chi-Quadrat-Verteilung und einmal als Permutationstest. Zum Schluss bespreche ich die Schätzergebnisse.

Erfolgsmessung im Marketing - Folge 27: Konversionsvergleiche für mehr als zwei Gruppen (Permutations-Chi-Quadrat-Test)

Ich beschäftige mich wieder mit meinem in Folge 24 beschriebenen Test von vier Varianten einer Landing-Page. In Folge 25 und Folge 26 hatte ich die mit den vier Varianten erzielten durchschnittlichen Konversionsraten verglichen. Danach unterscheiden sich mindestens zwei der vier durchschnittlichen Konversionsraten signifikant. Meine paarweisen Mittelwertvergleiche blieben trotzdem erfolglos (alle p-Werte > 0,05).

Ich werde jetzt die vier Varianten der Landing-Page vergleichen, indem ich für jede Variante die Konversionswahrscheinlichkeit schätze und prüfe, ob zwischen diesen Werten signifikante Unterschiede bestehen.

Ähnlich wie bei den Mittelwertvergleichen teste ich zunächst anhand eines Index‘, ob eine weitergehende Untersuchung sinnvoll ist. Als Index diente bei meinen Mittelwertvergleichen der empirische F-Wert. Jetzt verwende ich als Index den empirischen Chi-Quadrat-Wert.

Erfolgsmessung im Marketing - Folge 26: Konversionsvergleiche für mehr als zwei Gruppen (multiple Mittelwertvergleiche)

Ich bin in Folge 25 für mein Zahlenbeispiel mit einem Permutations-F-Test zu dem Ergebnis gekommen, dass die durchschnittlichen Konversionsraten für mindestens zwei Varianten der Landing-Page signifikant verschieden sind.

Für die insgesamt vier Varianten der Landing-Page hatten sich die folgenden durchschnittlichen Konversionsraten ergeben (siehe Folge 24):

H1T1: 0,77
H1T2: 0,51
H2T1: 0,57
H2T2: 0,46

Ich will jetzt prüfen, welche der vier Mittelwerte sich signifikant unterscheiden. Hierzu muss ich die durchschnittlichen Konversionsraten der vier Varianten paarweise vergleichen, was auf unterschiedliche Weise geht.

Fachbeiträge mit R-Code

Sie finden auf dieser Seite Links zu Blogartikeln mit vollständigem R-Code. Ich habe für jeden dieser Blogartikel die ausgewerteten Daten zugänglich gemacht. Sie können meine Ergebnisse daher sehr leicht nachvollziehen (Code-Snippets kopieren und in R ausführen).

Die Daten zu den auf dieser Seite verlinkten Blogartikeln sind entweder als Download oder als HTML-Tabelle verfügbar:

# 1. Beispiel: Daten als Download
url <- "http://ghostwriting-service.de/sites/all/scripts/emim-17-daten.csv"
daten <- read.csv2(url,header=TRUE)

Erfolgsmessung im Marketing - Folge 25: Konversionsvergleiche für mehr als zwei Gruppen (Permutations-F-Test)

Ich habe in Folge 24 anhand eines Zahlenbeispiels den Test von vier Varianten einer Landing-Page beschrieben. Die Variante H1T1 (Headline H1 + Produktbeschreibung T1) hat hierbei am besten abgeschnitten (durchschnittliche Konversionsrate = 0,77).

Ich beschäftige mich jetzt mit der Frage, ob das deutlich bessere Ergebnis für Variante H1T1 systematisch oder zufallsbedingt ist.

Das gute Abschneiden von Variante H1T1 taugt nur als Qualitätsbeweis, wenn Sie einen nachvollziehbaren Grund zu der Annahme haben, es gebe einen Ursache-Wirkungs-Zusammenhang zwischen der gewählten Variante und der durchschnittlichen Konversionsrate.

Ich mache in dieser Folge einen F-Test der die Frage klären soll, ob die beobachteten Unterschiede zwischen den vier Mittelwerten zufallsbedingt sind. Der F-Test ist so gesehen ein Kriterium mit dem Sie prüfen, ob paarweise Vergleiche zwischen den Mittelwerten sinnvoll sind (Mittelwert H1T1 im Vergleich zu Mittelwert H1T2, Mittelwert H2T1 im Vergleich zu Mittelwert H2T2, …).

Erfolgsmessung im Marketing - Folge 24: Konversionsvergleiche für mehr als zwei Gruppen (Einführung)

Nach meinen Ausführungen in Folge 23 kann ein A/B-Test unbrauchbar sein, weil die für den A/B-Test verwendeten Daten zu heterogen sind. Sie messen zum Beispiel eine positive Wirkung, obwohl die Wirkung für einen bedeutenden Teil der in den A/B-Test einbezogenen Einheiten negativ ist (disordinale Interaktion). Als Lösung hatte ich vorgeschlagen, den Untersuchungsgegenstand des A/B-Tests eng abzugrenzen (zum Beispiel nur Leads aus einem eng abgegrenzten Segment).

Trotzdem kann es sein, dass die Wirkung eines bestimmten Marketing-Instruments davon abhängt, ob oder wie Sie ein anderes Marketing-Instrument einsetzen. Ein A/B-Test wäre in diesem Fall unzureichend. Sie müssten beide Marketing-Instrumente in den Test einbeziehen, was auf mindestens vier Vergleichsgruppen hinauslaufen würde.

Ein solcher Test gehört zu den mehrfaktoriellen experimentellen Designs, mit denen ich mich in diesem Beitrag beschäftigen werde.

Das Hauptproblem bei solchen Designs ist die Frage, ob die gemessenen Unterschiede zwischen den Gruppen systematisch sind (Kausalität ja) oder zufällig (Kausalität nein). Ich hatte dies in Folge 22 für den Zwei-Gruppen-Fall (A/B-Test) besprochen. Hierbei zeigte sich, dass die aus Statistikkursen bekannten Standardmethoden für den Vergleich von durchschnittlichen Konversionsraten in der Regel ungeeignet sind. Dies gilt auch bei mehr als zwei Vergleichsgruppen.

Erfolgsmessung im Marketing - Folge 22: Lead-Gewinnung und ROI (Teil 4)

Ich hatte im dritten Teil dieses Beitrags anhand eines A/B-Tests mit 22 Leads erläutert, wie Sie mit einer sehr einfachen statistischen Methode prüfen können, ob Kausalität vorliegt oder nicht. Meine Frage war, ob die im Vergleich zur Kontrollgruppe um 60 Prozent höhere durchschnittliche Konversionsrate der Testgruppe auf Zufall beruht (Kausalität nein) oder durch das nur bei der Testgruppe eingesetzte White Paper verursacht wurde (Kausalität ja).

Im Zahlenbeispiel scheiterte der statistische Nachweis von Kausalität (Signifikanzniveau beim zweiseitigen Test ungefähr gleich 0,387). Dies lag an der zu schmalen Datenbasis (elf Leads in der Testgruppe, elf Leads in der Kontrollgruppe).

Als mögliche Lösung hatte ich vorgeschlagen, den A/B-Test fortzusetzen und den Signifikanztest zu wiederholen, sobald beide Gruppen deutlich größer sind.

Ich werde dies jetzt machen. Hierzu beschreibe ich zunächst meine erweiterte Datenbasis. Danach bespreche ich meine erneuten Permutationstests. Hierauf aufbauend beschäftige ich mich mit der Frage, ob die aus Statistikkursen bekannten t-Tests ein gleichwertiger Ersatz für Permutationstests sind.

Erfolgsmessung im Marketing - Folge 21: Lead-Gewinnung und ROI (Teil 3)

Ich habe im ersten Teil dieses Beitrags den finanziellen Wert von Leads berechnet und im zweiten Teil dargelegt, wie Sie diese Größe verwenden können, um durch konkrete Zielvorgaben und regelmäßige Erfolgskontrollen permanent besser zu werden.

Angenommen, Sie setzen sich das Ziel, die Konversionsrate B2>B3 im Laufe der nächsten zwölf Monate um mindestens 30 Prozent zu erhöhen. Hierzu wollen Sie zum Beispiel ein auf Ihre B2-Leads zugeschnittenes White Paper verwenden.

Die einfachste Form der Erfolgskontrolle besteht darin, nach zwölf Monaten die Konversionsrate B2>B3 neu zu berechnen und mit dem jetzigen Niveau zu vergleichen. Dies wäre ein Vorher-Nachher-Vergleich. Ich habe diese Methode in Folge 15 besprochen.

Mit einem Vorher-Nachher-Vergleich würden Sie klären, ob Sie das vorgegebene Ziel erreicht haben. Diese Art der Erfolgskontrolle ist aber zu wenig, wenn Sie sich auch vergewissern wollen, ob das White Paper die gewünschte Wirkung hat. Veränderungen der Konversionsrate B2>B3 könnten auch zufällige Schwankungen sein, die nichts mit dem White Paper zu tun haben.

Pages

Subscribe to RSS - R