Erfolgsmessung

Den wirtschaftlichen Erfolg anhand von Kennzahlen ermitteln, zurückblickend oder vorausschauend (Prognose), die Rendite ROI, Konversionsraten, Methoden der Erfolgsmessung.

Erfolgsmessung im Marketing - Folge 29: Die für einen Signifikanztest erforderliche Gruppengröße (Power-Analyse, Teil 1)

In Folge 21 habe ich im Rahmen eines A/B-Tests zwei Gruppen gebildet, bestehend aus jeweils elf Leads. Mein Signifikanztest legte nahe, den bei meinem A/B-Test gefundenen Unterschied zwischen den beiden Gruppenmittelwerten als zufallsbedingt anzusehen (p-Wert gleich 0,387). In Folge 26 - vier Gruppen mit jeweils 35 Leads - legten meine p-Werte ebenfalls nahe, Kausalität zu verneinen.

Ein solches Ergebnis kann zweierlei bedeuten:

1. Möglichkeit: Der Unterschied zwischen den Gruppenmittelwerten ist in Wirklichkeit nur zufallsbedingt und die Nullhypothese H0 daher richtig. Der p-Wert (0,387) führt in diesem Fall zur richtigen Entscheidung (H0 ist richtig und wird beibehalten).

2. Möglichkeit: Der Unterschied zwischen den Gruppenmittelwerten ist in Wirklichkeit systematisch und die Nullhypothese H0 daher falsch. Der p-Wert (0,387) führt in diesem Fall zur falschen Entscheidung (H0 ist falsch und wird beibehalten).

Welche dieser beiden Möglichkeiten trifft zu? Eine Antwort auf diese Frage erhalten Sie, wenn Sie sich mich mit der Güte von Signifikanztests beschäftigen, mit der Testpower.

Erfolgsmessung im Marketing - Folge 28: Konversionsvergleiche für mehr als zwei Gruppen (logistische Regression)

Ich bin in Folge 27 für mein Zahlenbeispiel zu dem Ergebnis gekommen, dass sich die Konversionswahrscheinlichkeiten für mindestens zwei der vier Landing-Page-Varianten signifikant unterscheiden. Ich will jetzt untersuchen, für welche Varianten dies zutrifft.

Ein hierfür geeignetes Verfahren ist die logistische Regression, mit der ich die vier Landing-Page-Varianten anhand von Regressionskoeffizienten vergleichen kann.

Ich erläutere zunächst den Ansatz der logistischen Regression. Anschließend schätze ich mein logistisches Regressionsmodell und validiere es mit zwei Devianztests, einmal auf Basis der Chi-Quadrat-Verteilung und einmal als Permutationstest. Zum Schluss bespreche ich die Schätzergebnisse.

Erfolgsmessung im Marketing - Folge 27: Konversionsvergleiche für mehr als zwei Gruppen (Permutations-Chi-Quadrat-Test)

Ich beschäftige mich wieder mit meinem in Folge 24 beschriebenen Test von vier Varianten einer Landing-Page. In Folge 25 und Folge 26 hatte ich die mit den vier Varianten erzielten durchschnittlichen Konversionsraten verglichen. Danach unterscheiden sich mindestens zwei der vier durchschnittlichen Konversionsraten signifikant. Meine paarweisen Mittelwertvergleiche blieben trotzdem erfolglos (alle p-Werte > 0,05).

Ich werde jetzt die vier Varianten der Landing-Page vergleichen, indem ich für jede Variante die Konversionswahrscheinlichkeit schätze und prüfe, ob zwischen diesen Werten signifikante Unterschiede bestehen.

Ähnlich wie bei den Mittelwertvergleichen teste ich zunächst anhand eines Index‘, ob eine weitergehende Untersuchung sinnvoll ist. Als Index diente bei meinen Mittelwertvergleichen der empirische F-Wert. Jetzt verwende ich als Index den empirischen Chi-Quadrat-Wert.

Erfolgsmessung im Marketing - Folge 26: Konversionsvergleiche für mehr als zwei Gruppen (multiple Mittelwertvergleiche)

Ich bin in Folge 25 für mein Zahlenbeispiel mit einem Permutations-F-Test zu dem Ergebnis gekommen, dass die durchschnittlichen Konversionsraten für mindestens zwei Varianten der Landing-Page signifikant verschieden sind.

Für die insgesamt vier Varianten der Landing-Page hatten sich die folgenden durchschnittlichen Konversionsraten ergeben (siehe Folge 24):

H1T1: 0,77
H1T2: 0,51
H2T1: 0,57
H2T2: 0,46

Ich will jetzt prüfen, welche der vier Mittelwerte sich signifikant unterscheiden. Hierzu muss ich die durchschnittlichen Konversionsraten der vier Varianten paarweise vergleichen, was auf unterschiedliche Weise geht.

Business Cases für den Verkauf

Ein Business Case ist ein Dokument, das die Rentabilität eines Investitionsprojekts darlegt. Der Kernbestandteil eines solchen Dokuments ist eine Investitionsrechnung mit Kennzahlen wie dem Kapitalwert, der Rendite IRR oder der Rendite ROI.

Business Cases können für interne Zwecke oder für den Verkauf konzipiert sein.

Ein Business Case für interne Zwecke dient entweder dazu, eine von der Unternehmensleitung in Betracht gezogene Investition zu beurteilen (ob das Projekt wirklich so gut ist wie vermutet) oder das für eine Investition erforderliche Budget zu erhalten (wenn mehrere Projekte infrage kommen und die Unternehmensleitung nur einige davon genehmigen wird).

Ein Business Case für den Verkauf dient zur Kundengewinnung im Business-to-Business-Geschäft und basiert gewöhnlich auf Einschätzungen von fachkundigen Personen, auf öffentlich zugänglichen Quellen (Statistiken, Prognosen, Fachbeiträge) und auf Erfahrungswerten aus Geschäftskontakten zu bisherigen Kunden.

Ich werde in diesem Artikel anhand eines Zahlenbeispiels zeigen, wie ein Business Case für den Verkauf aussehen kann. Hierzu beginne ich mit allgemeinen Ausführungen über Business Cases. Im Anschluss daran entwickle ich mein Zahlenbeispiel, das Sie in Form einer Excel-Datei downloaden können.

Erfolgsmessung im Marketing - Folge 25: Konversionsvergleiche für mehr als zwei Gruppen (Permutations-F-Test)

Ich habe in Folge 24 anhand eines Zahlenbeispiels den Test von vier Varianten einer Landing-Page beschrieben. Die Variante H1T1 (Headline H1 + Produktbeschreibung T1) hat hierbei am besten abgeschnitten (durchschnittliche Konversionsrate = 0,77).

Ich beschäftige mich jetzt mit der Frage, ob das deutlich bessere Ergebnis für Variante H1T1 systematisch oder zufallsbedingt ist.

Das gute Abschneiden von Variante H1T1 taugt nur als Qualitätsbeweis, wenn Sie einen nachvollziehbaren Grund zu der Annahme haben, es gebe einen Ursache-Wirkungs-Zusammenhang zwischen der gewählten Variante und der durchschnittlichen Konversionsrate.

Ich mache in dieser Folge einen F-Test der die Frage klären soll, ob die beobachteten Unterschiede zwischen den vier Mittelwerten zufallsbedingt sind. Der F-Test ist so gesehen ein Kriterium mit dem Sie prüfen, ob paarweise Vergleiche zwischen den Mittelwerten sinnvoll sind (Mittelwert H1T1 im Vergleich zu Mittelwert H1T2, Mittelwert H2T1 im Vergleich zu Mittelwert H2T2, …).

Erfolgsmessung im Marketing - Folge 24: Konversionsvergleiche für mehr als zwei Gruppen (Einführung)

Nach meinen Ausführungen in Folge 23 kann ein A/B-Test unbrauchbar sein, weil die für den A/B-Test verwendeten Daten zu heterogen sind. Sie messen zum Beispiel eine positive Wirkung, obwohl die Wirkung für einen bedeutenden Teil der in den A/B-Test einbezogenen Einheiten negativ ist (disordinale Interaktion). Als Lösung hatte ich vorgeschlagen, den Untersuchungsgegenstand des A/B-Tests eng abzugrenzen (zum Beispiel nur Leads aus einem eng abgegrenzten Segment).

Trotzdem kann es sein, dass die Wirkung eines bestimmten Marketing-Instruments davon abhängt, ob oder wie Sie ein anderes Marketing-Instrument einsetzen. Ein A/B-Test wäre in diesem Fall unzureichend. Sie müssten beide Marketing-Instrumente in den Test einbeziehen, was auf mindestens vier Vergleichsgruppen hinauslaufen würde.

Ein solcher Test gehört zu den mehrfaktoriellen experimentellen Designs, mit denen ich mich in diesem Beitrag beschäftigen werde.

Das Hauptproblem bei solchen Designs ist die Frage, ob die gemessenen Unterschiede zwischen den Gruppen systematisch sind (Kausalität ja) oder zufällig (Kausalität nein). Ich hatte dies in Folge 22 für den Zwei-Gruppen-Fall (A/B-Test) besprochen. Hierbei zeigte sich, dass die aus Statistikkursen bekannten Standardmethoden für den Vergleich von durchschnittlichen Konversionsraten in der Regel ungeeignet sind. Dies gilt auch bei mehr als zwei Vergleichsgruppen.

Erfolgsmessung im Marketing - Folge 23: Warum ein A/B-Test unbrauchbar sein kann (interaktive Effekte)

Ich hatte mich in Folge 22 mit der Frage beschäftigt, wie Sie anhand eines A/B-Tests Kausalität nachweisen können. Ich kam für das Zahlenbeispiel zu einem positiven Ergebnis (Kausalität ja).

Ein derartiger Kausalitätsbeweis setzt voraus, dass der A/B-Test sachgemäß durchgeführt wird. Hierzu gehört erstens die zufallsabhängige Gruppeneinteilung. Zweitens brauchen Sie ein Kriterium, nach dem Sie entscheiden können, ob das Ergebnis des Gruppenvergleichs systematisch oder zufallsbedingt ist. Dieses Kriterium war im Zahlenbeispiel aus Folge 22 der zweiseitige Permutationstest.

Ich komme jetzt zu einer dritten Vorbedingung, die die Zusammensetzung der in den A/B-Test einbezogenen Einheiten betrifft. Diese Vorbedingung bezieht sich im Zahlenbeispiel aus Folge 22 auf alle 70 Leads zusammen (Testgruppe plus Kontrollgruppe).

Eine kausale Interpretation des A/B-Tests ist nur statthaft, wenn der Untersuchungsgegenstand des A/B-Tests sinnvoll abgegrenzt ist und es daher keinen vernünftigen Grund zu der Annahme oder Vermutung gibt, die in den A/B-Test einbezogenen Einheiten seien zu heterogen und müssten differenzierter betrachtet werden.

Diese dritte Vorbedingung läuft darauf hinaus, dass es für die in den A/B-Test einbezogenen Einheiten entweder keine oder nur ordinale interaktive Effekte geben darf.

Erfolgsmessung im Marketing - Folge 22: Lead-Gewinnung und ROI (Teil 4)

Ich hatte im dritten Teil dieses Beitrags anhand eines A/B-Tests mit 22 Leads erläutert, wie Sie mit einer sehr einfachen statistischen Methode prüfen können, ob Kausalität vorliegt oder nicht. Meine Frage war, ob die im Vergleich zur Kontrollgruppe um 60 Prozent höhere durchschnittliche Konversionsrate der Testgruppe auf Zufall beruht (Kausalität nein) oder durch das nur bei der Testgruppe eingesetzte White Paper verursacht wurde (Kausalität ja).

Im Zahlenbeispiel scheiterte der statistische Nachweis von Kausalität (Signifikanzniveau beim zweiseitigen Test ungefähr gleich 0,387). Dies lag an der zu schmalen Datenbasis (elf Leads in der Testgruppe, elf Leads in der Kontrollgruppe).

Als mögliche Lösung hatte ich vorgeschlagen, den A/B-Test fortzusetzen und den Signifikanztest zu wiederholen, sobald beide Gruppen deutlich größer sind.

Ich werde dies jetzt machen. Hierzu beschreibe ich zunächst meine erweiterte Datenbasis. Danach bespreche ich meine erneuten Permutationstests. Hierauf aufbauend beschäftige ich mich mit der Frage, ob die aus Statistikkursen bekannten t-Tests ein gleichwertiger Ersatz für Permutationstests sind.

Erfolgsmessung im Marketing - Folge 21: Lead-Gewinnung und ROI (Teil 3)

Ich habe im ersten Teil dieses Beitrags den finanziellen Wert von Leads berechnet und im zweiten Teil dargelegt, wie Sie diese Größe verwenden können, um durch konkrete Zielvorgaben und regelmäßige Erfolgskontrollen permanent besser zu werden.

Angenommen, Sie setzen sich das Ziel, die Konversionsrate B2>B3 im Laufe der nächsten zwölf Monate um mindestens 30 Prozent zu erhöhen. Hierzu wollen Sie zum Beispiel ein auf Ihre B2-Leads zugeschnittenes White Paper verwenden.

Die einfachste Form der Erfolgskontrolle besteht darin, nach zwölf Monaten die Konversionsrate B2>B3 neu zu berechnen und mit dem jetzigen Niveau zu vergleichen. Dies wäre ein Vorher-Nachher-Vergleich. Ich habe diese Methode in Folge 15 besprochen.

Mit einem Vorher-Nachher-Vergleich würden Sie klären, ob Sie das vorgegebene Ziel erreicht haben. Diese Art der Erfolgskontrolle ist aber zu wenig, wenn Sie sich auch vergewissern wollen, ob das White Paper die gewünschte Wirkung hat. Veränderungen der Konversionsrate B2>B3 könnten auch zufällige Schwankungen sein, die nichts mit dem White Paper zu tun haben.

Pages

Subscribe to RSS - Erfolgsmessung