Ghostwriting-Service Dr. Rainer Hastedt

Erfolgsmessung im Marketing - Folge 9: Mit Kontrollgruppen den ROI von Werbekampagnen berechnen (Teil 1)

Stellen Sie sich vor, bei Ihnen laufen zurzeit mehrere Werbekampagnen für das gleiche Produkt und Sie wollen in drei Monaten wissen, ob sich Kampagne eins für Sie in finanzieller Hinsicht gelohnt hat, gemessen an der Rendite ROI.

Für eine Antwort auf diese Frage müssen Sie den zusätzlichen Gewinn ermitteln, den Kampagne eins gebracht hat.

Sie haben somit ein Zurechnungsproblem:

Welcher Teil des zusätzlichen Gewinns wurde ausschließlich von Kampagne eins verursacht? Welcher Teil von den anderen Kampagnen? Welcher Teil beruht auf Faktoren wie dem Verhalten Ihrer Konkurrenten, saisonalen Einflüssen oder der allgemeinen Wirtschaftsentwicklung?

Wie gehen Sie vor, wenn einer Bestellung mehrere Kontakte vorausgegangen sind, unter anderem mit Ihrem Verkaufsteam?

Eine sehr gute Lösung erhalten Sie durch einen Vergleich mit einer zufällig ausgewählten und hinreichend großen Kontrollgruppe, auch bekannt als A/B-Test oder Split-Run-Test.

Sie finden in diesem Beitrag eine Beschreibung dieses Verfahrens.

Das Grundprinzip von A/B-Tests

Angenommen Sie haben eine Datenbank mit 1.000 Käufern. Sie wollen Mailings versenden, die bei den Empfängern eine Bestellung auslösen sollen.

Ich bezeichne die 1.000 Käufer als Grundgesamtheit.

Aus dieser Grundgesamtheit ziehen Sie eine Stichprobe der Länge 100. Wie dies mit Excel geht, habe ich weiter unten erläutert.

Sie erhalten somit zwei Gruppen:

• Eine aus 900 Käufern bestehende Testgruppe
• Eine aus 100 Käufern bestehende Kontrollgruppe

Weil eine Stichprobe gezogen wurde, beruht die Gruppeneinteilung auf dem Zufallsprinzip; die Wahrscheinlichkeit zur Kontrollgruppe zu gehören war bei der Gruppeneinteilung für jeden Käufer gleich.

Für eine hinreichend große Stichprobe können Sie die für die Stichprobe erhaltenen Ergebnisse auf die Grundgesamtheit übertragen.

Sie senden Ihre Mailings daher nicht an alle 1.000 Käufer, sondern nur an die 900 Käufer der Testgruppe. Das Ergebnis verallgemeinern Sie dann auf die Grundgesamtheit.

Weil die 100 Käufer der Kontrollgruppe, denen Sie keine Mailings senden, zufällig ausgewählt sind, können Sie das mit der Kontrollgruppe erzielte Ergebnis ebenfalls auf die Grundgesamtheit verallgemeinern.

Somit haben Sie eine Vergleichsmöglichkeit: Ergebnis mit und ohne Mailings.

Die Gruppengröße ist wichtig, weil Sie bei kleinen Gruppen mit verzerrten Ergebnissen rechnen müssen, zum Beispiel durch einzelne Ausreißer. Die für Ihre Stichprobe ermittelten Ergebnisse wären dann nicht auf die Grundgesamtheit übertragbar.

Generell gilt: Je größer Ihre Stichprobe, umso besser.

Ab welcher Größe Sie die für eine Stichprobe ermittelten Ergebnisse auf die Grundgesamtheit übertragen können, ist unklar. Meines Erachtens sollte die kleinere der beiden Gruppen (hier die Kontrollgruppe) mindestens fünf Prozent der Grundgesamtheit umfassen und aus mindestens 100 Käufern bestehen.

Trotzdem können Sie auch mit kleineren Datensätzen arbeiten, zum Beispiel mit einer aus 30 Käufern bestehenden Kontrollgruppe aus einer Grundgesamtheit von 300 Käufern. Sie sollten dann aber im Hinterkopf behalten, dass Ihre ROI-Schätzung wegen der schmalen Datenbasis fehlerhaft sein könnte.

Nachdem Sie Ihre Mailings an die 900 Käufer der Testgruppe gesendet haben, warten Sie so lange, bis Sie davon ausgehen können, dass alle kaufwilligen Mailing-Empfänger ihre Bestellungen aufgegeben haben. Wie lange diese Wartezeit dauern sollte, hängt davon ab, was Sie verkaufen.

Dann ermitteln Sie den Gewinn, den Sie mit den 900 Käufern der Testgruppe erzielt haben, wobei Sie die mit den Mailings verbundenen Aufwendungen unberücksichtigt lassen. Als Zeitraum wählen Sie die Zeitspanne vom Beginn der Mailing-Aktion bis zum Ende der Wartezeit.

Auf dieser Basis berechnen Sie den durchschnittlichen Gewinn pro Käufer der Testgruppe (Gewinn mit den Käufern aus der Testgruppe geteilt durch 900).

Anschließend ermitteln Sie den Gewinn, den Sie mit den 100 Käufern der Kontrollgruppe erzielt haben, ebenfalls für die Zeitspanne vom Beginn der Mailing-Aktion bis zum Ende der Wartezeit. Sie teilen den Wert durch 100 und erhalten dadurch den durchschnittlichen Gewinn pro Käufer der Kontrollgruppe.

Sie können jetzt wie folgt argumentieren:

Die für die Testgruppe und die Kontrollgruppe ermittelten Werte sind auf die Grundgesamtheit übertragbar, weil beide Gruppen hinreichend groß und zufällig ausgewählt sind.

Ein Käufer aus der Grundgesamtheit, der ein Mailing erhält, bringt nach den erhobenen Daten einen Gewinn in Höhe von x Euro (durchschnittlicher Gewinn pro Käufer der Testgruppe).

Ein Käufer aus der Grundgesamtheit, der kein Mailing erhält, bringt nach den erhobenen Daten einen Gewinn in Höhe von y Euro (durchschnittlicher Gewinn pro Käufer der Kontrollgruppe).

Weil wegen des Auswahlverfahrens keine systematischen Unterschiede zwischen der Testgruppe und der Kontrollgruppe bestehen, muss die Differenz in Höhe von x-y Euro auf die Mailings zurückzuführen sein.

Sie können somit angeben, welchen Gewinnzuwachs Sie mit den Mailings erzielt haben.

Im Beispiel habe ich die größere Gruppe als Testgruppe gewählt, was Sinn macht, wenn Sie mit einem Erfolg der Kampagne rechnen. Es kann besser sein, die kleinere Gruppe als Testgruppe zu wählen, zum Beispiel weil Sie etwas Neues ausprobieren wollen. Das Größenverhältnis der beiden Gruppen ist ebenfalls eine Ermessensfrage.

Zum Abschuss von Teil eins meines Beitrags folgen die angekündigten Hinweise zur Auswahl von Kontrollgruppen.

Stichproben mit Excel

Für das Ziehen von Stichproben können Sie die ZUFALLSZAHL-Funktion oder das Analyse-Toolpack verwenden. Beide Verfahren eignen sich auch für große Datensätze, zum Beispiel für eine Millionen Kunden, von denen Sie 100.000 auswählen wollen.

Die ZUFALLSZAHL-Funktion hat den Nachteil, dass Excel den ausgegebenen Funktionswert bei jeder Änderung der Arbeitsmappe neu bestimmt. Sie schreiben zum Beispiel in Zelle G3 die Formel =ZUFALLSZAHL() und drücken die Eingabetaste. Anschließend schreiben Sie in Zelle H3 den Buchstaben A und drücken ebenfalls die Eingabetaste. Excel reagiert hierauf mit einer erneuten Ausführung der ZUFALLSZAHL-Funktion in Zelle G3.

Ich halte es für sinnvoll, beim Ziehen von Stichproben eine Neubestimmung zu unterbinden. Dies geht am einfachsten mit dem Analyse-Toolpack.

Betrachten Sie das folgende Arbeitsblatt:

In Spalte A habe ich 40 Kunden aufgelistet, die alle anhand ihrer Kundennummer identifiziert werden können. Die 40 Kunden bilden die Grundgesamtheit, aus der ich eine Stichprobe der Länge vier ziehen will.

Ich ziehe die Stichprobe, indem ich jedem der 40 Kunden eine Zufallszahl zuordne und die Kunden mit den vier kleinsten Zufallszahlen wähle.

Erster Schritt: Ich öffne den Dialog Daten / Datenanalyse / Zufallszahlengenerierung. Meine Einstellungen sind Verteilung: »Gleichverteilt«, Parameter zwischen 0 und 1 (die Zufallszahlen sollen zwischen null und eins liegen) und Ausgabebereich: B2:B41. Ich ignoriere die übrigen Eingabefelder und bestätige mit OK.

Zweiter Schritt: In die Zelle C2 scheibe ich die Formel =WENN(B2<=KKLEINSTE($B$2:$B$41;4); 1; "") und kopiere sie durch Ziehen mit der Maus in die Zellen C3 bis C41. Hierbei ändert Excel den in der Formel enthaltenen Zellverweis B2 automatisch.

Excel ermittelt somit anhand der Formeln in den Zellen C2 bis C41, welches die vier kleinsten Zufallszahlen in Spalte B sind und markiert die entsprechenden Zeilen mit einer Eins in Spalte C.

Die Stichprobe umfasst demnach die Kunden 101, 108, 113 und 138.

Sie können die Ergebnisse auch sortieren. Hierzu markieren Sie den Bereich A2:B41, öffnen den Dialog Daten / Sortieren, wählen dort Sortieren nach »Zufallszahl« und Reihenfolge »Nach Größe (aufsteigend)« und bestätigen mit OK. Die zur Stichprobe gehörenden Datensätze sind dann in den Zeilen zwei bis fünf.

Bei großen Datensätzen wäre das Ausfüllen von Spalten durch Ziehen mit der Maus umständlich. Interessant ist daher die folgende Vorgehensweise:

Sie erstellen eine Spalte mit den Kundennummern und daneben eine Spalte mit Zufallszahlen. Im obigen Beispiel wären dies die Spalten A und B mit Überschriften in den Zellen A1 und B1.

Jetzt markieren Sie die Überschriften in den Zellen A1 und B1 und drücken die Strong-Taste, die Umschalt-Taste und die Pfeil-nach-unten-Taste, wobei Sie die drei Tasten erst loslassen, nachdem Excel die Daten in den beiden Spalten markiert hat.

Als nächstes wählen Sie Einfügen / Tabelle. Im Dialogfeld achten Sie darauf, dass »Tabelle hat Überschriften« markiert ist. Dann bestätigen Sie mit OK.

In Zelle C1 schreiben Sie »Stichprobe«. Excel erweitert die Tabelle automatisch um eine Spalte mit dem Namen Stichprobe.

Zum Abschluss schreiben Sie in die Zelle C2 die Formel =WENN(B2<=KKLEINSTE($B$2:$B$41;4); 1; ""), die Excel automatisch in die übrigen Zellen dieser Tabellenspalte kopiert; der Zellverweis B2 wird dabei an die jeweilige Zeilennummer angepasst.