Ghostwriting-Service Dr. Rainer Hastedt

Erfolgsmessung im Marketing - Folge 10: Mit Kontrollgruppen den ROI von Werbekampagnen berechnen (Teil 2)

Mit einem A/B-Test können Sie einschätzen, wie sich eine von Ihnen herbeigeführte Veränderung auf Ihren wirtschaftlichen Erfolg auswirkt.

Für eine Werbekampagne, deren ROI Sie ermitteln wollen vergleichen Sie bei einem A/B-Test zwei Situationen:

• Wie viel Gewinn haben Sie mit der Kampagne erzielt?
• Wie viel Gewinn hätten Sie ohne die Kampagne erzielt?

Die Differenz zwischen den beiden Werten ergibt den Erfolgsbeitrag der Werbekampagne, den Sie auf Basis von Stichproben ermitteln können.

Ich hatte das Verfahren in Teil eins dieses Beitrags erläutert. Ich werde meine Ausführungen aus Teil eins jetzt ergänzen, indem ich für ein Zahlenbeispiel anhand eines A/B-Tests die Rendite ROI einer Werbekampagne berechne.

Ausgangsdaten

Gesetzt den Fall, Sie wollen Mailings versenden. In Ihrer Datenbank sind 2.000 passende Käufer gespeichert (Grundgesamtheit).

Aus den 2.000 Käufern bilden Sie zwei Gruppen, eine aus 1.500 Käufern bestehende Testgruppe und eine aus 500 Käufern bestehende Kontrollgruppe. Für die Gruppeneinteilung ziehen Sie aus der Grundgesamtheit eine Stichprobe, bestehend aus 500 Käufern. Ich werde diesen Punkt weiter unten ausführlich kommentieren.

Sie versenden Ihre Mailings nur an Käufer aus der Testgruppe.

Ihre Mailings dienen im Beispiel dazu, die angeschriebenen Käufer zu einer Bestellung zu bewegen. Eine solche Entscheidung dauert nach Ihren bisherigen Erfahrungen bis zu vier Monate.

Sie warten vier Monate und ermitteln dann den Gewinn, den Ihnen die Käufer der Testgruppe und die Käufer der Kontrollgruppe in diesem Zeitraum gebracht haben. Im Zahlbeispiel haben Sie mit den Käufern der Testgruppe 20.000 Euro Gewinn gemacht und mit den Käufern der Kontrollgruppe 5.500 Euro.

Anschließend ermitteln Sie die mit den Mailings verbundenen Kosten. Hierzu gehören neben den variablen Kosten (unter anderem für das Versenden der Mailings) auch anteilige Fixkosten, da Sie zum Beispiel die Gehälter der beteiligten Mitarbeiter bezahlen müssen. Im Zahlenbeispiel sind dies insgesamt 3.100 Euro.

Sie sehen die Ausgangsdaten im oberen Teil der folgenden Excel-Tabelle:

ROI-Berechnung eins

Die Formel für den Return On Investment lautet:

Ich habe diese Formel in Folge vier »Die Rendite ROI (Teil 1)« erläutert. ΔΣCLV bezeichnet den durch die Investition bewirkten Gewinnzuwachs, sofern der Investitionsbetrag unberücksichtigt bleibt.

Der Gewinn pro Käufer der Testgruppe beträgt 13,33 Euro (20.000 Euro / 1.500 Käufer), wobei der Investitionsbetrag (3.100 Euro) unberücksichtigt geblieben ist.

Für die Kontrollgruppe ergibt sich ein Gewinn pro Käufer in Höhe von 11,00 Euro (5.500 Euro / 500 Käufer).

Zwei Werte für den Gewinn pro Käufer, die sich auf unterschiedliche Gruppen beziehen, müssen nicht unbedingt miteinander vergleichbar sein. Die Frage ist daher, ob es Sinn macht, vom ersten Wert den zweiten abzuziehen (13,33 Euro - 11,00 Euro).

Im Zahlenbeispiel beruht die Aufteilung der Grundgesamtheit in zwei Gruppen auf einer Stichprobe. Festgelegt wurden nur die Gruppengrößen (1.500 und 500). Die Zuordnung der Käufer zu einer der beiden Gruppen blieb dem Zufall überlassen.

Weil beide Gruppen außerdem relativ groß sind, können Sie die Werte für den Gewinn pro Käufer auf die Grundgesamtheit übertragen (Induktionsschluss):

• Der Gewinn pro Käufer der Testgruppe (13,33 Euro) ist zugleich der Gewinn pro Käufer, der sich ergeben würde wenn alle zur Grundgesamtheit gehörenden Käufer ein Mailing erhalten hätten
• Der Gewinn pro Käufer der Kontrollgruppe (11,00 Euro) ist zugleich der Gewinn pro Käufer, der sich ergeben würde wenn alle zur Grundgesamtheit gehörenden Käufer kein Mailing erhalten hätten

Ein Schluss von einer Teilmenge auf die Grundgesamtheit kann grundsätzlich zu einem falschen Ergebnis führen.

Um dies zu verhindern muss die Gruppeneinteilung erstens auf einer Stichprobe beruhen. Diese Voraussetzung wäre insbesondere verletzt, wenn Sie die Gruppeneinteilung manuell vornehmen, so wie Ihnen dies plausibel erscheint. Richtig ist die zufällige Auswahl, die ich im ersten Teil erläutert habe (Stichproben mit Excel).

Zweitens müssen beide Gruppen hinreichend groß sein, weil die Grundgesamtheit gewöhnlich Ausreißer enthält. In einer kleinen Stichprobe kann ein hierin enthaltener Ausreißer relativ stark ins Gewicht fallen und daher zu einem verzerrten Ergebnis führen.Vom Stichprobenumfang hängt somit ab, wie zuverlässig Ihre Ergebnisse sind.

Im Zahlenbeispiel schließen Sie von 500 Käufern (Kontrollgruppe) auf 2.000 Käufer (Grundgesamtheit), wodurch Sie meiner Ansicht nach zuverlässige Ergebnisse erhalten.

Trotzdem macht es Sinn, A/B-Tests auch mit sehr viel kleineren Datensätzen durchzuführen. Sie müssten die Ergebnisse dann aber zurückhaltender interpretieren, nicht als statistisch untermauerte Untersuchungsergebnisse, sondern als Anhaltspunkte oder erste Zwischenergebnisse.

Unter den gegebenen Umständen steht die Differenz Gewinn pro Käufer der Testgruppe minus Gewinn pro Käufer der Kontrollgruppe (13,33 Euro - 11,00 Euro = 2,33 Euro) für den Wert ΔΣCLV pro Käufer der Grundgesamtheit, für den durch die Investition bewirkten Gewinnzuwachs pro Käufer, sofern der Investitionsbetrag unberücksichtigt bleibt.

Im nächsten Schritt teile ich den Investitionsbetrag (3.100 Euro) durch 1.500 und erhalte dadurch den Investitionsbetrag pro Käufer der Testgruppe (2,07 Euro). Unter den gegebenen Umständen kann ich auch diesen Wert auf die Grundgesamtheit übertragen und somit den Investitionsbetrag pro Käufer der Grundgesamtheit ebenfalls mit 2,07 Euro ansetzen.

Der ROI ist demnach für den betrachteten Vier-Monats-Zeitraum gleich (2,33 Euro - 2,07 Euro) geteilt durch 2,07 Euro und daher ungefähr gleich 12,90 Prozent.

Zum Abschluss muss ich den Vier-Monats-ROI auf ein ganzes Jahr hochrechnen. Hierdurch ergibt sich ein ROI von ungefähr 38,71 Prozent.

Sie können diesen Wert mit der von Ihnen geforderten Mindestverzinsung vergleichen.

Hinweis:

Ich habe in Excel ohne Rundung gerechnet. Wenn Sie nur mit zwei Stellen nach dem Komma rechnen - (2,33-2,07)/2,07 - erhalten Sie für den Vier-Monats-ROI ungefähr 12,56 Prozent. Die gerundeten Werte beruhen im obigen Arbeitsblatt auf dem mit der rechten Maustaste erreichbaren Dialog Zellen formatieren / Zahlen. Alle auf diese Weise durchgeführten Rundungen sind für die Rechengenauigkeit von Excel bedeutungslos.

ROI-Berechnung zwei

Ich werde den ROI in Höhe von 38,71 Prozent jetzt noch einmal berechnen. Mein Ziel besteht darin, mich so eng wie möglich an die ROI-Formel zu halten.

Erster Schritt: Hochrechnung auf die Grundgesamtheit per Dreisatz.

Der Gewinn mit den Käufern der Testgruppe beträgt 20.000 Euro, wenn der Investitionsbetrag unberücksichtigt bleibt. Für die Grundgesamtheit ergibt sich hieraus ein Wert in Höhe von 26.667 Euro - (20.000/1.500)*2.000.

Der Gewinn mit den Käufern der Kontrollgruppe beträgt 5.500 Euro, woraus sich für die Grundgesamtheit ein Wert in Höhe von 22.000 Euro ergibt - (5.500/500)*2.000.

Der Investitionsbetrag beträgt 3.100 Euro für die Testgruppe. Hochgerechnet auf die Grundgesamtheit sind dies 4.133 Euro - (3.100/1.500)*2.000.

Bei meinen Berechnungen habe ich vorausgesetzt, dass die Zahlenwerte für die beiden Teilgruppen auf die Grundgesamtheit übertragbar sind. Dies ist hier gegeben (Stichprobe, hinreichend große Teilgruppen).

Zweiter Schritt: Berechnung des Return On Investment ROI auf Jahresbasis.

ΔΣCLV ist gleich 26.667 Euro minus 22.000 Euro gleich 4.667 Euro. Dieser Gewinnzuwachs würde sich ergeben, wenn alle 2.000 Käufer der Grundgesamtheit ein Mailing erhalten hätten und der Investitionsbetrag unberücksichtigt geblieben wäre.

Der ROI beträgt für den betrachteten Vier-Monats-Zeitraum ungefähr 12,90 Prozent - (4.667 Euro - 4.133 Euro) / 4.133 Euro.

Für ein Jahr muss ich den dreifachen Wert ansetzen. Der ROI beträgt daher ungefähr 38,71 Prozent.