Erfolgsmessung im Marketing - Folge 25: Konversionsvergleiche für mehr als zwei Gruppen (Permutations-F-Test)

Ich habe in Folge 24 anhand eines Zahlenbeispiels den Test von vier Varianten einer Landing-Page beschrieben. Die Variante H1T1 (Headline H1 + Produktbeschreibung T1) hat hierbei am besten abgeschnitten (durchschnittliche Konversionsrate = 0,77).

Ich beschäftige mich jetzt mit der Frage, ob das deutlich bessere Ergebnis für Variante H1T1 systematisch oder zufallsbedingt ist.

Das gute Abschneiden von Variante H1T1 taugt nur als Qualitätsbeweis, wenn Sie einen nachvollziehbaren Grund zu der Annahme haben, es gebe einen Ursache-Wirkungs-Zusammenhang zwischen der gewählten Variante und der durchschnittlichen Konversionsrate.

Ich mache in dieser Folge einen F-Test der die Frage klären soll, ob die beobachteten Unterschiede zwischen den vier Mittelwerten zufallsbedingt sind. Der F-Test ist so gesehen ein Kriterium mit dem Sie prüfen, ob paarweise Vergleiche zwischen den Mittelwerten sinnvoll sind (Mittelwert H1T1 im Vergleich zu Mittelwert H1T2, Mittelwert H2T1 im Vergleich zu Mittelwert H2T2, …).

Erfolgsmessung im Marketing - Folge 24: Konversionsvergleiche für mehr als zwei Gruppen (Einführung)

Nach meinen Ausführungen in Folge 23 kann ein A/B-Test unbrauchbar sein, weil die für den A/B-Test verwendeten Daten zu heterogen sind. Sie messen zum Beispiel eine positive Wirkung, obwohl die Wirkung für einen bedeutenden Teil der in den A/B-Test einbezogenen Einheiten negativ ist (disordinale Interaktion). Als Lösung hatte ich vorgeschlagen, den Untersuchungsgegenstand des A/B-Tests eng abzugrenzen (zum Beispiel nur Leads aus einem eng abgegrenzten Segment).

Trotzdem kann es sein, dass die Wirkung eines bestimmten Marketing-Instruments davon abhängt, ob oder wie Sie ein anderes Marketing-Instrument einsetzen. Ein A/B-Test wäre in diesem Fall unzureichend. Sie müssten beide Marketing-Instrumente in den Test einbeziehen, was auf mindestens vier Vergleichsgruppen hinauslaufen würde.

Ein solcher Test gehört zu den mehrfaktoriellen experimentellen Designs, mit denen ich mich in diesem Beitrag beschäftigen werde.

Das Hauptproblem bei solchen Designs ist die Frage, ob die gemessenen Unterschiede zwischen den Gruppen systematisch sind (Kausalität ja) oder zufällig (Kausalität nein). Ich hatte dies in Folge 22 für den Zwei-Gruppen-Fall (A/B-Test) besprochen. Hierbei zeigte sich, dass die aus Statistikkursen bekannten Standardmethoden für den Vergleich von durchschnittlichen Konversionsraten in der Regel ungeeignet sind. Dies gilt auch bei mehr als zwei Vergleichsgruppen.

Fachliteratur suchen mit Google Scholar, WorldCat etc. pp.

Sie finden in diesem Artikel eine Zusammenstellung von frei zugänglichen Internetangeboten für die Suche nach Fachliteratur. Hierzu gehören wissenschaftliche Suchmaschinen und frei zugängliche Literaturdatenbanken.

Die ersten vier Angebote - Google Scholar, WorldCat, WorldWideScience.org und BASE - sollten Sie meines Erachtens immer verwenden, wenn Sie Fachliteratur suchen und viele gute Quellen finden wollen. Sie erhalten hier zu einer bestimmten Suchanfrage im Allgemeinen unterschiedliche Ergebnisse.

Die übrigen Suchmöglichkeiten habe ich in drei Gruppen eingeteilt.

Unter der Überschrift »Fachzeitschriften durchsuchen« bespreche ich die Suche nach Fachartikeln in bestimmten Zeitschriften. Suchmaschinen wie Google oder Google Scholar sind hierfür allein zu wenig.

Ghostwriter für Dissertationen, Bachelor- und Masterarbeiten

Der Markt für das Ghostwriting kompletter Dissertationen, Bachelor- und Masterarbeiten ist in mehrfacher Hinsicht intransparent. Ich kenne keine verlässlichen Daten über die Größe dieses Marktes und weiß nicht, wie hoch die Marktanteile der bekanntesten Anbieter sind.

Auf mehreren Websites wird die Auffassung vertreten, es gebe beim Ghostwriting kompletter Dissertationen, Bachelor- und Masterarbeiten unterschiedliche Qualitätsniveaus. Es soll daher Anbieter geben, die bessere Qualität liefern als andere, was die Kunden an den Noten merken müssten, die sie für die Ghostwriter-Texte erhalten.

Ich kenne keine überzeugenden Belege für eine solche Segmentierung. Ich habe auf Anbieter-Websites wörtliche Zitate von angeblichen Kunden gelesen, die ihren Ghostwriter in den höchsten Tönen loben. Wer diese Kunden sind und wie man sie kontaktieren kann, blieb leider im Dunkeln. Ich habe auch gelesen, man könne von den Preisen auf die Qualität der eingesetzten Ghostwriter schließen. Warum dies für Ghostwriter von Dissertationen, Bachelor- und Masterarbeiten zutreffen soll, blieb offen.

Wie können Sie Angebote für das Ghostwriting kompletter Dissertationen, Bachelor- und Masterarbeiten beurteilen?

Die meines Erachtens beste Möglichkeit besteht darin, die Geschäftsmodelle der auf diesem Markt tätigen Ghostwriter und Vermittler betriebswirtschaftlich zu betrachten. Sie können auf diese Weise die am Markt erzielten Preise einschätzen, für wen das Ghostwriting kompletter Dissertationen, Bachelor- und Masterarbeiten profitabel sein kann, für wen eine derartige Ghostwriter-Tätigkeit infrage kommt und was es mit der Vorstellung auf sich hat, ein Ghostwriter von Dissertationen und Abschlussarbeiten könne sein Qualitätsniveau variieren.

Erfolgsmessung im Marketing - Folge 23: Warum ein A/B-Test unbrauchbar sein kann (interaktive Effekte)

Ich hatte mich in Folge 22 mit der Frage beschäftigt, wie Sie anhand eines A/B-Tests Kausalität nachweisen können. Ich kam für das Zahlenbeispiel zu einem positiven Ergebnis (Kausalität ja).

Ein derartiger Kausalitätsbeweis setzt voraus, dass der A/B-Test sachgemäß durchgeführt wird. Hierzu gehört erstens die zufallsabhängige Gruppeneinteilung. Zweitens brauchen Sie ein Kriterium, nach dem Sie entscheiden können, ob das Ergebnis des Gruppenvergleichs systematisch oder zufallsbedingt ist. Dieses Kriterium war im Zahlenbeispiel aus Folge 22 der zweiseitige Permutationstest.

Ich komme jetzt zu einer dritten Vorbedingung, die die Zusammensetzung der in den A/B-Test einbezogenen Einheiten betrifft. Diese Vorbedingung bezieht sich im Zahlenbeispiel aus Folge 22 auf alle 70 Leads zusammen (Testgruppe plus Kontrollgruppe).

Eine kausale Interpretation des A/B-Tests ist nur statthaft, wenn der Untersuchungsgegenstand des A/B-Tests sinnvoll abgegrenzt ist und es daher keinen vernünftigen Grund zu der Annahme oder Vermutung gibt, die in den A/B-Test einbezogenen Einheiten seien zu heterogen und müssten differenzierter betrachtet werden.

Diese dritte Vorbedingung läuft darauf hinaus, dass es für die in den A/B-Test einbezogenen Einheiten entweder keine oder nur ordinale interaktive Effekte geben darf.

Erfolgsmessung im Marketing - Folge 22: Lead-Gewinnung und ROI (Teil 4)

Ich hatte im dritten Teil dieses Beitrags anhand eines A/B-Tests mit 22 Leads erläutert, wie Sie mit einer sehr einfachen statistischen Methode prüfen können, ob Kausalität vorliegt oder nicht. Meine Frage war, ob die im Vergleich zur Kontrollgruppe um 60 Prozent höhere durchschnittliche Konversionsrate der Testgruppe auf Zufall beruht (Kausalität nein) oder durch das nur bei der Testgruppe eingesetzte White Paper verursacht wurde (Kausalität ja).

Im Zahlenbeispiel scheiterte der statistische Nachweis von Kausalität (Signifikanzniveau beim zweiseitigen Test ungefähr gleich 0,387). Dies lag an der zu schmalen Datenbasis (elf Leads in der Testgruppe, elf Leads in der Kontrollgruppe).

Als mögliche Lösung hatte ich vorgeschlagen, den A/B-Test fortzusetzen und den Signifikanztest zu wiederholen, sobald beide Gruppen deutlich größer sind.

Ich werde dies jetzt machen. Hierzu beschreibe ich zunächst meine erweiterte Datenbasis. Danach bespreche ich meine erneuten Permutationstests. Hierauf aufbauend beschäftige ich mich mit der Frage, ob die aus Statistikkursen bekannten t-Tests ein gleichwertiger Ersatz für Permutationstests sind.