Blog

Erfolgsmessung im Marketing - Folge 29: Die für einen Signifikanztest erforderliche Gruppengröße (Power-Analyse, Teil 1)

In Folge 21 habe ich im Rahmen eines A/B-Tests zwei Gruppen gebildet, bestehend aus jeweils elf Leads. Mein Signifikanztest legte nahe, den bei meinem A/B-Test gefundenen Unterschied zwischen den beiden Gruppenmittelwerten als zufallsbedingt anzusehen (p-Wert gleich 0,387). In Folge 26 - vier Gruppen mit jeweils 35 Leads - legten meine p-Werte ebenfalls nahe, Kausalität zu verneinen.

Ein solches Ergebnis kann zweierlei bedeuten:

1. Möglichkeit: Der Unterschied zwischen den Gruppenmittelwerten ist in Wirklichkeit nur zufallsbedingt und die Nullhypothese H0 daher richtig. Der p-Wert (0,387) führt in diesem Fall zur richtigen Entscheidung (H0 ist richtig und wird beibehalten).

2. Möglichkeit: Der Unterschied zwischen den Gruppenmittelwerten ist in Wirklichkeit systematisch und die Nullhypothese H0 daher falsch. Der p-Wert (0,387) führt in diesem Fall zur falschen Entscheidung (H0 ist falsch und wird beibehalten).

Welche dieser beiden Möglichkeiten trifft zu? Eine Antwort auf diese Frage erhalten Sie, wenn Sie sich mich mit der Güte von Signifikanztests beschäftigen, mit der Testpower.

Einführung in die Statistik-Software R Commander

Der R Commander ist eine grafische Benutzeroberfläche für R - ausgereift, weitgehend selbsterklärend und ebenso wie R kostenlos. Zielgruppe sind Nutzer, die nur gelegentlich mit Statistik-Software arbeiten und ein intuitiv zu bedienendes System bevorzugen, vergleichbar mit SPSS.

Mein Tutorial soll zum selbständigen Arbeiten mit dem R Commander befähigen. Hierzu bespreche ich alle meiner Ansicht nach für die Beherrschung des R Commanders bedeutsamen Arbeitstechniken, die Sie anhand meiner Beispiele sehr leicht an Ihrem Computer nachvollziehen können. Ich bespreche auch fortgeschrittene Techniken, sofern sie für gelegentliche Nutzer interessant sind, insbesondere zur Anpassung von Grafiken.

Mein Tutorial behandelt nur einen kleinen Teil der über den R Commander zugänglichen statistischen Methoden. Trotzdem: Wenn Sie sich mit meinem Tutorial beschäftigt haben, dann sollte es leicht für Sie sein, den R Commander auch für andere Aufgaben zu nutzen, zum Beispiel für eine Cluster-, Faktoren- oder Hauptkomponentenanalyse.

Erfolgsmessung im Marketing - Folge 28: Konversionsvergleiche für mehr als zwei Gruppen (logistische Regression)

Ich bin in Folge 27 für mein Zahlenbeispiel zu dem Ergebnis gekommen, dass sich die Konversionswahrscheinlichkeiten für mindestens zwei der vier Landing-Page-Varianten signifikant unterscheiden. Ich will jetzt untersuchen, für welche Varianten dies zutrifft.

Ein hierfür geeignetes Verfahren ist die logistische Regression, mit der ich die vier Landing-Page-Varianten anhand von Regressionskoeffizienten vergleichen kann.

Ich erläutere zunächst den Ansatz der logistischen Regression. Anschließend schätze ich mein logistisches Regressionsmodell und validiere es mit zwei Devianztests, einmal auf Basis der Chi-Quadrat-Verteilung und einmal als Permutationstest. Zum Schluss bespreche ich die Schätzergebnisse.

Erfolgsmessung im Marketing - Folge 27: Konversionsvergleiche für mehr als zwei Gruppen (Permutations-Chi-Quadrat-Test)

Ich beschäftige mich wieder mit meinem in Folge 24 beschriebenen Test von vier Varianten einer Landing-Page. In Folge 25 und Folge 26 hatte ich die mit den vier Varianten erzielten durchschnittlichen Konversionsraten verglichen. Danach unterscheiden sich mindestens zwei der vier durchschnittlichen Konversionsraten signifikant. Meine paarweisen Mittelwertvergleiche blieben trotzdem erfolglos (alle p-Werte > 0,05).

Ich werde jetzt die vier Varianten der Landing-Page vergleichen, indem ich für jede Variante die Konversionswahrscheinlichkeit schätze und prüfe, ob zwischen diesen Werten signifikante Unterschiede bestehen.

Ähnlich wie bei den Mittelwertvergleichen teste ich zunächst anhand eines Index‘, ob eine weitergehende Untersuchung sinnvoll ist. Als Index diente bei meinen Mittelwertvergleichen der empirische F-Wert. Jetzt verwende ich als Index den empirischen Chi-Quadrat-Wert.

Erfolgsmessung im Marketing - Folge 26: Konversionsvergleiche für mehr als zwei Gruppen (multiple Mittelwertvergleiche)

Ich bin in Folge 25 für mein Zahlenbeispiel mit einem Permutations-F-Test zu dem Ergebnis gekommen, dass die durchschnittlichen Konversionsraten für mindestens zwei Varianten der Landing-Page signifikant verschieden sind.

Für die insgesamt vier Varianten der Landing-Page hatten sich die folgenden durchschnittlichen Konversionsraten ergeben (siehe Folge 24):

H1T1: 0,77
H1T2: 0,51
H2T1: 0,57
H2T2: 0,46

Ich will jetzt prüfen, welche der vier Mittelwerte sich signifikant unterscheiden. Hierzu muss ich die durchschnittlichen Konversionsraten der vier Varianten paarweise vergleichen, was auf unterschiedliche Weise geht.

Business Cases für den Verkauf

Ein Business Case ist ein Dokument, das die Rentabilität eines Investitionsprojekts darlegt. Der Kernbestandteil eines solchen Dokuments ist eine Investitionsrechnung mit Kennzahlen wie dem Kapitalwert, der Rendite IRR oder der Rendite ROI.

Business Cases können für interne Zwecke oder für den Verkauf konzipiert sein.

Ein Business Case für interne Zwecke dient entweder dazu, eine von der Unternehmensleitung in Betracht gezogene Investition zu beurteilen (ob das Projekt wirklich so gut ist wie vermutet) oder das für eine Investition erforderliche Budget zu erhalten (wenn mehrere Projekte infrage kommen und die Unternehmensleitung nur einige davon genehmigen wird).

Ein Business Case für den Verkauf dient zur Kundengewinnung im Business-to-Business-Geschäft und basiert gewöhnlich auf Einschätzungen von fachkundigen Personen, auf öffentlich zugänglichen Quellen (Statistiken, Prognosen, Fachbeiträge) und auf Erfahrungswerten aus Geschäftskontakten zu bisherigen Kunden.

Ich werde in diesem Artikel anhand eines Zahlenbeispiels zeigen, wie ein Business Case für den Verkauf aussehen kann. Hierzu beginne ich mit allgemeinen Ausführungen über Business Cases. Im Anschluss daran entwickle ich mein Zahlenbeispiel, das Sie in Form einer Excel-Datei downloaden können.

Erfolgsmessung im Marketing - Folge 25: Konversionsvergleiche für mehr als zwei Gruppen (Permutations-F-Test)

Ich habe in Folge 24 anhand eines Zahlenbeispiels den Test von vier Varianten einer Landing-Page beschrieben. Die Variante H1T1 (Headline H1 + Produktbeschreibung T1) hat hierbei am besten abgeschnitten (durchschnittliche Konversionsrate = 0,77).

Ich beschäftige mich jetzt mit der Frage, ob das deutlich bessere Ergebnis für Variante H1T1 systematisch oder zufallsbedingt ist.

Das gute Abschneiden von Variante H1T1 taugt nur als Qualitätsbeweis, wenn Sie einen nachvollziehbaren Grund zu der Annahme haben, es gebe einen Ursache-Wirkungs-Zusammenhang zwischen der gewählten Variante und der durchschnittlichen Konversionsrate.

Ich mache in dieser Folge einen F-Test der die Frage klären soll, ob die beobachteten Unterschiede zwischen den vier Mittelwerten zufallsbedingt sind. Der F-Test ist so gesehen ein Kriterium mit dem Sie prüfen, ob paarweise Vergleiche zwischen den Mittelwerten sinnvoll sind (Mittelwert H1T1 im Vergleich zu Mittelwert H1T2, Mittelwert H2T1 im Vergleich zu Mittelwert H2T2, …).

Erfolgsmessung im Marketing - Folge 24: Konversionsvergleiche für mehr als zwei Gruppen (Einführung)

Nach meinen Ausführungen in Folge 23 kann ein A/B-Test unbrauchbar sein, weil die für den A/B-Test verwendeten Daten zu heterogen sind. Sie messen zum Beispiel eine positive Wirkung, obwohl die Wirkung für einen bedeutenden Teil der in den A/B-Test einbezogenen Einheiten negativ ist (disordinale Interaktion). Als Lösung hatte ich vorgeschlagen, den Untersuchungsgegenstand des A/B-Tests eng abzugrenzen (zum Beispiel nur Leads aus einem eng abgegrenzten Segment).

Trotzdem kann es sein, dass die Wirkung eines bestimmten Marketing-Instruments davon abhängt, ob oder wie Sie ein anderes Marketing-Instrument einsetzen. Ein A/B-Test wäre in diesem Fall unzureichend. Sie müssten beide Marketing-Instrumente in den Test einbeziehen, was auf mindestens vier Vergleichsgruppen hinauslaufen würde.

Ein solcher Test gehört zu den mehrfaktoriellen experimentellen Designs, mit denen ich mich in diesem Beitrag beschäftigen werde.

Das Hauptproblem bei solchen Designs ist die Frage, ob die gemessenen Unterschiede zwischen den Gruppen systematisch sind (Kausalität ja) oder zufällig (Kausalität nein). Ich hatte dies in Folge 22 für den Zwei-Gruppen-Fall (A/B-Test) besprochen. Hierbei zeigte sich, dass die aus Statistikkursen bekannten Standardmethoden für den Vergleich von durchschnittlichen Konversionsraten in der Regel ungeeignet sind. Dies gilt auch bei mehr als zwei Vergleichsgruppen.

Fachliteratur suchen mit Google Scholar, WorldCat etc. pp.

Sie finden in diesem Artikel eine Zusammenstellung von frei zugänglichen Internetangeboten für die Suche nach Fachliteratur. Hierzu gehören wissenschaftliche Suchmaschinen und frei zugängliche Literaturdatenbanken.

Die ersten vier Angebote - Google Scholar, WorldCat, WorldWideScience.org und BASE - sollten Sie meines Erachtens immer verwenden, wenn Sie Fachliteratur suchen und viele gute Quellen finden wollen. Sie erhalten hier zu einer bestimmten Suchanfrage im Allgemeinen unterschiedliche Ergebnisse.

Die übrigen Suchmöglichkeiten habe ich in drei Gruppen eingeteilt.

Unter der Überschrift »Fachzeitschriften durchsuchen« bespreche ich die Suche nach Fachartikeln in bestimmten Zeitschriften. Suchmaschinen wie Google oder Google Scholar sind hierfür allein zu wenig.

Ghostwriter für Dissertationen, Bachelor- und Masterarbeiten

Der Markt für das Ghostwriting kompletter Dissertationen, Bachelor- und Masterarbeiten ist in mehrfacher Hinsicht intransparent. Ich kenne keine verlässlichen Daten über die Größe dieses Marktes und weiß nicht, wie hoch die Marktanteile der bekanntesten Anbieter sind.

Auf mehreren Websites wird die Auffassung vertreten, es gebe beim Ghostwriting kompletter Dissertationen, Bachelor- und Masterarbeiten unterschiedliche Qualitätsniveaus. Es soll daher Anbieter geben, die bessere Qualität liefern als andere, was die Kunden an den Noten merken müssten, die sie für die Ghostwriter-Texte erhalten.

Ich kenne keine überzeugenden Belege für eine solche Segmentierung. Ich habe auf Anbieter-Websites wörtliche Zitate von angeblichen Kunden gelesen, die ihren Ghostwriter in den höchsten Tönen loben. Wer diese Kunden sind und wie man sie kontaktieren kann, blieb leider im Dunkeln. Ich habe auch gelesen, man könne von den Preisen auf die Qualität der eingesetzten Ghostwriter schließen. Warum dies für Ghostwriter von Dissertationen, Bachelor- und Masterarbeiten zutreffen soll, blieb offen.

Wie können Sie Angebote für das Ghostwriting kompletter Dissertationen, Bachelor- und Masterarbeiten beurteilen?

Die meines Erachtens beste Möglichkeit besteht darin, die Geschäftsmodelle der auf diesem Markt tätigen Ghostwriter und Vermittler betriebswirtschaftlich zu betrachten. Sie können auf diese Weise die am Markt erzielten Preise einschätzen, für wen das Ghostwriting kompletter Dissertationen, Bachelor- und Masterarbeiten profitabel sein kann, für wen eine derartige Ghostwriter-Tätigkeit infrage kommt und was es mit der Vorstellung auf sich hat, ein Ghostwriter von Dissertationen und Abschlussarbeiten könne sein Qualitätsniveau variieren.

Pages

Subscribe to RSS - Blog