Multivariate und A/B-Tests erstellen

Sie können einen multivariaten oder A/B-Test für jede Campaign erstellen, die auf einen einzelnen Kanal ausgerichtet ist. Wenn Sie beispielsweise multivariate oder A/B-Tests für eine Push-Campaign verwenden möchten, können Sie iOS- und Android-Geräte in derselben Campaign ansprechen.

Schritt 1: Campaign erstellen

1. Gehen Sie zu Messaging > Campaigns.
2. Wählen Sie Create campaign und anschließend einen Kanal für die Campaign aus dem Bereich aus, der Multivariate- und A/B-Tests unterstützt. Ausführliche Dokumentation zu den einzelnen Messaging-Kanälen finden Sie unter Campaign erstellen.

Schritt 2: Varianten erstellen

Sie können bis zu acht Varianten Ihrer Nachricht erstellen, die sich in Titeln, Inhalten, Bildern und mehr unterscheiden. Die Anzahl der Unterschiede zwischen den Nachrichten bestimmt, ob es sich um einen multivariaten Test oder einen A/B-Test handelt. Ein A/B-Test untersucht die Auswirkung der Änderung einer einzelnen Variablen, während ein multivariater Test zwei oder mehr Variablen untersucht.

Ideen, wie Sie Ihre Varianten unterscheiden können, finden Sie unter Tipps für verschiedene Kanäle.

Schritt 3: Planen Sie Ihre Kampagne

Die Planung Ihrer multivariaten Kampagne funktioniert genauso wie die Planung jeder anderen Braze-Kampagne. Alle standardmäßigen Zustellungsarten stehen zur Verfügung.

Nachdem ein multivariater Test begonnen hat, können Sie keine Änderungen mehr an der Kampagne vornehmen. Wenn Sie die Parameter ändern, etwa die Betreffzeile oder den HTML-Body, betrachtet Braze das Experiment als kompromittiert und deaktiviert es sofort.

Informationen zur automatischen Optimierung Ihrer Varianten finden Sie unter A/B-Tests mit BrazeAI optimieren. Kampagnen mit Einzelversand und Kampagnen mit Mehrfachversand verwenden unterschiedliche Optimierungsmethoden und haben unterschiedliche Voraussetzungen.

Schritt 4: Wählen Sie ein Segment aus und verteilen Sie Ihre Nutzer:innen auf die Varianten

Wählen Sie die Segmente aus, die Sie ansprechen möchten, und verteilen Sie die Mitglieder dann auf Ihre ausgewählten Varianten und die optionale Kontrollgruppe. Best Practices zur Auswahl eines Segments für Ihren Test finden Sie unter Auswahl eines Segments.

Bei unterstützten Campaigns können Sie Mit BrazeAI^TM optimieren aktivieren, um die Verteilung Ihrer Varianten automatisch zu optimieren. Bei einer Campaign mit mehreren Sendungen passt BrazeAI^TM die Verteilung im Laufe der Zeit an.

Bei einer Campaign mit einer einzigen Sendung reserviert Braze einen Teil der Zielgruppe für eine optimierte zweite Sendung. Dieser Anteil erscheint in der Variantenverteilung als Holdout-Gruppe. Wie sie sich von einer Kontrollgruppe unterscheidet, erfahren Sie unter Holdout-Gruppe vs. Kontrollgruppe.

Kontrollgruppe

Sie können einen Prozentsatz Ihrer Zielgruppe für eine randomisierte Kontrollgruppe reservieren. Nutzer:innen in der Kontrollgruppe erhalten den Test nicht, aber Braze überwacht ihre Konversionsrate für die Dauer der Campaign.

Bei der Auswertung Ihrer Ergebnisse können Sie die Konversionsraten Ihrer Varianten mit einer Basis-Konversionsrate vergleichen, die Ihre Kontrollgruppe liefert. So können Sie sowohl die Effekte Ihrer Varianten untereinander vergleichen als auch die Effekte Ihrer Varianten mit der Konversionsrate, die sich ergeben würde, wenn Sie überhaupt keine Nachricht senden würden.

Wichtig

Es wird nicht empfohlen, eine Kontrollgruppe zu verwenden, wenn der Gewinner anhand von Öffnungen oder Klicks ermittelt wird. Da die Kontrollgruppe die Nachricht nicht erhält, können diese Nutzer:innen weder öffnen noch klicken. Die Konversionsrate dieser Gruppe beträgt daher per Definition 0 % und bietet keinen aussagekräftigen Vergleich zu den Varianten.

Kontrollgruppen und A/B-Tests

Wenn Sie Rate-Limiting bei einem A/B-Test verwenden, wird das Rate-Limit auf die Kontrollgruppe nicht auf die gleiche Weise angewendet wie auf die Testgruppe. Dies ist eine mögliche Quelle für zeitliche Verzerrungen. Verwenden Sie geeignete Konversionsfenster, um diese Verzerrung zu vermeiden.

Kontrollgruppen mit „Mit BrazeAI^TM optimieren“

Bei einer Campaign mit mehreren Sendungen und Mit BrazeAI^TM optimieren hängt die anfängliche Größe der Kontrollgruppe von der Anzahl der Varianten ab. Wenn jede Variante mehr als 20 % der Nutzer:innen erhält, beginnt die Kontrollgruppe bei 20 %, und die Varianten teilen sich die verbleibenden 80 % gleichmäßig. Bei mehr Varianten ist die Kontrollgruppe zu Beginn kleiner. Während BrazeAI die Performance analysiert, kann die Kontrollgruppe wachsen oder schrumpfen.

Holdout-Gruppe vs. Kontrollgruppe

Bei einer Campaign mit einer einzigen Sendung, bei der Mit BrazeAI^TM optimieren aktiviert ist, erfüllen die Holdout-Gruppe und die Kontrollgruppe unterschiedliche Zwecke:

• Holdout-Gruppe: Erhält nach Ende des Experiments die Gewinnervariante. Wenn Braze keine Gewinnervariante ermitteln kann, erhält die Holdout-Gruppe keine Nachricht.
• Kontrollgruppe: Erhält keine Nachricht. Braze verwendet ihre Konversionsrate als Basiswert, um den Uplift zu messen.

Beispiel: Bei 25 % Variante A, 25 % Variante B und 50 % Holdout-Gruppe erhält die gesamte Zielgruppe eine Nachricht, wenn eine Gewinnervariante gesendet wird. Wenn Sie eine Kontrollgruppe von 10 % hinzufügen, erhalten höchstens 90 % der Zielgruppe eine Nachricht.

Schritt 5: Konversions-Event festlegen (optional)

Wenn Sie ein Konversions-Event für eine Campaign festlegen, können Sie sehen, wie viele Empfänger:innen dieser Campaign nach dem Erhalt eine bestimmte Aktion ausgeführt haben.

Dies wirkt sich nur auf den Test aus, wenn Sie in den vorherigen Schritten Primäre Konversionsrate ausgewählt haben. Weitere Informationen finden Sie unter Konversions-Events.

Schritt 6: Überprüfen und starten

Überprüfen Sie auf der Bestätigungsseite die Details Ihrer multivariaten Kampagne und starten Sie den Test! Als Nächstes erfahren Sie, wie Sie Ihre Testergebnisse verstehen.

Wissenswertes

Wenn Ihr Experiment bereits mit dem Versand begonnen hat und Sie die Nachricht bearbeiten, wird das Experiment ungültig, und alle Ergebnisse des Experiments werden entfernt.

• Um Störungen des erwarteten Verhaltens des Experiments zu vermeiden, empfehlen wir, Nachrichten innerhalb einer Stunde nach dem Start der Experiment-Campaign nicht zu bearbeiten.
• Wenn Ihr Experiment abgeschlossen ist und Sie die Nachricht nach dem Versand bearbeiten, bleiben die Ergebnisse des Experiments in den Analytics Ihres Dashboards verfügbar. Wenn Sie die Campaign jedoch erneut starten, werden die Ergebnisse des Experiments entfernt.

Tipps für verschiedene Kanäle

Je nachdem, welchen Kanal Sie auswählen, können Sie unterschiedliche Komponenten Ihrer Nachricht testen. Erstellen Sie Varianten beispielsweise mit einer klaren Vorstellung davon, was Sie testen und was Sie belegen möchten. An welchen Stellschrauben können Sie drehen, und welche Effekte wünschen Sie sich? Es gibt zwar unzählige Möglichkeiten, die Sie mit einem multivariaten Test und einem A/B-Test untersuchen können, aber hier sind einige Vorschläge für den Einstieg:

Tipp

Vergessen Sie bei A/B-Tests nicht, Funnel-Berichte zu erstellen. Damit verstehen Sie, wie sich jede Variante auf Ihren Konversions-Funnel ausgewirkt hat – insbesondere, wenn eine „Konversion“ in Ihrem Unternehmen mehrere Schritte oder Aktionen umfasst.

Außerdem kann die ideale Dauer Ihres Tests je nach Kanal variieren. Berücksichtigen Sie, wie viel Zeit die meisten Nutzer:innen durchschnittlich benötigen, um mit dem jeweiligen Kanal zu interagieren.

Wenn Sie beispielsweise einen Push testen, erzielen Sie möglicherweise schneller signifikante Ergebnisse als bei einem E-Mail-Test, da Nutzer:innen Pushes sofort sehen, eine E-Mail aber unter Umständen erst nach Tagen sehen oder öffnen. Wenn Sie In-App-Nachrichten testen, bedenken Sie, dass Nutzer:innen die App öffnen müssen, um die Campaign zu sehen. Warten Sie daher länger, um Ergebnisse sowohl von Ihren aktivsten App-Nutzer:innen als auch von Ihren typischeren Nutzer:innen zu sammeln.

Wenn Sie unsicher sind, wie lange Ihr Test laufen sollte, kann Optimieren mit BrazeAI^TM die Optimierung automatisch konfigurieren und ausführen.

Segment auswählen

Da verschiedene Segmente Ihrer Nutzer:innen unterschiedlich auf Nachrichten reagieren können, sagt der Erfolg einer bestimmten Nachricht sowohl etwas über die Nachricht selbst als auch über ihr Ziel-Segment aus. Gestalten Sie Ihren Test daher mit Blick auf Ihr Ziel-Segment.

Während aktive Nutzer:innen beispielsweise gleich stark auf „Dieses Angebot läuft morgen ab!“ und „Dieses Angebot läuft in 24 Stunden ab!“ reagieren, sprechen Nutzer:innen, die die App seit einer Woche nicht geöffnet haben, möglicherweise stärker auf die zweite Formulierung an, da sie ein größeres Gefühl der Dringlichkeit erzeugt.

Achten Sie bei der Auswahl des Segments für Ihren Test außerdem darauf, ob das Segment groß genug für Ihren Test ist. Im Allgemeinen benötigen multivariate Tests und A/B-Tests mit mehr Varianten eine größere Testgruppe, um statistisch signifikante Ergebnisse zu erzielen. Das liegt daran, dass bei mehr Varianten weniger Nutzer:innen jede einzelne Variante sehen.

Tipp

Als Richtwert benötigen Sie wahrscheinlich etwa 15.000 Nutzer:innen pro Variante (einschließlich der Kontrollgruppe), um eine Konfidenz von 95 % in Ihren Testergebnissen zu erreichen. Die genaue Anzahl der benötigten Nutzer:innen kann je nach Ihrem konkreten Fall jedoch höher oder niedriger sein. Genauere Hinweise zu Stichprobengrößen für Varianten erhalten Sie mit einem Stichprobengrößenrechner.

Verzerrung und Randomisierung

Eine häufige Frage zur Zuweisung von Kontroll- und Testgruppen ist, ob diese zu Verzerrungen in Ihren Tests führen können. Andere fragen sich manchmal, woher wir wissen, dass diese Zuweisungen wirklich zufällig sind.

Nutzer:innen werden Nachrichtenvarianten, Canvas-Varianten oder den jeweiligen Kontrollgruppen zugewiesen, indem ihre (zufällig generierte) Nutzer-ID mit der (zufällig generierten) Campaign- oder Canvas-ID verkettet wird. Anschließend wird der Modulo dieses Werts mit 100 gebildet, und die Nutzer:innen werden in Abschnitte eingeteilt, die den im Dashboard gewählten prozentualen Zuweisungen für Varianten und die optionale Kontrollgruppe entsprechen. Es gibt also praktisch keine Möglichkeit, dass sich das Verhalten von Nutzer:innen vor der Erstellung einer bestimmten Campaign oder eines bestimmten Canvas systematisch zwischen Varianten und Kontrollgruppe unterscheidet. Eine noch zufälligere (genauer gesagt: pseudozufälligere) Umsetzung als diese ist ebenfalls nicht praktikabel.

Zu vermeidende Fehler

Es gibt einige häufige Fehler, die Sie vermeiden sollten, damit keine scheinbaren Unterschiede aufgrund des Messaging-Kanals entstehen, wenn Zielgruppen nicht korrekt gefiltert werden.

Wenn Sie beispielsweise eine Push-Nachricht mit einer Kontrollgruppe an eine breite Zielgruppe senden, sendet die Testgruppe Nachrichten nur an Nutzer:innen mit einem Push-Token. Die Kontrollgruppe umfasst jedoch sowohl Nutzer:innen mit als auch ohne Push-Token. In diesem Fall muss Ihre anfängliche Zielgruppe für die Campaign oder das Canvas nach dem Vorhandensein eines Push-Tokens filtern (Foreground Push Enabled ist true). Dasselbe gilt für die Berechtigung, Nachrichten über andere Kanäle zu empfangen: Opt-in erteilt, Push-Token vorhanden oder abonniert.

Beachten Sie: Wenn eine Kontrollvariante keine Canvas-Schritte enthält, werden für Nutzer:innen in der Kontrollvariante keine Events für Exit-Kriterien protokolliert.

Hinweis

Wenn Sie zufällige Bucket-Nummern manuell für Kontrollgruppen verwenden, lesen Sie die Punkte, die Sie beachten sollten, für Ihre Kontrollgruppen.