Experimentpfade
Mit Experimentpfaden können Sie mehrere Canvas-Pfade gegeneinander und gegen eine Kontrollgruppe an jedem Punkt der User Journey testen. Mit dieser Komponente können Sie die Performance der Pfade verfolgen, um fundierte Entscheidungen über Ihre Canvas-Journey zu treffen.
Wenn Sie einen Experimentpfad-Schritt in Ihre User Journey einfügen, werden Nutzer:innen zufällig verschiedenen Pfaden (oder einer optionalen Kontrollgruppe) zugewiesen, die Sie erstellen. Teile der Zielgruppe werden den verschiedenen Pfaden gemäß den von Ihnen gewählten Prozentsätzen zugewiesen, sodass Sie verschiedene Nachrichten oder Pfade gegeneinander testen und ermitteln können, welcher am effektivsten ist.
Voraussetzungen
Um Experimentpfade zu verwenden, muss Ihr Canvas Konversions-Events enthalten. Sie können zwar keine Konversions-Events hinzufügen, nachdem ein Canvas gestartet wurde, aber Sie können das gestartete Canvas klonen und Konversions-Events hinzufügen, um Experimentpfade zu nutzen.
Anwendungsfälle
Experimentpfade eignen sich besonders gut zum Testen von Zustellung, Frequenz, Nachrichtentext und Kanalkombinationen.
- Zustellung: Vergleichen Sie die Ergebnisse zwischen Nachrichten, die mit unterschiedlichen zeitlichen Verzögerungen gesendet werden, auf Basis von Nutzer:innen-Aktionen (Aktionspfade) und unter Verwendung von intelligentem Timing.
- Frequenz: Testen Sie mehrere Messaging-Abläufe über einen bestimmten Zeitraum. Sie könnten beispielsweise zwei verschiedene Onboarding-Frequenzen testen:
- Frequenz 1: 2 Nachrichten in den ersten 2 Wochen senden
- Frequenz 2: 3 Nachrichten in den ersten 2 Wochen senden
Beim Targeting passiver Nutzer:innen können Sie die Wirksamkeit von zwei Rückgewinnungs-Nachrichten pro Woche im Vergleich zu nur einer testen.
- Nachrichtentext: Ähnlich wie bei einem Standard-A/B-Test können Sie verschiedene Nachrichtentexte testen, um herauszufinden, welche Formulierung zu einer höheren Konversionsrate führt.
- Kanalkombinationen: Testen Sie die Wirksamkeit verschiedener Nachrichtenkanal-Kombinationen. Sie können beispielsweise die Auswirkung vergleichen, nur eine E-Mail zu verwenden, im Gegensatz zu einer E-Mail kombiniert mit einem Push.
Einen Experimentpfad erstellen
Um eine Experimentpfad-Komponente zu erstellen, fügen Sie zunächst einen Schritt zu Ihrem Canvas hinzu. Ziehen Sie die Komponente per Drag-and-Drop aus der Seitenleiste, oder klicken Sie auf den Plus-Button am unteren Rand eines Schritts und wählen Sie Experimentpfade.
In der Standardkonfiguration dieser Komponente gibt es zwei Standard-Pfade, Path 1 und Path 2, wobei 50 % der Zielgruppe jeweils auf einen Pfad geleitet werden. Klicken Sie auf die Komponente, um das Panel Experiment Settings zu erweitern, und Sie sehen die Konfigurationsoptionen für die Komponente.
Schritt 1: Anzahl der Pfade und Zielgruppenverteilung festlegen
Sie können bis zu vier Pfade hinzufügen, indem Sie auf Add Path klicken, und eine optionale Kontrollgruppe, indem Sie Add a Control Group aktivieren. Über die Prozentfelder für jeden Pfad können Sie festlegen, welcher Prozentsatz der Zielgruppe auf welchen Pfad und in die Kontrollgruppe geleitet werden soll. Die angegebenen Prozentwerte müssen zusammen 100 % ergeben, um fortfahren zu können. Wenn Sie alle verfügbaren Pfade (und die Kontrollgruppe) schnell auf denselben Prozentsatz setzen möchten, klicken Sie auf Distribute Paths Evenly.
Sie können außerdem unter Control Group Behavior festlegen, ob Nutzer:innen in der Kontrollgruppe den Canvas weiter durchlaufen oder nach dem Konversions-Tracking-Fenster aussteigen sollen. Optional können Sie eine Beschreibung hinzufügen, um anderen zu erklären, was dieser Experimentpfad testen soll, oder zusätzliche hilfreiche Informationen zu hinterlegen.
Wenn die erneute Canvas-Berechtigung aktiviert ist, durchlaufen Nutzer:innen, die den Canvas betreten und einem zufällig gewählten Pfad zugewiesen werden, bei erneutem Eintritt denselben Pfad. Dies gewährleistet die Gültigkeit des Experiments und der zugehörigen Analytics. Um die Pfadzuweisung bei jedem erneuten Eintritt zu randomisieren, wählen Sie Randomized Paths in Experiment Paths. Diese Option ist bei Verwendung von Winning Path nicht verfügbar.
Schritt 2: Winning Path aktivieren (optional)
Um Ihr Experiment zu optimieren, aktivieren Sie Winning Path. Winning Path testet Ihre Pfade zunächst mit einem Teil der Zielgruppe. Nach Abschluss des Experiments leitet Braze die verbleibenden und nachfolgenden Nutzer:innen über den Pfad mit der besten Performance.
Personalized Paths ist für neue Experimentpfad-Schritte nicht verfügbar. Bestehende Schritte, die Personalized Paths verwenden, laufen weiter.
Schritt 3: Pfade erstellen
Zuletzt müssen Sie Ihre nachgelagerten Pfade erstellen. Wählen Sie Done und kehren Sie zum Canvas-Builder zurück. Klicken Sie auf den Plus-Button unter jedem Pfad, um mit den üblichen Canvas-Tools Journeys nach Bedarf zu erstellen, und starten Sie den Canvas, wenn Sie bereit sind.
Beachten Sie, dass Pfade und ihre nachgelagerten Schritte nach der Erstellung nicht mehr aus einem Canvas entfernt werden können. Nach dem Start können Sie jedoch die Zielgruppenverteilung über die Pfade nach Bedarf anpassen. Wenn Sie beispielsweise einen Tag nach dem Start eines Canvas anhand der Analytics feststellen, dass ein Pfad den anderen überlegen ist, können Sie diesen Pfad auf 100 % und die anderen auf 0 % setzen. Oder Sie leiten je nach Bedarf weiterhin Nutzer:innen über mehrere Pfade.
Um eine Kontamination des Experiments zu vermeiden, beendet das Aktualisieren eines aktiven Canvas mit einem laufenden Winning-Path-Experiment das Experiment. Dies gilt auch dann, wenn Sie den Experimentpfad-Schritt selbst nicht ändern. Um das Experiment neu zu starten, trennen Sie den bestehenden Experimentpfad und starten Sie einen neuen, oder duplizieren Sie den Canvas und starten Sie das Duplikat. Sie können Winning Path für einen bereits aktiven Canvas mit einem Experimentpfad-Schritt nicht aktivieren.
Weitere Informationen finden Sie unter Canvases nach dem Start bearbeiten.
Performance verfolgen
Wählen Sie auf der Seite Canvas Analytics den Experimentpfad aus, um eine detaillierte Tabelle zu öffnen, die dem Tab Analyze Variants entspricht, um detaillierte Performance- und Konversionsstatistiken über alle Pfade hinweg zu vergleichen. Sie können die Tabelle auch als CSV exportieren und prozentuale Veränderungen für relevante Metriken im Vergleich zum ausgewählten Pfad oder zur Kontrollgruppe anzeigen.
Jeder Schritt in jedem Pfad zeigt Statistiken in der Ansicht Canvas Analytics an, genau wie jeder andere Canvas-Schritt. Beachten Sie jedoch, dass Einzelschritt-Analytics und Experimentpfad-Analytics Konversionen unterschiedlich messen:
- Experimentpfad-Analytics verfolgen Konversionen ab dem Zeitpunkt, an dem Nutzer:innen den Experimentpfad-Schritt betreten. Dies ist die empfohlene Ansicht für den Vergleich der Performance über Pfade hinweg, da alle Pfade denselben Ausgangspunkt teilen.
- Einzelschritt-Analytics (z. B. Analytics eines Nachrichtenschritts) verfolgen Konversionen ab dem Zeitpunkt, an dem Nutzer:innen den jeweiligen Schritt erhalten (z. B. wenn die Nachricht gesendet wird).
Da diese Konversionsfenster unterschiedliche Startpunkte haben, können sie unterschiedliche Konversionsraten für denselben Pfad anzeigen – insbesondere wenn es Verzögerungen zwischen dem Experimentschritt und einer nachgelagerten Nachricht gibt. Verwenden Sie für den zuverlässigsten Vergleich über Pfade hinweg die Experimentpfad-Analytics.
Winning-Path-Performance
Verwenden Sie Winning Path, um die Performance über die Zeit zu verfolgen und nachfolgende Nutzer:innen automatisch über den Pfad mit der besten Performance zu leiten. Weitere Informationen finden Sie unter Winning-Path-Analytics.
Die Gewinnmetrik und die in Experimentpfaden angezeigten Analytics können sich unterscheiden:
- Das Konversions-Event, das Sie für Winning Path konfigurieren, bestimmt, wie Braze Pfade vergleicht und während des Experimentfensters einen Gewinner auswählt.
- Die Experimentpfad-Analytics folgen weiterhin dem gleichen Canvas-Framework für Konversions-Events wie der Rest des Canvas, einschließlich Ihres primären Konversions-Events. Daher stimmen die im Dashboard hervorgehobenen Metriken möglicherweise nicht mit der Gewinnmetrik überein.
- Bei Push unterscheiden sich Direct Opens und Total Opens. Weitere Informationen finden Sie unter Influenced Opens.
Zusätzliche Einstellungen
Experimentpfade erfassen Nutzer:innen, die jeden Schritt betreten und konvertieren, während sie sich im zugewiesenen Pfad befinden. Dabei werden alle in der Canvas-Einrichtung angegebenen Konversions-Events verfolgt. Geben Sie auf dem Tab Additional Settings an, wie viele Tage (zwischen 1 und 30) dieses Experiment Konversionen verfolgen soll. Das hier angegebene Zeitfenster bestimmt, wie lange Konversions-Events (die in der Canvas-Einrichtung gewählt wurden) für das Experiment verfolgt werden. Die in der Canvas-Einrichtung angegebenen Konversionsfenster pro Event gelten nicht für das Tracking dieses Schritts und werden durch dieses Konversionsfenster ersetzt.
Das Konversionsfenster beginnt, wenn Nutzer:innen den Experimentpfad-Schritt betreten, nicht wenn eine nachgelagerte Nachricht gesendet wird. Wenn ein Pfad Verzögerungen enthält – etwa einen Verzögerungsschritt oder intelligentes Timing – verbrauchen diese Verzögerungen einen Teil des Konversionsfensters.
Wenn Sie intelligentes Timing bei einem Nachrichtenschritt innerhalb eines Experimentpfads verwenden, reduziert die Zeit zwischen dem Eintritt in das Experiment und dem tatsächlichen Nachrichtenversand das effektive Konversionsfenster für diesen Pfad. Wenn Ihr Experiment beispielsweise ein 5-tägiges Konversionsfenster hat und intelligentes Timing die Nachricht um 2 Tage verzögert, haben Nutzer:innen in diesem Pfad nur 3 Tage nach Erhalt der Nachricht, um innerhalb des Experimentfensters zu konvertieren – obwohl die Analytics des Nachrichtenschritts selbst Konversionen ab dem Zeitpunkt des Nachrichtenversands verfolgen.
Für sauberere Experiment-Analytics platzieren Sie Verzögerungen (wie Verzögerungsschritte) vor dem Experimentpfad-Schritt und nicht innerhalb eines Experimentpfads. So starten alle Pfade vom selben Punkt aus und Verzögerungen verbrauchen keinen Teil des Konversionsfensters.
Häufig gestellte Fragen
Warum unterscheiden sich die Sendungen zwischen den Pfaden, obwohl die Experiment-Aufteilung gleichmäßig aussieht?
Nachgelagerte Sendungen hängen von den Schritten, Verzögerungen, der Kanalberechtigung und dem Inhalt jedes Pfads ab – nicht nur von der prozentualen Aufteilung im Experimentpfad. Unterschiedliche Verzögerungen, intelligentes Timing oder der Abo-Status können beispielsweise beeinflussen, wie viele Nutzer:innen eine Nachricht erhalten, selbst wenn die Pfadzuweisung ausgeglichen war. Um die Ergebnisse der Pfade zu vergleichen, verwenden Sie die Experimentpfad-Analytics, die Konversionen ab einem gemeinsamen Einstiegspunkt messen.
Wie lange dauert das Konversionsfenster des Experiments?
Das Konversionsfenster unter Additional Settings (1–30 Tage) beginnt, wenn Nutzer:innen den Experimentpfad-Schritt betreten. Die Zeit, die in nachgelagerten Verzögerungsschritten oder beim Warten auf intelligentes Timing verbracht wird, zählt gegen dieses Fenster. Weitere Informationen finden Sie unter Performance verfolgen.