Experimentpfade
Mit Experimentpfaden können Sie mehrere Canvas-Pfade gegeneinander und gegen eine Kontrollgruppe an jedem Punkt der User Journey testen. Mit dieser Komponente können Sie die Performance der Pfade verfolgen, um fundierte Entscheidungen über Ihre Canvas-Journey zu treffen.
Wenn Sie einen Experimentpfad-Schritt in Ihre User Journey einfügen, werden Nutzer:innen zufällig verschiedenen Pfaden (oder einer optionalen Kontrollgruppe) zugewiesen, die Sie erstellen. Teile der Zielgruppe werden den verschiedenen Pfaden gemäß den von Ihnen gewählten Prozentsätzen zugewiesen, sodass Sie verschiedene Nachrichten oder Pfade gegeneinander testen und ermitteln können, welcher am effektivsten ist.
Voraussetzungen
Um Experimentpfade verwenden zu können, muss Ihr Canvas Konversions-Events enthalten. Konversions-Events können zwar nicht mehr hinzugefügt werden, nachdem ein Canvas gestartet wurde, Sie können jedoch das gestartete Canvas klonen und Konversions-Events hinzufügen, um Experimentpfade zu nutzen.
Anwendungsfälle
Experimentpfade eignen sich besonders gut zum Testen von Zustellung, Kadenz, Nachrichtentext und Kanalkombinationen.
- Zustellung: Vergleichen Sie die Ergebnisse von Nachrichten, die mit unterschiedlichen zeitlichen Verzögerungen gesendet werden, basierend auf Nutzer:innen-Aktionen (Aktionspfade) und unter Verwendung von intelligentem Timing.
- Kadenz: Testen Sie mehrere Messaging-Flows über einen bestimmten Zeitraum. Sie könnten beispielsweise zwei verschiedene Onboarding-Kadenzen testen:
- Kadenz 1: 2 Nachrichten in den ersten 2 Wochen der Nutzer:innen senden
- Kadenz 2: 3 Nachrichten in den ersten 2 Wochen der Nutzer:innen senden
Beim Targeting passiver Nutzer:innen können Sie die Effektivität von zwei Rückgewinnungs-Nachrichten pro Woche im Vergleich zu nur einer testen.
- Nachrichtentext: Ähnlich wie bei einem standardmäßigen A/B-Test können Sie verschiedene Nachrichtentexte testen, um zu sehen, welche Formulierung zu einer höheren Konversionsrate führt.
- Kanalkombinationen: Testen Sie die Effektivität verschiedener Nachrichtenkanal-Kombinationen. Sie können beispielsweise die Wirkung einer reinen E-Mail mit der einer E-Mail in Kombination mit einem Push vergleichen.
Einen Experimentpfad erstellen
Um eine Experimentpfad-Komponente zu erstellen, fügen Sie zunächst einen Schritt zu Ihrem Canvas hinzu. Ziehen Sie die Komponente per Drag-and-Drop aus der Seitenleiste oder wählen Sie den Plus-Button am unteren Ende eines Schritts und wählen Sie Experimentpfade.
In der Standardkonfiguration dieser Komponente gibt es zwei Standardpfade, Path 1 und Path 2, wobei jeweils 50 % der Zielgruppe auf jeden Pfad geleitet werden. Wählen Sie die Komponente aus, um das Panel Experiment Settings zu erweitern und die Konfigurationsoptionen für die Komponente anzuzeigen.
Schritt 1: Anzahl der Pfade und Zielgruppenverteilung festlegen
Sie können bis zu vier Pfade hinzufügen, indem Sie Add Path auswählen, sowie eine optionale Kontrollgruppe, indem Sie Add a Control Group auswählen. Über die Prozentfelder für jeden Pfad können Sie angeben, welcher Prozentsatz der Zielgruppe auf welchen Pfad und in die Kontrollgruppe geleitet werden soll. Die angegebenen Prozentsätze müssen in der Summe 100 % ergeben, um fortzufahren. Wenn Sie alle verfügbaren Pfade (und die Kontrollgruppe) schnell auf denselben Prozentsatz setzen möchten, wählen Sie Distribute Paths Evenly.
Sie können auch festlegen, ob Nutzer:innen in der Kontrollgruppe den Canvas fortsetzen oder nach dem Konversions-Tracking-Fenster verlassen sollen, indem Sie das Control Group Behavior konfigurieren. Optional können Sie eine Beschreibung hinzufügen, um anderen zu erklären, was dieser Experimentpfad testen soll, oder zusätzliche Informationen ergänzen, die hilfreich sein könnten.
Wenn die erneute Canvas-Berechtigung aktiviert ist, durchlaufen Nutzer:innen, die den Canvas betreten und einem zufällig gewählten Pfad zugewiesen werden, denselben Pfad erneut, wenn sie erneut berechtigt werden und den Canvas wieder betreten. Dies gewährleistet die Validität des Experiments und der zugehörigen Analytics. Um die Pfadzuweisung bei jedem erneuten Eintritt zu randomisieren, wählen Sie Randomized Paths in Experiment Paths. Diese Option ist bei Verwendung von Winning Path nicht verfügbar.
Schritt 2: Winning Path aktivieren (optional)
Um Ihr Experiment zu optimieren, aktivieren Sie Winning Path. Winning Path testet Ihre Pfade zunächst mit einem Teil der Zielgruppe. Nach Abschluss des Experiments leitet Braze die verbleibenden und nachfolgenden Nutzer:innen über den Pfad mit der besten Performance.
Personalized Paths ist für neue Experimentpfad-Schritte nicht verfügbar. Bestehende Schritte, die Personalized Paths verwenden, werden weiterhin ausgeführt.
Schritt 3: Pfade erstellen
Erstellen Sie als Nächstes Ihre nachgelagerten Pfade. Wählen Sie Done und kehren Sie zum Canvas-Builder zurück. Wählen Sie den Plus-Button unter jedem Pfad, um Journeys mit den üblichen Canvas-Tools nach Bedarf zu erstellen, und starten Sie den Canvas, wenn Sie bereit sind.
Beachten Sie, dass Pfade und ihre nachgelagerten Schritte nach der Erstellung nicht mehr aus einem Canvas entfernt werden können. Nach dem Start können Sie jedoch die Zielgruppenverteilung auf die Pfade nach Bedarf anpassen. Wenn Sie beispielsweise einen Tag nach dem Start eines Canvas anhand der Analytics feststellen, dass ein Pfad den anderen überlegen ist, können Sie diesen Pfad auf 100 % und die anderen auf 0 % setzen. Oder Sie können je nach Bedarf weiterhin Nutzer:innen über mehrere Pfade leiten.
Um eine Kontaminierung des Experiments zu verhindern, beendet die Aktualisierung eines aktiven Canvas mit einem laufenden Winning-Path-Experiment das Experiment. Dies gilt auch dann, wenn Sie den Experimentpfad-Schritt nicht aktualisieren. Um das Experiment neu zu starten, trennen Sie den bestehenden Experimentpfad und starten Sie einen neuen, oder duplizieren Sie den Canvas und starten Sie das Duplikat. Sie können Winning Path nicht für einen bereits aktiven Canvas mit einem Experimentpfad-Schritt aktivieren.
Weitere Informationen finden Sie unter Canvases nach dem Start bearbeiten.
Performance-Tracking
Wählen Sie auf der Seite Canvas Analytics den Experimentpfad aus, um eine detaillierte Tabelle zu öffnen, die dem Tab Analyze Variants entspricht und detaillierte Performance- und Konversionsstatistiken pfadübergreifend vergleicht. Sie können die Tabelle auch als CSV exportieren und prozentuale Veränderungen für relevante Metriken im Vergleich zum ausgewählten Pfad oder zur Kontrollgruppe anzeigen.
Jeder Schritt in jedem Pfad zeigt Statistiken in der Ansicht Canvas Analytics an, genau wie jeder andere Canvas-Schritt. Beachten Sie jedoch, dass die Analytics einzelner Schritte und die Experimentpfad-Analytics Konversionen unterschiedlich messen:
- Experimentpfad-Analytics erfassen Konversionen ab dem Zeitpunkt, zu dem Nutzer:innen den Experimentpfad-Schritt betreten. Dies ist die empfohlene Ansicht für den Performance-Vergleich zwischen Pfaden, da alle Pfade denselben Ausgangspunkt haben.
- Analytics einzelner Schritte (z. B. Analytics eines Nachrichtenschritts) erfassen Konversionen ab dem Zeitpunkt, zu dem Nutzer:innen den jeweiligen Schritt erhalten (beispielsweise wenn die Nachricht gesendet wird).
Da diese Konversionsfenster unterschiedliche Ausgangspunkte haben, können sie unterschiedliche Konversionsraten für denselben Pfad anzeigen – insbesondere wenn zwischen dem Experimentschritt und einer nachgelagerten Nachricht Verzögerungen auftreten. Für den zuverlässigsten Vergleich zwischen Pfaden verwenden Sie die Experimentpfad-Analytics.
Winning-Path-Performance
Verwenden Sie Winning Path, um die Performance im Zeitverlauf zu verfolgen und nachfolgende Nutzer:innen automatisch über den Pfad mit der besten Performance zu leiten. Weitere Informationen finden Sie unter Winning-Path-Analytics.
Die Gewinner-Metrik und die in Experimentpfaden angezeigten Analytics können sich unterscheiden:
- Das Konversions-Event, das Sie für Winning Path konfigurieren, bestimmt, wie Braze Pfade vergleicht und während des Experimentfensters einen Gewinner auswählt.
- Experimentpfad-Analytics folgen demselben Framework für Canvas-Konversions-Events wie der Rest des Canvas, einschließlich Ihres primären Konversions-Events. Daher stimmen die im Dashboard hervorgehobenen Metriken möglicherweise nicht mit der Gewinner-Metrik überein.
- Bei Push unterscheiden sich Direct Opens und Total Opens. Weitere Informationen finden Sie unter Influenced Opens.
Zusätzliche Einstellungen
Experimentpfade erfassen Nutzer:innen, die jeden Schritt betreten und während des zugewiesenen Pfads konvertieren. Dabei werden alle im Canvas-Setup festgelegten Konversions-Events berücksichtigt. Geben Sie im Tab Additional Settings ein, wie viele Tage (zwischen 1 und 30) dieses Experiment Konversionen verfolgen soll. Das hier angegebene Zeitfenster bestimmt, wie lange die (im Canvas-Setup festgelegten) Konversions-Events für das Experiment erfasst werden. Die im Canvas-Setup festgelegten Konversionsfenster pro Event gelten nicht für das Tracking dieses Schritts und werden durch dieses Konversionsfenster ersetzt.
Das Konversionsfenster beginnt, wenn Nutzer:innen den Experimentpfad-Schritt betreten, nicht wenn eine nachgelagerte Nachricht gesendet wird. Wenn ein Pfad Verzögerungen enthält – wie einen Delay-Schritt oder intelligentes Timing – verbrauchen diese Verzögerungen einen Teil des Konversionsfensters.
Wenn Sie intelligentes Timing bei einem Nachrichtenschritt innerhalb eines Experimentpfads verwenden, reduziert die Zeit zwischen dem Eintritt in das Experiment und dem tatsächlichen Nachrichtenversand das effektive Konversionsfenster für diesen Pfad. Beispiel: Wenn Ihr Experiment ein 5-Tage-Konversionsfenster hat und intelligentes Timing die Nachricht um 2 Tage verzögert, haben Nutzer:innen auf diesem Pfad nur noch 3 Tage nach Erhalt der Nachricht, um innerhalb des Experimentfensters zu konvertieren – obwohl die Analytics des Nachrichtenschritts selbst Konversionen ab dem Zeitpunkt des Nachrichtenversands erfassen.
Für aussagekräftigere Experiment-Analytics platzieren Sie etwaige Verzögerungen (wie Delay-Schritte) vor dem Experimentpfad-Schritt und nicht innerhalb eines Experimentpfads. So starten alle Pfade vom selben Punkt und Verzögerungen verbrauchen keinen Teil des Konversionsfensters.
Häufig gestellte Fragen
Warum unterscheiden sich die Sends zwischen den Pfaden, obwohl der Experiment-Split gleichmäßig aussieht?
Nachgelagerte Sends hängen von den Schritten, Verzögerungen, der Kanalberechtigung und dem Inhalt jedes Pfades ab – nicht nur vom prozentualen Split am Experimentpfad. Beispielsweise können unterschiedliche Verzögerungen, intelligentes Timing oder der Abo-Status beeinflussen, wie viele Nutzer:innen eine Nachricht erhalten, selbst wenn die Pfadzuweisung ausgeglichen war. Um Pfadergebnisse zu vergleichen, verwenden Sie die Experimentpfad-Analytics, die Konversionen ab einem gemeinsamen Einstiegspunkt messen.
Wie lange dauert das Konversionsfenster des Experiments?
Das Konversionsfenster unter Additional Settings (1–30 Tage) beginnt, wenn Nutzer:innen den Experimentpfad-Schritt betreten. Die Zeit, die in nachgelagerten Verzögerungsschritten oder beim Warten auf intelligentes Timing verbracht wird, wird auf dieses Fenster angerechnet. Weitere Details finden Sie unter Performance tracken.