Experimentpfade
Mit Experimentpfaden können Sie mehrere Canvas-Pfade gegeneinander und gegen eine Kontrollgruppe an jedem Punkt der User Journey testen. Mit dieser Komponente können Sie die Performance der Pfade verfolgen, um fundierte Entscheidungen über Ihre Canvas-Journey zu treffen.
Wenn Sie einen Experimentpfad-Schritt in Ihre User Journey einfügen, werden Nutzer:innen zufällig verschiedenen Pfaden (oder einer optionalen Kontrollgruppe) zugewiesen, die Sie erstellen. Teile der Zielgruppe werden den verschiedenen Pfaden gemäß den von Ihnen gewählten Prozentsätzen zugewiesen, sodass Sie verschiedene Nachrichten oder Pfade gegeneinander testen und ermitteln können, welcher am effektivsten ist.
Voraussetzungen
Um Experimentpfade zu verwenden, muss Ihr Canvas Konversions-Events enthalten. Zwar können Sie nach dem Start eines Canvas keine Konversions-Events mehr hinzufügen, aber Sie können den gestarteten Canvas klonen und Konversions-Events hinzufügen, um Experimentpfade zu nutzen.
Anwendungsfälle
Experimentpfade eignen sich am besten zum Testen von Zustellung, Kadenz, Nachrichtentext und Kanalkombinationen.
- Zustellung: Vergleichen Sie die Ergebnisse zwischen Nachrichten, die mit unterschiedlichen zeitlichen Verzögerungen gesendet werden, basierend auf Nutzeraktionen (Aktionspfade) und unter Verwendung von intelligentem Timing.
- Kadenz: Testen Sie mehrere Messaging-Abläufe über einen bestimmten Zeitraum. Sie könnten beispielsweise zwei verschiedene Onboarding-Kadenzen testen:
- Kadenz 1: 2 Nachrichten in den ersten 2 Wochen senden
- Kadenz 2: 3 Nachrichten in den ersten 2 Wochen senden
Beim Targeting passiver Nutzer:innen können Sie die Wirksamkeit von zwei Rückgewinnungs-Nachrichten pro Woche im Vergleich zu nur einer testen.
- Nachrichtentext: Ähnlich wie bei einem Standard-A/B-Test können Sie verschiedene Nachrichtentexte testen, um herauszufinden, welche Formulierung zu einer höheren Konversionsrate führt.
- Kanalkombinationen: Testen Sie die Wirksamkeit verschiedener Nachrichtenkanal-Kombinationen. Sie können beispielsweise die Wirkung einer reinen E-Mail mit der einer E-Mail in Kombination mit einem Push vergleichen.
Einen Experimentpfad erstellen
Um eine Experimentpfad-Komponente zu erstellen, fügen Sie zunächst einen Schritt zu Ihrem Canvas hinzu. Ziehen Sie die Komponente per Drag-and-Drop aus der Seitenleiste, oder klicken Sie auf den Plus-Button am unteren Rand eines Schritts und wählen Sie Experiment Paths.
In der Standardkonfiguration dieser Komponente gibt es zwei Standard-Pfade, Path 1 und Path 2, wobei 50 % der Zielgruppe jeweils einen Pfad durchlaufen. Klicken Sie auf die Komponente, um das Panel Experiment Settings zu öffnen, und Sie sehen die Konfigurationsoptionen für die Komponente.
1. Schritt: Anzahl der Pfade und Zielgruppenverteilung wählen
Sie können bis zu vier Pfade hinzufügen, indem Sie auf Add Path klicken, und eine optionale Kontrollgruppe, indem Sie Add a Control Group aktivieren. Über die Prozentfelder für jeden Pfad können Sie festlegen, welcher Prozentsatz der Zielgruppe jedem Pfad und der Kontrollgruppe zugewiesen werden soll. Die angegebenen Prozentsätze müssen zusammen 100 % ergeben, um fortfahren zu können. Wenn Sie alle verfügbaren Pfade (und die Kontrollgruppe) schnell auf den gleichen Prozentsatz setzen möchten, klicken Sie auf Distribute Paths Evenly.
Sie können auch festlegen, ob Nutzer:innen in der Kontrollgruppe den Canvas weiter durchlaufen oder nach dem Conversion-Tracking-Fenster aussteigen sollen – über das Control Group Behavior. Optional können Sie eine Beschreibung hinzufügen, um anderen zu erklären, was dieser Experimentpfad testen soll, oder zusätzliche Informationen festhalten, die hilfreich sein könnten.
Wenn die erneute Canvas-Berechtigung aktiviert ist, durchlaufen Nutzer:innen, die den Canvas betreten und einen zufällig gewählten Pfad nehmen, denselben Pfad erneut, wenn sie erneut berechtigt werden und den Canvas wieder betreten. Dies gewährleistet die Validität des Experiments und der zugehörigen Analytics. Wenn der Schritt die Pfadzuweisung immer zufällig vornehmen soll, wählen Sie Randomized Paths in Experiment Paths. Diese Option ist nicht verfügbar, wenn Winning Path oder Personalized Paths verwendet werden.
2. Schritt: Winning Path oder Personalized Paths aktivieren (optional)
Sie können Ihr Experiment optimieren, indem Sie Winning Path oder Personalized Paths aktivieren. Beide Optionen testen Ihre Pfade zunächst mit einem Teil Ihrer Zielgruppe. Nach Abschluss des Experiments werden die verbleibenden und nachfolgenden Nutzer:innen entweder über den insgesamt leistungsstärksten Pfad (Winning Path) oder den für jede:n Nutzer:in leistungsstärksten Pfad (Personalized Paths) geleitet.
3. Schritt: Pfade erstellen
Zuletzt müssen Sie Ihre nachgelagerten Pfade aufbauen. Wählen Sie Done und kehren Sie zum Canvas-Builder zurück. Klicken Sie auf den Plus-Button unter jedem Pfad, um Journeys mit den üblichen Canvas-Tools nach Bedarf zu erstellen, und starten Sie den Canvas, wenn Sie bereit sind.
Beachten Sie, dass Pfade und ihre nachgelagerten Schritte nach der Erstellung nicht mehr aus einem Canvas entfernt werden können. Nach dem Start können Sie jedoch die Zielgruppenverteilung über die Pfade nach Bedarf anpassen. Wenn Sie beispielsweise einen Tag nach dem Start eines Canvas anhand der Analytics feststellen, dass ein Pfad den anderen überlegen ist, können Sie diesen Pfad auf 100 % und die anderen auf 0 % setzen. Oder Sie können je nach Bedarf weiterhin Nutzer:innen über mehrere Pfade leiten.
Um eine Kontamination des Experiments zu vermeiden: Wenn Ihr Canvas ein aktives oder laufendes Winning-Path- oder Personalized-Path-Experiment hat und Sie den aktiven Canvas aktualisieren – unabhängig davon, ob Sie den Experimentpfad-Schritt selbst aktualisieren – wird das laufende Experiment beendet und der Experiment-Schritt ermittelt keinen Winning Path oder Personalized Paths. Um das Experiment neu zu starten, können Sie den bestehenden Experimentpfad trennen und einen neuen starten oder den Canvas duplizieren und einen neuen Canvas starten. Andernfalls durchlaufen Nutzer:innen den Experimentpfad, als wäre keine Optimierungsmethode ausgewählt worden. Sie können Personalized Paths oder Winning Paths auch nicht für einen bereits aktiven Canvas mit einem Experimentpfad-Schritt aktivieren.
Weitere Informationen finden Sie unter Canvases nach dem Start bearbeiten.
Performance verfolgen
Wählen Sie auf der Seite Canvas Analytics den Experimentpfad aus, um eine detaillierte Tabelle zu öffnen, die dem Tab Analyze Variants entspricht und detaillierte Performance- und Conversion-Statistiken über die Pfade hinweg vergleicht. Sie können die Tabelle auch als CSV exportieren und prozentuale Veränderungen für relevante Metriken im Vergleich zum ausgewählten Pfad oder der Kontrollgruppe vergleichen.
Jeder Schritt in jedem Pfad zeigt Statistiken in der Canvas Analytics-Ansicht an, genau wie jeder andere Canvas-Schritt. Beachten Sie jedoch, dass die Analytics einzelner Schritte und die Experimentpfad-Analytics Conversions unterschiedlich messen:
- Experimentpfad-Analytics verfolgen Conversions ab dem Zeitpunkt, an dem Nutzer:innen den Experimentpfad-Schritt betreten. Dies ist die empfohlene Ansicht für den Vergleich der Performance über Pfade hinweg, da alle Pfade denselben Startpunkt teilen.
- Analytics einzelner Schritte (z. B. Nachrichten-Schritt-Analytics) verfolgen Conversions ab dem Zeitpunkt, an dem Nutzer:innen den jeweiligen Schritt erhalten (z. B. wenn die Nachricht gesendet wird).
Da diese Conversion-Fenster unterschiedliche Startpunkte haben, können sie unterschiedliche Konversionsraten für denselben Pfad anzeigen – insbesondere wenn es Verzögerungen zwischen dem Experiment-Schritt und einer nachgelagerten Nachricht gibt. Für den zuverlässigsten Vergleich über Pfade hinweg verwenden Sie die Experimentpfad-Analytics.
Winning Path und Personalized Paths – Performance
Nutzen Sie Winning Paths, um die Performance über einen Zeitraum zu verfolgen und nachfolgende Nutzer:innen dann automatisch über den leistungsstärksten Pfad zu leiten. Weitere Informationen zu den Analytics, wenn Winning Path oder Personalized Paths für Ihr Experiment aktiviert sind, finden Sie unter:
Die Gewinner-Metrik und die in den Experimentpfaden angezeigten Analytics können sich unterscheiden:
- Das Konversions-Event, das Sie für Winning Path oder Personalized Paths konfigurieren, bestimmt, wie Braze Pfade vergleicht und während des Experiment-Fensters einen Gewinner auswählt.
- Die Experimentpfad-Analytics folgen weiterhin dem gleichen Canvas-Konversions-Events-Framework wie der Rest des Canvas, einschließlich Ihres primären Konversions-Events. Daher stimmen die im Dashboard hervorgehobenen Metriken möglicherweise nicht mit der Gewinner-Metrik überein.
- Bei Push unterscheiden sich Direkte Öffnungen und Gesamtöffnungen. Weitere Informationen finden Sie unter Beeinflusste Öffnungen.
Zusätzliche Einstellungen
Experimentpfade erfassen Nutzer:innen, die jeden Schritt betreten und während des zugewiesenen Pfads konvertieren. Dies verfolgt alle im Canvas-Setup festgelegten Konversions-Events. Geben Sie im Tab Additional Settings ein, wie viele Tage (zwischen 1 und 30) dieses Experiment Conversions verfolgen soll. Das hier angegebene Zeitfenster bestimmt, wie lange Konversions-Events (die im Canvas-Setup ausgewählt wurden) für das Experiment verfolgt werden. Die im Canvas-Setup festgelegten Conversion-Fenster pro Event gelten nicht für das Tracking dieses Schritts und werden durch dieses Conversion-Fenster ersetzt.
Das Conversion-Fenster beginnt, wenn Nutzer:innen den Experimentpfad-Schritt betreten, nicht wenn eine nachgelagerte Nachricht gesendet wird. Wenn ein Pfad Verzögerungen enthält – wie einen Verzögerungsschritt oder intelligentes Timing – verbrauchen diese Verzögerungen einen Teil des Conversion-Fensters.
Wenn Sie intelligentes Timing bei einem Nachrichten-Schritt innerhalb eines Experimentpfads verwenden, reduziert die Zeit zwischen dem Experiment-Eintritt und dem tatsächlichen Nachrichtenversand das effektive Conversion-Fenster für diesen Pfad. Wenn Ihr Experiment beispielsweise ein 5-Tage-Conversion-Fenster hat und intelligentes Timing die Nachricht um 2 Tage verzögert, haben Nutzer:innen auf diesem Pfad nur 3 Tage nach Erhalt der Nachricht, um innerhalb des Experiment-Fensters zu konvertieren – obwohl die Analytics des Nachrichten-Schritts selbst Conversions ab dem Zeitpunkt des Nachrichtenversands verfolgen.
Für sauberere Experiment-Analytics platzieren Sie Verzögerungen (wie Verzögerungsschritte) vor dem Experimentpfad-Schritt und nicht innerhalb eines Experimentpfads. So starten alle Pfade vom gleichen Punkt aus und Verzögerungen verbrauchen keinen Teil des Conversion-Fensters.
Häufig gestellte Fragen
Warum unterscheiden sich die Sendungen zwischen Pfaden, obwohl die Experiment-Aufteilung gleichmäßig aussieht?
Nachgelagerte Sendungen hängen von den Schritten, Verzögerungen, der Kanalberechtigung und dem Inhalt jedes Pfads ab – nicht nur von der prozentualen Aufteilung am Experimentpfad. Beispielsweise können unterschiedliche Verzögerungen, intelligente Sendezeiten oder der Abo-Status beeinflussen, wie viele Nutzer:innen eine Nachricht erhalten, selbst wenn die Pfadzuweisung ausgewogen war. Um die Ergebnisse der Pfade zu vergleichen, verwenden Sie die Experimentpfad-Analytics, die Conversions ab einem gemeinsamen Einstiegspunkt messen.
Wie lange dauert das Experiment-Conversion-Fenster?
Das Conversion-Fenster unter Additional Settings (1–30 Tage) beginnt, wenn Nutzer:innen den Experimentpfad-Schritt betreten. Die Zeit, die in nachgelagerten Verzögerungsschritten oder beim Warten auf intelligentes Timing verbracht wird, wird auf dieses Fenster angerechnet. Weitere Details finden Sie unter Performance verfolgen.