Experimentpfade
Mit Experimentpfaden können Sie mehrere Canvas-Pfade gegeneinander und gegen eine Kontrollgruppe an jedem Punkt der User Journey testen. Mit dieser Komponente können Sie die Performance der Pfade verfolgen, um fundierte Entscheidungen über Ihre Canvas-Journey zu treffen.
Wenn Sie einen Experimentpfad-Schritt in Ihre User Journey einfügen, werden Nutzer:innen zufällig verschiedenen Pfaden (oder einer optionalen Kontrollgruppe) zugewiesen, die Sie erstellen. Teile der Zielgruppe werden den verschiedenen Pfaden gemäß den von Ihnen gewählten Prozentsätzen zugewiesen, sodass Sie verschiedene Nachrichten oder Pfade gegeneinander testen und ermitteln können, welcher am effektivsten ist.
Voraussetzungen
Um Experimentpfade verwenden zu können, muss Ihr Canvas Konversions-Events enthalten. Sie können zwar nach dem Start eines Canvas keine Konversions-Events mehr hinzufügen, aber Sie können das gestartete Canvas klonen und Konversions-Events hinzufügen, um Experimentpfade einzusetzen.
Anwendungsfälle
Experimentpfade eignen sich am besten zum Testen von Zustellung, Kadenz, Nachrichtentext und Kanalkombinationen.
- Zustellung: Vergleichen Sie die Ergebnisse von Nachrichten, die mit unterschiedlichen Verzögerungen, basierend auf Nutzeraktionen (Aktionspfade) oder mit intelligentem Timing gesendet wurden.
- Kadenz: Testen Sie mehrere Messaging-Abläufe über einen bestimmten Zeitraum. Sie könnten zum Beispiel zwei verschiedene Onboarding-Kadenzen testen:
- Kadenz 1: 2 Nachrichten in den ersten 2 Wochen der Nutzer:innen senden
- Kadenz 2: 3 Nachrichten in den ersten 2 Wochen der Nutzer:innen senden
Beim Targeting passiver Nutzer:innen können Sie testen, ob zwei Rückgewinnungsnachrichten pro Woche wirksamer sind als nur eine.
- Nachrichtentext: Ähnlich wie bei einem standardmäßigen A/B-Test können Sie verschiedene Nachrichtentexte testen, um herauszufinden, welche Formulierung zu einer höheren Konversionsrate führt.
- Kanalkombinationen: Testen Sie die Wirksamkeit verschiedener Kombinationen von Nachrichtenkanälen. Sie können zum Beispiel die Wirkung einer einzelnen E-Mail mit der einer E-Mail in Kombination mit einer Push-Nachricht vergleichen.
Experimentpfad erstellen
Um eine Experimentpfad-Komponente zu erstellen, fügen Sie Ihrem Canvas zunächst einen Schritt hinzu. Ziehen Sie die Komponente per Drag-and-drop aus der Seitenleiste, oder wählen Sie den Plus-Button unten an einem Schritt und dann Experimentpfade aus.
In der Standardkonfiguration dieser Komponente gibt es zwei Standardpfade, Pfad 1 und Pfad 2, über die jeweils 50 % der Zielgruppe geleitet werden. Wählen Sie die Komponente aus, um das Panel Experiment-Einstellungen zu erweitern und die Konfigurationsoptionen der Komponente anzuzeigen.
Schritt 1: Anzahl der Pfade und Verteilung der Zielgruppe festlegen
Sie können bis zu vier Pfade hinzufügen, indem Sie Pfad hinzufügen auswählen, und optional eine Kontrollgruppe, indem Sie Kontrollgruppe hinzufügen auswählen. In den Prozentfeldern der einzelnen Pfade legen Sie fest, welcher Prozentsatz der Zielgruppe in den jeweiligen Pfad und in die Kontrollgruppe gelangen soll. Die angegebenen Prozentsätze müssen zusammen 100 % ergeben, damit Sie fortfahren können. Wenn Sie allen verfügbaren Pfaden (und der Kontrollgruppe) schnell denselben Prozentsatz zuweisen möchten, wählen Sie Pfade gleichmäßig verteilen aus.
Unter Verhalten der Kontrollgruppe können Sie außerdem festlegen, ob Nutzer:innen in der Kontrollgruppe nach Ablauf des Konversions-Tracking-Fensters im Canvas weitergeleitet werden oder es verlassen sollen. Optional können Sie eine Beschreibung hinzufügen, um anderen zu erklären, was mit diesem Experimentpfad getestet werden soll, oder um weitere hilfreiche Informationen festzuhalten.
Wenn die erneute Teilnahmeberechtigung für Canvas aktiviert ist, durchlaufen Nutzer:innen, die in das Canvas eintreten und einem zufällig gewählten Pfad folgen, denselben Pfad erneut, wenn sie wieder teilnahmeberechtigt sind und erneut in das Canvas eintreten. So bleiben das Experiment und die zugehörigen Analytics valide. Um die Pfadzuweisung bei jedem erneuten Eintritt zu randomisieren, wählen Sie Randomisierte Pfade in Experimentpfaden aus. Diese Option ist nicht verfügbar, wenn Sie Winning Path verwenden.
Schritt 2: Winning Path aktivieren (optional)
Um Ihr Experiment zu optimieren, aktivieren Sie Winning Path. Winning Path testet Ihre Pfade zunächst mit einem Teil der Zielgruppe. Nach Ende des Experiments leitet Braze die verbleibenden und nachfolgenden Nutzer:innen über den Pfad mit der besten Performance.
Personalisierte Pfade sind für neue Experimentpfad-Schritte nicht verfügbar. Bestehende Schritte, die personalisierte Pfade verwenden, laufen weiter.
Schritt 3: Pfade erstellen
Erstellen Sie als Nächstes Ihre nachgelagerten Pfade. Wählen Sie Fertig aus und kehren Sie zum Canvas-Builder zurück. Wählen Sie den Plus-Button unter jedem Pfad aus, um mit den üblichen Canvas-Tools nach Bedarf Journeys zu erstellen, und starten Sie das Canvas, sobald Sie bereit sind.
Beachten Sie, dass Pfade und ihre nachgelagerten Schritte nach dem Erstellen nicht mehr aus einem Canvas entfernt werden können. Nach dem Start können Sie die Verteilung der Zielgruppe auf die Pfade jedoch nach Bedarf anpassen. Wenn Sie beispielsweise einen Tag nach dem Start eines Canvas anhand der Analytics feststellen, dass ein Pfad den anderen überlegen ist, können Sie diesen Pfad auf 100 % und die anderen auf 0 % setzen. Je nach Bedarf können Sie Nutzer:innen aber auch weiterhin über mehrere Pfade leiten.
Um eine Verfälschung des Experiments zu vermeiden, wird ein laufendes Winning-Path-Experiment beendet, wenn Sie ein aktives Canvas aktualisieren. Das gilt auch dann, wenn Sie den Experimentpfad-Schritt selbst nicht ändern. Um das Experiment neu zu starten, trennen Sie den bestehenden Experimentpfad und starten Sie einen neuen, oder duplizieren Sie das Canvas und starten Sie das Duplikat. Für ein bereits aktives Canvas mit einem Experimentpfad-Schritt können Sie Winning Path nicht aktivieren.
Weitere Informationen finden Sie unter Canvases nach dem Start bearbeiten.
Performance tracken
Wählen Sie auf der Seite Canvas-Analytics den Experimentpfad aus, um eine detaillierte Tabelle zu öffnen. Sie entspricht dem Tab Varianten analysieren und ermöglicht es Ihnen, detaillierte Performance- und Konversionsstatistiken der einzelnen Pfade zu vergleichen. Sie können die Tabelle auch als CSV exportieren und die prozentualen Veränderungen relevanter Metriken im Verhältnis zum ausgewählten Pfad oder zur Kontrollgruppe vergleichen.
Jeder Schritt in jedem Pfad zeigt wie jeder andere Canvas-Schritt Statistiken in der Ansicht Canvas-Analytics an. Beachten Sie jedoch, dass die Analytics einzelner Schritte und die Experimentpfad-Analytics Konversionen unterschiedlich messen:
- Experimentpfad-Analytics tracken Konversionen ab dem Zeitpunkt, an dem Nutzer:innen den Experimentpfad-Schritt betreten. Diese Ansicht empfehlen wir für den Vergleich der Performance verschiedener Pfade, da alle Pfade denselben Startpunkt haben.
- Analytics einzelner Schritte (z. B. Analytics für Nachrichten-Schritte) tracken Konversionen ab dem Zeitpunkt, an dem Nutzer:innen den jeweiligen Schritt erhalten (z. B. wenn die Nachricht versendet wird).
Da diese Konversionsfenster unterschiedliche Startpunkte haben, können sie für denselben Pfad unterschiedliche Konversionsraten anzeigen – insbesondere, wenn zwischen dem Experiment-Schritt und einer nachgelagerten Nachricht Verzögerungen liegen. Für den zuverlässigsten Vergleich zwischen Pfaden verwenden Sie die Experimentpfad-Analytics.
Performance von Winning Path
Mit Winning Path können Sie die Performance im Zeitverlauf tracken und nachfolgende Nutzer:innen automatisch über den Pfad mit der besten Performance leiten. Wenn Winning Path aktiviert ist, sind die Experimentpfad-Analytics erst nach Abschluss des Experiments verfügbar. Weitere Informationen finden Sie unter Winning-Path-Analytics.
Die Gewinnermetrik und die in Experimentpfaden angezeigten Analytics können voneinander abweichen:
- Das Konversions-Event, das Sie für Winning Path konfigurieren, bestimmt, wie Braze die Pfade vergleicht und während des Experimentzeitraums einen Gewinner auswählt.
- Die Experimentpfad-Analytics folgen weiterhin demselben Framework für Konversions-Events wie der Rest des Canvas, einschließlich Ihres primären Konversions-Events. Daher stimmen die im Dashboard hervorgehobenen Metriken möglicherweise nicht mit der Gewinnermetrik überein.
- Bei Push unterscheiden sich Direkte Öffnungen und Öffnungen insgesamt. Weitere Informationen finden Sie unter Beeinflusste Öffnungen.
Zusätzliche Einstellungen
Experimentpfade erfassen Nutzer:innen, die einen Schritt betreten und innerhalb des zugewiesenen Pfads konvertieren. Dabei werden alle im Canvas-Setup festgelegten Konversions-Events getrackt. Geben Sie im Tab Zusätzliche Einstellungen an, wie viele Tage (zwischen 1 und 30) dieses Experiment Konversionen tracken soll. Das hier festgelegte Zeitfenster bestimmt, wie lange die (im Canvas-Setup ausgewählten) Konversions-Events für das Experiment getrackt werden. Die im Canvas-Setup festgelegten Konversionsfenster pro Event gelten nicht für das Tracking dieses Schritts und werden durch dieses Konversionsfenster ersetzt.
Das Konversionsfenster beginnt, wenn Nutzer:innen den Experimentpfad-Schritt betreten, nicht wenn eine nachgelagerte Nachricht versendet wird. Enthält ein Pfad Verzögerungen – etwa einen Verzögerungsschritt oder intelligentes Timing –, verbrauchen diese Verzögerungen einen Teil des Konversionsfensters.
Wenn Sie intelligentes Timing in einem Nachrichten-Schritt innerhalb eines Experimentpfads verwenden, verkürzt die Zeit zwischen dem Eintritt in das Experiment und dem tatsächlichen Versand der Nachricht das effektive Konversionsfenster für diesen Pfad. Wenn Ihr Experiment beispielsweise ein Konversionsfenster von 5 Tagen hat und intelligentes Timing die Nachricht um 2 Tage verzögert, bleiben Nutzer:innen auf diesem Pfad nach Erhalt der Nachricht nur 3 Tage, um innerhalb des Experimentfensters zu konvertieren – obwohl die Analytics des Nachrichten-Schritts selbst Konversionen ab dem Zeitpunkt des Nachrichtenversands tracken.
Für aussagekräftigere Experiment-Analytics platzieren Sie Verzögerungen (z. B. Verzögerungsschritte) vor dem Experimentpfad-Schritt statt innerhalb eines Experimentpfads. So starten alle Pfade am selben Punkt, und Verzögerungen verbrauchen keinen Teil des Konversionsfensters.
Häufig gestellte Fragen
Warum unterscheiden sich die Sendungen zwischen den Pfaden, obwohl die Aufteilung im Experiment gleichmäßig aussieht?
Die nachgelagerten Sendungen hängen von den Schritten, Verzögerungen, der Kanalberechtigung und dem Inhalt des jeweiligen Pfads ab, nicht nur von der prozentualen Aufteilung im Experimentpfad. So können beispielsweise unterschiedliche Verzögerungen, intelligente Sendezeiten oder der Abo-Status beeinflussen, wie viele Nutzer:innen eine Nachricht erhalten, selbst wenn die Zuweisung zu den Pfaden ausgeglichen war. Um die Ergebnisse der Pfade zu vergleichen, verwenden Sie die Analytics für Experimentpfade. Diese messen Konversionen ab einem gemeinsamen Entry-Punkt.
Wie lange dauert das Konversionsfenster des Experiments?
Das Konversionsfenster unter Zusätzliche Einstellungen (1–30 Tage) beginnt, sobald Nutzer:innen den Experimentpfad-Schritt betreten. Die Zeit, die in nachgelagerten Verzögerungsschritten oder beim Warten auf intelligentes Timing vergeht, wird auf dieses Fenster angerechnet. Weitere Details finden Sie unter Performance tracken.