Skip to content

BrazeAITM-Variantenauswahl

Die BrazeAITM-Variantenauswahl ist ein Feature, das Ihren einmaligen oder wiederkehrenden A/B-Tests ermöglicht, automatisch ein Experiment durchzuführen und für die besten Engagement-Ergebnisse zu optimieren.

Voraussetzungen

Um die BrazeAITM-Variantenauswahl zu verwenden, benötigen Sie Folgendes in Ihrer Campaign oder Ihrem Canvas:

  • Fügen Sie mindestens zwei Nachrichtenvarianten hinzu.
  • Wenn Sie keinen Einzelversand verwenden, definieren Sie mindestens ein Konversions-Event und setzen Sie Ihr Fenster für die erneute Berechtigung auf 24 Stunden oder länger. Kürzere Fenster werden nicht unterstützt, da sie die Integrität der Kontrollvariante beeinträchtigen würden.
  • Fügen Sie mindestens zwei Nachrichtenvarianten in einem Nachrichtenschritt hinzu.
  • Wenn Sie keinen Einzelversand verwenden, benötigen Sie mindestens ein Konversions-Event.

Einzelversand

Nachdem Sie Ihre zweite Variante hinzugefügt haben, schaltet sich die BrazeAITM-Variantenauswahl automatisch ein, legt optimale Parameter für das Experiment fest (wir haben eine Steigerung von ca. 25 % bei Verwendung der optimalen Parameter beobachtet), führt Ihr Experiment durch und sendet dann die Gewinnervariante. Sie müssen nichts weiter tun.

Um Ihr Experiment anzupassen, bieten wir die folgenden Anpassungsmöglichkeiten:

Optimierungsziel

Wir empfehlen die Verwendung von Öffnungen, es sei denn, Sie haben ein starkes Konversions-Event-Setup mit einer aussagekräftigen Anzahl von Conversions, damit der Algorithmus die Daten hat, die er für die besten Ergebnisse benötigt.

  • Öffnungen
  • Konversions-Events

Experimentdauer

Wir empfehlen die Verwendung der Standardeinstellung; wir bieten jedoch zwei weitere Optionen an, einschließlich der Möglichkeit, eine eigene benutzerdefinierte Dauer zu verwenden:

  • 4 Stunden
  • 24 Stunden
  • 72 Stunden
  • Benutzerdefiniert

Kontrollgruppe und Variantenverteilungen

Sie können eine Kontrollgruppe entfernen oder die Variantenverteilungen bearbeiten, aber wir empfehlen die Verwendung der von uns festgelegten optimalen Parameter.

Optimierungsoptionen für Einzelversand-Varianten

Wiederkehrend

Nachdem Sie Ihre zweite Variante hinzugefügt haben, schaltet sich die BrazeAITM-Variantenauswahl automatisch ein und optimiert kontinuierlich mithilfe eines statistischen Multi-Armed-Bandit-Tests. Sie sendet mehr Nachrichten an die Varianten, die besser abschneiden, und weniger an diejenigen, die schlechter abschneiden.

Sie beginnt mit einer gleichmäßigen Verteilung zum Trainieren und Optimieren und verschiebt dann zweimal täglich die Verteilung in Richtung der leistungsstarken Varianten und weg von den leistungsschwachen, bis sie genügend Evidenz gesammelt hat, um mit ausreichender Konfidenz (95 %+) sicher zu sein, dass sie die optimale Verteilung gewählt hat.

Berichterstattung

Uplift-Berichterstattung

Nach Abschluss des Tests für den Einzelversand und nach einer kurzen Verzögerung für den wiederkehrenden Versand liegen zuverlässige Daten für die Berichterstattung vor. Wir berichten über jede Steigerung, die die BrazeAITM-Variantenauswahl im Dashboard erzielen konnte.

Nach dem Versand der Trainingskohorte wartet Braze den in der Dauereinstellung festgelegten Zeitraum ab und überprüft die Daten. Basierend auf der Verteilung der konkurrierenden Varianten berechnen wir einen Durchschnitt dessen, wie die Performance ohne Optimierung aussehen würde, und berechnen dann die Steigerung basierend auf der Gewinnervariante.

Zum Beispiel (bei gleichmäßiger Verteilung):

  • Variante 1: 3,5 %
  • Variante 2: 3 %
  • Variante 3: 2,5 %
  • Variante 4: 2 %

Die Öffnungsrate ohne Optimierung beträgt 2,75 % (0,0350,25 + 0,030,25 + 0,0250,25 + 0,020,25). Die Variantenauswahl wählt Variante 1 mit 3,5 %, sodass die Steigerung 27,3 % beträgt.

Braze analysiert routinemäßig die Ergebnisse, wenn Anpassungen vorgenommen werden, und zeigt die Steigerung basierend auf dem Durchschnitt der Steigerung jedes Zeitraums an.

Wir berechnen die Steigerung des Zeitraums basierend darauf, wie stark wir anpassen, ähnlich wie beim Einzelversand.

Zum Beispiel:

  • Variante 1: 3,5 %, 25 % der Kohorte
  • Variante 2: 3 %, 25 % der Kohorte
  • Variante 3: 2,5 %, 25 % der Kohorte
  • Variante 4: 2 %, 25 % der Kohorte

Die Öffnungsrate ohne Optimierung beträgt 2,75 % (0,0350,25 + 0,030,25 + 0,0250,25 + 0,020,25). Die Variantenauswahl gewichtet die leistungsstärkeren Varianten stärker.

Nehmen wir an, sie verteilt wie folgt:

  • Variante 1: 65 %
  • Variante 2: 15 %
  • Variante 3: 10 %
  • Variante 4: 5 %

Dies ergibt eine gewählte Öffnungsrate von 3,075 % (0,0350,65 + 0,030,15 + 0,0250,1 + 0,020,05), was einer Steigerung von 11,8 % entspricht. Wir berechnen dies für jeden Zeitraum und bilden dann den Durchschnitt über den gesamten Optimierungszeitraum.

Häufig gestellte Fragen

Warum ist die erneute Berechtigung in weniger als 24 Stunden nicht verfügbar, wenn sie mit der Variantenauswahl für wiederkehrende Campaigns oder Canvases kombiniert wird?

Wir erlauben es nicht, dass Campaigns mit Variantenauswahl eine erneute Berechtigung in einem zu kurzen Fenster haben, da unsere Tests zeigen, dass dies die Integrität der Kontrollvariante beeinträchtigt und möglicherweise zu unerwünschten Verteilungen führt.

Warum zeigen meine Varianten in den frühen Phasen meiner wiederkehrenden Campaign gleichmäßige Versendungen?

Die Variantenauswahl bestimmt die endgültigen Variantenzuweisungen erst nach einer Trainingsphase, in der die Versendungen gleichmäßig über die Varianten verteilt werden. Sie passt sich im Laufe der Zeit an, wenn sie Performance-Trends erkennt. Wenn Sie in den frühen Phasen Ihrer Campaign nicht gleichmäßig versenden möchten, verwenden Sie feste Varianten für einen traditionellen A/B-Test.

Hört die wiederkehrende Variantenauswahl auf zu optimieren, ohne einen klaren Gewinner zu wählen?

Ja, sie hört auf zu optimieren, wenn sie mit 95 % Konfidenz davon ausgeht, dass die Fortsetzung des Experiments die Konversionsrate nicht um mehr als 1 % ihres aktuellen Werts verbessern wird.

Warum kann ich die Variantenauswahl in meinem Canvas oder meiner Campaign nicht aktivieren?

Für den Einzelversand können Sie die Variantenauswahl nicht aktivieren, wenn Ihr Canvas oder Ihre Campaign nur aus einer einzelnen Variante besteht.

Für wiederkehrende Versendungen können Sie die Variantenauswahl nicht aktivieren, wenn:

  • Sie keine Konversions-Events zu Ihrer Campaign oder Ihrem Canvas hinzugefügt haben.
  • Sie die erneute Berechtigung mit einem Fenster von weniger als 24 Stunden aktiviert haben.
  • Ihr Canvas oder Ihre Campaign nur aus einer einzelnen Variante besteht.
New Stuff!