Feature-Flag-Experimente

Mit Feature-Flag-Experimenten können Sie A/B-Tests mit Anwendungsänderungen durchführen, um die Konversionsraten zu optimieren. Marketer können Feature-Flags verwenden, um herauszufinden, ob sich ein neues Feature positiv oder negativ auf die Konversionsraten auswirkt, oder welche Feature-Flag-Eigenschaften am besten geeignet sind.

Voraussetzungen

Bevor Sie Nutzerdaten im Experiment tracken können, muss Ihre App aufzeichnen, wann ein:e Nutzer:in mit einem Feature-Flag interagiert. Dies wird als Feature-Flag-Impression bezeichnet. Stellen Sie sicher, dass Sie eine Feature-Flag-Impression protokollieren, wann immer ein:e Nutzer:in das Feature sieht oder hätte sehen können, das Sie testen – auch wenn sie sich in der Kontrollgruppe befinden.

Weitere Informationen zum Protokollieren von Feature-Flag-Impressionen finden Sie unter Feature-Flags erstellen.

• web
• android

1
2
3
4
5
6
7

const featureFlag = braze.getFeatureFlag("my-new-feature");
braze.logFeatureFlagImpression("my-new-feature");
if (featureFlag?.enabled) {
   return <NewFeature />
} else {
   return <ExistingFeature />
}

1
2
3
4
5
6
7

FeatureFlag featureFlag = braze.getFeatureFlag("my-new-feature");
braze.logFeatureFlagImpression("my-new-feature");
if (featureFlag != null && featureFlag.getEnabled()) {
  return new NewFeature();
} else {
  return new ExistingFeature();
}

1
2
3
4
5
6
7

val featureFlag = braze.getFeatureFlag("my-new-feature")
braze.logFeatureFlagImpression("my-new-feature")
if (featureFlag?.enabled == true) {
  return NewFeature()
} else {
  return ExistingFeature()
}

Ein Feature-Flag-Experiment erstellen

Schritt 1: Experiment erstellen

1. Gehen Sie zu Messaging > Campaigns und wählen Sie + Create Campaign.
2. Wählen Sie Feature Flag Experiment.
3. Geben Sie Ihrer Campaign einen klaren und aussagekräftigen Namen.

Schritt 2: Experimentvarianten hinzufügen

Erstellen Sie als Nächstes Variationen. Wählen Sie für jede Variante das Feature-Flag aus, das Sie ein- oder ausschalten möchten, und überprüfen Sie die zugewiesenen Eigenschaften.

Um die Auswirkung Ihres Features zu testen, verwenden Sie Varianten, um den Traffic in zwei oder mehr Gruppen aufzuteilen. Benennen Sie eine Gruppe „Meine Kontrollgruppe“ und deaktivieren Sie deren Feature-Flags.

Feature-Flag-Experimente unterstützen bis zu neun Gruppen insgesamt: eine Kontrollgruppe plus bis zu acht Varianten.

Schritt 3: Eigenschaften überschreiben (optional)

Sie können die Standardeigenschaften überschreiben, die Sie ursprünglich für Nutzer:innen eingerichtet haben, die eine bestimmte Kampagnenvariante erhalten.

Um zusätzliche Standardeigenschaften zu bearbeiten, hinzuzufügen oder zu entfernen, bearbeiten Sie das Feature-Flag selbst unter Messaging > Feature Flags. Wenn eine Variante deaktiviert ist, gibt das SDK ein leeres Eigenschaftsobjekt für das jeweilige Feature-Flag zurück.

Schritt 4: Zielgruppe auswählen

Verwenden Sie eines Ihrer Segments oder Filter, um Ihre Zielgruppe zusammenzustellen. Sie können beispielsweise den Filter Received Feature Flag Variant verwenden, um Nutzer:innen erneut anzusprechen, die bereits an einem A/B-Test teilgenommen haben.

Hinweis

Die Segment-Zugehörigkeit wird berechnet, wenn Feature-Flags für bestimmte Nutzer:innen aktualisiert werden. Änderungen werden verfügbar, nachdem Ihre App die Feature-Flags aktualisiert hat oder eine neue Sitzung gestartet wurde.

Schritt 5: Varianten verteilen

Wählen Sie die prozentuale Verteilung für Ihr Experiment. Als Best Practice sollten Sie die Verteilung nicht mehr ändern, nachdem Ihr Experiment gestartet wurde.

Schritt 6: Konversionen zuweisen

Braze ermöglicht es Ihnen nachzuverfolgen, wie oft Nutzer:innen bestimmte Aktionen – sogenannte Konversions-Events – nach dem Erhalt einer Campaign ausführen. Legen Sie ein Zeitfenster von bis zu 30 Tagen fest, in dem eine Konversion gezählt wird, wenn Nutzer:innen die angegebene Aktion ausführen.

Schritt 7: Überprüfen und starten

Nachdem Sie den letzten Teil Ihres Experiments fertiggestellt haben, überprüfen Sie die Details und wählen Sie Launch Experiment.

Ergebnisse überprüfen

Nachdem Ihr Feature-Flag-Experiment abgeschlossen ist, können Sie die Impressionsdaten für Ihr Experiment einsehen. Gehen Sie zu Messaging > Campaigns und wählen Sie die Campaign mit Ihrem Feature-Flag-Experiment aus.

Campaign Analytics

Campaign Analytics bietet eine allgemeine Übersicht über die Performance Ihres Experiments, wie zum Beispiel:

• Die Gesamtzahl der Impressionen
• Die Anzahl der eindeutigen Impressionen
• Die primäre Konversionsrate
• Der durch die Nachricht generierte Gesamtumsatz
• Die geschätzte Zielgruppe

Sie können auch die Einstellungen des Experiments für Zustellung, Zielgruppe und Konversion einsehen.

Feature-Flag-Experiment-Performance

Feature Flags Experiments Performance zeigt, wie gut Ihre Nachricht über verschiedene Dimensionen hinweg abgeschnitten hat. Die angezeigten Metriken variieren je nach gewähltem Messaging-Kanal und ob Sie einen multivariaten Test durchführen. Um die Feature-Flag-Werte zu sehen, die mit jeder Variante verknüpft sind, wählen Sie Preview aus.