Skip to content

Feature-Flag-Experimente

Mit Feature-Flag-Experimenten können Sie A/B-Tests mit Anwendungsänderungen durchführen, um die Konversionsraten zu optimieren. Marketer können Feature-Flags verwenden, um herauszufinden, ob sich ein neues Feature positiv oder negativ auf die Konversionsraten auswirkt, oder welche Feature-Flag-Eigenschaften am besten geeignet sind.

Voraussetzungen

Bevor Sie Nutzerdaten im Experiment erfassen können, muss Ihre App aufzeichnen, wann Nutzer:innen mit einem Feature-Flag interagieren. Dies wird als Feature-Flag-Impression bezeichnet. Stellen Sie sicher, dass Sie eine Feature-Flag-Impression protokollieren, wann immer Nutzer:innen das zu testende Feature sehen oder hätten sehen können – auch wenn sie sich in der Kontrollgruppe befinden.

Weitere Informationen zum Protokollieren von Feature-Flag-Impressionen finden Sie unter Feature-Flags erstellen.

1
2
3
4
5
6
7

const featureFlag = braze.getFeatureFlag("my-new-feature");
braze.logFeatureFlagImpression("my-new-feature");
if (featureFlag?.enabled) {
   return <NewFeature />
} else {
   return <ExistingFeature />
}

1
2
3
4
5
6
7

FeatureFlag featureFlag = braze.getFeatureFlag("my-new-feature");
braze.logFeatureFlagImpression("my-new-feature");
if (featureFlag != null && featureFlag.getEnabled()) {
  return new NewFeature();
} else {
  return new ExistingFeature();
}

1
2
3
4
5
6
7

val featureFlag = braze.getFeatureFlag("my-new-feature")
braze.logFeatureFlagImpression("my-new-feature")
if (featureFlag?.enabled == true) {
  return NewFeature()
} else {
  return ExistingFeature()
}

Erstellen eines Feature-Flag-Experiments

Schritt 1: Experiment erstellen

  1. Gehen Sie zu Messaging > Campaigns und wählen Sie + Create Campaign aus.
  2. Wählen Sie Feature Flag Experiment aus.
  3. Geben Sie Ihrer Campaign einen klaren und aussagekräftigen Namen.

Schritt 2: Experimentvarianten hinzufügen

Erstellen Sie als Nächstes Variationen. Wählen Sie für jede Variante das Feature-Flag aus, das Sie ein- oder ausschalten möchten, und überprüfen Sie dann die zugewiesenen Eigenschaften.

Um die Auswirkung Ihres Features zu testen, verwenden Sie Varianten, um den Traffic in zwei oder mehr Gruppen aufzuteilen. Benennen Sie eine Gruppe „Meine Kontrollgruppe“ und schalten Sie deren Feature-Flags aus.

Feature-Flag-Experimente unterstützen bis zu neun Gruppen insgesamt: eine Kontrollgruppe plus bis zu acht Varianten.

Schritt 3: Eigenschaften überschreiben (optional)

Sie können die Standardeigenschaften überschreiben, die Sie ursprünglich für Nutzer:innen eingerichtet haben, die eine bestimmte Kampagnenvariante erhalten.

Um zusätzliche Standardeigenschaften zu bearbeiten, hinzuzufügen oder zu entfernen, bearbeiten Sie das Feature-Flag selbst unter Messaging > Feature Flags. Wenn eine Variante deaktiviert ist, gibt das SDK ein leeres Eigenschaftsobjekt für das entsprechende Feature-Flag zurück.

Der Abschnitt „Experimentvarianten“ mit dem überschriebenen Variablenschlüssel „link“ mit dem Wert „/sales“.

Schritt 4: Zielgruppe zusammenstellen

Verwenden Sie eines Ihrer Segments oder Filter, um Ihre Zielgruppe zusammenzustellen. Sie können beispielsweise den Filter Received Feature Flag Variant verwenden, um Nutzer:innen erneut anzusprechen, die bereits einen A/B-Test erhalten haben.

Die Seite „Zielgruppe“ in einem Feature-Flag-Experiment mit „Received Feature Flag Variant“ hervorgehoben in der Suchleiste der Filtergruppe.

Schritt 5: Varianten verteilen

Wählen Sie die prozentuale Verteilung für Ihr Experiment. Als Best Practice sollten Sie die Verteilung nicht mehr ändern, nachdem Ihr Experiment gestartet wurde.

Schritt 6: Konversionen zuweisen

Mit Braze können Sie verfolgen, wie oft Nutzer:innen bestimmte Aktionen – Konversions-Events – nach Erhalt einer Campaign durchführen. Legen Sie ein Zeitfenster von bis zu 30 Tagen fest, in dem eine Konversion gezählt wird, wenn die Nutzer:innen die angegebene Aktion ausführen.

Schritt 7: Überprüfen und starten

Nachdem Sie den letzten Teil Ihres Experiments fertiggestellt haben, überprüfen Sie die Details und wählen Sie dann Launch Experiment aus.

Überprüfung der Ergebnisse

Nachdem Ihr Feature-Flag-Experiment abgeschlossen ist, können Sie die Impressionsdaten für Ihr Experiment überprüfen. Gehen Sie zu Messaging > Campaigns und wählen Sie die Campaign mit Ihrem Feature-Flag-Experiment aus.

Campaign Analytics

Campaign Analytics bietet eine allgemeine Übersicht über die Performance Ihres Experiments, wie zum Beispiel:

  • Die Gesamtzahl der Impressionen
  • Die Anzahl der eindeutigen Impressionen
  • Die primäre Konversionsrate
  • Der durch die Nachricht generierte Gesamtumsatz
  • Die geschätzte Zielgruppe

Sie können auch die Einstellungen des Experiments für Zustellung, Zielgruppe und Konversion einsehen.

Feature-Flag-Experiment-Performance

Feature Flags Experiments Performance zeigt, wie gut Ihre Nachricht in verschiedenen Dimensionen abgeschnitten hat. Die spezifischen Metriken, die Sie sehen, variieren je nach gewähltem Messaging-Kanal und ob Sie einen multivariaten Test durchführen. Um die Feature-Flag-Werte zu sehen, die mit jeder Variante verknüpft sind, wählen Sie Preview aus.
New Stuff!