Decisioning Studio Go messen

Dieser Leitfaden zeigt, wie Sie die Wirkung Ihres Agenten messen – mithilfe der integrierten zufälligen Kontrollgruppe und durch einen Vergleich mit Ihrem aktuellen Business-as-usual-Programm (BAU).

Decisioning Studio Go bietet Ihnen standardmäßig einen Vergleich: den Agenten im Vergleich zu einer zufälligen Kontrollgruppe. Einen zweiten Vergleich können Sie selbst einrichten: den Agenten im Vergleich zu Ihrem aktuellen Programm. Dieser Leitfaden behandelt beide Vergleiche und erklärt außerdem, wie Sie die Zahlen interpretieren und die Daten in Ihr eigenes Data Warehouse übertragen.

Der integrierte Vergleich: Agent versus zufällige Kontrollgruppe

Jeder Agent teilt seine Zielgruppe automatisch in zwei Gruppen auf:

• Die Decisioning-Studio-Gruppe erhält KI-optimierte Inhalte.
• Die zufällige Kontrollgruppe erhält zufällig ausgewählte Kombinationen derselben Optionen, die Sie konfiguriert haben – mit demselben Zeitplan und denselben Einschränkungen.

Da beide Gruppen auf dieselben Optionen und denselben Zeitplan zurückgreifen, isoliert der Unterschied zwischen ihnen den Effekt der Entscheidungen des Agenten. Das ist Ihre sauberste, jederzeit verfügbare Messgröße für den Uplift. Sie müssen dafür nichts zusätzlich einrichten.

Die Uplift-Metrik

Die zentrale Metrik ist Unique Customers Who Clicked Daily: die Anzahl eindeutiger Nutzer:innen, die klicken, nicht das reine Klickvolumen. Der Uplift ist der Unterschied zwischen der Decisioning-Studio-Gruppe und der zufälligen Kontrollgruppe bei dieser Metrik.

Der Agent lernt nur aus echten Klicks. Bevor ein Klick gezählt wird, durchläuft er Validierungsfilter, die automatisierte Aktivitäten und Klicks im Zusammenhang mit Abmeldungen herausfiltern. Deshalb fallen die Klickzahlen in Decisioning Studio niedriger aus als in Ihren reinen E-Mail-Berichten. Dieselbe Filterung gilt gleichermaßen für beide Gruppen, sodass der Vergleich zwischen ihnen gültig bleibt.

Die Größe der Kontrollgruppe festlegen

Die Mindestgröße der Kontrollgruppe beträgt 5 %. Passen Sie sie an Ihre Zielgruppe an. Kleinere Zielgruppen benötigen eine proportional größere Kontrollgruppe, damit die Ergebnisse statistisch aussagekräftig bleiben:

Vergleich mit Ihrem Business-as-usual-Programm

Die zufällige Kontrollgruppe misst den Agenten im Vergleich zu zufällig ausgewählten Kombinationen derselben Optionen. Um den Agenten mit Ihrem aktuellen Programm zu vergleichen, richten Sie selbst einen BAU-Vergleich ein. Decisioning Studio Go übernimmt weder die Steuerung der BAU-Gruppe noch das Reporting dazu – diesen Vergleich stellen Sie selbst zusammen.

Schritt 1: Teilen Sie Ihre Zielgruppe in eine BAU-Gruppe und eine Agentengruppe auf

Sie können eine dieser Methoden verwenden:

• Verwenden Sie einen Experimentpfad-Schritt in einem Canvas (empfohlen), um Nutzer:innen entweder auf einen BAU-Pfad oder in das Segment des Agenten zu leiten. Ein Canvas-Experimentpfad-Schritt sorgt für eine saubere, zufällige Aufteilung und ist die empfohlene Methode, um einen fairen Test einzurichten. Weitere Informationen finden Sie unter Decisioning Studio Go mit Canvas verwenden.
• Verwenden Sie zufällige Bucket-Nummern außerhalb eines Canvas, um aus derselben Zielgruppe eine BAU-Gruppe und eine Agentengruppe zu bilden.

Schritt 2: Prüfen Sie, ob Ihre Zielgruppe groß genug für die Aufteilung ist

Die Agentengruppe muss nach der Aufteilung und nach Zuweisung ihrer zufälligen Kontrollgruppe mindestens 20.000 Nutzer:innen umfassen. Wenn Ihre gesamte Zielgruppe etwa 40.000 Nutzer:innen oder weniger umfasst, liegt bei einer 50/50-BAU-Aufteilung jede Hälfte unter diesem Minimum. Bei kleineren, aber dennoch geeigneten Zielgruppen sollten Sie einen kleineren BAU-Anteil reservieren oder sich statt eines BAU-Vergleichs auf die integrierte zufällige Kontrollgruppe verlassen.

Schritt 3: Sorgen Sie für einen fairen Test

Ein BAU-Vergleich ist nur dann aussagekräftig, wenn sich die beiden Gruppen allein darin unterscheiden, wer die Entscheidungen trifft. Vor dem Start:

• Halten Sie das Versandverhalten gleich. Passen Sie die Versandhäufigkeit des Agenten an Ihre BAU-Häufigkeit an oder setzen Sie sie auf den BAU-Durchschnitt. Wenn eine Gruppe häufiger versendet als die andere, messen Sie das Versandvolumen statt der Entscheidungen.
• Laden Sie die BAU-Creatives in den Agenten. Jede Betreffzeile, jeder Call-to-Action (CTA) und jedes Bild muss sowohl der BAU-Gruppe als auch dem Agenten zur Verfügung stehen. Ein Unterschied spiegelt dann die Entscheidungen wider, da beiden Gruppen dieselben Inhalte zur Verfügung stehen.
• Zählen Sie Klicks in beiden Gruppen auf dieselbe Weise, damit Sie Gleiches mit Gleichem vergleichen.
• Halten Sie das BAU-Programm während des Messzeitraums unverändert. Optimieren Sie es während des Tests nicht neu.

Schritt 4: Warten Sie auf eine faire Auswertung

Ein Agent, der sich noch im Training befindet, liegt anfangs in der Regel hinter einem ausgereiften, bereits optimierten BAU-Programm zurück. Dieser Abstand ist zu erwarten. Warten Sie mit dem Vergleich, bis der Agent Vollständig trainiert ist. Weitere Informationen finden Sie unter Was Sie nach dem Start erwartet.

Ergebnisse in Ihrem eigenen Data Warehouse analysieren

Bei jedem Versand werden Bezeichner in message_extras des Events users.messages.email.Send geschrieben. Dies geschieht automatisch in jedem Workspace:

So analysieren Sie diese Felder in Ihrem Data Warehouse:

1. Stellen Sie sicher, dass Ihr Currents- oder Datenexport message_extras beim Versand-Event enthält.
2. Verknüpfen Sie das Versand-Event, das das Gruppen-Tag enthält, über user_id und dispatch_id mit Öffnungen und Klicks.
3. Vergleichen Sie Ihre gewünschte Metrik über die Werte von ds_go_agent_regime hinweg sowie zwischen Ihrer BAU- und Agentengruppe, falls Sie eine solche Aufteilung eingerichtet haben.

So interpretieren Sie die Berichte

• Setzen Sie das Enddatum auf vorgestern. Berichtsdaten werden mit etwa einem Tag Verzögerung bereitgestellt, daher erhalten Sie mit einem Enddatum von vor zwei Tagen ein vollständiges Bild.
• Geben Sie den Berichten nach dem Start einige Tage Zeit, um sich zu füllen. Wenn sie unmittelbar nach dem Start leer erscheinen, ist das zu erwarten. Die Berichte sammeln noch Daten.
• Nutzen Sie die Ansichten Performance und Agent-Präferenzen. Performance zeigt den Uplift im Vergleich zur zufälligen Kontrollgruppe. Agent-Präferenzen zeigt, wie oft der Agent die jeweilige Variante gewählt hat.