Was Sie nach dem Start erwartet
Ihr Agent lernt, bevor er Leistung bringt. In diesem Leitfaden erfahren Sie, wie der Trainingszeitraum abläuft, wie Sie erkennen, in welcher Phase sich Ihr Agent befindet, und wie Sie erste Ergebnisse interpretieren, ohne falsche Schlüsse zu ziehen.
Wenn Sie einen Decisioning Studio Go Agenten starten, lernt er zuerst. E-Mails werden ab dem ersten Tag versendet, und während des frühen Trainingszeitraums befindet sich der Agent noch in der Erkundungsphase. Wenn Sie wissen, was in diesem Zeitraum normal ist, geben Sie dem Agenten eine faire Chance, statt ihn abzuschalten, bevor er zeigen konnte, was er leisten kann.
Die Trainingsphasen
Ihr Agent durchläuft fünf Phasen, und im Reporting sehen Sie jederzeit, in welcher er sich befindet.
| Phase | Was passiert | Was Sie tun sollten |
|---|---|---|
| Gestartet, noch kein Versand | Der Agent ist aktiv, hat aber noch nichts versendet. | Warten Sie auf den ersten Versand. |
| Warten auf Signal | Der Agent versendet, hat aber noch nicht genügend echte Klicks gesammelt, um mit dem Training zu beginnen. | Stellen Sie sicher, dass das Programm Engagement erzeugt. Bleibt der Agent lange in dieser Phase, ist die Zielgruppe möglicherweise zu klein oder zu wenig engagiert. Siehe Die zwei Faktoren, die Ihren Agenten voranbringen. |
| Im Training | Der Agent hat genügend Signal und erkundet aktiv Kombinationen. Die Performance kann hier nahezu zufällig wirken. Das ist zu erwarten. | Interpretieren Sie die Ergebnisse noch nicht. Lassen Sie den Agenten laufen. |
| Teilweise trainiert | Der Agent personalisiert bereits, aber die Ergebnisse sind noch nicht belastbar genug, um als endgültig zu gelten. | Sie können den Trend beobachten, sollten aber noch keine Entscheidungen darauf stützen. |
| Vollständig trainiert | Der Agent ist vollständig trainiert, und die Ergebnisse sind belastbar. | In dieser Phase können Sie den Uplift auswerten, darüber berichten und Entscheidungen treffen. |
Die zwei Faktoren, die Ihren Agenten voranbringen
Für ein vertrauenswürdiges Ergebnis müssen zwei Bedingungen erfüllt sein. Beide sind erforderlich:
- Genügend echte Klicks. Der Agent trainiert anhand von Klicks, berücksichtigt dabei aber nur echte Klicks. Automatisierte Klicks und Klicks im Zusammenhang mit Abmeldungen werden vorher herausgefiltert. Das Training beginnt, sobald genügend echte Klicks zusammenkommen, und die Ergebnisse werden ab einem höheren Schwellenwert belastbar. Eine kleine oder wenig engagierte Zielgruppe erreicht diese Schwellenwerte nur langsam.
- Genügend Zeit. Selbst bei starkem Signal wird die Personalisierung erst aussagekräftig, nachdem der Agent etwa die ersten anderthalb Wochen trainieren konnte. In der Regel können Sie die Ergebnisse nach einigen Wochen bewerten.
Ein Agent, der sich noch in der Phase Warten auf Signal befindet, braucht mehr echte Klicks. Wenn Ihr Agent auch nach längerer Laufzeit (zum Beispiel nach 10 Tagen) noch in der Phase Warten auf Signal ist, hat er noch nicht genügend echte Klicks gesammelt – oft, weil die Zielgruppe kleiner als die empfohlene Größe ist oder nur selten klickt. Eine größere Zielgruppe oder mehr Engagement bringt den Agenten schneller voran als bloßes Abwarten.
Erste Ergebnisse interpretieren, ohne falsche Schlüsse zu ziehen
Der häufigste Fehler besteht darin, den Agenten während des Trainings an einem falschen Maßstab zu messen:
- Frühe Zahlen unterschätzen den Agenten. Während der Erkundungsphase probiert der Agent bewusst Optionen aus, über die er noch nichts gelernt hat, sodass seine Performance nahezu zufällig wirkt. Das ist der Preis des Lernens, der sich auszahlt, sobald der Agent trainiert ist.
- Ein Agent im Training liegt meist hinter einem ausgereiften Programm zurück. Wenn Sie einen ganz neuen Agenten mit einem Programm vergleichen, das Sie bereits über Monate oder Jahre optimiert haben, schneidet der Agent anfangs oft schlechter ab. Der Abstand schließt sich, sobald der Agent sein Training abgeschlossen hat. Warten Sie mit dem Vergleich, bis der Agent Vollständig trainiert ist.
Bewerten Sie keine Ergebnisse, ändern Sie nicht die Größe der Zielgruppe und passen Sie nicht die Aufteilung der Kontrollgruppe an, solange der Agent noch trainiert. Jede dieser Maßnahmen führt entweder dazu, dass Rauschen als Signal interpretiert wird, oder stört den laufenden Lernprozess. Wenn Sie die Aufteilung der Kontrollgruppe ändern oder das Segment austauschen, werden Nutzer:innen außerdem neu auf die Gruppen verteilt. Weitere Informationen finden Sie unter Ihren Decisioning Studio Go Agenten einrichten.
Was Sie prüfen sollten, wenn Ihr Agent zu verlieren scheint
Bevor Sie zu dem Schluss kommen, dass der Agent nicht funktioniert, prüfen Sie Folgendes:
- Ist er Vollständig trainiert? Falls nicht, sehen Sie noch Ergebnisse aus dem Trainingszeitraum. Warten Sie ab.
- Womit vergleichen Sie? Der saubere, integrierte Vergleich ist der Agent im Vergleich zu seiner zufälligen Kontrollgruppe. Wenn Sie mit einem ausgereiften Business-as-usual-Programm vergleichen, ist anfangs mit einem Abstand zu rechnen. Siehe Decisioning Studio Go messen.
- Erzeugt die Zielgruppe genügend echte Klicks? Wenn der Agent in der Phase Warten auf Signal feststeckt oder die Phase Im Training nur langsam verlässt, ist die Zielgruppe möglicherweise zu klein oder zu wenig engagiert.
- Unterscheiden sich Ihre Creatives deutlich voneinander? Wenn alle Optionen für den Agenten gleich wirken, hat er wenig zu optimieren. Siehe Einrichtung und Verwaltung von Creatives.
Wie lange der Agent laufen sollte
Planen Sie, einen Agenten mindestens 30 Tage laufen zu lassen, idealerweise dauerhaft. Dreißig Tage geben den meisten Programmen genügend Zeit, das Training abzuschließen und eine glaubwürdige Auswertung zu liefern. Bei Dauerbetrieb kann sich der Agent kontinuierlich verbessern. Saisonale Kampagnen können Sie unterstützen, indem Sie neue Creatives einsetzen.
Sobald Ihr Agent Vollständig trainiert ist, erfahren Sie unter Decisioning Studio Go messen, wie Sie den Uplift auswerten und mit Ihrem aktuellen Programm vergleichen.