Predictive-Event-Analytics
Nachdem Ihre Prognose erstellt und trainiert wurde, haben Sie Zugriff auf die Seite Prognose-Analytics. Diese Seite hilft Ihnen bei der Entscheidung, welche Nutzer:innen Sie auf der Grundlage ihres Wahrscheinlichkeitswerts oder ihrer Kategorie ansprechen sollten.
Über Predictive-Event-Analytics
Sobald das Training der Prognose abgeschlossen und diese Seite gefüllt ist, können Sie direkt Filter in Segmenten oder Campaigns verwenden, um die Ergebnisse des Modells zu nutzen. Wenn Sie jedoch Hilfe bei der Entscheidung benötigen, wen Sie ansprechen und warum, kann Ihnen diese Seite auf der Grundlage der historischen Genauigkeit des Modells und Ihrer eigenen Geschäftsziele helfen.
Dies sind die Komponenten, aus denen sich die Predictive-Event-Analytics zusammensetzen:
Die Verteilung der Wahrscheinlichkeits-Scores für die gesamte Prognosegruppe wird oben auf der Seite angezeigt. Nutzer:innen in Buckets weiter am Ende haben höhere Scores und führen das Ereignis mit höherer Wahrscheinlichkeit aus. Nutzer:innen in Buckets weiter am Anfang führen das Ereignis mit geringerer Wahrscheinlichkeit aus. Der Schieberegler unter dem Chart ermöglicht es Ihnen, einen Bereich von Nutzer:innen auszuwählen und abzuschätzen, welche Ergebnisse das Targeting dieser Nutzer:innen erzielen würde.
Wenn Sie die Schieberegler-Griffe an verschiedene Positionen bewegen, zeigt Ihnen der Balken in der linken Hälfte des Panels an, wie viele Nutzer:innen aus der gesamten Prognosegruppe mit dem von Ihnen ausgewählten Bevölkerungsanteil angesprochen würden.
Wahrscheinlichkeitswert
Den Nutzer:innen in der Prognosegruppe wird ein Wahrscheinlichkeitswert zwischen 0 und 100 zugewiesen. Je höher der Wert, desto größer ist die Wahrscheinlichkeit, dass das Event durchgeführt wird.
Im Folgenden sehen Sie, wie Nutzer:innen je nach Wahrscheinlichkeitswert eingestuft werden:
- Niedrig: zwischen 0 und 50
- Mittel: zwischen 50 und 75
- Hoch: zwischen 75 und 100
Die Werte und die entsprechenden Kategorien werden entsprechend dem Zeitplan aktualisiert, den Sie auf der Seite Prediction Creation ausgewählt haben. Die Anzahl der Nutzer:innen mit Wahrscheinlichkeitswerten in jedem der 20 gleichgroßen Buckets oder in jeder der Wahrscheinlichkeitskategorien wird im Chart oben auf der Seite angezeigt.
Zugriff auf Wahrscheinlichkeitswerte auf Nutzer:innen-Ebene
Um den Wahrscheinlichkeitswert für eine:n einzelne:n Nutzer:in anzuzeigen, suchen Sie diese:n Nutzer:in im Dashboard und gehen Sie zu Engagement > Predictions, um den Wert anzuzeigen. Um auf die Werte und Kategorien für mehrere Nutzer:innen gleichzeitig zuzugreifen, erstellen Sie ein Segment mithilfe der Filter Event Likelihood Score oder Event Likelihood Category und exportieren Sie anschließend die Nutzer:innen aus diesem Segment. Beim Exportieren können Sie die Wahrscheinlichkeitswerte in die Exportdaten aufnehmen.
Obwohl sowohl bei Predictive Events als auch bei Predictive Abwanderung den Nutzer:innen Werte zugewiesen werden, gibt es wichtige Unterschiede:
- Predictive Events (Kaufprognosen): Berücksichtigen alle Nutzer:innen in der Prognosegruppe, unabhängig davon, ob sie das Ziel-Event zuvor durchgeführt haben. Beispielsweise kann eine Kaufprognose Nutzer:innen identifizieren, die wahrscheinlich ihren ersten Kauf tätigen werden.
- Predictive Abwanderung: Berücksichtigt nur Nutzer:innen, die das angepasste Event bereits durchgeführt haben. Abwanderung-Prognosen identifizieren Nutzer:innen, die zuvor eine bestimmte Handlung durchgeführt haben und diese wahrscheinlich nicht mehr ausführen werden. Ein:e Nutzer:in, die sich noch nie angemeldet hat, kann nicht als „abgewandert“ betrachtet werden, wenn sie sich nicht anmeldet.
Beim Exportieren von Abwanderung-Risiko-Werten aus einem Segment spiegeln diese Werte das Abwanderung-Prognosemodell wider, das sich von Kauf- oder anderen Event-Prognosemodellen unterscheidet.
Geschätzte Genauigkeit
In der rechten Hälfte des Panels unterhalb des Charts werden Schätzungen der erwarteten Genauigkeit bei der Ansprache des ausgewählten Teils der Prognosegruppe auf zwei Weisen angezeigt: wie viele ausgewählte Nutzer:innen das Event voraussichtlich durchführen und wie viele nicht.
Voraussichtliche Durchführung
Anhand der geschätzten Genauigkeit können Sie überprüfen, wie viele ausgewählte Nutzer:innen das Event voraussichtlich durchführen werden.
Die Prognose ist nicht perfekt genau, und keine Prognose ist das jemals. Das bedeutet, dass Braze nicht in der Lage sein wird, jede einzelne zukünftige Nutzer:in zu identifizieren, die das Event durchführt. Die Wahrscheinlichkeitswerte sind wie eine Reihe von fundierten und zuverlässigen Vorhersagen. Der Fortschrittsbalken zeigt an, wie viele der in der Prognosegruppe erwarteten „True Positives“ mit der ausgewählten Zielgruppe erreicht werden. Dabei wird davon ausgegangen, dass diese Nutzer:innen das Event auch dann durchführen, wenn Sie ihnen keine Nachricht senden.
Voraussichtlich keine Durchführung
Anhand der geschätzten Genauigkeit können Sie überprüfen, wie viele ausgewählte Nutzer:innen das Event voraussichtlich nicht durchführen werden.
Alle Modelle für maschinelles Lernen machen Fehler. Es kann Nutzer:innen in Ihrer Auswahl geben, die zwar einen hohen Wahrscheinlichkeitswert haben, aber das Event nicht tatsächlich durchführen. Sie würden das Event auch dann nicht durchführen, wenn Sie gar nichts unternehmen. Sie werden trotzdem angesprochen, also ist dies ein Fehler oder „False Positive“. Die gesamte Breite dieses zweiten Fortschrittsbalkens steht für die erwartete Anzahl von Nutzer:innen, die das Event nicht durchführen werden, und der gefüllte Teil für diejenigen, die anhand der aktuellen Schiebereglerposition fälschlicherweise angesprochen werden.
Anhand dieser Informationen sollten Sie entscheiden, wie viele der True Positives Sie erfassen möchten, wie viele False Positives hinnehmbar sind und wie hoch die Fehlerkosten für Ihr Unternehmen sind. Wenn Sie eine hochwertige Aktion starten, sollten Sie nur Nichtkäufer:innen (also False Positives) ansprechen und dazu die linke Seite des Charts bevorzugen. Oder Sie möchten Käufer:innen, die häufig kaufen (True Positives), dazu ermutigen, dies wieder zu tun, indem Sie einen Bereich von Nutzer:innen auswählen, der die rechte Seite des Charts bevorzugt.
Prognosequalität
Um die Genauigkeit Ihres Modells zu messen, zeigt Ihnen die Metrik Prognosequalität, wie effektiv dieses bestimmte Modell für maschinelles Lernen zu sein scheint, wenn es mit historischen Daten getestet wird. Braze zieht die Daten entsprechend den Gruppen, die Sie auf der Seite zur Modellerstellung angegeben haben. Das Modell wird anhand eines Datensatzes (dem „Trainingsdatensatz“) trainiert und anschließend anhand eines neuen, separaten Datensatzes (dem „Testdatensatz“) getestet.
Die Prognose wird alle zwei Wochen erneut trainiert und zusammen mit der Metrik Prognosequalität aktualisiert, damit Ihre Prognosen immer auf dem neuesten Stand des Nutzer:innenverhaltens sind. Außerdem werden jedes Mal die Prognosen der letzten zwei Wochen mit den tatsächlichen Ergebnissen der Nutzer:innen verglichen. Die Prognosequalität wird dann anhand dieser realen Ergebnisse (und nicht anhand von Schätzungen) berechnet. Dabei handelt es sich um einen automatischen Backtest (d. h. das Testen eines Prognosemodells anhand historischer Daten), um sicherzustellen, dass die Prognose in realen Szenarien korrekt ist. Der Zeitpunkt des letzten Retrainings und Backtests wird auf der Seite Prognosen und auf der Analytics-Seite einer einzelnen Prognose angezeigt. Auch eine Vorschau-Prognose führt diesen Backtest einmal nach der Erstellung durch. Auf diese Weise können Sie sich der Genauigkeit Ihrer individuellen Prognose sicher sein, selbst mit der kostenlosen Version des Features.
Beispiel für Prognosequalität
Wenn beispielsweise 20 % Ihrer Nutzer:innen im Durchschnitt abwandern und Sie eine zufällige Teilmenge von 20 % Ihrer Nutzer:innen auswählen und diese nach dem Zufallsprinzip als abgewandert bezeichnen (unabhängig davon, ob sie es wirklich sind oder nicht), werden Sie voraussichtlich nur 20 % der tatsächlichen Abgewanderten korrekt identifizieren. Das ist reines Raten. Wenn das Modell nur so gut funktionieren würde, wäre der Uplift in diesem Fall 1.
Wenn das Modell es Ihnen hingegen erlauben würde, 20 % der Nutzer:innen anzusprechen und dabei alle „echten“ Abgewanderten zu erfassen und niemanden sonst, wäre der Uplift 100 % / 20 % = 5. Wenn Sie dieses Verhältnis für jeden Anteil der wahrscheinlichsten Abgewanderten, die Sie ansprechen könnten, aufzeichnen, erhalten Sie die Uplift-Kurve.
Eine andere Möglichkeit, die Uplift-Qualität (und auch die Prognosequalität) zu betrachten, ist die Frage, wie weit die Uplift-Kurve der Prognose bei der Identifizierung von Abgewanderten im Testdatensatz zwischen zufälligem Raten (0 %) und Perfektion (100 %) liegt. Die Originalarbeit zur Uplift-Qualität finden Sie unter Measuring Uplift quality in database marketing.
Wie sie gemessen wird
Unser Maß für die Prognosequalität ist die Uplift-Qualität. Im Allgemeinen bezeichnet „Uplift“ den erhöhten Anteil oder Prozentsatz eines erfolgreichen Ergebnisses, wie z. B. einer Conversion. In diesem Fall ist das erfolgreiche Ergebnis die korrekte Identifizierung einer Nutzerin oder eines Nutzers, die oder der abgewandert wäre. Die Uplift-Qualität ist der durchschnittliche Uplift, den die Prognose für alle möglichen Zielgruppengrößen beim Messaging des Testdatensatzes liefert. Dieser Ansatz misst, um wie viel besser als zufälliges Raten das Modell ist. Bei diesem Maß bedeutet 0 %, dass das Modell nicht besser ist als eine zufällige Schätzung, wer abwandern wird, und 100 % bedeutet, dass man genau weiß, wer abwandern wird.
Empfohlene Bereiche
Hier finden Sie unsere Empfehlungen für verschiedene Bereiche der Prognosequalität:
| Prognosequalität – Bereich (%) | Empfehlung |
|---|---|
| 60 – 100 | Ausgezeichnet. Größtmögliche Genauigkeit. Es ist unwahrscheinlich, dass eine Änderung der Zielgruppendefinitionen einen zusätzlichen Nutzen bringt. |
| 40 – 60 | Gut. Dieses Modell generiert genaue Prognosen, aber mit anderen Zielgruppeneinstellungen können eventuell noch bessere Ergebnisse erzielt werden. |
| 20 – 40 | Ausreichend. Dieses Modell kann Genauigkeit und Mehrwert liefern, aber probieren Sie andere Zielgruppendefinitionen aus, um zu sehen, ob sich die Performance verbessert. |
| 0 – 20 | Schlecht. Wir empfehlen, die Zielgruppendefinitionen zu ändern und es erneut zu versuchen. |
Event-Korrelationstabelle
Diese Analyse zeigt Nutzerattribute oder -verhaltensweisen an, die mit Events in der Prognosegruppe korreliert sind. Die bewerteten Attribute sind Alter, Land, Geschlecht und Sprache. Zu den analysierten Verhaltensweisen gehören Sitzungen, Käufe, Gesamtausgaben, angepasste Events sowie Campaigns und Canvas-Schritte, die in den letzten 30 Tagen empfangen wurden.
Die Tabellen sind in links und rechts unterteilt – für höhere bzw. geringere Wahrscheinlichkeit, das Event durchzuführen. Für jede Zeile wird in der rechten Spalte das Verhältnis angezeigt, in dem die Nutzer:innen mit dem Verhalten oder Attribut in der linken Spalte eher oder weniger wahrscheinlich das Event durchführen. Diese Zahl ist das Verhältnis der Wahrscheinlichkeitswerte von Nutzer:innen mit diesem Verhalten oder Attribut geteilt durch die Wahrscheinlichkeit, das Event bei der gesamten Prognosegruppe durchzuführen.
Diese Tabelle wird nur aktualisiert, wenn die Prognose neu trainiert wird, und nicht, wenn die Wahrscheinlichkeitswerte der Nutzer:innen aktualisiert werden.
Die Korrelationsdaten für Vorschau-Prognosen werden teilweise ausgeblendet. Um diese Informationen zu erhalten, ist ein Kauf erforderlich. Kontaktieren Sie Ihren Account Manager:in für weitere Informationen.
Fehlerbehebung
Nicht genügend vergangenes Ereignisverhalten
Beim Erstellen einer Predictive-Events-Prognose kann die Meldung „Diese Prognose kann aufgrund der sehr geringen Anzahl an vergangenem Ereignisverhalten nicht erstellt werden“ oder eine ähnliche Meldung über vergangenes Ereignisverhalten erscheinen.
Braze benötigt ausreichend Nutzer:innen, die das Zielereignis im Trainingszeitraum ausgeführt haben, um das Modell zu erstellen. Das Modell erfordert in der Regel mindestens 3.500 Nutzer:innen, die in diesem Zeitraum als Past Event Behavior gekennzeichnet sind. Events mit sehr geringer Nutzung in Ihrer Nutzerbasis erreichen diesen Schwellenwert möglicherweise nicht.
Wenn Sie weniger qualifizierte Nutzer:innen haben, erweitern Sie Ihre Prognose-Zielgruppe oder verlängern Sie das Event-Zeitfenster, bevor Sie die Prognose erstellen. Die einzelnen Einrichtungsschritte finden Sie unter Eine Event-Prognose erstellen.