Prognostische Event-Analytics
Nachdem Ihre Vorhersage erstellt und trainiert wurde, haben Sie Zugriff auf die Seite Vorhersageanalyse. Diese Seite hilft Ihnen bei der Entscheidung, welche Nutzer:innen Sie auf der Grundlage ihres Wahrscheinlichkeitswertes oder ihrer Kategorie ansprechen sollten.
Über prognostische Event-Analytics
Sobald das Training der Vorhersage abgeschlossen und diese Seite gefüllt ist, können Sie mit der Verwendung von Filtern in Segmenten oder Campaigns beginnen, um die Ergebnisse des Modells zu nutzen. Wenn Sie Hilfe bei der Entscheidung brauchen, wen Sie ansprechen und warum, kann Ihnen diese Seite auf der Grundlage der historischen Genauigkeit des Modells und Ihrer eigenen Geschäftsziele helfen.
Dies sind die Komponenten, aus denen die prognostische Event-Analytics besteht:
Die Verteilung der Wahrscheinlichkeitswerte für die gesamte Prognosegruppe wird oben auf der Seite angezeigt. Nutzer:innen in den Buckets weiter rechts haben höhere Werte und werden das Event mit größerer Wahrscheinlichkeit durchführen. Nutzer:innen in den Buckets weiter links führen das Event mit geringerer Wahrscheinlichkeit durch. Mit dem Schieberegler unterhalb des Charts können Sie einen Bereich von Nutzer:innen auswählen und die Ergebnisse der Ansprache dieser Nutzer:innen abschätzen.
Wenn Sie die Griffe des Schiebereglers in verschiedene Positionen bewegen, informiert Sie der Balken in der linken Hälfte des Panels darüber, wie viele Nutzer:innen aus der gesamten Prognosegruppe mit dem von Ihnen ausgewählten Teil der Population angesprochen werden würden.
Wahrscheinlichkeitswert
Den Nutzer:innen in der Prognosegruppe wird ein Wahrscheinlichkeitswert zwischen 0 und 100 zugewiesen. Je höher der Wert, desto größer ist die Wahrscheinlichkeit, dass das Event durchgeführt wird.
Im Folgenden sehen Sie, wie Nutzer:innen je nach Wahrscheinlichkeitswert eingestuft werden:
- Niedrig: zwischen 0 und 50
- Mittel: zwischen 50 und 75
- Hoch: zwischen 75 und 100
Die Werte und die entsprechenden Kategorien werden entsprechend dem Zeitplan aktualisiert, den Sie auf der Seite Prediction Creation ausgewählt haben. Die Anzahl der Nutzer:innen mit Wahrscheinlichkeitswerten in jedem der 20 gleichgroßen Buckets oder in jeder der Wahrscheinlichkeitskategorien wird im Chart oben auf der Seite angezeigt.
Zugriff auf Wahrscheinlichkeitswerte auf Nutzer:innen-Ebene
Um den Wahrscheinlichkeitswert für eine:n einzelne:n Nutzer:in anzuzeigen, suchen Sie diese:n Nutzer:in im Dashboard und gehen Sie zu Engagement > Predictions, um den Wert anzuzeigen. Um auf die Werte und Kategorien für mehrere Nutzer:innen gleichzeitig zuzugreifen, erstellen Sie ein Segment mithilfe der Filter Event Likelihood Score oder Event Likelihood Category und exportieren Sie anschließend die Nutzer:innen aus diesem Segment. Beim Exportieren können Sie die Wahrscheinlichkeitswerte in die Exportdaten aufnehmen.
Obwohl sowohl bei Predictive Events als auch bei Predictive Churn den Nutzer:innen Werte zugewiesen werden, gibt es wichtige Unterschiede:
- Predictive Events (Kaufprognosen): Berücksichtigen alle Nutzer:innen in der Prognosegruppe, unabhängig davon, ob sie das Ziel-Event zuvor durchgeführt haben. Beispielsweise kann eine Kaufprognose Nutzer:innen identifizieren, die wahrscheinlich ihren ersten Kauf tätigen werden.
- Predictive Churn: Berücksichtigt nur Nutzer:innen, die das angepasste Event bereits durchgeführt haben. Churn-Prognosen identifizieren Nutzer:innen, die zuvor eine bestimmte Handlung durchgeführt haben und diese wahrscheinlich nicht mehr ausführen werden. Eine Nutzer:in, die sich noch nie angemeldet hat, kann nicht als „abgewandert“ betrachtet werden, wenn sie sich nicht anmeldet.
Beim Exportieren von Churn-Risiko-Werten aus einem Segment spiegeln diese Werte das Churn-Prognosemodell wider, das sich von Kauf- oder anderen Event-Prognosemodellen unterscheidet.
Geschätzte Genauigkeit
In der rechten Hälfte des Panels unterhalb des Charts werden Schätzungen der erwarteten Genauigkeit bei der Ansprache des ausgewählten Teils der Prognosegruppe auf zwei Weisen angezeigt: wie viele ausgewählte Nutzer:innen das Event voraussichtlich durchführen und wie viele nicht.
Voraussichtliche Durchführung
Anhand der geschätzten Genauigkeit können Sie überprüfen, wie viele ausgewählte Nutzer:innen das Event voraussichtlich durchführen werden.
Die Vorhersage ist nicht perfekt genau, und keine Vorhersage ist das jemals. Das bedeutet, dass Braze nicht in der Lage sein wird, jede einzelne zukünftige Nutzer:in zu identifizieren, die das Event durchführt. Die Wahrscheinlichkeitswerte sind wie eine Reihe von fundierten und zuverlässigen Vorhersagen. Der Fortschrittsbalken zeigt an, wie viele der in der Prognosegruppe erwarteten „True Positives“ mit der ausgewählten Zielgruppe erreicht werden. Dabei wird davon ausgegangen, dass diese Nutzer:innen das Event auch dann durchführen, wenn Sie ihnen keine Nachricht senden.
Voraussichtlich keine Durchführung
Anhand der geschätzten Genauigkeit können Sie überprüfen, wie viele ausgewählte Nutzer:innen das Event voraussichtlich nicht durchführen werden.
Alle Modelle für maschinelles Lernen machen Fehler. Es kann Nutzer:innen in Ihrer Auswahl geben, die zwar einen hohen Wahrscheinlichkeitswert haben, aber das Event nicht tatsächlich durchführen. Sie würden das Event auch dann nicht durchführen, wenn Sie gar nichts unternehmen. Sie werden trotzdem angesprochen, also ist dies ein Fehler oder „False Positive“. Die gesamte Breite dieses zweiten Fortschrittsbalkens steht für die erwartete Anzahl von Nutzer:innen, die das Event nicht durchführen werden, und der gefüllte Teil für diejenigen, die anhand der aktuellen Schiebereglerposition fälschlicherweise angesprochen werden.
Anhand dieser Informationen sollten Sie entscheiden, wie viele der True Positives Sie erfassen möchten, wie viele False Positives hinnehmbar sind und wie hoch die Fehlerkosten für Ihr Unternehmen sind. Wenn Sie eine hochwertige Aktion starten, sollten Sie nur Nichtkäufer:innen (also False Positives) ansprechen und dazu die linke Seite des Charts bevorzugen. Oder Sie möchten Käufer:innen, die häufig kaufen (True Positives), dazu ermutigen, dies wieder zu tun, indem Sie einen Bereich von Nutzer:innen auswählen, der die rechte Seite des Charts bevorzugt.
Prognosequalität
Um die Genauigkeit Ihres Modells zu messen, zeigt Ihnen die Metrik Prognosequalität, wie effektiv dieses bestimmte Modell für maschinelles Lernen zu sein scheint, wenn es mit historischen Daten getestet wird. Braze zieht die Daten entsprechend den Gruppen, die Sie auf der Seite zur Modellerstellung angegeben haben. Das Modell wird anhand eines Datensatzes (dem „Trainingsdatensatz“) trainiert und anschließend anhand eines neuen, separaten Datensatzes (dem „Testdatensatz“) getestet.
Die Prognose wird alle zwei Wochen erneut trainiert und zusammen mit der Metrik Prognosequalität aktualisiert, damit Ihre Prognosen immer auf dem neuesten Stand des Nutzer:innenverhaltens sind. Außerdem werden jedes Mal die Prognosen der letzten zwei Wochen mit den tatsächlichen Ergebnissen der Nutzer:innen verglichen. Die Prognosequalität wird dann anhand dieser realen Ergebnisse (und nicht anhand von Schätzungen) berechnet. Dabei handelt es sich um einen automatischen Backtest (d. h. das Testen eines Prognosemodells anhand historischer Daten), um sicherzustellen, dass die Prognose in realen Szenarien korrekt ist. Der Zeitpunkt des letzten Retrainings und Backtests wird auf der Seite Prognosen und auf der Analytics-Seite einer einzelnen Prognose angezeigt. Auch eine Vorschau-Prognose führt diesen Backtest einmal nach der Erstellung durch. Auf diese Weise können Sie sich der Genauigkeit Ihrer individuellen Prognose sicher sein, selbst mit der kostenlosen Version des Features.
Beispiel für Prognosequalität
Wenn beispielsweise 20 % Ihrer Nutzer:innen im Durchschnitt abwandern und Sie eine zufällige Teilmenge von 20 % Ihrer Nutzer:innen auswählen und diese nach dem Zufallsprinzip als abgewandert bezeichnen (unabhängig davon, ob sie es wirklich sind oder nicht), werden Sie voraussichtlich nur 20 % der tatsächlichen Abgewanderten korrekt identifizieren. Das ist reines Raten. Wenn das Modell nur so gut funktionieren würde, wäre der Lift in diesem Fall 1.
Wenn das Modell es Ihnen hingegen erlauben würde, 20 % der Nutzer:innen anzusprechen und dabei alle „echten“ Abgewanderten zu erfassen und niemanden sonst, wäre der Lift 100 % / 20 % = 5. Wenn Sie dieses Verhältnis für jeden Anteil der wahrscheinlichsten Abgewanderten, die Sie ansprechen könnten, aufzeichnen, erhalten Sie die Lift-Kurve.
Eine andere Möglichkeit, die Lift-Qualität (und auch die Prognosequalität) zu betrachten, ist die Frage, wie weit die Lift-Kurve der Prognose bei der Identifizierung von Abgewanderten im Testdatensatz zwischen zufälligem Raten (0 %) und Perfektion (100 %) liegt. Die Originalarbeit zur Lift-Qualität finden Sie unter Measuring lift quality in database marketing.
Wie sie gemessen wird
Unser Maß für die Prognosequalität ist die Lift-Qualität. Im Allgemeinen bezeichnet „Lift“ den erhöhten Anteil oder Prozentsatz eines erfolgreichen Ergebnisses, wie z. B. einer Conversion. In diesem Fall ist das erfolgreiche Ergebnis die korrekte Identifizierung einer Nutzerin oder eines Nutzers, die oder der abgewandert wäre. Die Lift-Qualität ist der durchschnittliche Lift, den die Prognose für alle möglichen Zielgruppengrößen beim Messaging des Testdatensatzes liefert. Dieser Ansatz misst, um wie viel besser als zufälliges Raten das Modell ist. Bei diesem Maß bedeutet 0 %, dass das Modell nicht besser ist als eine zufällige Schätzung, wer abwandern wird, und 100 % bedeutet, dass man genau weiß, wer abwandern wird.
Empfohlene Bereiche
Hier finden Sie unsere Empfehlungen für verschiedene Bereiche der Prognosequalität:
| Prognosequalität – Bereich (%) | Empfehlung |
|---|---|
| 60 – 100 | Ausgezeichnet. Größtmögliche Genauigkeit. Es ist unwahrscheinlich, dass eine Änderung der Zielgruppendefinitionen einen zusätzlichen Nutzen bringt. |
| 40 – 60 | Gut. Dieses Modell generiert genaue Prognosen, aber mit anderen Zielgruppeneinstellungen können eventuell noch bessere Ergebnisse erzielt werden. |
| 20 – 40 | Ausreichend. Dieses Modell kann Genauigkeit und Mehrwert liefern, aber probieren Sie andere Zielgruppendefinitionen aus, um zu sehen, ob sich die Performance verbessert. |
| 0 – 20 | Schlecht. Wir empfehlen, die Zielgruppendefinitionen zu ändern und es erneut zu versuchen. |
Event-Korrelationstabelle
Diese Analyse zeigt Nutzer:innen-Attribute oder -Verhaltensweisen an, die mit Events in der Prognosegruppe korreliert sind. Die bewerteten Attribute sind Alter, Land, Geschlecht und Sprache. Zu den analysierten Verhaltensweisen gehören Sitzungen, Käufe, Gesamtausgaben, angepasste Events sowie Campaigns und Canvas-Schritte, die in den letzten 30 Tagen empfangen wurden.
Die Tabellen sind in links und rechts unterteilt – für höhere bzw. geringere Wahrscheinlichkeit, das Event durchzuführen. Für jede Zeile wird in der rechten Spalte das Verhältnis angezeigt, in dem die Nutzer:innen mit dem Verhalten oder Attribut in der linken Spalte eher oder weniger wahrscheinlich das Event durchführen. Diese Zahl ist das Verhältnis der Wahrscheinlichkeitswerte von Nutzer:innen mit diesem Verhalten oder Attribut geteilt durch die Wahrscheinlichkeit, das Event bei der gesamten Prognosegruppe durchzuführen.
Diese Tabelle wird nur aktualisiert, wenn die Vorhersage neu trainiert wird, und nicht, wenn die Wahrscheinlichkeitswerte der Nutzer:innen aktualisiert werden.
Die Korrelationsdaten für Vorschau-Prognosen werden teilweise ausgeblendet. Um diese Informationen zu erhalten, ist ein Kauf erforderlich. Kontaktieren Sie Ihren Account Manager für weitere Informationen.
Fehlerbehebung
Prognose kann nicht erstellt werden
Sollten Sie keine Prognose für ein angepasstes Event erstellen können, könnte dies an einer unzureichenden Stichprobengröße liegen. Braze schätzt die Anzahl der Nutzer:innen, die das Event durchgeführt haben. Wenn nicht genügend Nutzer:innen das Event durchgeführt haben, liefert die Stichprobe möglicherweise nicht genügend Daten, um das Modell zu trainieren. In diesem Fall kann das System auf keine Nutzer:innen extrapolieren, wodurch die Erstellung von Prognosen verhindert wird.
Um eine erfolgreiche Prognose zu erstellen, stellen Sie sicher, dass eine ausreichende Anzahl von Nutzer:innen in Ihrer Prognosegruppe Ihr angepasstes Ziel-Event durchgeführt hat. Der genaue Schwellenwert variiert, jedoch liefern Events mit sehr geringer Nutzung in Ihrer Nutzerbasis möglicherweise nicht genügend Daten für ein zuverlässiges Modelltraining.