Skip to content

Predictive-Churn-Analytics

Nachdem Ihre Prognose erstellt und trainiert wurde, haben Sie Zugriff auf die Seite Prediction Analytics. Diese Seite hilft Ihnen bei der Entscheidung, welche Nutzer:innen Sie auf der Grundlage ihres Churn-Risiko-Scores oder ihrer Kategorie ansprechen sollten.

Über Predictive-Churn-Analytics

Sobald das Training der Prognose abgeschlossen und diese Seite gefüllt ist, können Sie direkt Filter in Segmenten oder Campaigns verwenden, um die Ergebnisse des Modells zu nutzen. Wenn Sie jedoch Hilfe bei der Entscheidung benötigen, wen Sie ansprechen und warum, kann Ihnen diese Seite auf der Grundlage der historischen Genauigkeit des Modells und Ihrer eigenen Geschäftsziele helfen.

Dies sind die Komponenten, aus denen sich die Predictive-Churn-Analytics zusammensetzen:

Die Verteilung der Scores für die gesamte Prognosegruppe wird oben auf der Seite in einem Chart angezeigt, das Sie nach Kategorie oder Score anzeigen können. Nutzer:innen in den weiter rechts gelegenen Bereichen haben höhere Scores und werden eher abwandern. Nutzer:innen in den weiter links gelegenen Bereichen werden weniger wahrscheinlich abwandern. Mit dem Schieberegler unterhalb des Charts können Sie einen Bereich von Nutzer:innen auswählen und abschätzen, wie die Ergebnisse aussehen würden, wenn Sie Nutzer:innen im ausgewählten Bereich des Churn-Risiko-Scores oder der Kategorie ansprechen würden.

Wenn Sie den Schieberegler verschieben, informiert Sie der Balken in der linken Hälfte des unteren Panels darüber, wie viele Nutzer:innen aus der gesamten Prognosegruppe angesprochen werden würden.

Churn Score und Kategorie

Den Nutzer:innen in der Prognosegruppe wird ein Churn-Risiko-Score zwischen 0 und 100 zugewiesen. Je höher der Score, desto größer ist die Wahrscheinlichkeit der Abwanderung.

  • Nutzer:innen mit Scores zwischen 0 und 50 werden in die Kategorie Geringes Risiko eingestuft.
  • Nutzer:innen mit Scores zwischen 50 und 75 bzw. 75 und 100 werden in die Kategorien Mittleres Risiko bzw. Hohes Risiko eingestuft.

Die Scores und die entsprechenden Kategorien werden nach dem Zeitplan aktualisiert, den Sie auf der Seite zur Modellerstellung gewählt haben. Die Anzahl der Nutzer:innen mit Churn Scores in jedem der 20 gleich großen Buckets wird im Chart oben auf der Seite angezeigt. So können Sie abschätzen, wie das Churn-Risiko in der Gesamtpopulation gemäß dieser Prognose aussieht.

Prognosequalität

Um die Genauigkeit Ihres Modells zu messen, zeigt Ihnen die Metrik Prognosequalität, wie effektiv dieses bestimmte Modell für maschinelles Lernen zu sein scheint, wenn es mit historischen Daten getestet wird. Braze zieht die Daten entsprechend den Gruppen, die Sie auf der Seite zur Modellerstellung angegeben haben. Das Modell wird anhand eines Datensatzes (dem „Trainingsdatensatz“) trainiert und anschließend anhand eines neuen, separaten Datensatzes (dem „Testdatensatz“) getestet.

Die Prognose wird alle zwei Wochen erneut trainiert und zusammen mit der Metrik Prognosequalität aktualisiert, damit Ihre Prognosen immer auf dem neuesten Stand des Nutzer:innenverhaltens sind. Außerdem werden jedes Mal die Prognosen der letzten zwei Wochen mit den tatsächlichen Ergebnissen der Nutzer:innen verglichen. Die Prognosequalität wird dann anhand dieser realen Ergebnisse (und nicht anhand von Schätzungen) berechnet. Dabei handelt es sich um einen automatischen Backtest (d. h. das Testen eines Prognosemodells anhand historischer Daten), um sicherzustellen, dass die Prognose in realen Szenarien korrekt ist. Der Zeitpunkt des letzten Retrainings und Backtests wird auf der Seite Prognosen und auf der Analytics-Seite einer einzelnen Prognose angezeigt. Auch eine Vorschau-Prognose führt diesen Backtest einmal nach der Erstellung durch. Auf diese Weise können Sie sich der Genauigkeit Ihrer individuellen Prognose sicher sein, selbst mit der kostenlosen Version des Features.

Beispiel für Prognosequalität

Wenn beispielsweise 20 % Ihrer Nutzer:innen im Durchschnitt abwandern und Sie eine zufällige Teilmenge von 20 % Ihrer Nutzer:innen auswählen und diese nach dem Zufallsprinzip als abgewandert bezeichnen (unabhängig davon, ob sie es wirklich sind oder nicht), werden Sie voraussichtlich nur 20 % der tatsächlichen Abgewanderten korrekt identifizieren. Das ist reines Raten. Wenn das Modell nur so gut funktionieren würde, wäre der Lift in diesem Fall 1.

Wenn das Modell es Ihnen hingegen erlauben würde, 20 % der Nutzer:innen anzusprechen und dabei alle „echten“ Abgewanderten zu erfassen und niemanden sonst, wäre der Lift 100 % / 20 % = 5. Wenn Sie dieses Verhältnis für jeden Anteil der wahrscheinlichsten Abgewanderten, die Sie ansprechen könnten, aufzeichnen, erhalten Sie die Lift-Kurve.

Eine andere Möglichkeit, die Lift-Qualität (und auch die Prognosequalität) zu betrachten, ist die Frage, wie weit die Lift-Kurve der Prognose bei der Identifizierung von Abgewanderten im Testdatensatz zwischen zufälligem Raten (0 %) und Perfektion (100 %) liegt. Die Originalarbeit zur Lift-Qualität finden Sie unter Measuring lift quality in database marketing.

Wie sie gemessen wird

Unser Maß für die Prognosequalität ist die Lift-Qualität. Im Allgemeinen bezeichnet „Lift“ den erhöhten Anteil oder Prozentsatz eines erfolgreichen Ergebnisses, wie z. B. einer Conversion. In diesem Fall ist das erfolgreiche Ergebnis die korrekte Identifizierung einer Nutzerin oder eines Nutzers, die oder der abgewandert wäre. Die Lift-Qualität ist der durchschnittliche Lift, den die Prognose für alle möglichen Zielgruppengrößen beim Messaging des Testdatensatzes liefert. Dieser Ansatz misst, um wie viel besser als zufälliges Raten das Modell ist. Bei diesem Maß bedeutet 0 %, dass das Modell nicht besser ist als eine zufällige Schätzung, wer abwandern wird, und 100 % bedeutet, dass man genau weiß, wer abwandern wird.

Hier finden Sie unsere Empfehlungen für verschiedene Bereiche der Prognosequalität:

Prognosequalität – Bereich (%) Empfehlung
60 – 100 Ausgezeichnet. Größtmögliche Genauigkeit. Es ist unwahrscheinlich, dass eine Änderung der Zielgruppendefinitionen einen zusätzlichen Nutzen bringt.
40 – 60 Gut. Dieses Modell generiert genaue Prognosen, aber mit anderen Zielgruppeneinstellungen können eventuell noch bessere Ergebnisse erzielt werden.
20 – 40 Ausreichend. Dieses Modell kann Genauigkeit und Mehrwert liefern, aber probieren Sie andere Zielgruppendefinitionen aus, um zu sehen, ob sich die Performance verbessert.
0 – 20 Schlecht. Wir empfehlen, die Zielgruppendefinitionen zu ändern und es erneut zu versuchen.

Geschätzte Genauigkeit

In der rechten Hälfte des Panels unterhalb des Charts zeigen wir Schätzungen der erwarteten Genauigkeit bei der Ansprache dieses Teils der Prognosegruppe. Auf der Grundlage von Daten über Nutzer:innen in der Prognosegruppe in der Vergangenheit und der offensichtlichen Genauigkeit des Modells bei der Unterscheidung zwischen abwandernden und nicht abwandernden Nutzer:innen auf der Grundlage dieser vergangenen Daten schätzen diese Fortschrittsbalken für eine zukünftige potenzielle Nachricht unter Verwendung der mit dem Schieberegler hervorgehobenen Zielgruppe:

  • Wie viele ausgewählte Nutzer:innen voraussichtlich abwandern werden
  • Wie viele ausgewählte Nutzer:innen voraussichtlich nicht abwandern werden

Anhand dieser Informationen empfehlen wir Ihnen zu entscheiden, wie viele der Abwandernden Sie erfassen möchten und wie hoch die Kosten eines falsch positiven Ergebnisses für Ihr Unternehmen sind. Wenn Sie eine hochwertige Werbeaktion versenden, sollten Sie möglichst wenige Nicht-Abwandernde ansprechen und gleichzeitig so viele erwartete tatsächliche Abwandernde einbeziehen, wie das Modell zulässt. Oder wenn Sie weniger empfindlich auf falsch positive Ergebnisse reagieren und Nutzer:innen zusätzliche Nachrichten erhalten, können Sie mehr Nachrichten an die Zielgruppe senden, um mehr erwartete Abwandernde zu erfassen und die wahrscheinlichen Fehler zu ignorieren.

Nutzer:innen, die voraussichtlich abwandern

Dies ist eine Schätzung, wie viele tatsächlich Abwandernde korrekt angesprochen werden. Natürlich kennen wir die Zukunft nicht genau, sodass wir nicht präzise wissen, welche Nutzer:innen aus der Prognosegruppe in Zukunft abwandern werden. Aber die Prognose ist eine zuverlässige Schlussfolgerung. Basierend auf der bisherigen Performance zeigt dieser Fortschrittsbalken an, wie viele der insgesamt „tatsächlichen“ oder „echten“ Abwandernden, die in der Prognosegruppe erwartet werden (basierend auf früheren Churn-Raten), mit der aktuellen Targeting-Auswahl angesprochen werden. Wir würden erwarten, dass diese Anzahl von Nutzer:innen abwandert, wenn Sie sie nicht mit zusätzlichen oder ungewöhnlichen Nachrichten ansprechen.

Nutzer:innen, die voraussichtlich nicht abwandern

Dies ist eine Schätzung, wie viele Nutzer:innen, die nicht abgewandert wären, fälschlicherweise angesprochen werden. Alle Modelle für maschinelles Lernen machen Fehler. Möglicherweise gibt es in Ihrer Auswahl Nutzer:innen mit einem hohen Churn-Risiko-Score, die dann aber doch nicht abwandern. Diese würden auch dann nicht abwandern, wenn Sie überhaupt nichts unternehmen. Sie werden trotzdem angesprochen, was einen Fehler oder ein „falsch positives Ergebnis“ darstellt. Die gesamte Breite dieses zweiten Fortschrittsbalkens steht für die erwartete Anzahl der Nutzer:innen, die nicht abwandern werden, und der gefüllte Teil steht für diejenigen, die anhand der aktuellen Schiebereglerposition fälschlicherweise angesprochen werden.

Churn-Korrelationstabelle

Diese Analyse zeigt Nutzerattribute oder -verhaltensweisen, die in der historischen Prognosegruppe mit der Abwanderung korreliert haben. Die Tabellen sind in links und rechts für mehr bzw. weniger abwanderungsgefährdet unterteilt. Für jede Zeile wird in der rechten Spalte das Verhältnis angezeigt, in dem Nutzer:innen mit dem Verhalten oder Attribut in der linken Spalte eher oder weniger wahrscheinlich abwandern. Diese Zahl gibt die Churn-Wahrscheinlichkeit bei Vorhandensein dieses Verhaltens oder Attributs geteilt durch die Churn-Wahrscheinlichkeit der gesamten Prognosegruppe an.

Diese Tabelle wird nur aktualisiert, wenn die Prognose neu trainiert wird, und nicht, wenn die Churn-Risiko-Scores der Nutzer:innen aktualisiert werden.
New Stuff!