Skip to content

Analyses prédictives de l’attrition

Une fois que votre prédiction a été créée et entraînée, vous avez accès à la page Analyses prédictives. Cette page vous aide à décider quels utilisateurs vous devez cibler en fonction de leur score de risque d’attrition ou de leur catégorie.

À propos des analyses prédictives de l’attrition

Dès que la prédiction est terminée et que cette page est remplie, vous pouvez passer à l’utilisation des filtres dans les segments ou les campagnes pour commencer à utiliser les résultats du modèle. Mais si vous voulez de l’aide pour décider qui cibler et pourquoi, cette page peut le faire en fonction de l’exactitude historique du modèle et de vos propres objectifs métier.

Tels sont les composants de l’analyse prédictive de l’attrition :

La répartition des scores pour l’ensemble de l’audience de prédiction est affichée en haut de la page dans un graphique que vous pouvez consulter par catégorie ou par score. Les utilisateurs dans les compartiments situés plus à droite ont des scores plus élevés et sont plus susceptibles de se désabonner. Les utilisateurs dans les compartiments situés plus à gauche sont moins susceptibles de se désabonner. Le curseur situé sous le graphique vous permet de sélectionner un groupe d’utilisateurs et d’estimer les résultats du ciblage des utilisateurs se situant dans la fourchette sélectionnée du score de risque d’attrition ou de la catégorie.

Au fur et à mesure que vous déplacez le curseur, la barre située dans la moitié gauche du panneau inférieur vous informe du nombre d’utilisateurs ciblés sur l’ensemble de l’audience de prédiction.

Score et catégorie d’attrition

Les utilisateurs de l’audience de prédiction se verront attribuer un score de risque d’attrition compris entre 0 et 100. Plus le score est élevé, plus la probabilité d’attrition est grande.

  • Les utilisateurs dont le score est compris entre 0 et 50 seront classés dans la catégorie Risque faible.
  • Les utilisateurs dont le score est compris entre 50 et 75, et entre 75 et 100, seront classés respectivement dans les catégories Risque moyen et Risque fort.

Les scores et les catégories correspondantes seront mis à jour conformément à la planification que vous avez choisie sur la page de création du modèle. Le nombre d’utilisateurs avec des scores d’attrition dans chacun des 20 compartiments de taille égale s’affiche dans le graphique en haut de la page. Cela peut vous aider à déterminer ce à quoi ressemble le risque d’attrition sur la population selon cette prédiction.

Qualité de prédiction

Pour mesurer la précision de votre modèle, l’indicateur de qualité de la prédiction vous montrera à quel point ce modèle de machine learning particulier semble efficace lorsqu’il est testé sur des données historiques. Braze extrait les données selon les groupes que vous avez spécifiés dans la page de création du modèle. Le modèle est entraîné à l’aide d’un ensemble de données (l’ensemble « entraînement ») puis testé sur un nouveau jeu de données distinct (l’ensemble « test »).

La prédiction sera à nouveau entraînée toutes les deux semaines et mise à jour parallèlement à l’indicateur de qualité de la prédiction afin que vos prédictions soient toujours actualisées en fonction des comportements utilisateurs les plus récents. En outre, à chaque occurrence, les deux dernières semaines de prédictions seront testées par rapport aux résultats réels des utilisateurs. La qualité de la prédiction sera alors calculée sur la base de ces résultats réels (plutôt que sur des estimations). Il s’agit d’un backtest automatique (c’est-à-dire le test d’un modèle prédictif sur des données historiques) qui permet de s’assurer que la prédiction est exacte dans des scénarios réels. La date du dernier réentraînement et du dernier backtest sera affichée sur la page Predictions et sur la page d’analyse d’une prédiction individuelle. Même une prédiction de prévisualisation effectuera ce backtest une fois après sa création. Ainsi, vous pouvez être sûr de l’exactitude de vos prédictions personnalisées, même avec la version gratuite de la fonctionnalité.

Exemple de qualité de prédiction

Par exemple, si 20 % de vos utilisateurs sont habituellement désabonnés en moyenne et que vous choisissez un sous-ensemble aléatoire de 20 % de vos utilisateurs en les qualifiant de désabonnés au hasard (qu’ils le soient réellement ou non), vous ne devriez identifier correctement que 20 % des véritables désabonnés. C’est une estimation aléatoire. Si le modèle ne faisait que cela, le lift serait de 1 dans ce cas.

Si le modèle, en revanche, vous permettait d’envoyer des messages à 20 % des utilisateurs et, ce faisant, de cibler tous les « vrais » désabonnés et personne d’autre, le lift serait de 100 % / 20 % = 5. Si vous reportez ce ratio pour chaque proportion des utilisateurs les plus susceptibles de se désabonner à qui vous pourriez envoyer un message, vous obtenez la courbe de lift.

Une autre façon d’appréhender la qualité du lift (et aussi la qualité de la prédiction) est de voir à quel point la courbe de lift de la prédiction se situe entre l’estimation aléatoire (0 %) et la perfection (100 %) dans l’identification des désabonnés sur l’ensemble de test. Pour consulter l’article original sur la qualité du lift, voir Measuring lift quality in database marketing.

Comment est-elle mesurée

Notre mesure de la qualité de la prédiction est la qualité du lift. De manière générale, le terme « lift » fait référence à l’augmentation du ratio ou du pourcentage d’un résultat positif, tel qu’une conversion. Dans ce cas, le résultat positif consiste à identifier correctement un utilisateur qui se serait désabonné. La qualité du lift correspond au lift moyen que la prédiction fournit sur toutes les tailles d’audience possibles pour l’envoi de messages sur l’ensemble de test. Cette approche mesure l’efficacité du modèle par rapport à une estimation aléatoire. Avec cette mesure, 0 % signifie que le modèle n’est pas meilleur qu’une estimation aléatoire des personnes qui vont se désabonner, et 100 % indique une connaissance parfaite de l’attrition.

Voici ce que nous recommandons pour différentes plages de qualité de la prédiction :

Plage de qualité de prédiction (%) Recommandation
60 - 100 Excellent. Précision de premier ordre. La modification des définitions d’audience est peu susceptible de fournir un avantage supplémentaire.
40 - 60 Bon. Ce modèle produira des prédictions précises, mais essayer différents paramètres d’audience peut permettre d’obtenir de meilleurs résultats.
20 - 40 Correct. Ce modèle peut fournir une certaine précision et de la valeur, mais envisagez d’essayer différentes définitions d’audience pour voir si elles améliorent les performances.
0 - 20 Faible. Nous vous recommandons de modifier les définitions de votre audience et de réessayer.

Précision estimée

Dans la moitié droite du panneau situé sous le graphique, nous présentons des estimations de la précision attendue du ciblage de cette partie de l’audience de prédiction. Sur la base des données relatives aux utilisateurs de l’audience de prédiction dans le passé et de la précision apparente du modèle pour distinguer les utilisateurs qui se désabonnent de ceux qui ne se désabonnent pas sur ces données passées, ces barres de progression permettent d’estimer, pour un futur message potentiel utilisant l’audience mise en évidence par le curseur :

  • Combien d’utilisateurs sélectionnés sont susceptibles de se désabonner
  • Combien d’utilisateurs sélectionnés sont susceptibles de ne pas se désabonner

À l’aide de ces informations, nous vous encourageons à décider du nombre de désabonnés que vous souhaitez capturer et du coût des faux positifs pour votre entreprise. Si vous envoyez une promotion de valeur, vous voudrez peut-être garder un minimum de non-désabonnés dans votre ciblage tout en capturant le maximum de vrais désabonnés proposés par le modèle. Ou, si vous êtes moins sensible aux faux positifs et aux utilisateurs recevant des messages supplémentaires, vous pouvez envoyer un message à une audience plus importante afin de capturer plus de désabonnés attendus et ignorer les erreurs probables.

Utilisateurs susceptibles de se désabonner

Il s’agit d’une estimation du nombre de désabonnés réels qui seront correctement ciblés. Bien entendu, nous ne connaissons pas parfaitement l’avenir, et nous ne savons donc pas précisément quels utilisateurs de l’audience de prédiction se désabonneront à l’avenir. Mais la prédiction est une déduction fiable. Sur la base des performances passées, cette barre de progression indique le nombre total de désabonnés « réels » ou « vrais » attendus au sein de l’audience de prédiction (sur la base des taux d’attrition précédents) qui seront ciblés avec la sélection de ciblage actuelle. Nous estimons que ce nombre d’utilisateurs se désabonnera si vous ne les ciblez pas avec un message supplémentaire ou inhabituel.

Utilisateurs susceptibles de ne pas se désabonner

Il s’agit d’une estimation du nombre d’utilisateurs qui ne se seraient pas désabonnés et qui seront incorrectement ciblés. Tous les modèles de machine learning font des erreurs. Il se peut que certains utilisateurs de votre sélection aient un score de risque d’attrition élevé, mais qu’ils ne se désabonnent pas pour autant. Ils ne se désabonneront pas même si vous ne prenez aucune mesure. Ils seront de toute façon ciblés, il s’agit donc d’une erreur ou d’un « faux positif ». La largeur totale de cette deuxième barre de progression représente le nombre attendu d’utilisateurs qui ne se désabonneront pas, et la partie remplie représente ceux qui seront incorrectement ciblés en utilisant la position actuelle du curseur.

Tableau de corrélation de l’attrition

Cette analyse affiche tous les attributs ou comportements des utilisateurs qui sont en corrélation avec l’attrition des utilisateurs dans l’audience de prédiction historique. Les tableaux sont divisés en une partie gauche et une partie droite correspondant respectivement à « plus » et « moins » susceptibles de se désabonner. Pour chaque ligne, le rapport indiquant si les utilisateurs ayant le comportement ou l’attribut dans la colonne de gauche sont plus ou moins susceptibles de se désabonner s’affiche dans la colonne de droite. Ce chiffre est le rapport entre la probabilité d’attrition des utilisateurs ayant ce comportement ou cet attribut et la probabilité d’attrition de l’ensemble de l’audience de prédiction.

Ce tableau est uniquement mis à jour lorsque la prédiction est réentraînée et non lorsque les scores de risque d’attrition des utilisateurs sont actualisés.
New Stuff!