Analyses prédictives des événements
Une fois que votre prédiction a été créée et entraînée, vous avez accès à la page Analyses prédictives. Cette page vous aide à décider quels utilisateurs vous devez cibler en fonction de leur score de probabilité ou de leur catégorie.
À propos des analyses prédictives des événements
Dès que la prédiction est terminée et que cette page est remplie, vous pouvez commencer à utiliser les filtres dans les segments ou les Campaigns pour exploiter les résultats du modèle. Si vous souhaitez de l’aide pour décider qui cibler et pourquoi, cette page peut vous guider en fonction de l’exactitude historique du modèle et de vos propres objectifs métier.
Tels sont les éléments constitutifs des analyses prédictives des événements :
La distribution des scores de probabilité pour l’ensemble de l’audience de prédiction est affichée en haut de la page. Les utilisateurs des compartiments situés plus à droite ont des scores plus élevés et sont plus susceptibles de réaliser l’événement. Les utilisateurs des compartiments situés plus à gauche sont moins susceptibles de réaliser l’événement. Le curseur situé sous le graphique vous permet de sélectionner une section d’utilisateurs et d’estimer quels seraient les résultats du ciblage de ces utilisateurs.
Lorsque vous déplacez les curseurs sur différentes positions, la barre située dans la moitié gauche du panneau vous indique combien d’utilisateurs, sur l’ensemble de l’audience de prédiction, seraient ciblés en utilisant la partie de la population que vous avez sélectionnée.
Score de probabilité
Les utilisateurs de l’audience de prédiction se verront attribuer un score de probabilité compris entre 0 et 100. Plus le score est élevé, plus la probabilité de réaliser l’événement est grande.
Voici comment un utilisateur est classé en fonction de son score de probabilité :
- Faible : entre 0 et 50
- Moyen : entre 50 et 75
- Élevé : entre 75 et 100
Les scores et les catégories correspondantes seront mis à jour selon la planification que vous avez choisie dans la page de création des prédictions. Le nombre d’utilisateurs ayant des scores de probabilité dans chacun des 20 compartiments de taille égale ou dans chacune des catégories de probabilité est affiché dans le graphique en haut de la page.
Accès aux scores de probabilité au niveau utilisateur
Pour consulter le score de probabilité d’un utilisateur individuel, recherchez cet utilisateur dans le tableau de bord et rendez-vous dans Engagement > Predictions afin de visualiser son score. Pour accéder aux scores et aux catégories de plusieurs utilisateurs à la fois, créez un segment à l’aide des filtres Score de probabilité d’événement ou Catégorie de probabilité d’événement, puis exportez les utilisateurs de ce segment. Lors de l’exportation, vous pouvez inclure les scores de probabilité dans les données exportées.
Bien que les événements prédictifs et la prédiction du taux d’attrition attribuent tous deux des scores aux utilisateurs, il existe des différences importantes :
- Événements prédictifs (prédictions d’achat) : prennent en compte tous les utilisateurs de l’audience de prédiction, qu’ils aient déjà effectué l’événement cible ou non. Par exemple, une prédiction d’achat peut identifier les utilisateurs susceptibles d’effectuer leur premier achat.
- Prédiction du taux d’attrition : ne prend en compte que les utilisateurs ayant déjà effectué l’événement personnalisé. Les prédictions d’attrition identifient les utilisateurs qui ont déjà effectué une action et qui sont susceptibles de cesser de le faire. Un utilisateur qui ne s’est jamais connecté ne peut être considéré comme « désabonné » s’il ne se connecte pas.
Lors de l’exportation des scores de risque d’attrition à partir d’un segment, ces scores reflètent le modèle de prédiction d’attrition, qui diffère des modèles de prédiction des achats ou d’autres événements.
Précision estimée
Dans la moitié droite du panneau situé sous le graphique, nous présentons des estimations de la précision attendue du ciblage de la partie de l’audience de prédiction que vous avez sélectionnée, de deux manières : combien d’utilisateurs sélectionnés sont censés réaliser l’événement, et combien sont censés ne pas le faire.
Susceptibles de réaliser l’événement
Vous pouvez utiliser la précision estimée pour vérifier combien d’utilisateurs sélectionnés sont censés effectuer l’événement.
La prédiction n’est pas parfaitement exacte — et aucune prédiction ne l’est jamais — ce qui signifie que Braze ne sera pas en mesure d’identifier chaque futur utilisateur susceptible de réaliser l’événement. Les scores de probabilité sont comme un ensemble de prédictions informées et fiables. La barre de progression indique combien de « vrais positifs » attendus dans l’audience de prédiction seront ciblés avec l’audience sélectionnée. Notez que nous nous attendons à ce que ce nombre d’utilisateurs réalise l’événement même si vous ne leur envoyez pas de message.
Non susceptibles de réaliser l’événement
Vous pouvez utiliser la précision estimée pour vérifier combien d’utilisateurs sélectionnés sont susceptibles de ne pas réaliser l’événement.
Tous les modèles de machine learning font des erreurs. Il se peut que certains utilisateurs de votre sélection aient un score de probabilité élevé, mais qu’ils ne réalisent finalement pas l’événement. Si vous n’agissiez pas, ils ne réaliseraient pas l’événement. Ils seront de toute façon ciblés, il s’agit donc d’une erreur ou d’un « faux positif ». La largeur totale de cette deuxième barre de progression représente le nombre attendu d’utilisateurs qui n’effectueront pas l’événement, et la partie remplie représente ceux qui seront incorrectement ciblés avec la position actuelle du curseur.
À l’aide de ces informations, nous vous encourageons à décider du nombre de vrais positifs que vous souhaitez capturer, du nombre de faux positifs dont vous pouvez accepter le ciblage et du coût des erreurs pour votre entreprise. Si vous envoyez une promotion intéressante, vous pouvez cibler uniquement les non-acheteurs (faux positifs) en privilégiant le côté gauche du graphique. Vous pouvez également encourager les acheteurs réguliers (les vrais positifs) à acheter de nouveau en sélectionnant une section d’utilisateurs qui privilégie le côté droit du graphique.
Qualité de prédiction
Pour mesurer la précision de votre modèle, l’indicateur de qualité de la prédiction vous montrera à quel point ce modèle de machine learning particulier semble efficace lorsqu’il est testé sur des données historiques. Braze extrait les données selon les groupes que vous avez spécifiés dans la page de création du modèle. Le modèle est entraîné à l’aide d’un ensemble de données (l’ensemble « entraînement ») puis testé sur un nouveau jeu de données distinct (l’ensemble « test »).
La prédiction sera à nouveau entraînée toutes les deux semaines et mise à jour parallèlement à l’indicateur de qualité de la prédiction afin que vos prédictions soient toujours actualisées en fonction des comportements utilisateurs les plus récents. En outre, à chaque occurrence, les deux dernières semaines de prédictions seront testées par rapport aux résultats réels des utilisateurs. La qualité de la prédiction sera alors calculée sur la base de ces résultats réels (plutôt que sur des estimations). Il s’agit d’un backtest automatique (c’est-à-dire le test d’un modèle prédictif sur des données historiques) qui permet de s’assurer que la prédiction est exacte dans des scénarios réels. La date du dernier réentraînement et du dernier backtest sera affichée sur la page Predictions et sur la page d’analyse d’une prédiction individuelle. Même une prédiction de prévisualisation effectuera ce backtest une fois après sa création. Ainsi, vous pouvez être sûr de l’exactitude de vos prédictions personnalisées, même avec la version gratuite de la fonctionnalité.
Exemple de qualité de prédiction
Par exemple, si 20 % de vos utilisateurs sont habituellement désabonnés en moyenne et que vous choisissez un sous-ensemble aléatoire de 20 % de vos utilisateurs en les qualifiant de désabonnés au hasard (qu’ils le soient réellement ou non), vous ne devriez identifier correctement que 20 % des véritables désabonnés. C’est une estimation aléatoire. Si le modèle ne faisait que cela, le lift serait de 1 dans ce cas.
Si le modèle, en revanche, vous permettait d’envoyer des messages à 20 % des utilisateurs et, ce faisant, de cibler tous les « vrais » désabonnés et personne d’autre, le lift serait de 100 % / 20 % = 5. Si vous reportez ce ratio pour chaque proportion des utilisateurs les plus susceptibles de se désabonner à qui vous pourriez envoyer un message, vous obtenez la courbe de lift.
Une autre façon d’appréhender la qualité du lift (et aussi la qualité de la prédiction) est de voir à quel point la courbe de lift de la prédiction se situe entre l’estimation aléatoire (0 %) et la perfection (100 %) dans l’identification des désabonnés sur l’ensemble de test. Pour consulter l’article original sur la qualité du lift, voir Measuring lift quality in database marketing.
Comment est-elle mesurée
Notre mesure de la qualité de la prédiction est la qualité du lift. De manière générale, le terme « lift » fait référence à l’augmentation du ratio ou du pourcentage d’un résultat positif, tel qu’une conversion. Dans ce cas, le résultat positif consiste à identifier correctement un utilisateur qui se serait désabonné. La qualité du lift correspond au lift moyen que la prédiction fournit sur toutes les tailles d’audience possibles pour l’envoi de messages sur l’ensemble de test. Cette approche mesure l’efficacité du modèle par rapport à une estimation aléatoire. Avec cette mesure, 0 % signifie que le modèle n’est pas meilleur qu’une estimation aléatoire des personnes qui vont se désabonner, et 100 % indique une connaissance parfaite de l’attrition.
Plages recommandées
Voici ce que nous recommandons pour différentes plages de qualité de la prédiction :
| Plage de qualité de prédiction (%) | Recommandation |
|---|---|
| 60 - 100 | Excellent. Précision de premier ordre. La modification des définitions d’audience est peu susceptible de fournir un avantage supplémentaire. |
| 40 - 60 | Bon. Ce modèle produira des prédictions précises, mais essayer différents paramètres d’audience peut permettre d’obtenir de meilleurs résultats. |
| 20 - 40 | Correct. Ce modèle peut fournir une certaine précision et de la valeur, mais envisagez d’essayer différentes définitions d’audience pour voir si elles améliorent les performances. |
| 0 - 20 | Faible. Nous vous recommandons de modifier les définitions de votre audience et de réessayer. |
Tableau de corrélation des événements
Cette analyse affiche les attributs ou les comportements des utilisateurs qui sont corrélés avec les événements dans l’audience de prédiction. Les attributs évalués sont l’âge, le pays, le sexe et la langue. Les comportements analysés comprennent les sessions, les achats, le montant total des dépenses, les événements personnalisés, ainsi que les Campaigns et les étapes Canvas reçues au cours des 30 derniers jours.
Les tableaux sont divisés en deux parties, gauche et droite, respectivement pour les utilisateurs les plus et les moins susceptibles de réaliser l’événement. Pour chaque ligne, le ratio par lequel les utilisateurs ayant le comportement ou l’attribut dans la colonne de gauche sont plus ou moins susceptibles de réaliser l’événement est affiché dans la colonne de droite. Ce nombre est le rapport entre les scores de probabilité des utilisateurs ayant ce comportement ou cet attribut et la probabilité de réaliser l’événement sur l’ensemble de l’audience de prédiction.
Ce tableau n’est mis à jour que lorsque la prédiction se réentraîne, et non lorsque les scores de probabilité des utilisateurs sont mis à jour.
Les données de corrélation pour les aperçus de prédictions seront partiellement masquées. Un achat est requis pour révéler ces informations. Contactez votre gestionnaire de compte pour plus d’informations.
Résolution des problèmes
Impossible de créer une prédiction
Si vous ne parvenez pas à créer une prédiction pour un événement personnalisé, cela peut être dû à un échantillon de taille insuffisante. Braze estime le nombre d’utilisateurs ayant effectué l’événement. Si un nombre insuffisant d’utilisateurs a effectué l’événement, l’échantillon peut ne pas fournir suffisamment de données pour entraîner le modèle. Dans ce cas, le système peut extrapoler à zéro utilisateur, empêchant ainsi la création de la prédiction.
Pour créer une prédiction avec succès, assurez-vous qu’un nombre suffisant d’utilisateurs dans votre audience de prédiction ont effectué votre événement personnalisé cible. Le seuil exact varie, mais les événements très peu utilisés par votre base d’utilisateurs peuvent ne pas fournir suffisamment de données pour un entraînement fiable du modèle.