Skip to content

Analyses prédictives (if used anjective)

Une fois que votre prédiction a été créée et entraînée, vous avez accès à la page Analyses prédictives. Cette page vous aide à décider quels utilisateurs vous devez cibler en fonction de leur score de probabilité ou de leur catégorie.

A propos de l’analyse prédictive/analytique (if used anjective)

Dès que la prédiction est terminée et que cette page est remplie, vous pouvez commencer à utiliser les filtres dans les segments ou les campagnes pour commencer à utiliser les résultats du modèle. Si vous voulez de l’aide pour décider qui cibler et pourquoi, cette page peut le faire en fonction de l’exactitude historique du modèle et de vos propres objectifs commerciaux.

Tels sont les éléments constitutifs de l’analyse/analytique prévisionnelle des événements :

La distribution des scores de vraisemblance pour l’ensemble de l’audience de prédictions est affichée en haut de la page. Les utilisateurs des compartiments situés plus à droite ont des scores plus élevés et sont plus susceptibles de réaliser l’événement. Les utilisateurs des compartiments situés plus à gauche sont moins susceptibles d’effectuer l’événement. Le curseur situé sous le graphique vous permettra de sélectionner une section d’utilisateurs et d’estimer quels seraient les résultats du ciblage de ces utilisateurs.

Lorsque vous déplacez les curseurs sur différentes positions, la barre située dans la moitié gauche du panneau vous indique combien d’utilisateurs, sur l’ensemble de l’audience prédite, seraient ciblés en utilisant la partie de la population que vous avez sélectionnée.

Score de vraisemblance

Les utilisateurs de l’audience de prédictions se verront attribuer un score de probabilité compris entre 0 et 100. Plus le score est élevé, plus la probabilité de réaliser l’événement est grande.

Voici comment un utilisateur est classé en fonction de son score de probabilité :

  • Faible : entre 0 et 50
  • Moyenne : entre 50 et 75
  • Élevé : entre 75 et 100

Les scores et les prédictions correspondantes seront mis à jour selon la planification que vous avez choisie dans la page de création des prédictions. Le nombre d’utilisateurs ayant des scores de vraisemblance dans chacun des 20 compartiments de taille égale ou dans chacune des catégories de vraisemblance est affiché dans le graphique en haut de la page.

Précision estimée

Dans la moitié droite du panneau situé sous le graphique, nous présentons des estimations de la précision attendue du ciblage de la partie de l’audience de prédictions que vous avez sélectionnée de deux manières : combien d’utilisateurs sélectionnés sont censés réaliser l’événement, et combien sont censés ne pas le faire.

L'audience sélectionnée et la précision estimée s'affichent dans le tableau de bord de Braze.

On attend d’eux qu’ils accomplissent

Vous pouvez utiliser la précision estimée pour vérifier combien d’utilisateurs sélectionnés sont censés effectuer l’événement.

La prédiction n’est pas parfaitement exacte, et aucune prédiction ne l’est jamais, ce qui signifie que Braze ne sera pas en mesure d’identifier chaque futur utilisateur pour réaliser l’événement. Les scores de vraisemblance sont comme un ensemble de prédictions informées et fiables. La barre de progression indique combien de “vrais positifs” attendus dans l’audience de prédiction seront ciblés avec l’audience sélectionnée. Notez que nous nous attendons à ce que ce nombre d’utilisateurs réalise l’événement même si vous ne leur envoyez pas de message.

On ne s’attend pas à ce qu’ils soient performants

Vous pouvez utiliser la précision estimée pour vérifier combien d’utilisateurs sélectionnés sont susceptibles de ne pas réaliser l’événement.

Tous les modèles de machine learning font des erreurs. Il se peut que certains utilisateurs de votre sélection aient un score de probabilité élevé, mais qu’ils ne réalisent pas l’événement. Si vous n’agissiez pas, ils ne réaliseraient pas l’événement. Ils seront de toute façon ciblés, donc il s’agit d’une erreur ou d’un « faux positif ». La largeur totale de cette deuxième barre de progression représente le nombre attendu d’utilisateurs qui n’effectueront pas l’événement, et la partie remplie représente ceux qui seront incorrectement ciblés en utilisant la position actuelle du curseur.

À l’aide de ces informations, nous vous encourageons à décider du nombre de vrais positifs que vous souhaitez capturer, du nombre de faux positifs dont vous pouvez accepter le ciblage et du coût des erreurs pour votre entreprise. Si vous envoyez une promotion intéressante, vous pouvez cibler uniquement les non acheteurs (faux positifs) en privilégiant le côté gauche du graphique. Vous pouvez également encourager les acheteurs qui achètent souvent (les vrais positifs) à le faire à nouveau en sélectionnant une section d’utilisateurs qui privilégie le côté droit du graphique.

Qualité des prédictions

Pour mesurer la précision de votre modèle, l’indicateur de qualité des prédictions vous montrera à quel point ce modèle de machine learning particulier semble efficace lorsqu’il est testé sur des données historiques. Braze extrait les données selon les groupes que vous avez spécifiés dans la page de création du modèle. Le modèle est entraîné à l’aide d’un ensemble de données (l’ensemble « entraînement ») puis testé sur un nouveau jeu de données distinct (l’ensemble « test »).

La prédiction sera à nouveau entraînée toutes les deux semaines et mise à jour parallèlement à l’indicateur de qualité de la prédiction afin que vos prédictions soient toujours actualisées en fonction des modèles de comportement des utilisateurs les plus récents. En outre, à chaque fois, les deux dernières semaines de prédictions seront testées par rapport aux résultats réels des utilisateurs. La qualité de la prédiction sera alors calculée sur la base de ces résultats réels (plutôt que sur des estimations). Il s’agit d’un backtest automatique (c’est-à-dire le test d’un modèle prédictif sur des données historiques) qui permet de s’assurer que la prédiction est exacte dans des scénarios réels. La dernière fois que ce recyclage et ce backtesting ont eu lieu sera affichée sur la page des prédictions et sur la page d’analyse/analytique d’une prédiction individuelle. Même une prédiction de type “preview” effectuera ce backtest une fois après sa création. Ainsi, vous pouvez être sûr de l’exactitude de vos prédictions personnalisées, même avec la version gratuite de la fonctionnalité.

Prediction quality example

Par exemple, si 20 % de vos utilisateurs abandonnent en moyenne et que vous choisissez un sous-ensemble aléatoire de 20 % de vos utilisateurs et que vous les qualifiez de désabonnés au hasard (qu’ils le soient réellement ou non), vous devriez identifier correctement seulement 20 % des utilisateurs réellement désabonnés. C’est une estimation aléatoire. Si le modèle ne faisait que ça, l’encouragement serait de 1 pour ce cas.

Si le modèle, d’autre part, vous a permis d’envoyer des messages à 20 % des utilisateurs et, de ce fait, de cibler toutes les « vraies » personnes qui abandonnent et personne d’autre, l’encouragement serait 100 % / 20 % = 5. Si vous reportez ce rapport pour chaque proportion des personnes les plus susceptibles d’abandonner à qui vous pourriez envoyer un message, vous obtenez la courbe d’amélioration projetée.

Une autre façon d’appréhender la qualité du lift (et aussi la qualité de la prédiction) est de voir à quel point la courbe de lift de la prédiction se situe entre la supposition aléatoire (0 %) et la perfection (100 %) dans l’identification des désabonnés sur l’ensemble de test. Pour consulter l’article original sur la qualité de l’amélioration projetée, voir Mesurer la qualité de l’amélioration projetée dans le marketing de base de données.

Comment est-elle mesurée ?

Notre mesure de la qualité des prédictions est la qualité de l’ascenseur. En général, le terme “lift” fait référence à l’augmentation du ratio ou du pourcentage d’un résultat positif, tel qu’une conversion. Dans ce cas, un résultat fructueux identifie correctement un utilisateur qui aurait abandonné. La qualité de l’augmentation projetée est l’effet de levier moyen de la prédiction sur toutes les tailles d’audience possibles pour l’envoi de messages dans l’ensemble de test. Cette approche mesure l’efficacité du modèle par rapport à une estimation aléatoire. Avec cette mesure, 0 % signifie que le modèle n’est pas meilleur qu’une estimation aléatoire des personnes qui vont abandonner, et 100 % indique une prédiction parfaite de l’attrition.

Plages recommandées

Voici ce que nous recommandons pour différentes gammes de qualité de prédictions:

Tableau de corrélation des événements

Cette analyse affiche les attributs ou les comportements de l’utilisateur qui sont en corrélation avec les événements de l’audience de prédiction. Les attributs évalués sont l’âge, le pays, le sexe et la langue. Les comportements analysés comprennent les sessions, les achats, le montant total des dépenses, les événements personnalisés, ainsi que les campagnes et les étapes canvas reçues au cours des 30 derniers jours.

Les tableaux sont divisés en deux parties, gauche et droite, respectivement pour les personnes les plus et les moins susceptibles de réaliser l’événement. Pour chaque ligne, le ratio par lequel les utilisateurs ayant le comportement ou l’attribut dans la colonne de gauche sont plus ou moins susceptibles de réaliser l’événement est affiché dans la colonne de droite. Ce nombre est le rapport entre les scores de vraisemblance des utilisateurs ayant ce comportement ou cet attribut, divisé par la probabilité de réaliser l’événement sur l’ensemble de l’audience de prédiction.

Ce tableau n’est mis à jour que lorsque la prédiction se réajuste et non lorsque les scores de vraisemblance de l’utilisateur sont mis à jour.
Github   Modifier cette page sur GitHub
New Stuff!