Análisis predictivos del abandono de clientes

Una vez creada y entrenada tu predicción, tendrás acceso a la página Análisis de predicciones. Esta página te ayuda a decidir a qué usuarios debes dirigirte en función de su puntuación de riesgo de abandono o categoría.

Acerca del análisis predictivo del abandono de clientes

En cuanto la predicción haya terminado de entrenarse y esta página esté llena, puedes pasar a utilizar simplemente filtros en segmentos o campañas para empezar a utilizar los resultados del modelo. Pero, si quieres ayuda para decidir a quién dirigirte y por qué, esta página puede ayudarte basándose en la precisión histórica del modelo y en tus propios objetivos de negocio.

Estos son los componentes del análisis predictivo del abandono:

• Puntuación de abandono y categoría
• Calidad de la predicción
• Precisión estimada
• Tabla de correlación de abandonos

La distribución de las puntuaciones de toda la audiencia de predicción se muestra en la parte superior de la página en un gráfico que puedes ver, por categoría o por puntuación. Los usuarios de las casillas situadas más a la derecha tienen puntuaciones más altas y es más probable que abandonen. Los usuarios de las casillas situadas más a la izquierda tienen menos probabilidades de abandonar. El control deslizante situado bajo el gráfico te permitirá seleccionar una franja de usuarios y estimar cuáles serían los resultados de dirigirte a usuarios en el rango seleccionado de Puntuación de Riesgo de Abandono o categoría.

A medida que muevas el control deslizante, la barra de la mitad izquierda del panel inferior te informará de a cuántos usuarios de toda la audiencia de predicción se dirigiría la predicción.

Puntuación de abandono y categoría

A los usuarios de la audiencia de predicción se les asignará una Puntuación de Riesgo de Abandono entre 0 y 100. Cuanto mayor sea la puntuación, mayor será la probabilidad de abandono.

• Los usuarios con puntuaciones entre 0 y 50 serán etiquetados en la categoría de Riesgo Bajo.
• Los usuarios con puntuaciones entre 50 y 75, y entre 75 y 100 serán etiquetados en las categorías de Riesgo Medio y Riesgo Alto, respectivamente.

Las puntuaciones y las categorías correspondientes se actualizarán según el calendario que hayas elegido en la página de creación del modelo. El número de usuarios con puntuaciones de abandono en cada uno de los 20 contenedores de igual tamaño se muestra en el gráfico de la parte superior de la página. Esto puede ayudarte a determinar cómo es el riesgo de abandono en toda la población según esta predicción.

Calidad de la predicción

To measure the accuracy of your model, the Prediction Quality metric will show you how effective this particular machine learning model appears to be when tested on historical data. Braze pulls data according to the groups you specified in the model creation page. The model is trained on one data set (the “training” set) and then tested on a new, separate data set (the “test” set).

The prediction will be trained again every two weeks and updated alongside the Prediction Quality metric to keep your predictions updated on the most recent user behavior patterns. Additionally, each time this occurs, the last two weeks of predictions will be tested against actual user outcomes. The Prediction Quality will then be calculated based on these real outcomes (rather than estimates). This is an automatic backtest (that is, testing a predictive model on historical data) to ensure the prediction is accurate in real-world scenarios. The last time this retraining and backtesting occurred will be displayed on the Predictions page and an individual prediction’s analytics page. Even a preview prediction will perform this backtest once after its creation. This way, you can be sure of the accuracy of your customized prediction even with the free version of the feature.

Prediction quality example

For example, if 20% of your users usually churn on average, and you pick a random subset of 20% of your users and label them as churned at random (whether they truly are or not), you’d expect to correctly identify only 20% of the actual churners. That’s random guessing. If the model were to only do that well, the lift would be 1 for this case.

If the model, on the other hand, allowed you to message 20% of the users and, in doing so capture all the “true” churners and no one else, the lift would be 100% / 20% = 5. If you chart this ratio for every proportion of the likeliest churners you could message, you get the Lift Curve.

Another way to think of lift quality (and also Prediction Quality) is how far along the way between random guessing (0%) and perfection (100%) the prediction’s lift curve is at identifying churners on the test set. For the original paper on lift quality, see Measuring lift quality in database marketing.

How it’s measured

Our measure of Prediction Quality is lift quality. Generally, “lift” refers to the increased ratio or percentage of a successful outcome, such as a conversion. In this case, the successful outcome is correctly identifying a user who would have churned. Lift quality is the average lift the prediction provides across all possible audience sizes for messaging the test set. This approach measures how much better than random guessing the model is. With this measure, 0% means the model is no better than randomly guessing about who will churn, and 100% indicates perfect knowledge of who will churn.

Recommended ranges

Here’s what we recommend for various ranges of Prediction Quality:

Prediction Quality Range (%)	Recommendation
60 - 100	Excellent. Top tier accuracy. Changing the audience definitions is unlikely to provide additional benefit.
40 - 60	Good. This model will produce accurate predictions, but trying different audience settings may achieve even better results.
20 - 40	Fair. This model can provide accuracy and value, but consider trying different audience definitions to see if they increase performance.
0 - 20	Poor. We recommend you change your audience definitions and try again.

Precisión estimada

En la mitad derecha del panel, debajo del gráfico, mostramos estimaciones de la precisión esperada al dirigirnos a esta franja de la audiencia de predicción. Basándose en los datos sobre los usuarios de la audiencia de predicción en el pasado, y en la aparente precisión del modelo para discriminar entre los usuarios que abandonan y los que no abandonan en esos datos pasados, estas barras de progreso hacen una estimación para un futuro mensaje potencial utilizando la audiencia resaltada con el control deslizante:

• Cuántos usuarios seleccionados se prevé que cancelen
• ¿Cuántos usuarios seleccionados se espera que no abandonen?

Con esta información, te animamos a que decidas cuántos de los usuarios que abandonan quieres captar y cuál es el coste de un error falso positivo para tu empresa. Si envías una promoción valiosa, es posible que quieras reducir al mínimo el número de usuarios que no abandonan, y conseguir tantos usuarios que abandonan como permita el modelo. O, si eres menos sensible a los falsos positivos y los usuarios reciben mensajes adicionales, puedes enviar mensajes a una mayor parte de la audiencia para captar a más usuarios que abandonan e ignorar los errores probables.

Usuarios que se espera que abandonen

Es una estimación del número de usuarios que abandonan correctamente. Por supuesto, no conocemos el futuro a la perfección, así que no sabemos con precisión qué usuarios de la audiencia de predicción abandonarán en el futuro. Pero la predicción es una inferencia fiable. Basándose en rendimientos anteriores, esta barra de progreso indica cuántos de los usuarios que abandonan “reales” o “verdaderos” que se esperan en la audiencia de predicción (basándose en las tasas de abandono anteriores) serán el objetivo de la selección de objetivos actual. Es de esperar que este número de usuarios abandone si no les envías mensajes adicionales o inusuales.

Se espera que los usuarios no abandonen

Se trata de una estimación del número de usuarios que no habrían abandonado y a los que se dirigirá incorrectamente. Todos los modelos de aprendizaje automático cometen errores. Puede haber usuarios en tu selección que tengan una Puntuación de Riesgo de Abandono alta, pero que no acaben abandonando. No abandonarían aunque no hicieras nada. Serán objetivo de todos modos, por lo que se trata de un error o “falso positivo”. La anchura total de esta segunda barra de progreso representa el número previsto de usuarios que no abandonarán, y la parte rellena representa a los que se dirigirán incorrectamente utilizando la posición actual del deslizador.

Tabla de correlación de abandonos

Este análisis muestra cualquier atributo o comportamiento del usuario que esté correlacionado con el abandono de usuarios en la audiencia de predicción histórica. Las tablas se dividen en izquierda y derecha para los más y los menos propensos al abandono, respectivamente. Para cada fila, en la columna de la derecha se muestra la proporción en la que los usuarios con el comportamiento o atributo de la columna de la izquierda son más o menos propensos al abandono. Este número es el cociente de la probabilidad de abandono de los usuarios con este comportamiento o atributo dividido por la probabilidad de abandono de toda la audiencia de predicción.

Esta tabla sólo se actualiza cuando se reentrena la predicción y no cuando se actualizan las puntuaciones de riesgo de abandono de usuarios.