Análisis predictivo del abandono de clientes

Una vez creada y entrenada tu predicción, tendrás acceso a la página Análisis de predicciones. Esta página te ayuda a decidir a qué usuarios debes dirigirte en función de su puntuación de riesgo de abandono o categoría.

Acerca del análisis predictivo del abandono de clientes

En cuanto la predicción haya terminado de entrenarse y esta página esté llena, puedes pasar a utilizar simplemente filtros en segmentos o campañas para empezar a utilizar los resultados del modelo. Pero, si quieres ayuda para decidir a quién dirigirte y por qué, esta página puede ayudarte basándose en la precisión histórica del modelo y en tus propios objetivos de negocio.

Estos son los componentes que conforman el análisis predictivo del abandono de clientes:

• Puntuación de abandono y categoría
• Calidad de la predicción
• Precisión estimada
• Tabla de correlación de abandono

La distribución de las puntuaciones de toda la audiencia de predicción se muestra en la parte superior de la página en un gráfico que puedes ver, por categoría o por puntuación. Los usuarios de las casillas situadas más a la derecha tienen puntuaciones más altas y es más probable que abandonen. Los usuarios de las casillas situadas más a la izquierda tienen menos probabilidades de abandonar. El control deslizante situado bajo el gráfico te permitirá seleccionar una franja de usuarios y estimar cuáles serían los resultados de dirigirte a usuarios en el rango seleccionado de Puntuación de Riesgo de Abandono o categoría.

A medida que muevas el control deslizante, la barra de la mitad izquierda del panel inferior te informará de a cuántos usuarios de toda la audiencia de predicción se dirigiría la predicción.

Puntuación de abandono y categoría

A los usuarios de la audiencia de predicción se les asignará una Puntuación de Riesgo de Abandono entre 0 y 100. Cuanto mayor sea la puntuación, mayor será la probabilidad de abandono.

• Los usuarios con puntuaciones entre 0 y 50 serán etiquetados en la categoría de Riesgo Bajo.
• Los usuarios con puntuaciones entre 50 y 75, y entre 75 y 100 serán etiquetados en las categorías de Riesgo Medio y Riesgo Alto, respectivamente.

Las puntuaciones y las categorías correspondientes se actualizarán según el calendario que hayas elegido en la página de creación del modelo. El número de usuarios con puntuaciones de abandono en cada uno de los 20 contenedores de igual tamaño se muestra en el gráfico de la parte superior de la página. Esto puede ayudarte a determinar cómo es el riesgo de abandono en toda la población según esta predicción.

Calidad de la predicción

Para medir la precisión de tu modelo, la métrica Calidad de predicción te mostrará la eficacia que parece tener este modelo de aprendizaje automático concreto cuando se prueba con datos históricos. Braze extrae los datos según los grupos que hayas especificado en la página de creación del modelo. El modelo se entrena con un conjunto de datos (el conjunto de “entrenamiento”) y luego se prueba con otro conjunto de datos distinto (el conjunto de “prueba”).

La predicción se entrenará de nuevo cada dos semanas y se actualizará junto con la métrica Calidad de la predicción para mantener tus predicciones actualizadas sobre los patrones de comportamiento más recientes de los usuarios. Además, cada vez que esto ocurra, las predicciones de las dos últimas semanas se contrastarán con los resultados reales de los usuarios. La calidad de la predicción se calculará a partir de estos resultados reales (en lugar de estimaciones). Se trata de un backtest automático (es decir, probar un modelo predictivo con datos históricos) para garantizar que la predicción es exacta en escenarios reales. La última vez que se produjo este reentrenamiento y backtesting se mostrará en la página Predicciones y en la página de análisis de una predicción individual. Incluso una predicción con vista previa realizará este backtest una vez después de su creación. De este modo, puedes estar seguro de la exactitud de tu predicción personalizada, incluso con la versión gratuita de la característica.

Cómo se mide

Nuestra medida de la calidad de la predicción es la calidad del ascensor. Generalmente, “elevación” se refiere al aumento del ratio o porcentaje de un resultado exitoso, como una conversión. En este caso, el resultado satisfactorio es identificar correctamente a un usuario que habría abandonado. La calidad de elevación es la elevación media que proporciona la predicción en todos los tamaños de audiencia posibles para la mensajería del conjunto de prueba. Este enfoque mide cuánto mejor que la adivinación aleatoria es el modelo. Con esta medida, 0% significa que el modelo no es mejor que adivinar al azar quién abandonará, y 100% indica un conocimiento perfecto de quién abandonará.

Rangos recomendados

Esto es lo que recomendamos para distintos rangos de Calidad de predicción:

Precisión estimada

En la mitad derecha del panel, debajo del gráfico, mostramos estimaciones de la precisión esperada al dirigirnos a esta franja de la audiencia de predicción. Basándose en los datos sobre los usuarios de la audiencia de predicción en el pasado, y en la aparente precisión del modelo para discriminar entre los usuarios que abandonan y los que no abandonan en esos datos pasados, estas barras de progreso hacen una estimación para un futuro mensaje potencial utilizando la audiencia resaltada con el control deslizante:

• Cuántos usuarios seleccionados se prevé que cancelen
• ¿Cuántos usuarios seleccionados se espera que no sufran abandono del servicio?

Con esta información, te animamos a que decidas cuántos de los usuarios que abandonan quieres captar y cuál es el coste de un error falso positivo para tu empresa. Si envías una promoción valiosa, es posible que quieras reducir al mínimo el número de usuarios que no abandonan, y conseguir tantos usuarios que abandonan como permita el modelo. O, si eres menos sensible a los falsos positivos y los usuarios reciben mensajes adicionales, puedes enviar mensajes a una mayor parte de la audiencia para captar a más usuarios que abandonan e ignorar los errores probables.

Usuarios que se espera que experimenten abandono

Esta es una estimación del número de usuarios que abandonan realmente y que serán correctamente identificados. Por supuesto, no conocemos el futuro a la perfección, así que no sabemos con precisión qué usuarios de la audiencia de predicción abandonarán en el futuro. Pero la predicción es una inferencia fiable. Basándose en rendimientos anteriores, esta barra de progreso indica cuántos de los usuarios que abandonan “reales” o “verdaderos” que se esperan en la audiencia de predicción (basándose en las tasas de abandono anteriores) serán el objetivo de la selección de objetivos actual. Es de esperar que este número de usuarios abandone si no les envías mensajes adicionales o inusuales.

Se espera que los usuarios no realicen el abandono.

Esta es una estimación del número de usuarios que no habrían experimentado el abandono del servicio y que serán seleccionados incorrectamente. Todos los modelos de aprendizaje automático cometen errores. Puede haber usuarios en tu selección que tengan una Puntuación de Riesgo de Abandono alta, pero que no acaben abandonando. No abandonarían aunque no hicieras nada. Serán objetivo de todos modos, por lo que se trata de un error o “falso positivo”. El ancho total de esta segunda barra de progreso representa el número esperado de usuarios que no realizarán el abandono, y la parte rellena representa a aquellos que serán seleccionados incorrectamente con la posición actual del control deslizante.

Tabla de correlación de abandonos

Este análisis muestra cualquier atributo o comportamiento del usuario que esté correlacionado con el abandono de usuarios en la audiencia de predicción histórica. Las tablas se dividen en izquierda y derecha para los más y los menos propensos al abandono, respectivamente. Para cada fila, en la columna de la derecha se muestra la proporción en la que los usuarios con el comportamiento o atributo de la columna de la izquierda son más o menos propensos al abandono. Este número es el cociente de la probabilidad de abandono de los usuarios con este comportamiento o atributo dividido por la probabilidad de abandono de toda la audiencia de predicción.

Esta tabla sólo se actualiza cuando se reentrena la predicción y no cuando se actualizan las puntuaciones de riesgo de abandono de usuarios.