Skip to content

Análisis predictivo del abandono de clientes

Una vez creada y entrenada tu predicción, tendrás acceso a la página Análisis de predicciones. Esta página te ayuda a decidir a qué usuarios debes dirigirte en función de su puntuación de riesgo de abandono o categoría.

Acerca del análisis predictivo del abandono de clientes

En cuanto la predicción haya terminado de entrenarse y esta página esté llena, puedes pasar a utilizar simplemente filtros en segmentos o campañas para empezar a utilizar los resultados del modelo. Pero, si quieres ayuda para decidir a quién dirigirte y por qué, esta página puede ayudarte basándose en la precisión histórica del modelo y en tus propios objetivos de negocio.

Estos son los componentes que conforman el análisis predictivo del abandono de clientes:

La distribución de las puntuaciones de toda la audiencia de predicción se muestra en la parte superior de la página en un gráfico que puedes ver, por categoría o por puntuación. Los usuarios de los contenedores situados más a la derecha tienen puntuaciones más altas y es más probable que abandonen. Los usuarios de los contenedores situados más a la izquierda tienen menos probabilidades de abandonar. El control deslizante situado bajo el gráfico te permitirá seleccionar una franja de usuarios y estimar cuáles serían los resultados de dirigirte a usuarios en el rango seleccionado de puntuación de riesgo de abandono o categoría.

A medida que muevas el control deslizante, la barra de la mitad izquierda del panel inferior te informará de a cuántos usuarios de toda la audiencia de predicción se dirigiría la predicción.

Puntuación de abandono y categoría

A los usuarios de la audiencia de predicción se les asignará una puntuación de riesgo de abandono entre 0 y 100. Cuanto mayor sea la puntuación, mayor será la probabilidad de abandono.

  • Los usuarios con puntuaciones entre 0 y 50 serán etiquetados en la categoría de Riesgo bajo.
  • Los usuarios con puntuaciones entre 50 y 75, y entre 75 y 100 serán etiquetados en las categorías de Riesgo medio y Riesgo alto, respectivamente.

Las puntuaciones y las categorías correspondientes se actualizarán según el calendario que hayas elegido en la página de creación del modelo. El número de usuarios con puntuaciones de abandono en cada uno de los 20 contenedores de igual tamaño se muestra en el gráfico de la parte superior de la página. Esto puede ayudarte a determinar cómo es el riesgo de abandono en toda la población según esta predicción.

Calidad de la predicción

Para medir la precisión de tu modelo, la métrica Calidad de predicción te mostrará la eficacia que parece tener este modelo de aprendizaje automático concreto cuando se prueba con datos históricos. Braze extrae los datos según los grupos que hayas especificado en la página de creación del modelo. El modelo se entrena con un conjunto de datos (el conjunto de “entrenamiento”) y luego se prueba con un conjunto de datos nuevo e independiente (el conjunto de “prueba”).

La predicción se volverá a entrenar cada dos semanas y se actualizará junto con la métrica Calidad de predicción para mantener tus predicciones al día con los patrones de comportamiento más recientes de los usuarios. Además, cada vez que esto ocurra, las predicciones de las dos últimas semanas se contrastarán con los resultados reales de los usuarios. La Calidad de predicción se calculará entonces a partir de estos resultados reales (en lugar de estimaciones). Se trata de un backtest automático (es decir, probar un modelo predictivo con datos históricos) para garantizar que la predicción es precisa en escenarios reales. La última vez que se produjo este reentrenamiento y backtesting se mostrará en la página Predictions y en la página de análisis de una predicción individual. Incluso una predicción en vista previa realizará este backtest una vez después de su creación. De este modo, puedes estar seguro de la precisión de tu predicción personalizada, incluso con la versión gratuita de la característica.

Ejemplo de calidad de predicción

Por ejemplo, si el 20 % de tus usuarios suelen abandonar de media, y eliges un subconjunto aleatorio del 20 % de tus usuarios y los etiquetas como usuarios que abandonan al azar (lo sean realmente o no), esperarías identificar correctamente solo al 20 % de los usuarios que realmente abandonan. Eso es adivinación aleatoria. Si el modelo solo lo hiciera así de bien, el lift sería 1 para este caso.

Si, por el contrario, el modelo te permitiera enviar mensajes al 20 % de los usuarios y, al hacerlo, captar a todos los “verdaderos” usuarios que abandonan y a nadie más, el lift sería 100 % / 20 % = 5. Si graficas esta relación para cada proporción de los usuarios con mayor probabilidad de abandono a los que podrías enviar mensajes, obtendrás la curva de lift.

Otra forma de entender la calidad del lift (y también la Calidad de predicción) es cuánto avanza la curva de lift de la predicción entre la adivinación aleatoria (0 %) y la perfección (100 %) a la hora de identificar a los usuarios que abandonan en el conjunto de prueba. Para consultar el artículo original sobre la calidad del lift, consulta Measuring lift quality in database marketing.

Cómo se mide

Nuestra medida de la Calidad de predicción es la calidad del lift. En general, “lift” se refiere al aumento de la tasa o porcentaje de un resultado exitoso, como una conversión. En este caso, el resultado exitoso es identificar correctamente a un usuario que habría abandonado. La calidad del lift es el lift medio que proporciona la predicción en todos los tamaños de audiencia posibles para el envío de mensajes al conjunto de prueba. Este enfoque mide cuánto mejor es el modelo en comparación con la adivinación aleatoria. Con esta medida, 0 % significa que el modelo no es mejor que adivinar al azar quién abandonará, y 100 % indica un conocimiento perfecto de quién abandonará.

Esto es lo que recomendamos para distintos rangos de Calidad de predicción:

Rango de calidad de predicción (%) Recomendación
60 - 100 Excelente. Precisión de primer nivel. Es poco probable que cambiar las definiciones de audiencia ofrezca beneficios adicionales.
40 - 60 Bueno. Este modelo producirá predicciones precisas, pero probar una configuración de audiencia diferente podría dar mejores resultados.
20 - 40 Aceptable. Este modelo puede ofrecer precisión y valor, pero considera probar otras definiciones de audiencia para ver si aumentan el rendimiento.
0 - 20 Deficiente. Te recomendamos que cambies las definiciones de audiencia y vuelvas a intentarlo.

Precisión estimada

En la mitad derecha del panel, debajo del gráfico, mostramos estimaciones de la precisión esperada al dirigirnos a esta franja de la audiencia de predicción. Basándose en los datos sobre los usuarios de la audiencia de predicción en el pasado, y en la aparente precisión del modelo para discriminar entre los usuarios que abandonan y los que no abandonan en esos datos pasados, estas barras de progreso hacen una estimación para un futuro mensaje potencial utilizando la audiencia resaltada con el control deslizante:

  • Cuántos usuarios seleccionados se prevé que abandonen
  • Cuántos usuarios seleccionados se espera que no abandonen

Con esta información, te animamos a que decidas cuántos de los usuarios que abandonan quieres captar y cuál es el coste de un error falso positivo para tu empresa. Si envías una promoción valiosa, es posible que quieras reducir al mínimo el número de usuarios que no abandonan a los que te diriges, y conseguir tantos usuarios que realmente abandonan como permita el modelo. O, si eres menos sensible a los falsos positivos y los usuarios reciben mensajes adicionales, puedes enviar mensajes a una mayor parte de la audiencia para captar a más usuarios que abandonan e ignorar los errores probables.

Usuarios que se espera que abandonen

Esta es una estimación del número de usuarios que realmente abandonarán y que serán correctamente identificados. Por supuesto, no conocemos el futuro a la perfección, así que no sabemos con precisión qué usuarios de la audiencia de predicción abandonarán en el futuro. Pero la predicción es una inferencia fiable. Basándose en el rendimiento anterior, esta barra de progreso indica cuántos de los usuarios que abandonan “reales” o “verdaderos” que se esperan en la audiencia de predicción (basándose en las tasas de abandono anteriores) serán el objetivo de la selección de segmentación actual. Es de esperar que este número de usuarios abandone si no les envías mensajes adicionales o inusuales.

Usuarios que se espera que no abandonen

Esta es una estimación del número de usuarios que no habrían abandonado y que serán seleccionados incorrectamente. Todos los modelos de aprendizaje automático cometen errores. Puede haber usuarios en tu selección que tengan una puntuación de riesgo de abandono alta, pero que no acaben abandonando. No abandonarían aunque no hicieras nada. Serán objetivo de todos modos, por lo que se trata de un error o “falso positivo”. El ancho total de esta segunda barra de progreso representa el número esperado de usuarios que no abandonarán, y la parte rellena representa a aquellos que serán seleccionados incorrectamente con la posición actual del control deslizante.

Tabla de correlación de abandono

Este análisis muestra cualquier atributo o comportamiento del usuario que esté correlacionado con el abandono de usuarios en la audiencia de predicción histórica. Las tablas se dividen en izquierda y derecha para los más y los menos propensos al abandono, respectivamente. Para cada fila, en la columna de la derecha se muestra la proporción en la que los usuarios con el comportamiento o atributo de la columna de la izquierda son más o menos propensos al abandono. Este número es el cociente de la probabilidad de abandono de los usuarios con este comportamiento o atributo dividido por la probabilidad de abandono de toda la audiencia de predicción.

Esta tabla solo se actualiza cuando se reentrena la predicción y no cuando se actualizan las puntuaciones de riesgo de abandono de los usuarios.
New Stuff!