Análisis de predicciones

Una vez creada y entrenada tu predicción, tendrás acceso a la página Análisis de predicciones. Esta página te ayuda a decidir a qué usuarios debes dirigirte en función de su puntuación de riesgo de abandono o categoría.

En cuanto la predicción haya terminado de entrenarse y esta página esté llena, puedes pasar a utilizar simplemente filtros en segmentos o campañas para empezar a utilizar los resultados del modelo. Pero, si quieres ayuda para decidir a quién dirigirte y por qué, esta página puede ayudarte basándose en la precisión histórica del modelo y en tus propios objetivos de negocio.

Componentes de análisis

• Puntuación de abandono y categoría
  
• Calidad de la predicción
  
• Resultados estimados
  
• Tabla de correlación de abandonos

Resumen

La distribución de las puntuaciones de toda la audiencia de predicción se muestra en la parte superior de la página en un gráfico que puedes ver, por categoría o por puntuación. Los usuarios de las casillas situadas más a la derecha tienen puntuaciones más altas y es más probable que abandonen. Los usuarios de las casillas situadas más a la izquierda tienen menos probabilidades de abandonar. El control deslizante situado bajo el gráfico te permitirá seleccionar una franja de usuarios y estimar cuáles serían los resultados de dirigirte a usuarios en el rango seleccionado de Puntuación de Riesgo de Abandono o categoría.

A medida que muevas el control deslizante, la barra de la mitad izquierda del panel inferior te informará de a cuántos usuarios de toda la audiencia de predicción se dirigiría la predicción.

Puntuación de abandono y categoría

A los usuarios de la audiencia de predicción se les asignará una Puntuación de Riesgo de Abandono entre 0 y 100. Cuanto mayor sea la puntuación, mayor será la probabilidad de abandono.

• Los usuarios con puntuaciones entre 0 y 50 serán etiquetados en la categoría de Riesgo Bajo.
• Los usuarios con puntuaciones entre 50 y 75, y entre 75 y 100 serán etiquetados en las categorías de Riesgo Medio y Riesgo Alto, respectivamente.

Las puntuaciones y las categorías correspondientes se actualizarán según el calendario que hayas elegido en la página de creación del modelo. El número de usuarios con puntuaciones de abandono en cada uno de los 20 contenedores de igual tamaño se muestra en el gráfico de la parte superior de la página. Esto puede ayudarte a determinar cómo es el riesgo de abandono en toda la población según esta predicción.

Dirigirse a los usuarios para reducir la tasa de abandonos

Calidad de la predicción

Para medir la precisión de tu modelo, la métrica Calidad de predicción te mostrará la eficacia que parece tener este modelo de aprendizaje automático concreto cuando se prueba con datos históricos. Consulta Calidad de la predicción para saber más sobre la métrica.

Esto es lo que recomendamos para distintos rangos de Calidad de predicción:

Rango de calidad de la predicción (%)	Recomendación
60 - 100	Excelente. Precisión de primer nivel. Es probable que cambiar las definiciones de audiencia no ofrezca ningún beneficio adicional.
40 - 60	Bien. Este modelo producirá predicciones precisas, pero probar una configuración de audiencia diferente podría dar mejores resultados.
20 - 40	Justo. Este modelo puede ofrecer precisión y valor, pero considera probar otras definiciones de audiencia para ver si se incrementa el rendimiento.
0 - 20	Pobre. Te recomendamos que cambies las definiciones de audiencia y vuelvas a intentarlo.

La predicción se entrenará de nuevo cada dos semanas y se actualizará junto con la métrica de calidad de la predicción para mantener tus predicciones actualizadas sobre los patrones de comportamiento más recientes de los usuarios. La última vez que se produjo este reentrenamiento se mostrará en la página de la lista de predicciones, así como en la página de análisis de tu predicción.

Resultados estimados

En la mitad derecha del panel, debajo del gráfico, mostramos estimaciones de la precisión esperada al dirigirnos a esta franja de la audiencia de predicción. Basándose en los datos sobre los usuarios de la audiencia de predicción en el pasado, y en la aparente precisión del modelo para discriminar entre los usuarios que abandonan y los que no abandonan en esos datos pasados, estas barras de progreso hacen una estimación para un futuro mensaje potencial utilizando la audiencia resaltada con el control deslizante:

1. Una estimación de cuántos usuarios que abandonan se seleccionarán correctamente
   
   Por supuesto, no conocemos el futuro a la perfección, así que no sabemos con precisión qué usuarios de la audiencia de predicción abandonarán en el futuro. Pero la predicción es una inferencia fiable. Basándose en rendimientos anteriores, esta barra de progreso indica cuántos de los usuarios que abandonan “reales” o “verdaderos” que se esperan en la audiencia de predicción (basándose en las tasas de abandono anteriores) serán el objetivo de la selección de objetivos actual. Es de esperar que este número de usuarios abandone si no les envías mensajes adicionales o inusuales.
   
   

2. Una estimación de cuántos usuarios que en realidad no habrían abandonado se seleccionarán incorrectamente.
   
   Todos los modelos de aprendizaje automático cometen errores. Puede haber usuarios en tu selección que tengan una Puntuación de Riesgo de Abandono alta, pero que no acaben abandonando. No abandonarían aunque no hicieras nada. Serán objetivo de todos modos, por lo que se trata de un error o “falso positivo”. La anchura total de esta segunda barra de progreso representa el número previsto de usuarios que no abandonarán, y la parte rellena es la de aquellos a los que se dirigirá incorrectamente utilizando la posición actual del deslizador.

Con esta información, te animamos a que decidas cuántos de los usuarios que abandonan quieres captar y cuál es el coste de un error falso positivo para tu empresa. Si envías una promoción valiosa, es posible que quieras reducir al mínimo el número de usuarios que no abandonan, y conseguir tantos usuarios que abandonan como permita el modelo. O, si eres menos sensible a los falsos positivos y los usuarios reciben mensajes adicionales, puedes enviar mensajes a una mayor parte de la audiencia para captar a más usuarios que abandonan e ignorar los errores probables.

Tabla de correlación de abandonos

Este análisis muestra cualquier atributo o comportamiento del usuario que esté correlacionado con el abandono de usuarios en la audiencia de predicción histórica. Las tablas se dividen en izquierda y derecha para los más y los menos propensos al abandono, respectivamente. Para cada fila, en la columna de la derecha se muestra la proporción en la que los usuarios con el comportamiento o atributo de la columna de la izquierda son más o menos propensos al abandono. Este número es el cociente de la probabilidad de abandono de los usuarios con este comportamiento o atributo dividido por la probabilidad de abandono de toda la audiencia de predicción.

Esta tabla sólo se actualiza cuando se reentrena la predicción y no cuando se actualizan las puntuaciones de riesgo de abandono de usuarios.