Análisis predictivo de eventos
Una vez creada y entrenada tu predicción, tendrás acceso a la página Análisis de predicciones. Esta página te ayuda a decidir a qué usuarios debes dirigirte en función de su puntuación de probabilidad o categoría.
Acerca del análisis predictivo de eventos
En cuanto la predicción haya terminado de entrenarse y esta página esté llena, puedes empezar a utilizar filtros en segmentos o campañas para empezar a utilizar los resultados del modelo. Si quieres ayuda para decidir a quién dirigirte y por qué, esta página puede ayudarte basándose en la precisión histórica del modelo y en tus propios objetivos de negocio.
Estos son los componentes que conforman el análisis predictivo de eventos:
- Puntuación de probabilidad
- Calidad de la predicción
- Precisión estimada
- Tabla de correlación de sucesos
La distribución de las puntuaciones de probabilidad de toda la audiencia de predicción se muestra en la parte superior de la página. Los usuarios de los contenedores situados más a la derecha tienen puntuaciones más altas y es más probable que realicen el evento. Los usuarios de los contenedores situados más a la izquierda tienen menos probabilidades de realizar el evento. El control deslizante situado debajo del gráfico te permitirá seleccionar una sección de usuarios y estimar cuáles serían los resultados de dirigirte a esos usuarios.
A medida que muevas los controles deslizantes a diferentes posiciones, la barra de la mitad izquierda del panel te informará de cuántos usuarios de toda la audiencia de predicción se dirigirían utilizando la parte de la población que hayas seleccionado.
Puntuación de probabilidad
A los usuarios de la audiencia de predicción se les asignará una puntuación de probabilidad entre 0 y 100. Cuanto mayor sea la puntuación, mayor será la probabilidad de realizar el evento.
A continuación se muestra cómo se clasifica a un usuario en función de su puntuación de probabilidad:
- Bajo: entre 0 y 50
- Medio: entre 50 y 75
- Alta: entre 75 y 100
Las puntuaciones y las categorías correspondientes se actualizarán según el calendario que hayas elegido en la página de creación de predicciones. El número de usuarios con puntuaciones de probabilidad en cada uno de los 20 contenedores de igual tamaño o en cada una de las categorías de probabilidad, se muestra en el gráfico de la parte superior de la página.
Acceso a las puntuaciones de probabilidad a nivel de usuario
Para ver la puntuación de probabilidad de un solo usuario, busca a ese usuario en el panel y ve a Interacción > Predicciones para ver su puntuación. Para acceder a las puntuaciones y categorías de muchos usuarios a la vez, crea un segmento utilizando los filtros Puntuación de probabilidad de evento o Categoría de probabilidad de evento y, a continuación, exporta los usuarios de ese segmento. Al exportar, puedes incluir las puntuaciones de probabilidad en los datos exportados.
Aunque tanto los eventos predictivos como el abandono predictivo asignan puntuaciones a los usuarios, existen diferencias importantes:
- Eventos predictivos (predicciones de compra): Ten en cuenta a todos los usuarios de la audiencia de predicción, independientemente de si han realizado el evento objetivo anteriormente. Por ejemplo, una predicción de compra puede identificar a los usuarios que probablemente vayan a realizar su primera compra.
- Predictive Churn: Solo tiene en cuenta a los usuarios que ya han realizado el evento personalizado. Las predicciones de abandono identifican a los usuarios que han hecho algo anteriormente y es probable que dejen de hacerlo. Un usuario que nunca ha iniciado sesión no puede considerarse «perdido» si no inicia sesión.
Al exportar las puntuaciones de riesgo de abandono de un segmento, estas puntuaciones reflejan el modelo de predicción de abandono, que difiere de los modelos de predicción de compras u otros eventos.
Precisión estimada
En la mitad derecha del panel, debajo del gráfico, mostramos estimaciones de la precisión esperada de dirigirte a la parte de la audiencia de predicción que seleccionaste de dos formas: cuántos usuarios seleccionados se espera que realicen el evento y cuántos se espera que no lo hagan.
Se espera que tengas un buen rendimiento
Puedes utilizar la precisión estimada para comprobar cuántos usuarios seleccionados se espera que realicen el evento.
La predicción no es perfectamente exacta, y ninguna predicción lo es nunca, lo que significa que Braze no podrá identificar a todos y cada uno de los futuros usuarios que realicen el evento. Las puntuaciones de probabilidad son como un conjunto de predicciones informadas y fiables. La barra de progreso indica cuántos de los “verdaderos positivos” esperados en la audiencia de predicción se dirigirán a la audiencia seleccionada. Ten en cuenta que esperamos que este número de usuarios realice el evento aunque no les envíes ningún mensaje.
No se espera que tengas un buen rendimiento
Puedes utilizar la precisión estimada para comprobar cuántos usuarios seleccionados se espera que no realicen el evento.
Todos los modelos de aprendizaje automático cometen errores. Puede haber usuarios en tu selección que tengan una puntuación de probabilidad alta, pero que no acaben realizando realmente el evento. No realizarían el acto si no hicieras nada. Serán objetivo de todos modos, por lo que se trata de un error o “falso positivo”. La anchura total de esta segunda barra de progreso representa el número previsto de usuarios que no realizarán el evento, y la parte rellena es la de aquellos a los que se dirigirá incorrectamente utilizando la posición actual del deslizador.
Utilizando esta información, te animamos a que decidas cuántos de los verdaderos positivos quieres capturar, cuántos falsos positivos puedes aceptar que sean objetivo, y cuál es el coste de los errores para tu empresa. Si estás enviando una promoción valiosa, quizá quieras dirigirte sólo a los no compradores (falsos positivos) favoreciendo el lado izquierdo del gráfico. O puede que quieras animar a los compradores que compran a menudo (verdaderos positivos) a que vuelvan a hacerlo seleccionando una sección de usuarios que favorezca el lado derecho del gráfico.
Calidad de la predicción
Para medir la precisión de tu modelo, la métrica Calidad de predicción te mostrará la eficacia que parece tener este modelo de aprendizaje automático concreto cuando se prueba con datos históricos. Braze extrae los datos según los grupos que hayas especificado en la página de creación del modelo. El modelo se entrena con un conjunto de datos (el conjunto de “entrenamiento”) y luego se prueba con otro conjunto de datos distinto (el conjunto de “prueba”).
La predicción se entrenará de nuevo cada dos semanas y se actualizará junto con la métrica Calidad de la predicción para mantener tus predicciones actualizadas sobre los patrones de comportamiento más recientes de los usuarios. Además, cada vez que esto ocurra, las predicciones de las dos últimas semanas se contrastarán con los resultados reales de los usuarios. La calidad de la predicción se calculará a partir de estos resultados reales (en lugar de estimaciones). Se trata de un backtest automático (es decir, probar un modelo predictivo con datos históricos) para garantizar que la predicción es exacta en escenarios reales. La última vez que se produjo este reentrenamiento y backtesting se mostrará en la página Predicciones y en la página de análisis de una predicción individual. Incluso una predicción con vista previa realizará este backtest una vez después de su creación. De este modo, puedes estar seguro de la exactitud de tu predicción personalizada, incluso con la versión gratuita de la característica.
Prediction quality example
Por ejemplo, si el 20% de tus usuarios suelen abandonar por término medio, y eliges un subconjunto aleatorio del 20% de tus usuarios y los etiquetas como abandonados al azar (lo estén realmente o no), esperarías identificar correctamente sólo al 20% de los usuarios que abandonan realmente. Eso son suposiciones al azar. Si el modelo sólo lo hiciera así de bien, la elevación sería 1 para este caso.
Si, por el contrario, el modelo te permitiera mensajear al 20% de los usuarios y, al hacerlo, captar a todos los “verdaderos” usuarios que abandonan y a nadie más, la elevación sería del 100% / 20% = 5. Si graficas esta relación para cada proporción de los usuarios que abandonan más probablemente a los que podrías enviar mensajes, obtendrás la Curva de Elevación.
Otra forma de considerar la calidad de la predicción (y también la calidad de la predicción) es la distancia entre la suposición aleatoria (0%) y la perfección (100%) de la curva de predicción para identificar a los usuarios que abandonan en el conjunto de pruebas. Para consultar el artículo original sobre la calidad de la elevación, consulta Medir la calidad de la elevación en el marketing de bases de datos.
Cómo se mide
Nuestra medida de la calidad de la predicción es la calidad del ascensor. Generalmente, “elevación” se refiere al aumento del ratio o porcentaje de un resultado exitoso, como una conversión. En este caso, el resultado satisfactorio es identificar correctamente a un usuario que habría abandonado. La calidad de elevación es la elevación media que proporciona la predicción en todos los tamaños de audiencia posibles para la mensajería del conjunto de prueba. Este enfoque mide cuánto mejor que la adivinación aleatoria es el modelo. Con esta medida, 0% significa que el modelo no es mejor que adivinar al azar quién abandonará, y 100% indica un conocimiento perfecto de quién abandonará.
Rangos recomendados
Esto es lo que recomendamos para distintos rangos de Calidad de predicción:
| Rango de calidad de la predicción (%) | Recomendación |
|---|---|
| 60 - 100 | Excelente. Precisión de primer nivel. Es probable que cambiar las definiciones de audiencia no ofrezca ningún beneficio adicional. |
| 40 - 60 | Bien. Este modelo producirá predicciones precisas, pero probar una configuración de audiencia diferente podría dar mejores resultados. |
| 20 - 40 | Justo. Este modelo puede ofrecer precisión y valor, pero considera probar otras definiciones de audiencia para ver si se incrementa el rendimiento. |
| 0 - 20 | Pobre. Te recomendamos que cambies las definiciones de audiencia y vuelvas a intentarlo. |
Tabla de correlación de sucesos
Este análisis muestra los atributos o comportamientos de los usuarios que están correlacionados con los sucesos de la audiencia de predicción. Los atributos evaluados son Edad, País, Sexo e Idioma. Los comportamientos que se analizan incluyen sesiones, compras, total de dólares gastados, eventos personalizados y campañas y pasos en Canvas recibidos en los últimos 30 días.
Las tablas se dividen en izquierda y derecha para los más y los menos propensos a realizar el evento, respectivamente. Para cada fila, en la columna de la derecha se muestra la proporción en la que los usuarios con el comportamiento o atributo de la columna de la izquierda tienen más o menos probabilidades de realizar el evento. Este número es el cociente de las puntuaciones de probabilidad de los usuarios con este comportamiento o atributo dividido por la probabilidad de realizar el evento de toda la audiencia de predicción.
Esta tabla sólo se actualiza cuando se reentrena la predicción y no cuando se actualizan las puntuaciones de probabilidad del usuario.
Los datos de correlación de las predicciones de la vista previa estarán parcialmente ocultos. Se requiere una compra para revelar esta información. Ponte en contacto con tu director de cuentas para obtener más información.
Solución de problemas
No se puede crear una predicción.
Si no puedes crear una predicción para un evento personalizado, es posible que se deba a un tamaño de muestra insuficiente. Braze calcula el número de usuarios que han realizado la acción y, si no hay suficientes usuarios que la hayan realizado, es posible que la muestra no proporcione datos suficientes para entrenar el modelo. En este caso, el sistema puede extrapolar a ningún usuario, lo que impide la creación de predicciones.
Para crear una predicción exitosa, asegúrate de que un número suficiente de usuarios de tu audiencia de predicción haya realizado tu evento personalizado objetivo. El umbral exacto varía, pero es posible que los eventos con un uso muy bajo entre tu base de usuarios no proporcionen datos suficientes para un entrenamiento fiable del modelo.
Editar esta página en GitHub