Calidad de la predicción

Para medir la precisión de tu modelo, la métrica Calidad de predicción te mostrará la eficacia que parece tener este modelo de aprendizaje automático concreto cuando se prueba con datos históricos. Braze extrae los datos según los grupos que hayas especificado en la página de creación del modelo. El modelo se entrena con un conjunto de datos (el conjunto de “entrenamiento”) y luego se prueba con otro conjunto de datos distinto (el conjunto de “prueba”).

Nuestra medida de la calidad de la predicción es la calidad del ascensor. Probablemente estés familiarizado con la “elevación”, que a menudo mide el aumento, en forma de ratio o porcentaje, de algún resultado satisfactorio, como una conversión. En este caso, el resultado satisfactorio es identificar correctamente a un usuario que habría abandonado. La calidad de elevación es la elevación media que proporciona la predicción en todos los tamaños de audiencia posibles para la mensajería del conjunto de prueba. Este enfoque mide cuánto mejor que la adivinación aleatoria es el modelo. Con esta medida, 0% significa que el modelo no es mejor que adivinar al azar quién abandonará, y 100% indica un conocimiento perfecto de quién abandonará.

Esto es lo que recomendamos para distintos rangos de Calidad de predicción:

La predicción se entrenará de nuevo cada dos semanas y se actualizará junto con la métrica Calidad de la predicción para mantener tus predicciones actualizadas sobre los patrones de comportamiento más recientes de los usuarios. Además, cada vez que esto ocurra, las predicciones de las dos últimas semanas se contrastarán con los resultados reales de los usuarios. La calidad de la predicción se calculará a partir de estos resultados reales (en lugar de estimaciones). Se trata de un backtest automático (es decir, probar un modelo predictivo con datos históricos) para garantizar que la predicción es exacta en escenarios reales. La última vez que se produjo este reentrenamiento y backtesting se mostrará en la página Predicciones y en la página de análisis de una predicción individual. Incluso una predicción con vista previa realizará este backtest una vez después de su creación. De este modo, puedes estar seguro de la exactitud de tu predicción personalizada, incluso con la versión gratuita de la característica.