Solução de problemas
O Predictive Churn (e qualquer modelo de machine learning) é tão bom quanto os dados disponíveis para o modelo. Também é altamente dependente da existência de determinados volumes de dados para trabalhar.
Erros potenciais
Não há dados suficientes para treinar
Essa mensagem de erro aparece quando a definição de churn é muito limitadora e retorna poucos usuários perdidos.
Para corrigir isso, será necessário alterar o número de dias e/ou as ações que definem o churn para capturar mais usuários. Use corretamente os filtros AND/OR para não criar definições excessivamente restritivas.
Embora o Predictive Churn esteja ativado no nível da empresa, alguns espaços de trabalho podem não ter usuários suficientes para criar previsões. Normalmente, são necessários 300.000 usuários ativos mensais em um único espaço de trabalho.
Problemas com o tamanho da população de previsão
Ao criar sua população de previsão para ajustar o tipo de uso em relação ao qual deseja que seu modelo seja treinado, você poderá encontrar esta mensagem notificando que sua população de previsão tem muito poucos usuários:
“Não há não-churners passados suficientes para construir a previsão de forma confiável”
Se a definição da sua população de previsão for muito rigorosa, talvez não tenha um conjunto suficientemente grande de usuários históricos e ativos para trabalhar. Para corrigir isso, você precisará alterar o número de dias e o tipo de atributos usados nessa definição, alterar as ações que definem o churn ou ambos.
Se a sua população de previsão continuar a ser um problema mesmo depois de mudar suas definições, talvez você tenha poucos usuários para suportar esse recurso opcional. Sugerimos que, em vez disso, tente criar uma previsão sem as camadas e os filtros extras.
O tamanho da população de previsão é muito grande
Uma definição de população de previsão não pode exceder 100 milhões de usuários. Se você vir uma mensagem dizendo que seu público é muito grande, recomendamos adicionar mais camadas ao seu público ou alterar o período em que ele se baseia.
A previsão tem qualidade ruim
Se o seu modelo tiver uma qualidade de previsão de 40% ou mais, você está em um ótimo lugar! Mas se a qualidade da previsão cair para 39% ou menos, talvez seja necessário editar as definições de churn e de população de previsão para que sejam mais específicas ou tenham períodos diferentes.
Se não for possível atender ao requisito de tamanho do público ao criar suas definições de previsão e obter uma qualidade de previsão superior a 40%, isso provavelmente significa que os dados enviados à Braze não são ideais para esse caso de uso, que não há usuários suficientes para criar um modelo ou que o ciclo de vida do seu produto é mais longo do que nossa janela de lookback atual de 60 dias suporta.
Considerações sobre os dados
Veja a seguir as perguntas que você deve fazer a si mesmo ao configurar o Predictive Churn. Os modelos de machine learning são tão bons quanto os dados que os treinam, portanto, ter boas práticas de higiene de dados e entender o que entra no modelo fará uma grande diferença.
- Quais ações de alto valor levam à retenção e à fidelidade?
- Você configurou eventos personalizados que mapeiam essas ações específicas? O Predictive Churn funciona com eventos personalizados em vez de atributos personalizados.
- Você está pensando em períodos dentro dos quais definirá o churn? Você pode definir churn como algo que acontece em até 60 dias.
- Você já considerou as épocas do ano que levam a comportamentos atípicos dos usuários, como os feriados? As rápidas mudanças no comportamento do consumidor afetarão suas previsões.