Skip to content

Análise preditiva de churn

Depois que sua previsão for construída e treinada, você terá acesso à página de análises de previsão. Esta página ajuda você a decidir quais usuários deve segmentar com base em sua pontuação de risco de churn ou categoria.

Sobre a análise preditiva de churn

Assim que a previsão estiver concluída e esta página estiver populada, você pode começar a usar filtros em segmentos ou campanhas para começar a usar os resultados do modelo. Mas, se você quiser ajuda para decidir quem direcionar e por quê, esta página pode ajudar com base na precisão histórica do modelo e nos seus próprios objetivos de negócios.

Estes são os componentes que compõem a análise preditiva de churn:

A distribuição das pontuações para todo o público de previsão é exibida no topo da página em um gráfico que você pode visualizar, por categoria ou por pontuação. Usuários em buckets mais à direita têm pontuações mais altas e são mais propensos a churn. Usuários em buckets mais à esquerda são menos propensos a churn. O controle deslizante abaixo do gráfico permitirá que você selecione um grupo de usuários e estime quais seriam os resultados do direcionamento de usuários na faixa selecionada de pontuação de risco de churn ou categoria.

À medida que você move o controle deslizante, a barra na metade esquerda do painel inferior informará quantos usuários do público total de previsão seriam direcionados.

Pontuação e categoria de churn

Os usuários no público de previsão receberão uma pontuação de risco de churn entre 0 e 100. Quanto maior a pontuação, maior a probabilidade de churn.

  • Usuários com pontuações entre 0 e 50 serão rotulados na categoria Risco baixo.
  • Usuários com pontuações entre 50 e 75, e 75 e 100 serão rotulados nas categorias Risco médio e Risco alto, respectivamente.

As pontuações e as categorias correspondentes serão atualizadas de acordo com o cronograma que você escolheu na página de criação do modelo. O número de usuários com pontuações de churn em cada um dos 20 buckets de tamanho igual é exibido no gráfico no topo da página. Isso pode ajudar você a determinar como é o risco de churn em toda a população de acordo com esta previsão.

Qualidade da previsão

Para medir a precisão do seu modelo, a métrica de Qualidade da Previsão mostrará quão eficaz esse modelo específico de machine learning parece ser quando testado em dados históricos. A Braze extrai os dados de acordo com os grupos que você especificou na página de criação do modelo. O modelo é treinado em um conjunto de dados (o conjunto de “treinamento”) e, em seguida, testado em um conjunto de dados novo e separado (o conjunto de “teste”).

A previsão será treinada novamente a cada duas semanas e atualizada juntamente com a métrica Qualidade da Previsão para manter suas previsões atualizadas com os padrões mais recentes de comportamento do usuário. Além disso, sempre que isso ocorrer, as duas últimas semanas de previsões serão testadas em relação aos resultados reais dos usuários. A Qualidade da Previsão será então calculada com base nesses resultados reais (em vez de estimativas). Trata-se de um backtest automático (ou seja, testar um modelo preditivo em dados históricos) para garantir que a previsão seja precisa em cenários do mundo real. A última vez em que esse retreinamento e backtesting ocorreram será exibida na página Predictions e na página de análise de dados de uma previsão individual. Mesmo uma previsão prévia realizará esse backtest uma vez após sua criação. Dessa forma, você pode ter certeza da precisão da sua previsão personalizada, mesmo com a versão gratuita do recurso.

Exemplo de qualidade da previsão

Por exemplo, se 20% dos seus usuários costumam ter churn em média, e você escolhe um subconjunto aleatório de 20% dos seus usuários e os rotula como “com churn” aleatoriamente (sejam eles realmente com churn ou não), você espera identificar corretamente apenas 20% dos usuários com churn reais. Isso é uma suposição aleatória. Se o modelo tivesse apenas esse desempenho, o lift seria 1 para esse caso.

Se o modelo, por outro lado, permitisse o envio de mensagens para 20% dos usuários e, ao fazê-lo, capturasse todos os “verdadeiros” usuários com churn e mais ninguém, o lift seria de 100% / 20% = 5. Se você traçar essa razão para cada proporção dos usuários com churn mais prováveis para quem poderia enviar mensagens, obterá a curva de lift.

Outra maneira de pensar na qualidade do lift (e também na Qualidade da Previsão) é a distância entre a suposição aleatória (0%) e a perfeição (100%) da curva de lift da previsão na identificação de usuários com churn no conjunto de teste. Para consultar o artigo original sobre qualidade de lift, veja Measuring lift quality in database marketing.

Como é medido

Nossa medida de Qualidade da Previsão é a qualidade de lift. De modo geral, “lift” refere-se ao aumento da proporção ou porcentagem de um resultado bem-sucedido, como uma conversão. Nesse caso, o resultado bem-sucedido é a identificação correta de um usuário que teria churn. A qualidade do lift é o lift médio que a previsão fornece em todos os tamanhos possíveis de público para o envio de mensagens ao conjunto de teste. Essa abordagem mede o quanto o modelo é melhor do que a suposição aleatória. Com essa medida, 0% significa que o modelo não é melhor do que adivinhar aleatoriamente quem vai ter churn, e 100% indica conhecimento perfeito de quem vai ter churn.

Veja o que recomendamos para as diversas faixas de Qualidade da Previsão:

Faixa de qualidade da previsão (%) Recomendação
60 - 100 Excelente. Precisão exemplar. É improvável que a alteração das definições de público traga benefícios adicionais.
40 - 60 Bom. Este modelo produzirá previsões precisas, mas pode valer a pena testar outras configurações de público para obter resultados ainda melhores.
20 - 40 Razoável. Este modelo pode proporcionar precisão e valor, mas experimente diferentes definições de público para ver se o desempenho melhora.
0 - 20 Fraco. Recomendamos alterar suas definições de público e tentar novamente.

Precisão estimada

Na metade direita do painel abaixo do gráfico, mostramos estimativas da precisão esperada do direcionamento deste segmento do público de previsão. Com base em dados sobre usuários no público de previsão no passado e na precisão aparente do modelo para discriminar entre usuários que fazem e não fazem churn nesses dados passados, essas barras de progresso estimam, para uma mensagem potencial futura usando o público destacado com o controle deslizante:

  • Quantos usuários selecionados devem fazer churn
  • Quantos usuários selecionados não devem fazer churn

Usando essas informações, incentivamos você a decidir quantos dos usuários com churn você deseja capturar e qual é o custo de um erro falso positivo para o seu negócio. Se você está enviando uma promoção valiosa, pode querer manter os não-churners direcionados ao mínimo enquanto obtém o máximo de churners verdadeiros esperados que o modelo permitir. Ou, se você for menos sensível a falsos positivos e os usuários receberem envio de mensagens extra, você pode enviar mensagens para mais do público para capturar mais churners esperados e ignorar os prováveis erros.

Usuários com churn esperado

Esta é uma estimativa de quantos churners reais serão corretamente direcionados. Claro, não conhecemos o futuro perfeitamente, então não sabemos exatamente quais usuários do público de previsão irão fazer churn no futuro. Mas a previsão é uma inferência confiável. Com base no desempenho passado, esta barra de progresso indica quantos do total de churners “reais” ou “verdadeiros” esperados no público de previsão (com base nas taxas de churn anteriores) serão direcionados com a seleção de direcionamento atual. Esperaríamos esse número de usuários com churn se você não os direcionar com qualquer envio de mensagens extra ou incomum.

Usuários sem churn esperado

Esta é uma estimativa de quantos usuários que não teriam feito churn serão incorretamente direcionados. Todos os modelos de machine learning cometem erros. Pode haver usuários em sua seleção que tenham uma alta pontuação de risco de churn, mas que não acabem fazendo churn. Eles não fariam churn mesmo que você não tomasse nenhuma ação. Eles serão direcionados de qualquer maneira, então isso é um erro ou “falso positivo”. A largura total desta segunda barra de progresso representa o número esperado de usuários que não farão churn, e a parte preenchida representa aqueles que serão incorretamente direcionados usando a posição atual do controle deslizante.

Tabela de correlação de churn

Esta análise exibe quaisquer atributos ou comportamentos de usuário que estão correlacionados com o churn de usuário no público de previsão histórica. As tabelas são divididas em esquerda e direita para mais e menos propensos a churn, respectivamente. Para cada linha, a razão pela qual os usuários com o comportamento ou atributo na coluna da esquerda são mais ou menos propensos a churn é exibida na coluna da direita. Esse número é a razão da probabilidade de churn de usuários com esse comportamento ou atributo dividida pela probabilidade de churn de todo o público de previsão.

Esta tabela é atualizada apenas quando a previsão é re-treinada e não quando as pontuações de risco de churn do usuário são atualizadas.
New Stuff!