análise de dados de churn preditivo

Depois que sua previsão for construída e treinada, você terá acesso à página de análises de previsão. Esta página ajuda você a decidir quais usuários deve segmentar com base em seu Pontução de risco de churn ou categoria.

Sobre a análise de dados de churn preditivo

Assim que a previsão estiver concluída e esta página estiver populada, você pode começar a usar filtros em segmentos ou campanhas para começar a usar os resultados do modelo. Mas, se você quiser ajuda para decidir quem direcionar e por quê, esta página pode ajudar com base na precisão histórica do modelo e nos seus próprios objetivos de negócios.

Estes são os componentes que compõem a análise de dados de churn preditivo:

• Pontuação de Churn e Categoria
• Qualidade da previsão
• Precisão estimada
• Tabela de Correlação de Churn

A distribuição das pontuações para todo o público de previsão é exibida no topo da página em um gráfico que você pode visualizar, por categoria ou por pontuação. Usuários em grupos mais à direita têm pontuações mais altas e são mais propensos a churn. Usuários em grupos mais à esquerda são menos propensos a churn. O controle deslizante abaixo do gráfico permitirá que você selecione um grupo de usuários e estime quais seriam os resultados do direcionamento de usuários na faixa selecionada de Pontuação de Risco de Churn ou categoria.

À medida que você move o controle deslizante, a barra na metade esquerda do painel inferior informará quantos usuários do público total de previsão seriam alvo.

Pontuação e categoria de churn

Os usuários no público de previsão receberão uma pontuação de risco de churn entre 0 e 100. Quanto maior a pontuação, maior a probabilidade de churn.

• Usuários com pontuações entre 0 e 50 serão rotulados na categoria Baixo Risco.
• Usuários com pontuações entre 50 e 75, e 75 e 100 serão rotulados nas categorias Médio Risco e Alto Risco, respectivamente.

As pontuações e as categorias correspondentes serão atualizadas de acordo com o cronograma que você escolheu na página de criação do modelo. O número de usuários com pontuações de churn em cada um dos 20 grupos de tamanho igual é exibido no gráfico no topo da página. Isso pode ajudar você a determinar como é o risco de churn em toda a população de acordo com esta previsão.

Qualidade da previsão

To measure the accuracy of your model, the Prediction Quality metric will show you how effective this particular machine learning model appears to be when tested on historical data. Braze pulls data according to the groups you specified in the model creation page. The model is trained on one data set (the “training” set) and then tested on a new, separate data set (the “test” set).

The prediction will be trained again every two weeks and updated alongside the Prediction Quality metric to keep your predictions updated on the most recent user behavior patterns. Additionally, each time this occurs, the last two weeks of predictions will be tested against actual user outcomes. The Prediction Quality will then be calculated based on these real outcomes (rather than estimates). This is an automatic backtest (that is, testing a predictive model on historical data) to ensure the prediction is accurate in real-world scenarios. The last time this retraining and backtesting occurred will be displayed on the Predictions page and an individual prediction’s analytics page. Even a preview prediction will perform this backtest once after its creation. This way, you can be sure of the accuracy of your customized prediction even with the free version of the feature.

Prediction quality example

For example, if 20% of your users usually churn on average, and you pick a random subset of 20% of your users and label them as churned at random (whether they truly are or not), you’d expect to correctly identify only 20% of the actual churners. That’s random guessing. If the model were to only do that well, the lift would be 1 for this case.

If the model, on the other hand, allowed you to message 20% of the users and, in doing so capture all the “true” churners and no one else, the lift would be 100% / 20% = 5. If you chart this ratio for every proportion of the likeliest churners you could message, you get the Lift Curve.

Another way to think of lift quality (and also Prediction Quality) is how far along the way between random guessing (0%) and perfection (100%) the prediction’s lift curve is at identifying churners on the test set. For the original paper on lift quality, see Measuring lift quality in database marketing.

How it’s measured

Our measure of Prediction Quality is lift quality. Generally, “lift” refers to the increased ratio or percentage of a successful outcome, such as a conversion. In this case, the successful outcome is correctly identifying a user who would have churned. Lift quality is the average lift the prediction provides across all possible audience sizes for messaging the test set. This approach measures how much better than random guessing the model is. With this measure, 0% means the model is no better than randomly guessing about who will churn, and 100% indicates perfect knowledge of who will churn.

Recommended ranges

Here’s what we recommend for various ranges of Prediction Quality:

Prediction Quality Range (%)	Recommendation
60 - 100	Excellent. Top tier accuracy. Changing the audience definitions is unlikely to provide additional benefit.
40 - 60	Good. This model will produce accurate predictions, but trying different audience settings may achieve even better results.
20 - 40	Fair. This model can provide accuracy and value, but consider trying different audience definitions to see if they increase performance.
0 - 20	Poor. We recommend you change your audience definitions and try again.

Precisão estimada

Na metade direita do painel abaixo do gráfico, mostramos estimativas da precisão esperada do direcionamento deste segmento do público de previsão. Com base em dados sobre usuários no público de previsão no passado, e a aparente precisão do modelo para discriminar entre usuários que desistem e não desistem nesses dados passados, essas barras de progresso estimam para uma mensagem potencial futura usando o público destacado com o controle deslizante:

• Quantos usuários selecionados deverão fazer churn
• Quantos usuários selecionados são esperados não churnar

Usando essas informações, incentivamos você a decidir quantos dos clientes que cancelaram você deseja capturar e qual é o custo de um erro falso positivo para o seu negócio. Se você está enviando uma promoção importante, pode querer manter os não-desistentes direcionados ao mínimo enquanto obtém o máximo de desistentes verdadeiros esperados que o modelo permitir. Ou, se você for menos sensível a falsos positivos e os usuários receberem envio de mensagens extra, você pode enviar mensagens para mais do público para capturar mais churners esperados e ignorar os prováveis erros.

Usuários esperados para churnar

Esta é uma estimativa de quantos churners reais serão corretamente segmentados. Claro, não conhecemos o futuro perfeitamente, então não sabemos exatamente quais usuários do público de previsão irão sofrer churn no futuro. Mas a previsão é uma inferência confiável. Com base na performance passada, esta barra de progresso indica quantos do total de “churners” “atuais” ou “verdadeiros” esperados no público de previsão (com base nas taxas de churn anteriores) serão direcionados com a seleção de direcionamento atual. Esperaríamos esse número de usuários com churn se você não os direcionar com qualquer envio de mensagens extra ou incomum.

Usuários esperados para não churnar

Esta é uma estimativa de quantos usuários que não teriam churnado serão segmentados incorretamente. Todos os modelos de machine learning cometem erros. Pode haver usuários em sua seleção que tenham uma alta pontuação de risco de churn, mas que não acabem com churn. Eles não sofrerão churn mesmo que você não faça nada. Eles serão segmentados de qualquer maneira, então isso é um erro ou “falso positivo.” A largura total desta segunda barra de progresso representa o número esperado de usuários que não churnarão, e a parte preenchida representa aqueles que serão segmentados incorretamente usando a posição atual do controle deslizante.

Tabela de correlação de churn

Esta análise exibe quaisquer atributos ou comportamentos de usuário que estão correlacionados com o churn de usuário no público de previsão histórica. As tabelas são divididas em esquerda e direita para mais e menos propensos a churn, respectivamente. Para cada linha, a razão pela qual os usuários com o comportamento ou atributo na coluna da esquerda são mais ou menos propensos a churn é exibida na coluna da direita. Este número é a razão da probabilidade de churn de usuários com este comportamento ou atributo dividida pela probabilidade de churn de todo o público de previsão.

Esta tabela é atualizada apenas quando a previsão é re-treinada e não quando os Scores de Risco de Churn do usuário são atualizados.