解約予測分析

予測の構築とトレーニングが完了したら、Prediction Analytics ページにアクセスできます。このページでは、Churn Risk Score またはカテゴリに基づいて、どのユーザーをターゲットにするかを決定するのに役立ちます。

解約予測分析について

予測が完了し、このページが入力されるとすぐに、単にfilters をセグメントまたはキャンペーンで使用して、モデルの出力の使用を開始できます。しかし、誰をターゲットにするのか、なぜターゲットにするのかを決めるのに役立ちたいのであれば、このページはモデルの歴史的な正確さと自分自身のビジネス目標に基づいて役立ちます。

解約予測分析を構成する要素を以下に示します。

• 解約スコアとカテゴリ
• 予測品質
• 推定精度
• 解約相関表

予測オーディエンス全体のスコアの分布は、グラフの一番上に表示されます。グラフでは、カテゴリ別またはスコア別に表示できます。右側にあるビンのユーザーはスコアが高く、解約する可能性が高くなります。左側にあるビンには、解約の可能性が低いユーザーが入っています。グラフの下にあるスライダを使用すると、ユーザーの範囲を選択し、選択した範囲の_Churn Risk Score_ またはカテゴリのユーザーをターゲットにする場合の結果を見積もることができます。

スライダーを動かすと、下側のパネルの左半分のバーに、予測オーディエンス全体からターゲットになるユーザの数が表示されます。

解約スコアとカテゴリ

予測対象ユーザーには、0 ～ 100 の間で_解約リスクスコア_が割り当てられます。スコアが高ければ高いほど、解約の可能性は高くなります。

• スコアが 0 ～ 50 のユーザーは、_低リスク_カテゴリに分類されます。
• スコアが 50 ～ 75、75 ～ 100 のユーザーは、それぞれ_中リスク_と_高リスク_のカテゴリに分類されます。

スコアと対応するカテゴリは、モデル作成ページで選択したスケジュールに従って更新されます。同じサイズのバケット 20 個のそれぞれに解約スコアがあるユーザーの数が、ページ上部のチャートに表示されます。これは、この予測に基づいて、母集団全体でどのような解約リスクがあるかを判断するのに役立ちます。

予測品質

To measure the accuracy of your model, the Prediction Quality metric will show you how effective this particular machine learning model appears to be when tested on historical data. Braze pulls data according to the groups you specified in the model creation page. The model is trained on one data set (the “training” set) and then tested on a new, separate data set (the “test” set).

The prediction will be trained again every two weeks and updated alongside the Prediction Quality metric to keep your predictions updated on the most recent user behavior patterns. Additionally, each time this occurs, the last two weeks of predictions will be tested against actual user outcomes. The Prediction Quality will then be calculated based on these real outcomes (rather than estimates). This is an automatic backtest (that is, testing a predictive model on historical data) to ensure the prediction is accurate in real-world scenarios. The last time this retraining and backtesting occurred will be displayed on the Predictions page and an individual prediction’s analytics page. Even a preview prediction will perform this backtest once after its creation. This way, you can be sure of the accuracy of your customized prediction even with the free version of the feature.

Prediction quality example

For example, if 20% of your users usually churn on average, and you pick a random subset of 20% of your users and label them as churned at random (whether they truly are or not), you’d expect to correctly identify only 20% of the actual churners. That’s random guessing. If the model were to only do that well, the lift would be 1 for this case.

If the model, on the other hand, allowed you to message 20% of the users and, in doing so capture all the “true” churners and no one else, the lift would be 100% / 20% = 5. If you chart this ratio for every proportion of the likeliest churners you could message, you get the Lift Curve.

Another way to think of lift quality (and also Prediction Quality) is how far along the way between random guessing (0%) and perfection (100%) the prediction’s lift curve is at identifying churners on the test set. For the original paper on lift quality, see Measuring lift quality in database marketing.

How it’s measured

Our measure of Prediction Quality is lift quality. Generally, “lift” refers to the increased ratio or percentage of a successful outcome, such as a conversion. In this case, the successful outcome is correctly identifying a user who would have churned. Lift quality is the average lift the prediction provides across all possible audience sizes for messaging the test set. This approach measures how much better than random guessing the model is. With this measure, 0% means the model is no better than randomly guessing about who will churn, and 100% indicates perfect knowledge of who will churn.

Recommended ranges

Here’s what we recommend for various ranges of Prediction Quality:

Prediction Quality Range (%)	Recommendation
60 - 100	Excellent. Top tier accuracy. Changing the audience definitions is unlikely to provide additional benefit.
40 - 60	Good. This model will produce accurate predictions, but trying different audience settings may achieve even better results.
20 - 40	Fair. This model can provide accuracy and value, but consider trying different audience definitions to see if they increase performance.
0 - 20	Poor. We recommend you change your audience definitions and try again.

推定精度

チャートの下のパネルの右側では、予測対象ユーザーのこの領域をターゲットとする期待精度の推定値を示します。過去の予測対象ユーザーに関するデータと、その過去のデータについて解約ユーザーと非解約ユーザーを識別するモデルの精度に基づいて、これらのプログレスバーは、スライダーで強調表示されたオーディエンスを使用した将来の潜在的なメッセージについて以下を推定します。

• 解約すると予想される選択済みユーザーの数
• 解約しないと予想される選択済みユーザーの数

この情報をもとに、何人の解約者をキャプチャしたいのか、また偽陽性エラーのコストはどれほどかを判断することをお勧めします。価値あるプロモーションを発信しているのであれば、非解約者のターゲティングを最小限に抑える一方で、モデルが許す限り、予想される真の解約者をできるだけ多くキャプチャするのが理想的です。あるいは、誤検出の感度が低く、ユーザが追加のメッセージを受信した場合、より多くのオーディエンスにメッセージを送って、より多くの期待されるチャーナーをキャプチャし、可能性のあるエラーを無視することができます。

解約すると予想されるユーザー

これは、実際の解約者のうち、正しくターゲット設定されるユーザーの推定数です。もちろん、私たちは未来を完全に予知できるわけではないので、予測対象のうちどのユーザーが将来解約するかは正確にはわかりません。しかし、この予測は信頼できる推論である。このプログレスバーは、過去のパフォーマンスに基づいて、予測対象ユーザーで予想される （過去の解約率に基づく）「実際の」または「真の」解約者のうち、現在のターゲティング選択でターゲットにされる人の数を示しています。この数のユーザーが、追加のメッセージや異常なメッセージでターゲットにしない場合には、混乱することが予想されます。

解約すると予想されないユーザー

実際には解約しないはずであったユーザーのうち、誤ってターゲット設定されるユーザーの推定数です。すべての機械学習モデルはエラーを作ります。選択したユーザーの中に、_解約リスクスコア_が高く、最終的に解約しないユーザーがいる可能性があります。これは、貴社が何もしなくても、解約しなかったはずのユーザーです。いずれにしても対象となるので、これはエラーまたは”false positive.”です。この2番目進行状況バーの全幅は、解約しないユーザーの推定数を表し、塗りつぶされた部分は、現在のスライダー位置を使用して誤ってターゲットとして設定されるるユーザーの数を表します。

解約相関表

この分析では、過去の予測対象ユーザーにおけるユーザー解約と相関するユーザー属性または行動が表示されます。それぞれの表は、解約の可能性が高い方が左、低い方が右に分割されています。各行について、左の列の行動や属性を持つユーザーの解約する可能性を示す比率が、右の列に表示されます。この数値は、この行動や属性を持つユーザーの解約可能性を、予測対象ユーザー全体の解約可能性で割った比率です。

このテーブルは、ユーザ_Churn Risk Scores_ が更新されたときではなく、予測が再試行されたときにのみ更新されます。