予測イベント分析

予測の構築とトレーニングが完了したら、Prediction Analytics ページにアクセスできます。このページは、好感度スコアやカテゴリに基づいて、ターゲットにすべきユーザーを決定するのに役立ちます。

予測イベント分析について

予測がトレーニングされ、このページが入力されるとすぐに、セグメントやキャンペーンでフィルターを使い始め、モデルの出力を使い始めることができる。誰をターゲットにするのか、なぜターゲットにするのかを決める手助けが必要なら、このページがモデルの歴史的正確さとあなた自身のビジネス目標に基づいて手助けしてくれるだろう。

以下は、予測イベント分析を構成するコンポーネントです。

• 可能性スコア
• 予測品質
• 推定精度
• イベント相関表

予測対象ユーザー全体の尤度スコアの分布は、ページの上部に表示される。さらに右側のバケツにいるユーザーはスコアが高く、イベントを実行する可能性が高い。左側にあるビンには、イベントを実行する可能性が低いユーザーが入っています。チャートの下にあるスライダーでユーザーのセクションを選択し、そのユーザーをターゲットにした場合の結果を推定することができる。

スライダーのハンドルをさまざまな位置に動かすと、パネルの左半分にあるバーが、選択したターゲット層を使って予測対象ユーザー全体のうち何人のユーザーをターゲットにするかを知らせてくれる。

可能性スコア

予測対象ユーザーには、0 ～ 100 の間で可能性スコアが割り当てられます。このスコアが高いほど、そのイベントを実行する可能性が高くなります。

以下は、可能性スコアによってユーザーがどのように分類されるかである：

• **低: **0 ～ 50
• **中: **50 ～ 75
• 高：75～100

得点と対応するカテゴリーは、予測作成ページで選択したスケジュールに従って更新される。尤度スコアが20の等しい大きさのバケツのそれぞれ、または尤度カテゴリのそれぞれにあるユーザーの数は、ページ上部のグラフに表示されている。

推定精度

チャートの下にあるパネルの右半分には、選択した予測対象ユーザーのうち、イベントを実行すると予想されるユーザー数と、実行しないと予想されるユーザー数という2つの方法で、選択した部分をターゲットにした場合の予想精度を示している。

実施予定

推定精度を使用して、選択されているユーザーのうち、イベントを実行することが予期されているユーザーの数を確認できます。

予測は 100% 正確ではありません。そのため、Braze は将来イベントを実行するユーザーをすべて正しく特定できるわけではありません。尤度スコアは、情報に基づいた信頼できる予測の集合のようなものだ。進行状況バーは、予測対象ユーザーで予想される「真陽性」のうち、選択したオーディエンスでターゲットになる数を示します。なお、メッセージを送らなくても、この数のユーザーがイベントを実行することを期待している。

実行は期待されていない

推定精度を使用して、選択されているユーザーのうち、イベントを実行しないことが予期されているユーザーの数を確認できます。

すべての機械学習モデルはエラーを作ります。選択したユーザーの中に、可能性スコアが高くても、実際にイベントを実行しないユーザーがいるかもしれない。何もアクションを起こさなければ、彼らはイベントを実行しないと思われます。いずれにしても対象となるので、これはエラーまたは”false positive.”です。この2番目のプログレスバーの全幅は、イベントを実行しないユーザーの予想数を表し、塗りつぶされた部分は、現在のスライダーの位置を使用して、誤ってターゲットにされるユーザーである。

この情報をもとに、どれだけの真陽性を捕捉したいのか、どれだけの偽陽性をターゲットとして許容できるのか、エラーのコストはビジネスにとってどれくらいなのかを決めることをお勧めする。価値のあるプロモーションを送信している場合、チャートの左側を優先させて非購入者 (偽陽性) だけをターゲットにすることができます。あるいは、チャートの右側を優先させてユーザーを選択することで、よく購入してくれるバイヤー (真陽性) に再購入を促すこともできます。

予測品質

To measure the accuracy of your model, the Prediction Quality metric will show you how effective this particular machine learning model appears to be when tested on historical data. Braze pulls data according to the groups you specified in the model creation page. The model is trained on one data set (the “training” set) and then tested on a new, separate data set (the “test” set).

The prediction will be trained again every two weeks and updated alongside the Prediction Quality metric to keep your predictions updated on the most recent user behavior patterns. Additionally, each time this occurs, the last two weeks of predictions will be tested against actual user outcomes. The Prediction Quality will then be calculated based on these real outcomes (rather than estimates). This is an automatic backtest (that is, testing a predictive model on historical data) to ensure the prediction is accurate in real-world scenarios. The last time this retraining and backtesting occurred will be displayed on the Predictions page and an individual prediction’s analytics page. Even a preview prediction will perform this backtest once after its creation. This way, you can be sure of the accuracy of your customized prediction even with the free version of the feature.

Prediction quality example

For example, if 20% of your users usually churn on average, and you pick a random subset of 20% of your users and label them as churned at random (whether they truly are or not), you’d expect to correctly identify only 20% of the actual churners. That’s random guessing. If the model were to only do that well, the lift would be 1 for this case.

If the model, on the other hand, allowed you to message 20% of the users and, in doing so capture all the “true” churners and no one else, the lift would be 100% / 20% = 5. If you chart this ratio for every proportion of the likeliest churners you could message, you get the Lift Curve.

Another way to think of lift quality (and also Prediction Quality) is how far along the way between random guessing (0%) and perfection (100%) the prediction’s lift curve is at identifying churners on the test set. For the original paper on lift quality, see Measuring lift quality in database marketing.

How it’s measured

Our measure of Prediction Quality is lift quality. Generally, “lift” refers to the increased ratio or percentage of a successful outcome, such as a conversion. In this case, the successful outcome is correctly identifying a user who would have churned. Lift quality is the average lift the prediction provides across all possible audience sizes for messaging the test set. This approach measures how much better than random guessing the model is. With this measure, 0% means the model is no better than randomly guessing about who will churn, and 100% indicates perfect knowledge of who will churn.

Recommended ranges

Here’s what we recommend for various ranges of Prediction Quality:

Prediction Quality Range (%)	Recommendation
60 - 100	Excellent. Top tier accuracy. Changing the audience definitions is unlikely to provide additional benefit.
40 - 60	Good. This model will produce accurate predictions, but trying different audience settings may achieve even better results.
20 - 40	Fair. This model can provide accuracy and value, but consider trying different audience definitions to see if they increase performance.
0 - 20	Poor. We recommend you change your audience definitions and try again.

イベント相関表

この分析では、予測対象ユーザーのイベントに相関するユーザー属性や行動が表示される。評価される属性は、年齢、国、性別、言語である。分析される行動には、セッション、購入、総支出額、カスタムイベント、過去 30 日間に受け取ったキャンペーンやキャンバスステップなどが含まれます。

表は、そのイベントを実行する可能性が高いものが左に、低いものが右にそれぞれ分けられています。各行では、左の列の行動や属性を持つユーザーが、そのイベントを実行する可能性が高いか低いかの比率が、右の列に表示されます。この数値は、この行動またはアトリビューションを持つユーザーの尤度スコアを、予測対象ユーザー全体からそのイベントを実行する尤度で割った比率である。

このテーブルは、予測が再学習するときにのみ更新され、ユーザーの尤度スコアが更新されるときには更新されない。