予測分析
予測が構築され、トレーニングされた後、予測分析ページにアクセスできます。このページは、ユーザーの可能性スコアやカテゴリに基づいてターゲットにすべきユーザーを決定するのに役立ちます。
予測のトレーニングが完了し、このページが入力されるとすぐに、セグメントやキャンペーンでフィルターを使用してモデルの出力を使用し始めることができます。このページは、モデルの歴史的な精度とあなた自身のビジネス目標に基づいて、誰をターゲットにするか、なぜターゲットにするかを決定するのに役立ちます。
分析 components
可能性スコア
予測対象ユーザーのユーザーには、0から100の間の確率スコアが割り当てられます。スコアが高いほど、イベントを実行する可能性が高くなります。
次のように、ユーザーはその可能性スコアに応じて分類されます:
- 低: 0から50の間
- 中: 50 と 75 の間
- 高い: 75 と 100 の間
スコアと対応するカテゴリは、予測作成ページで選択したスケジュールに従って更新されます。ページの上部にあるチャートには、20の同じサイズのバケットまたは各可能性カテゴリのそれぞれにおけるユーザー数が表示されています。
オーディエンスビルダーでユーザーをターゲティングする
ページの上部に、全予測対象ユーザーの確率スコアの分布が表示されます。右側のバケットにいるユーザーはスコアが高く、イベントを実行する可能性が高くなります。左側のバケットにいるユーザーは、そのイベントを実行する可能性が低くなります。グラフの下のスライダーを使用すると、ユーザーのセクションを選択し、それらのユーザーをターゲットにした場合の結果を推定できます。
スライダーハンドルをさまざまな位置に移動すると、パネルの左半分のバーが、選択した人口の一部を使用して、全予測対象ユーザーのうち何人がターゲットになるかを知らせます。
推定結果
チャートの下のパネルの右半分には、選択した予測対象ユーザーの一部をターゲットにした場合の予想精度の推定値を2つの方法で表示します。選択したユーザーのうち、イベントを実行することが予想されるユーザーの数と、実行しないことが予想されるユーザーの数です。
イベントを実行する予定の選択されたユーザーは何人ですか
予測は完全に正確ではなく、どの予測もそうであるため、Brazeはすべての将来のユーザーを特定してイベントを実行することはできません。可能性スコアは、情報に基づいた信頼できる予測のセットのようなものです。進捗バーは、予測対象ユーザーの「真陽性」のうち、選択されたオーディエンスでターゲットされる数を示します。メッセージを送信しなくても、この数のユーザーがイベントを実行することを期待しています。
選択されたユーザーのうち、どれくらいの人数がそのイベントを実行しないと予想されますか
すべての機械学習モデルはエラーを犯します。選択したユーザーの中には、高い可能性スコアを持っているが実際にはイベントを実行しないユーザーがいるかもしれません。アクションを起こさなければ、彼らはイベントを実行しません。彼らはとにかく標的にされるので、これはエラーまたは「偽陽性」です。この2番目の進捗バーの全幅は、イベントを実行しないと予想されるユーザーの数を表しており、塗りつぶされた部分は現在のスライダー位置を使用して誤ってターゲットにされるユーザーを示しています。
この情報を使用して、どれだけの真陽性を捕捉したいか、どれだけの偽陽性を許容できるか、そしてエラーのコストがビジネスにとってどれほどのものかを決定することをお勧めします。貴重なプロモーションを送信する場合、チャートの左側を優先することで、非購入者(偽陽性)のみをターゲットにすることを検討するかもしれません。あるいは、チャートの右側を好むユーザーのセクションを選択することで、頻繁に購入する(真のポジティブ)購入者に再度購入を促すことができます。
予測品質
モデルの精度を測定するために、_予測品質_メトリックは、この特定の機械学習モデルがどれほど効果的であるかを示します。それは、この予測がイベントの実行者と非実行者を区別する能力の良さを測る尺度です。100の_予測品質_は、エラーなしで誰がイベントを実行するかしないかを完全に知っていることを意味します(これは決して起こりません!)、0はランダムに推測していることを意味します。メトリックの詳細については、予測品質を参照してください。
こちらがさまざまな範囲の_予測品質_に対して私たちが推奨するものです:
予測品質範囲 (%) | 推薦 |
---|---|
60 - 100 | 優れた。トップティアの精度。オーディエンス定義を変更しても追加の利益は得られない可能性があります。 |
40 - 60 | 良い。このモデルは正確な予測を生成しますが、異なるオーディエンス設定を試すことでさらに良い結果が得られるかもしれません。 |
20 - 40 | 公正。このモデルは精度と価値を提供できますが、パフォーマンスが向上するかどうかを確認するために、さまざまなオーディエンスの定義を試してみてください。 |
0 - 20 | 貧しい。オーディエンス定義を変更して、再試行することをお勧めします。 |
予測は2週間ごとに再トレーニングされ、予測品質メトリックと共に更新されて、最新のユーザー行動パターンに基づいて予測が更新されます。再トレーニングが最後に行われた時刻は、予測リストページおよび予測の分析ページに表示されます。
予測が最初に作成されると、予測の品質は予測の構築をクリックしたときにクエリされる履歴データに基づきます。その後、2週間ごとに、予測の質は予測スコアを実際の結果と比較することによって導き出されます。
イベント相関テーブル
この分析は、予測対象ユーザーのイベントと相関するユーザーの属性や行動を表示します。評価される属性は年齢、国、性別、言語です。分析される行動には、セッション、購入、総支出額、カスタムイベント、キャンペーン、および過去30日間に受信したキャンバスステップが含まれます。
テーブルは、イベントを実行する可能性が高いものと低いものに分かれています。各行について、左列にある行動や属性を持つユーザーがイベントを実行する可能性が高いか低いかの比率が右列に表示されます。この数値は、この行動または属性を持つユーザーの可能性スコアを、全予測対象ユーザーがイベントを実行する可能性で割った比率です。
このテーブルは予測が再トレーニングされるときにのみ更新され、ユーザーの可能性スコアが更新されるときには更新されません。
プレビュー予測の相関データは一部非表示になります。この情報を表示するには購入が必要です。詳細については、アカウントマネージャーにお問い合わせください。