Skip to content

予測イベント分析

予測の構築とトレーニングが完了したら、Prediction Analytics ページにアクセスできます。このページは、可能性スコアやカテゴリに基づいて、ターゲットにすべきユーザーを決定するのに役立ちます。

予測イベント分析について

予測のトレーニングが完了し、このページにデータが表示されたら、すぐにSegmentsやCampaignsでフィルターを使用して、モデルの出力の利用を開始できます。誰をターゲットにするのか、なぜターゲットにするのかを決める手助けが必要な場合は、このページがモデルの過去の精度とご自身のビジネス目標に基づいてサポートします。

以下は、予測イベント分析を構成するコンポーネントです。

予測対象ユーザー全体の可能性スコアの分布は、ページの上部に表示されます。右側のバケットにいるユーザーはスコアが高く、イベントを実行する可能性が高くなります。左側のバケットにいるユーザーは、イベントを実行する可能性が低くなります。チャートの下にあるスライダーでユーザーのセクションを選択し、そのユーザーをターゲットにした場合の結果を推定できます。

スライダーのハンドルをさまざまな位置に動かすと、パネルの左半分にあるバーが、選択した対象層を使って予測対象ユーザー全体のうち何人のユーザーをターゲットにするかを表示します。

可能性スコア

予測対象ユーザーには、0～100の間で可能性スコアが割り当てられます。スコアが高いほど、そのイベントを実行する可能性が高くなります。

以下は、可能性スコアによってユーザーがどのように分類されるかを示しています。

  • 低: 0～50
  • 中: 50～75
  • 高: 75～100

スコアと対応するカテゴリは、予測作成ページで選択したスケジュールに従って更新されます。20の等しいサイズのバケットまたは各可能性カテゴリに含まれる可能性スコアを持つユーザーの数は、ページ上部のチャートに表示されます。

ユーザーレベルの可能性スコアへのアクセス

単一ユーザーの可能性スコアを確認するには、ダッシュボードでそのユーザーを検索し、Engagement > Predictionsに移動してスコアを確認します。多くのユーザーのスコアとカテゴリを一度に確認するには、イベント発生確率スコアまたはイベント発生確率カテゴリのフィルターを使ってSegmentを作成し、そのSegmentからユーザーをエクスポートします。エクスポート時には、エクスポートデータに可能性スコアを含めることができます。

推定精度

チャートの下にあるパネルの右半分には、選択した予測対象ユーザーの部分をターゲットにした場合の予想精度が2つの方法で表示されます。イベントを実行すると予想されるユーザー数と、実行しないと予想されるユーザー数です。

Brazeダッシュボードに表示される選択されたオーディエンスと推定精度。

実行が予想されるユーザー

推定精度を使用して、選択されたユーザーのうち、イベントを実行すると予想されるユーザーの数を確認できます。

予測は完全に正確ではなく、どの予測もそうです。そのため、Brazeは将来イベントを実行するすべてのユーザーを正確に特定できるわけではありません。可能性スコアは、情報に基づいた信頼性の高い予測の集合のようなものです。プログレスバーは、予測対象ユーザーで予想される「真陽性」のうち、選択したオーディエンスでターゲットになる数を示します。なお、メッセージを送信しなくても、この数のユーザーがイベントを実行すると予想されます。

実行が予想されないユーザー

推定精度を使用して、選択されたユーザーのうち、イベントを実行しないと予想されるユーザーの数を確認できます。

すべての機械学習モデルにはエラーがあります。選択したユーザーの中に、可能性スコアが高くても、実際にはイベントを実行しないユーザーがいる場合があります。何もアクションを起こさなければ、彼らはイベントを実行しないでしょう。いずれにしてもターゲットに含まれるため、これはエラーまたは「偽陽性」です。この2番目のプログレスバーの全幅は、イベントを実行しないと予想されるユーザー数を表し、塗りつぶされた部分は、現在のスライダー位置で誤ってターゲットにされるユーザーです。

この情報をもとに、どれだけの真陽性を捕捉したいのか、どれだけの偽陽性をターゲットとして許容できるのか、エラーのコストがビジネスにとってどれくらいなのかを判断することをお勧めします。価値のあるプロモーションを送信している場合、チャートの左側を優先させて非購入者（偽陽性）だけをターゲットにすることができます。あるいは、チャートの右側を優先させてユーザーを選択することで、よく購入してくれるバイヤー（真陽性）に再購入を促すこともできます。

予測品質

モデルの精度を測定するために、_予測品質_メトリックは、過去のデータでテストしたときに、この特定の機械学習モデルがどの程度効果的に見えるかを示す。Brazeは、モデル作成ページで指定したグループに従ってデータをプルする。モデルは、1つのデータセット (「トレーニング」セット)でトレーニングされ、次に新しい別のデータセット (「テスト」セット)でテストされる。

予測は2週間ごとに再度トレーニングされ、Prediction Quality_指標とともに更新されるため、最新のユーザー行動パターンに基づいて予測が更新される。さらに、その都度、直近2週間の予測を実際のユーザーの結果と照らし合わせてテストする。_予測品質は、 (予測ではなく)これらの実際の結果に基づいて計算される。これは、実際のシナリオで予測が正確であることを確認するための自動バックテスト (つまり、過去のデータを使って予測モデルをテストすること)である。この再トレーニングとバックテストが最後に行われた時間は、予測ページと個々の予測の分析ページに表示される。プレビュー予測であっても、作成後に一度だけこのバックテストが実行される。こうすることで、無料版でもカスタマイズされた予測の精度を確かめることができる。

Prediction quality example

例えば、通常、ユーザーの平均 20% が解約する場合、ユーザーの 20% のサブセットを無作為に選択し、それらのユーザーに「解約済み」のラベルを無作為に付けると (実際に解約したかどうかは問わない)、正しく特定される解約者は実際の 20% のみであると予想されます。それは当て推量です。もし、このモデルがその程度しかできないとしたら、この場合の揚力は1となる。

一方、モデルがユーザーの 20% にメッセージを送信することを許可し、その結果、「真の」解約者をすべて捕捉し、解約者以外をまったく捕捉しなかった場合、リフトは 100% / 20% = 5 になります。この比率を、メッセージを送信できる、解約の可能性が非常に高いユーザーの割合ごとにグラフにすると、リフト曲線が得られます。

リフト品質 (および_予測品質_) を検討するもう 1 つの方法は、テストセットで解約者を特定する予測のリフト曲線が当て推量 (0%) から完全 (100%) までのどの位置にあるかです。リフト品質に関する元の論文については、「Measuring lift quality in database marketing」を参照してください。

測定方法

当社の_予測品質_の尺度はリフト品質です。一般に、”lift”は、コンバージョンなどの成功した結果の割合またはパーセンテージeの増加を意味します。ここでの成功した結果とは、解約したであろうユーザーを正しく特定することです。リフト品質とは、テストセットにメッセージングを行うときに考えられるすべてのオーディエンスサイズについて、予測が提供する平均リフトです。このアプローチでは、モデルがランダムな推測よりもどれだけ優れているかを測定する。この指標の 0% は、誰が解約するかについて、モデルの精度がランダムな推測と同程度であり、100% は誰が解約するかを完全に把握していることを示します。

推奨範囲

以下に、さまざまな_予測品質_範囲に対する推奨事項を示します。

イベント相関表

この分析では、予測対象ユーザーのイベントに相関するユーザー属性や行動が表示されます。評価される属性は、年齢、国、性別、言語です。分析される行動には、セッション、購入、総支出額、カスタムイベント、過去30日間に受け取ったCampaignsやキャンバスステップなどが含まれます。

表は、そのイベントを実行する可能性が高いものが左に、低いものが右にそれぞれ分けられています。各行では、左の列の行動や属性を持つユーザーが、そのイベントを実行する可能性が高いか低いかの比率が、右の列に表示されます。この数値は、この行動または属性を持つユーザーの可能性スコアを、予測対象ユーザー全体のイベント実行の可能性で割った比率です。

このテーブルは、予測が再トレーニングされるときにのみ更新され、ユーザーの可能性スコアが更新されるときには更新されません。

トラブルシューティング

予測を作成できない

カスタムイベントの予測を作成できない場合、サンプルサイズが不足している可能性があります。Brazeはイベントを実行したユーザー数を推定しますが、十分なユーザーがイベントを実行していない場合、サンプルがモデルのトレーニングに十分なデータを提供しない可能性があります。この場合、システムはユーザーがいない状態まで外挿し、予測の作成を妨げる可能性があります。

予測を成功させるには、予測対象ユーザーのうち十分な数のユーザーが、対象のカスタムイベントを実行していることを確認してください。正確な閾値は異なりますが、ユーザー群全体で利用率が非常に低いイベントは、信頼性の高いモデルトレーニングに十分なデータを提供しない可能性があります。
New Stuff!