Skip to content

予測イベント分析

予測の構築とトレーニングが完了したら、Prediction Analytics ページにアクセスできます。このページは、好感度スコアやカテゴリに基づいて、ターゲットにすべきユーザーを決定するのに役立ちます。

予測イベント分析について

予測がトレーニングされ、このページが入力されるとすぐに、セグメントやキャンペーンでフィルターを使い始め、モデルの出力を使い始めることができる。誰をターゲットにするのか、なぜターゲットにするのかを決める手助けが必要なら、このページがモデルの歴史的正確さとあなた自身のビジネス目標に基づいて手助けしてくれるだろう。

以下は、予測イベント分析を構成するコンポーネントです。

予測対象ユーザー全体の尤度スコアの分布は、ページの上部に表示される。さらに右側のバケツにいるユーザーはスコアが高く、イベントを実行する可能性が高い。左側にあるビンには、イベントを実行する可能性が低いユーザーが入っています。チャートの下にあるスライダーでユーザーのセクションを選択し、そのユーザーをターゲットにした場合の結果を推定することができる。

スライダーのハンドルをさまざまな位置に動かすと、パネルの左半分にあるバーが、選択したターゲット層を使って予測対象ユーザー全体のうち何人のユーザーをターゲットにするかを知らせてくれる。

可能性スコア

予測対象ユーザーには、0 ～ 100 の間で可能性スコアが割り当てられます。このスコアが高いほど、そのイベントを実行する可能性が高くなります。

以下は、可能性スコアによってユーザーがどのように分類されるかである：

  • **低: **0 ～ 50
  • **中: **50 ～ 75
  • 高：75～100

得点と対応するカテゴリーは、予測作成ページで選択したスケジュールに従って更新される。尤度スコアが20の等しい大きさのバケツのそれぞれ、または尤度カテゴリのそれぞれにあるユーザーの数は、ページ上部のグラフに表示されている。

推定精度

チャートの下にあるパネルの右半分には、選択した予測対象ユーザーのうち、イベントを実行すると予想されるユーザー数と、実行しないと予想されるユーザー数という2つの方法で、選択した部分をターゲットにした場合の予想精度を示している。

Brazeのダッシュボードに表示される選択されたオーディエンスと推定精度。

実施予定

推定精度を使用して、選択されているユーザーのうち、イベントを実行することが予期されているユーザーの数を確認できます。

予測は 100% 正確ではありません。そのため、Braze は将来イベントを実行するユーザーをすべて正しく特定できるわけではありません。尤度スコアは、情報に基づいた信頼できる予測の集合のようなものだ。進行状況バーは、予測対象ユーザーで予想される「真陽性」のうち、選択したオーディエンスでターゲットになる数を示します。なお、メッセージを送らなくても、この数のユーザーがイベントを実行することを期待している。

実行は期待されていない

推定精度を使用して、選択されているユーザーのうち、イベントを実行しないことが予期されているユーザーの数を確認できます。

すべての機械学習モデルはエラーを作ります。選択したユーザーの中に、可能性スコアが高くても、実際にイベントを実行しないユーザーがいるかもしれない。何もアクションを起こさなければ、彼らはイベントを実行しないと思われます。いずれにしても対象となるので、これはエラーまたは”false positive.”です。この2番目のプログレスバーの全幅は、イベントを実行しないユーザーの予想数を表し、塗りつぶされた部分は、現在のスライダーの位置を使用して、誤ってターゲットにされるユーザーである。

この情報をもとに、どれだけの真陽性を捕捉したいのか、どれだけの偽陽性をターゲットとして許容できるのか、エラーのコストはビジネスにとってどれくらいなのかを決めることをお勧めする。価値のあるプロモーションを送信している場合、チャートの左側を優先させて非購入者 (偽陽性) だけをターゲットにすることができます。あるいは、チャートの右側を優先させてユーザーを選択することで、よく購入してくれるバイヤー (真陽性) に再購入を促すこともできます。

予測品質

モデルの精度を測定するために、_予測品質_メトリックは、過去のデータでテストしたときに、この特定の機械学習モデルがどの程度効果的に見えるかを示す。Brazeは、モデル作成ページで指定したグループに従ってデータをプルする。モデルは、1つのデータセット (「トレーニング」セット)でトレーニングされ、次に新しい別のデータセット (「テスト」セット)でテストされる。

予測は2週間ごとに再度トレーニングされ、Prediction Quality_指標とともに更新されるため、最新のユーザー行動パターンに基づいて予測が更新される。さらに、その都度、直近2週間の予測を実際のユーザーの結果と照らし合わせてテストする。_予測品質は、 (予測ではなく)これらの実際の結果に基づいて計算される。これは、実際のシナリオで予測が正確であることを確認するための自動バックテスト (つまり、過去のデータを使って予測モデルをテストすること)である。この再トレーニングとバックテストが最後に行われた時間は、予測ページと個々の予測の分析ページに表示される。プレビュー予測であっても、作成後に一度だけこのバックテストが実行される。こうすることで、無料版でもカスタマイズされた予測の精度を確かめることができる。

Prediction quality example

例えば、通常、ユーザーの平均 20% が解約する場合、ユーザーの 20% のサブセットを無作為に選択し、それらのユーザーに「解約済み」のラベルを無作為に付けると (実際に解約したかどうかは問わない)、正しく特定される解約者は実際の 20% のみであると予想されます。それは当て推量です。もし、このモデルがその程度しかできないとしたら、この場合の揚力は1となる。

一方、モデルがユーザーの 20% にメッセージを送信することを許可し、その結果、「真の」解約者をすべて捕捉し、解約者以外をまったく捕捉しなかった場合、リフトは 100% / 20% = 5 になります。この比率を、メッセージを送信できる、解約の可能性が非常に高いユーザーの割合ごとにグラフにすると、リフト曲線が得られます。

リフト品質 (および_予測品質_) を検討するもう 1 つの方法は、テストセットで解約者を特定する予測のリフト曲線が当て推量 (0%) から完全 (100%) までのどの位置にあるかです。リフト品質に関する元の論文については、「Measuring lift quality in database marketing」を参照してください。

測定方法

当社の_予測品質_の尺度はリフト品質です。一般に、”lift”は、コンバージョンなどの成功した結果の割合またはパーセンテージeの増加を意味します。ここでの成功した結果とは、解約したであろうユーザーを正しく特定することです。リフト品質とは、テストセットにメッセージングを行うときに考えられるすべてのオーディエンスサイズについて、予測が提供する平均リフトです。このアプローチでは、モデルがランダムな推測よりもどれだけ優れているかを測定する。この指標の 0% は、誰が解約するかについて、モデルの精度がランダムな推測と同程度であり、100% は誰が解約するかを完全に把握していることを示します。

推奨範囲

以下に、さまざまな_予測品質_範囲に対する推奨事項を示します。

イベント相関表

この分析では、予測対象ユーザーのイベントに相関するユーザー属性や行動が表示される。評価される属性は、年齢、国、性別、言語である。分析される行動には、セッション、購入、総支出額、カスタムイベント、過去 30 日間に受け取ったキャンペーンやキャンバスステップなどが含まれます。

表は、そのイベントを実行する可能性が高いものが左に、低いものが右にそれぞれ分けられています。各行では、左の列の行動や属性を持つユーザーが、そのイベントを実行する可能性が高いか低いかの比率が、右の列に表示されます。この数値は、この行動またはアトリビューションを持つユーザーの尤度スコアを、予測対象ユーザー全体からそのイベントを実行する尤度で割った比率である。

このテーブルは、予測が再学習するときにのみ更新され、ユーザーの尤度スコアが更新されるときには更新されない。
Github   GitHub でこのページを編集
New Stuff!