Skip to content

解約予測分析

予測の構築とトレーニングが完了したら、Prediction Analytics ページにアクセスできます。このページでは、Churn Risk Score またはカテゴリに基づいて、どのユーザーをターゲットにするかを決定するのに役立ちます。

解約予測分析について

予測が完了し、このページが入力されるとすぐに、単にfilters をセグメントまたはキャンペーンで使用して、モデルの出力の使用を開始できます。しかし、誰をターゲットにするのか、なぜターゲットにするのかを決めるのに役立ちたいのであれば、このページはモデルの歴史的な正確さと自分自身のビジネス目標に基づいて役立ちます。

解約予測分析を構成する要素を以下に示します。

予測オーディエンス全体のスコアの分布は、グラフの一番上に表示されます。グラフでは、カテゴリ別またはスコア別に表示できます。右側にあるビンのユーザーはスコアが高く、解約する可能性が高くなります。左側にあるビンには、解約の可能性が低いユーザーが入っています。グラフの下にあるスライダを使用すると、ユーザーの範囲を選択し、選択した範囲の_Churn Risk Score_ またはカテゴリのユーザーをターゲットにする場合の結果を見積もることができます。

スライダーを動かすと、下側のパネルの左半分のバーに、予測オーディエンス全体からターゲットになるユーザの数が表示されます。

解約スコアとカテゴリ

予測対象ユーザーには、0 ～ 100 の間で_解約リスクスコア_が割り当てられます。スコアが高ければ高いほど、解約の可能性は高くなります。

  • スコアが 0 ～ 50 のユーザーは、_低リスク_カテゴリに分類されます。
  • スコアが 50 ～ 75、75 ～ 100 のユーザーは、それぞれ_中リスク_と_高リスク_のカテゴリに分類されます。

スコアと対応するカテゴリは、モデル作成ページで選択したスケジュールに従って更新されます。同じサイズのバケット 20 個のそれぞれに解約スコアがあるユーザーの数が、ページ上部のチャートに表示されます。これは、この予測に基づいて、母集団全体でどのような解約リスクがあるかを判断するのに役立ちます。

予測品質

モデルの精度を測定するために、_予測品質_メトリックは、過去のデータでテストしたときに、この特定の機械学習モデルがどの程度効果的に見えるかを示す。Brazeは、モデル作成ページで指定したグループに従ってデータをプルする。モデルは、1つのデータセット (「トレーニング」セット)でトレーニングされ、次に新しい別のデータセット (「テスト」セット)でテストされる。

予測は2週間ごとに再度トレーニングされ、Prediction Quality_指標とともに更新されるため、最新のユーザー行動パターンに基づいて予測が更新される。さらに、その都度、直近2週間の予測を実際のユーザーの結果と照らし合わせてテストする。_予測品質は、 (予測ではなく)これらの実際の結果に基づいて計算される。これは、実際のシナリオで予測が正確であることを確認するための自動バックテスト (つまり、過去のデータを使って予測モデルをテストすること)である。この再トレーニングとバックテストが最後に行われた時間は、予測ページと個々の予測の分析ページに表示される。プレビュー予測であっても、作成後に一度だけこのバックテストが実行される。こうすることで、無料版でもカスタマイズされた予測の精度を確かめることができる。

Prediction quality example

例えば、通常、ユーザーの平均 20% が解約する場合、ユーザーの 20% のサブセットを無作為に選択し、それらのユーザーに「解約済み」のラベルを無作為に付けると (実際に解約したかどうかは問わない)、正しく特定される解約者は実際の 20% のみであると予想されます。それは当て推量です。もし、このモデルがその程度しかできないとしたら、この場合の揚力は1となる。

一方、モデルがユーザーの 20% にメッセージを送信することを許可し、その結果、「真の」解約者をすべて捕捉し、解約者以外をまったく捕捉しなかった場合、リフトは 100% / 20% = 5 になります。この比率を、メッセージを送信できる、解約の可能性が非常に高いユーザーの割合ごとにグラフにすると、リフト曲線が得られます。

リフト品質 (および_予測品質_) を検討するもう 1 つの方法は、テストセットで解約者を特定する予測のリフト曲線が当て推量 (0%) から完全 (100%) までのどの位置にあるかです。リフト品質に関する元の論文については、「Measuring lift quality in database marketing」を参照してください。

測定方法

当社の_予測品質_の尺度はリフト品質です。一般に、”lift”は、コンバージョンなどの成功した結果の割合またはパーセンテージeの増加を意味します。ここでの成功した結果とは、解約したであろうユーザーを正しく特定することです。リフト品質とは、テストセットにメッセージングを行うときに考えられるすべてのオーディエンスサイズについて、予測が提供する平均リフトです。このアプローチでは、モデルがランダムな推測よりもどれだけ優れているかを測定する。この指標の 0% は、誰が解約するかについて、モデルの精度がランダムな推測と同程度であり、100% は誰が解約するかを完全に把握していることを示します。

推奨範囲

以下に、さまざまな_予測品質_範囲に対する推奨事項を示します。

推定精度

チャートの下のパネルの右側では、予測対象ユーザーのこの領域をターゲットとする期待精度の推定値を示します。過去の予測対象ユーザーに関するデータと、その過去のデータについて解約ユーザーと非解約ユーザーを識別するモデルの精度に基づいて、これらのプログレスバーは、スライダーで強調表示されたオーディエンスを使用した将来の潜在的なメッセージについて以下を推定します。

  • 解約すると予想される選択済みユーザーの数
  • 解約しないと予想される選択済みユーザーの数

この情報をもとに、何人の解約者をキャプチャしたいのか、また偽陽性エラーのコストはどれほどかを判断することをお勧めします。価値あるプロモーションを発信しているのであれば、非解約者のターゲティングを最小限に抑える一方で、モデルが許す限り、予想される真の解約者をできるだけ多くキャプチャするのが理想的です。あるいは、誤検出の感度が低く、ユーザが追加のメッセージを受信した場合、より多くのオーディエンスにメッセージを送って、より多くの期待されるチャーナーをキャプチャし、可能性のあるエラーを無視することができます。

解約すると予想されるユーザー

これは、実際の解約者のうち、正しくターゲット設定されるユーザーの推定数です。もちろん、私たちは未来を完全に予知できるわけではないので、予測対象のうちどのユーザーが将来解約するかは正確にはわかりません。しかし、この予測は信頼できる推論である。このプログレスバーは、過去のパフォーマンスに基づいて、予測対象ユーザーで予想される （過去の解約率に基づく）「実際の」または「真の」解約者のうち、現在のターゲティング選択でターゲットにされる人の数を示しています。この数のユーザーが、追加のメッセージや異常なメッセージでターゲットにしない場合には、混乱することが予想されます。

解約すると予想されないユーザー

実際には解約しないはずであったユーザーのうち、誤ってターゲット設定されるユーザーの推定数です。すべての機械学習モデルはエラーを作ります。選択したユーザーの中に、_解約リスクスコア_が高く、最終的に解約しないユーザーがいる可能性があります。これは、貴社が何もしなくても、解約しなかったはずのユーザーです。いずれにしても対象となるので、これはエラーまたは”false positive.”です。この2番目進行状況バーの全幅は、解約しないユーザーの推定数を表し、塗りつぶされた部分は、現在のスライダー位置を使用して誤ってターゲットとして設定されるるユーザーの数を表します。

解約相関表

この分析では、過去の予測対象ユーザーにおけるユーザー解約と相関するユーザー属性または行動が表示されます。それぞれの表は、解約の可能性が高い方が左、低い方が右に分割されています。各行について、左の列の行動や属性を持つユーザーの解約する可能性を示す比率が、右の列に表示されます。この数値は、この行動や属性を持つユーザーの解約可能性を、予測対象ユーザー全体の解約可能性で割った比率です。

このテーブルは、ユーザ_Churn Risk Scores_ が更新されたときではなく、予測が再試行されたときにのみ更新されます。
Github   GitHub でこのページを編集
New Stuff!