予測品質

モデルの精度を測定するために、_予測品質_メトリックは、この特定の機械学習モデルが過去のデータでテストされたときにどれほど効果的であるかを示します。Brazeは、モデル作成ページで指定したグループに従ってデータを取得します。モデルは1つのデータセット（「トレーニング」セット）でトレーニングされ、その後、新しい別のデータセット（「テスト」セット）でテストされます。

我々の_予測品質_の測定値はリフト品質です。おそらく「リフト」という言葉に馴染みがあるでしょう。これは、コンバージョンのような成功した結果の増加を比率やパーセンテージで測定することが多いです。この場合、成功した結果は、解約したであろうユーザーを正しく特定することです。リフト品質は、テストセットにメッセージングするためのすべての可能なオーディエンスサイズに対して予測が提供する平均リフトです。このアプローチは、モデルがランダムな推測よりもどれだけ優れているかを測定します。この指標では、0%はモデルが誰が解約するかをランダムに推測するのと同じくらいの精度であり、100%は誰が解約するかを完全に把握していることを示します。

こちらがさまざまな範囲の_予測品質_に対して私たちが推奨するものです:

予測品質範囲 (%)	推薦
60 - 100	優れた。トップティアの精度。オーディエンス定義を変更しても追加の利益は得られない可能性があります。
40 - 60	良い。このモデルは正確な予測を生成しますが、異なるオーディエンス設定を試すことでさらに良い結果が得られるかもしれません。
20 - 40	公正。このモデルは精度と価値を提供できますが、パフォーマンスを向上させるために異なるオーディエンスの定義を試してみることを検討してください。
0 - 20	貧しい。オーディエンス定義を変更して、再試行することをお勧めします。

予測は2週間ごとに再トレーニングされ、_予測品質_メトリックとともに更新され、最新のユーザー行動パターンに基づいて予測が更新されます。さらに、これが発生するたびに、過去2週間の予測が実際のユーザーの結果と照らし合わせてテストされます。その_予測の質_は、これらの実際の結果（推定ではなく）に基づいて計算されます。これは自動バックテストです（つまり、予測モデルを過去のデータでテストすること）で、予測が実際のシナリオで正確であることを確認します。この再トレーニングとバックテストが最後に行われた時刻は、予測ページおよび個々の予測の分析ページに表示されます。プレビュー予測であっても、作成後にこのバックテストを一度実行します。この方法を使用すると、機能の無料バージョンでもカスタマイズされた予測の精度を確信できます。

予測 Quality details

例えば、ユーザーの20％が通常平均して離脱する場合、ユーザーの20％のランダムなサブセットを選び、彼らをランダムに離脱したとラベル付けすると（実際にそうであるかどうかに関わらず）、実際の離脱者のうち20％しか正しく識別できないと予想されます。それはランダムな推測です。モデルがそれだけうまくいけば、この場合のリフトは1になります。

一方で、モデルがユーザーの20％にメッセージを送信することを許可し、その結果、すべての「真の」解約者を捕捉し、他の誰も捕捉しなかった場合、リフトは100％ / 20％ = 5になります。最も解約する可能性が高い顧客の割合ごとにこの比率をグラフ化すると、リフトカーブが得られます。

リフト品質（および_予測品質_）を考えるもう1つの方法は、ランダムな推測（0％）と完璧（100％）の間で、テストセットでチャーナーを識別する際の予測のリフト曲線がどれだけ進んでいるかです。リフト品質に関する元の論文については、データベースマーケティングにおけるリフト品質の測定を参照してください。