トラブルシューティング
Predictive Churn（およびすべての機械学習モデル）は、モデルに利用可能なデータと同程度の精度しか発揮できません。また、一定量のデータがあることに大きく依存しています。
潜在的なエラー
トレーニングに十分なデータがない
このエラーメッセージは、チャーン定義が厳しすぎるために、返された解約済みユーザーが少なすぎる場合に表示されます。
これを修正するには、チャーンを定義する日数またはアクション数のいずれか、または両方を変更して、より多くのユーザーをキャプチャする必要があります。制限の厳しい定義を作成しないように、AND/OR フィルターを正しく使用していることを確認してください。
Predictive Churnが会社レベルでオンになっていても、一部のワークスペースには予測を作成するために十分なユーザーがいない場合があります。通常、単一のワークスペースに月間アクティブユーザー300,000人が必要です。
予測対象ユーザーサイズの問題
予測対象ユーザーを構築して、モデルでトレーニングしたい用途を微調整する際、予測対象ユーザーのユーザー数が少なすぎることを通知する次のメッセージが表示されることがあります。
「過去の非解約者が、予測を確実に作成するのに十分な数に達していません」
予測対象ユーザーの定義が厳しすぎる場合、履歴ユーザーとアクティブユーザーの両方の十分なサイズのプールがない可能性があります。これを修正するには、定義に使用する日数と属性の種類を変更するか、チャーンを定義するアクションを切り替えるか、またはその両方を行う必要があります。
定義を切り替えた後も予測対象ユーザーが引き続き問題である場合は、このオプション機能をサポートするユーザーが少なすぎる可能性があります。代わりに、追加のレイヤーとフィルターなしで予測を構築することをお勧めします。
予測対象ユーザーサイズが大きすぎる
予測対象ユーザー定義のユーザー数が1億人を超えることはできません。オーディエンスが大きすぎるというメッセージが表示された場合は、オーディエンスにより多くのレイヤーを追加するか、その基になっている時間枠を変更することをお勧めします。
予測の品質が低い
モデルの予測品質が40%以上であれば、非常に良い状態です。ただし、予測品質が39%以下に低下する場合は、チャーンおよび予測対象ユーザーの定義をより具体的に編集するか、異なる時間枠を設定する必要があるかもしれません。
予測定義を構築する際にオーディエンスサイズの要件を満たしつつ、予測品質を40%超に達成することができない場合は、Brazeに送信されるデータがこのユースケースに適していないか、モデルを構築するためのユーザーが十分でないか、または製品のライフサイクルが現在の60日間のルックバック時間枠でサポートされている期間よりも長い可能性があります。
データに関する考慮事項
以下は、Predictive Churnを設定する際に自問すべき質問です。機械学習モデルはトレーニングに使用するデータと同程度の精度しか発揮できないため、適切なデータ衛生の実践を行い、モデルに入力されるものを理解することが大きな違いを生みます。
- リテンションとロイヤルティにつながる高価値アクションとは何ですか？
- これらの特定のアクションにマッピングされるカスタムイベントを設定しましたか？Predictive Churnは、カスタム属性ではなく、カスタムイベントで動作します。
- チャーンを定義する時間枠を考慮していますか？チャーンは、最大60日以内に発生するものとして定義できます。
- 休日など、非定型的なユーザー行動につながる時期を考慮しましたか？消費者行動の急激な変化は、予測に影響を与えます。