이탈 예측 분석

예측을 작성하고 학습한 후에는 예측 분석 페이지에 액세스할 수 있습니다. 이 페이지에서는 고객이탈 위험 점수 또는 카테고리를 기준으로 어떤 사용자를 타겟팅할지 결정할 수 있습니다.

이탈 예측 분석 정보

예측 학습이 완료되고 이 페이지가 채워지면 세그먼트 또는 캠페인에서 필터를 사용하여 모델의 결과물을 사용하기 시작할 수 있습니다. 하지만 오디언스을 결정하는 데 도움이 필요하고 그 이유를 알고 싶다면, 이 페이지는 모델의 역사적 정확성과 비즈니스 목표에 따라 도움을 줄 수 있습니다.

이것이 바로 예측 이탈 분석을 구성하는 요소입니다:

• 이탈 점수 및 카테고리
• 예측 품질
• 예상 정확도
• 이탈 상관관계 표

전체 예측 오디언스에 대한 점수 분포는 페이지 상단에 카테고리별 또는 점수별로 볼 수 있는 차트에 표시됩니다. 오른쪽에 있는 쓰레기통에 있는 사용자는 점수가 높을수록 고객이탈 가능성이 높습니다. 왼쪽에 있는 빈에 있는 사용자는 이탈할 가능성이 적습니다. 차트 아래의 슬라이더를 사용하면 사용자 그룹을 선택하고 선택한 고객이탈 위험 점수 또는 카테고리 범위의 사용자를 타겟팅할 경우 어떤 결과가 나올지 예측할 수 있습니다.

슬라이더를 움직이면 하단 패널의 왼쪽 절반에 있는 막대가 전체 예측 오디언스 중 몇 명의 사용자를 타겟팅할지 알려줍니다.

고객이탈 점수 및 카테고리

예측 오디언스에 포함된 사용자에게는 0에서 100 사이의 _고객이탈 위험 점수_가 할당됩니다. 점수가 높을수록 고객이탈 가능성이 커집니다.

• 0~50점 사이의 점수를 받은 사용자는 저위험 카테고리로 분류됩니다.
• 50~75점, 75~100점 사이의 점수를 받은 사용자는 각각 중간 위험 및 고위험 카테고리로 분류됩니다.

점수 및 해당 카테고리는 모델 생성 페이지에서 선택한 일정에 따라 업데이트됩니다. 동일한 크기의 버킷 20개 각각에 고객이탈 점수가 있는 사용자 수가 페이지 상단의 차트에 표시됩니다. 이렇게 하면 이 예측에 따라 모집단 전체의 고객이탈 위험이 어떤지 파악하는 데 도움이 될 수 있습니다.

예측 품질

To measure the accuracy of your model, the Prediction Quality metric will show you how effective this particular machine learning model appears to be when tested on historical data. Braze pulls data according to the groups you specified in the model creation page. The model is trained on one data set (the “training” set) and then tested on a new, separate data set (the “test” set).

The prediction will be trained again every two weeks and updated alongside the Prediction Quality metric to keep your predictions updated on the most recent user behavior patterns. Additionally, each time this occurs, the last two weeks of predictions will be tested against actual user outcomes. The Prediction Quality will then be calculated based on these real outcomes (rather than estimates). This is an automatic backtest (that is, testing a predictive model on historical data) to ensure the prediction is accurate in real-world scenarios. The last time this retraining and backtesting occurred will be displayed on the Predictions page and an individual prediction’s analytics page. Even a preview prediction will perform this backtest once after its creation. This way, you can be sure of the accuracy of your customized prediction even with the free version of the feature.

Prediction quality example

For example, if 20% of your users usually churn on average, and you pick a random subset of 20% of your users and label them as churned at random (whether they truly are or not), you’d expect to correctly identify only 20% of the actual churners. That’s random guessing. If the model were to only do that well, the lift would be 1 for this case.

If the model, on the other hand, allowed you to message 20% of the users and, in doing so capture all the “true” churners and no one else, the lift would be 100% / 20% = 5. If you chart this ratio for every proportion of the likeliest churners you could message, you get the Lift Curve.

Another way to think of lift quality (and also Prediction Quality) is how far along the way between random guessing (0%) and perfection (100%) the prediction’s lift curve is at identifying churners on the test set. For the original paper on lift quality, see Measuring lift quality in database marketing.

How it’s measured

Our measure of Prediction Quality is lift quality. Generally, “lift” refers to the increased ratio or percentage of a successful outcome, such as a conversion. In this case, the successful outcome is correctly identifying a user who would have churned. Lift quality is the average lift the prediction provides across all possible audience sizes for messaging the test set. This approach measures how much better than random guessing the model is. With this measure, 0% means the model is no better than randomly guessing about who will churn, and 100% indicates perfect knowledge of who will churn.

Recommended ranges

Here’s what we recommend for various ranges of Prediction Quality:

Prediction Quality Range (%)	Recommendation
60 - 100	Excellent. Top tier accuracy. Changing the audience definitions is unlikely to provide additional benefit.
40 - 60	Good. This model will produce accurate predictions, but trying different audience settings may achieve even better results.
20 - 40	Fair. This model can provide accuracy and value, but consider trying different audience definitions to see if they increase performance.
0 - 20	Poor. We recommend you change your audience definitions and try again.

예상 정확도

차트 아래 패널의 오른쪽 절반에는 이 예측 오디언스를 타겟팅할 때 예상되는 정확도의 추정치가 표시됩니다. 이 진행률 막대는 과거 예측 오디언스에 포함된 사용자에 대한 데이터와 해당 과거 데이터에 대한 고객이탈 사용자와 비이탈 사용자를 구분하는 모델의 정확도를 기반으로 슬라이더로 강조 표시된 오디언스를 사용하여 미래의 잠재적 메시지를 추정합니다.

• 선택된 사용자 중 이탈할 것으로 예상되는 수
• 이탈하지 않을 것으로 예상되는 선택된 사용자 수

이 정보를 사용하여 얼마나 많은 이탈자를 포착할지, 위양성 오류로 인해 비즈니스에 발생하는 비용이 얼마인지 결정하는 것이 좋습니다. 가치 있는 프로모션을 발송하는 경우, 모델이 허용하는 한 많은 실제 이탈자를 확보하면서 비전환자를 타겟팅하는 것을 최소화하는 것이 좋습니다. 또는 위양성에 덜 민감하고 사용자가 추가 메시지를 수신하는 경우, 더 많은 오디언스에게 메시지를 보내 예상 이탈자를 더 많이 확보하고 오류 가능성을 무시할 수 있습니다.

이탈이 예상되는 사용자

이는 실제 이탈자 수를 정확하게 타겟팅할 수 있는 예상치입니다. 물론 미래를 완벽하게 알 수 없으므로 예측 오디언스 중 어떤 사용자가 향후 이탈할지 정확히 알 수 없습니다. 하지만 예측은 신뢰할 수 있는 추론입니다. 이 진행률 막대는 과거 실적을 기반으로 예측 오디언스에서 예상되는 총 “실제” 또는 “실제” 이탈자 수(이전 이탈률 기준)를 현재 타겟팅 선택 항목으로 타겟팅할 수 있음을 나타냅니다. 추가적이거나 특이한 메시징으로 타겟팅하지 않으면 이 정도의 사용자 수는 이탈할 것으로 예상됩니다.

이탈하지 않을 것으로 예상되는 사용자

이는 이탈하지 않았을 사용자 중 얼마나 많은 사용자가 잘못 타겟팅될지 추정하는 수치입니다. 모든 머신러닝 모델은 오류를 일으킵니다. 선택 항목에 고객이탈 _위험 점수_가 높지만 결국 이탈하지 않는 사용자가 있을 수 있습니다. 아무런 조치를 취하지 않아도 이탈하지 않습니다. 어차피 타겟이 될 것이므로 이는 오류 또는 “위양성”입니다. 이 두 번째 진행률 표시줄의 전체 너비는 이탈하지 않을 것으로 예상되는 사용자 수를 나타내며, 채워진 부분은 현재 슬라이더 위치를 사용하여 잘못 타겟팅할 사용자를 나타냅니다.

고객이탈 상관관계 표

이 분석은 과거 예측 오디언스에서 사용자 이탈과 상관관계가 있는 모든 커스텀 또는 행동을 표시합니다. 테이블은 고객이탈 가능성이 높은 고객과 낮은 고객을 각각 왼쪽과 오른쪽으로 나눕니다. 각 행에 대해 왼쪽 열에 있는 행동 또는 속성을 가진 사용자가 이탈할 가능성이 높거나 낮은 비율은 오른쪽 열에 표시됩니다. 이 수치는 해당 행동 또는 속성을 가진 사용자의 고객이탈 가능성을 전체 예측 오디언스의 고객이탈 가능성으로 나눈 비율입니다.

이 표는 예측이 재학습될 때만 업데이트되며 사용자 _고객이탈 위험 점수_가 업데이트될 때는 업데이트되지 않습니다.