Skip to content

이탈 예측 분석

예측을 작성하고 학습한 후에는 예측 분석 페이지에 액세스할 수 있습니다. 이 페이지에서는 고객이탈 위험 점수 또는 카테고리를 기준으로 어떤 사용자를 타겟팅할지 결정할 수 있습니다.

이탈 예측 분석 정보

예측 학습이 완료되고 이 페이지가 채워지면 세그먼트 또는 캠페인에서 필터를 사용하여 모델의 결과물을 사용하기 시작할 수 있습니다. 하지만 오디언스을 결정하는 데 도움이 필요하고 그 이유를 알고 싶다면, 이 페이지는 모델의 역사적 정확성과 비즈니스 목표에 따라 도움을 줄 수 있습니다.

이것이 바로 예측 이탈 분석을 구성하는 요소입니다:

전체 예측 오디언스에 대한 점수 분포는 페이지 상단에 카테고리별 또는 점수별로 볼 수 있는 차트에 표시됩니다. 오른쪽에 있는 쓰레기통에 있는 사용자는 점수가 높을수록 고객이탈 가능성이 높습니다. 왼쪽에 있는 빈에 있는 사용자는 이탈할 가능성이 적습니다. 차트 아래의 슬라이더를 사용하면 사용자 그룹을 선택하고 선택한 고객이탈 위험 점수 또는 카테고리 범위의 사용자를 타겟팅할 경우 어떤 결과가 나올지 예측할 수 있습니다.

슬라이더를 움직이면 하단 패널의 왼쪽 절반에 있는 막대가 전체 예측 오디언스 중 몇 명의 사용자를 타겟팅할지 알려줍니다.

고객이탈 점수 및 카테고리

예측 오디언스에 포함된 사용자에게는 0에서 100 사이의 _고객이탈 위험 점수_가 할당됩니다. 점수가 높을수록 고객이탈 가능성이 커집니다.

  • 0~50점 사이의 점수를 받은 사용자는 저위험 카테고리로 분류됩니다.
  • 50~75점, 75~100점 사이의 점수를 받은 사용자는 각각 중간 위험 및 고위험 카테고리로 분류됩니다.

점수 및 해당 카테고리는 모델 생성 페이지에서 선택한 일정에 따라 업데이트됩니다. 동일한 크기의 버킷 20개 각각에 고객이탈 점수가 있는 사용자 수가 페이지 상단의 차트에 표시됩니다. 이렇게 하면 이 예측에 따라 모집단 전체의 고객이탈 위험이 어떤지 파악하는 데 도움이 될 수 있습니다.

예측 품질

모델의 정확도를 측정하기 위해 예측 품질 측정기준은 과거 데이터에 대해 테스트했을 때 특정 머신 러닝 모델이 얼마나 효과적인지 보여줍니다. Braze는 모델 생성 페이지에서 지정한 그룹에 따라 데이터를 가져옵니다. 모델은 하나의 데이터 세트(“학습” 세트)에서 학습된 다음 새로운 별도의 데이터 세트(“테스트” 세트)에서 테스트됩니다.

예측은 2주마다 다시 학습되고 예측 품질 측정기준과 함께 업데이트되어 최신 사용자 행동 패턴에 대한 예측을 최신 상태로 유지합니다. 또한 이런 일이 발생할 때마다 지난 2주간 예측한 결과를 실제 사용자 결과와 비교하여 테스트합니다. 그런 다음 _예측 품질_은 이러한 실제 결과(추정치가 아닌)를 기반으로 계산됩니다. 이는 실제 시나리오에서 예측이 정확한지 확인하기 위한 자동 백테스트(즉, 과거 데이터에 대한 예측 모델 테스트)입니다. 이 재교육 및 백테스트가 마지막으로 수행된 시간은 예측 페이지와 개별 예측 분석 페이지에 표시됩니다. 미리보기 예측도 생성 후 이 백테스트를 한 번 수행합니다. 이렇게 하면 무료 버전의 기능을 사용하더라도 맞춤 예측의 정확성을 확신할 수 있습니다.

Prediction quality example

예를 들어, 평균적으로 20%의 사용자가 이탈하는 경우, 20%의 사용자 중 무작위로 하위 집합을 선택하여 (실제 이탈 여부와 상관없이) 무작위로 이탈한 것으로 표시하면 실제 이탈자 중 20%만 정확하게 식별할 수 있을 것으로 예상할 수 있습니다. 무작위 추측입니다. 모델이 그 정도만 잘 수행한다면 이 경우 리프트는 1이 될 것입니다.

반면에 이 모델에서 20%의 사용자에게만 메시지를 보낼 수 있고, 그 과정에서 “진짜” 이탈자만 포착하고 다른 이탈자는 포착하지 못한다면 상승률은 100%/20% = 5가 됩니다. 메시지를 보낼 가능성이 높은 이탈 고객의 모든 비율에 대해 이 비율을 차트화하면 이탈률 곡선을 얻을 수 있습니다.

상승도 품질(및 예측 품질)을 생각하는 또 다른 방법은 테스트 세트에서 이탈자를 식별할 때 예측의 상승도 곡선이 무작위 추측(0%)과 완벽함(100%) 사이에서 얼마나 멀리 떨어져 있는지를 나타내는 것입니다. 리프트 품질에 대한 원본 논문은 데이터베이스 마케팅에서 리프트 품질 측정하기를 참조하세요.

측정 방법

_예측 품질_을 측정하는 척도는 리프트 품질입니다. 일반적으로 ‘상승도’는 전환과 같은 성공적인 결과의 증가된 비율 또는 백분율을 의미합니다. 이 경우 성공적인 결과는 이탈할 가능성이 있는 사용자를 정확하게 식별하는 것입니다. 상승도 품질은 테스트 세트의 메시징에 대해 예측이 가능한 모든 오디언스 규모에 걸쳐 제공하는 평균 상승도입니다. 이 접근 방식은 무작위로 추측하는 것보다 모델이 얼마나 더 나은지 측정합니다. 이 측정값에서 0%는 모델이 누가 이탈할지 무작위로 추측하는 것보다 낫지 않음을 의미하며, 100%는 누가 이탈할지 완벽하게 알고 있음을 나타냅니다.

권장 범위

다양한 범위의 _예측 품질_에 대해 다음을 권장합니다.

예상 정확도

차트 아래 패널의 오른쪽 절반에는 이 예측 오디언스를 타겟팅할 때 예상되는 정확도의 추정치가 표시됩니다. 이 진행률 막대는 과거 예측 오디언스에 포함된 사용자에 대한 데이터와 해당 과거 데이터에 대한 고객이탈 사용자와 비이탈 사용자를 구분하는 모델의 정확도를 기반으로 슬라이더로 강조 표시된 오디언스를 사용하여 미래의 잠재적 메시지를 추정합니다.

  • 선택된 사용자 중 이탈할 것으로 예상되는 수
  • 이탈하지 않을 것으로 예상되는 선택된 사용자 수

이 정보를 사용하여 얼마나 많은 이탈자를 포착할지, 위양성 오류로 인해 비즈니스에 발생하는 비용이 얼마인지 결정하는 것이 좋습니다. 가치 있는 프로모션을 발송하는 경우, 모델이 허용하는 한 많은 실제 이탈자를 확보하면서 비전환자를 타겟팅하는 것을 최소화하는 것이 좋습니다. 또는 위양성에 덜 민감하고 사용자가 추가 메시지를 수신하는 경우, 더 많은 오디언스에게 메시지를 보내 예상 이탈자를 더 많이 확보하고 오류 가능성을 무시할 수 있습니다.

이탈이 예상되는 사용자

이는 실제 이탈자 수를 정확하게 타겟팅할 수 있는 예상치입니다. 물론 미래를 완벽하게 알 수 없으므로 예측 오디언스 중 어떤 사용자가 향후 이탈할지 정확히 알 수 없습니다. 하지만 예측은 신뢰할 수 있는 추론입니다. 이 진행률 막대는 과거 실적을 기반으로 예측 오디언스에서 예상되는 총 “실제” 또는 “실제” 이탈자 수(이전 이탈률 기준)를 현재 타겟팅 선택 항목으로 타겟팅할 수 있음을 나타냅니다. 추가적이거나 특이한 메시징으로 타겟팅하지 않으면 이 정도의 사용자 수는 이탈할 것으로 예상됩니다.

이탈하지 않을 것으로 예상되는 사용자

이는 이탈하지 않았을 사용자 중 얼마나 많은 사용자가 잘못 타겟팅될지 추정하는 수치입니다. 모든 머신러닝 모델은 오류를 일으킵니다. 선택 항목에 고객이탈 _위험 점수_가 높지만 결국 이탈하지 않는 사용자가 있을 수 있습니다. 아무런 조치를 취하지 않아도 이탈하지 않습니다. 어차피 타겟이 될 것이므로 이는 오류 또는 “위양성”입니다. 이 두 번째 진행률 표시줄의 전체 너비는 이탈하지 않을 것으로 예상되는 사용자 수를 나타내며, 채워진 부분은 현재 슬라이더 위치를 사용하여 잘못 타겟팅할 사용자를 나타냅니다.

고객이탈 상관관계 표

이 분석은 과거 예측 오디언스에서 사용자 이탈과 상관관계가 있는 모든 커스텀 또는 행동을 표시합니다. 테이블은 고객이탈 가능성이 높은 고객과 낮은 고객을 각각 왼쪽과 오른쪽으로 나눕니다. 각 행에 대해 왼쪽 열에 있는 행동 또는 속성을 가진 사용자가 이탈할 가능성이 높거나 낮은 비율은 오른쪽 열에 표시됩니다. 이 수치는 해당 행동 또는 속성을 가진 사용자의 고객이탈 가능성을 전체 예측 오디언스의 고객이탈 가능성으로 나눈 비율입니다.

이 표는 예측이 재학습될 때만 업데이트되며 사용자 _고객이탈 위험 점수_가 업데이트될 때는 업데이트되지 않습니다.
Github   GitHub 에서 이 페이지를 편집합니다.
New Stuff!