실험 경로

실험 경로를 사용하면 사용자 여정의 어느 지점에서든 여러 Canvas 경로를 서로 비교하고 대조군과 비교할 수 있습니다. 이 구성요소를 사용하면 경로 성능을 추적하여 Canvas 여정에 대해 정보에 기반한 결정을 내릴 수 있습니다.

사용자 여정에 실험 경로 단계를 포함하면, 생성한 여러 경로(또는 선택적 대조군)에 사용자를 무작위로 할당합니다. 오디언스의 일부가 선택한 비율에 따라 서로 다른 경로에 할당되므로, 서로 다른 메시지나 경로를 비교하여 어떤 것이 가장 효과적인지 판단할 수 있습니다.

사전 요구 사항

실험 경로를 사용하려면 Canvas에 전환 이벤트가 포함되어 있어야 합니다. Canvas가 시작된 후에는 전환 이벤트를 추가할 수 없지만, 시작된 Canvas를 복제한 다음 전환 이벤트를 추가하여 실험 경로를 추가할 수 있습니다.

사용 사례

실험 경로는 전달, 발송 빈도, 메시지 문구, 채널 조합을 테스트하는 데 가장 적합합니다.

• 전달: 다양한 시간 지연을 적용하여 보낸 메시지, 사용자 행동 기반(행동 경로), Intelligent Timing 활용 간의 결과를 비교합니다.
  
  
• 발송 빈도: 특정 기간 동안 여러 메시징 흐름을 테스트합니다. 예를 들어 두 가지 온보딩 발송 빈도를 테스트할 수 있습니다:
  • 빈도 1: 사용자의 첫 2주 동안 메시지 2개 발송
  • 빈도 2: 사용자의 첫 2주 동안 메시지 3개 발송

  휴면 사용자를 타겟팅하는 경우, 일주일에 윈백 메시지를 2개 보내는 것과 1개만 보내는 것의 효과를 테스트할 수 있습니다.

• 메시지 문구: 표준 A/B 테스트와 마찬가지로, 어떤 문구가 더 높은 전환율을 가져오는지 확인하기 위해 다양한 메시지 문구를 테스트할 수 있습니다.
  
  
• 채널 조합: 다양한 메시지 채널 조합의 효과를 테스트합니다. 예를 들어 이메일만 사용하는 것과 이메일에 푸시를 결합하는 것의 영향을 비교할 수 있습니다.

실험 경로 만들기

실험 경로 구성 요소를 만들려면 먼저 Canvas에 단계를 추가합니다. 사이드바에서 구성 요소를 드래그 앤 드롭하거나, 단계 하단의 플러스 버튼을 클릭하고 실험 경로를 선택합니다.

이 구성 요소의 기본 구성에는 경로 1과 경로 2의 두 가지 기본 경로가 있으며, 오디언스의 50%가 각 경로로 전송됩니다. 구성 요소를 클릭하여 실험 설정 패널을 펼치면 구성 요소의 설정 옵션을 확인할 수 있습니다.

1단계: 경로 수 및 오디언스 배분 선택

경로 추가를 클릭하여 최대 4개의 경로를 추가하고, 대조군 추가를 체크하여 선택적으로 대조군을 추가할 수 있습니다. 각 경로의 백분율 입력란을 사용하여 각 경로와 대조군에 배분할 오디언스의 비율을 지정할 수 있습니다. 제공된 백분율의 합계가 100%여야 진행할 수 있습니다. 사용 가능한 모든 경로(및 대조군)를 동일한 비율로 빠르게 설정하려면 경로를 균등하게 배분을 클릭합니다.

또한 대조군 동작에서 대조군의 사용자가 Canvas를 계속 진행할지 또는 전환 추적 기간 이후에 종료할지 선택할 수 있습니다. 선택적으로, 이 실험 경로가 테스트하고자 하는 내용을 다른 사람에게 설명하거나 참고할 만한 추가 정보를 포함하는 설명을 추가할 수 있습니다.

2단계: 위닝 경로 활성화(선택 사항)

실험을 최적화하려면 위닝 경로를 활성화합니다. 위닝 경로는 처음에 오디언스의 일부로 경로를 테스트합니다. 실험이 종료된 후 Braze는 나머지 및 이후 사용자를 가장 성능이 좋은 경로로 전송합니다.

3단계: 경로 만들기

마지막으로 하위 경로를 구성해야 합니다. 완료를 선택하고 Canvas 빌더로 돌아갑니다. 각 경로 아래의 플러스 버튼을 클릭하여 일반적인 Canvas 도구를 사용해 여정을 만들고, 준비가 되면 Canvas를 시작합니다.

경로와 해당 하위 단계는 생성된 후에는 Canvas에서 제거할 수 없다는 점에 유의하세요. 그러나 시작 후에는 필요에 따라 경로 간 오디언스 배분을 수정할 수 있습니다. 예를 들어, Canvas를 시작한 지 하루 후 분석을 기반으로 하나의 경로가 나머지보다 우수하다고 판단되면, 해당 경로를 100%로 설정하고 나머지를 0%로 설정할 수 있습니다. 또는 필요에 따라 여러 경로로 계속 사용자를 전송할 수 있습니다.

성능 추적

Canvas 분석 페이지에서 실험 경로를 선택하면, 배리언트 분석 탭과 동일한 상세 표가 열려 경로 간의 상세 성능 및 전환 통계를 비교할 수 있습니다. CSV를 통해 표를 내보낼 수도 있으며, 선택한 경로 또는 대조군 대비 관심 측정기준의 변화율을 비교할 수 있습니다.

각 경로의 각 단계는 다른 캔버스 단계와 마찬가지로 Canvas 분석 뷰에 통계를 표시합니다. 그러나 개별 단계 분석과 실험 경로 분석은 전환을 다르게 측정한다는 점에 유의하세요.

• 실험 경로 분석은 사용자가 실험 경로 단계에 진입한 시점부터 전환을 추적합니다. 모든 경로가 동일한 시작점을 공유하므로, 경로 간 성능을 비교할 때 이 뷰를 사용하는 것이 권장됩니다.
• 개별 단계 분석(예: 메시지 단계 분석)은 사용자가 해당 특정 단계를 수신한 시점(예: 메시지가 발송된 시점)부터 전환을 추적합니다.

이러한 전환 기간은 시작점이 다르기 때문에, 동일한 경로에서도 다른 전환율을 보일 수 있습니다. 특히 실험 단계와 하위 메시지 사이에 지연이 있는 경우 더욱 그렇습니다. 경로 간 가장 신뢰할 수 있는 비교를 위해서는 실험 경로 분석을 사용하세요.

위닝 경로 성능

위닝 경로를 사용하면 시간 경과에 따른 성능을 추적하고, 이후 사용자를 가장 성능이 좋은 경로로 자동 전송할 수 있습니다. 자세한 내용은 위닝 경로 분석을 참조하세요.

위닝 측정기준과 실험 경로에 표시되는 분석은 다를 수 있습니다.

• 위닝 경로에 설정한 전환 이벤트는 Braze가 실험 기간 동안 경로를 비교하고 우승자를 선택하는 기준이 됩니다.
• 실험 경로 분석은 나머지 Canvas와 동일한 Canvas 전환 이벤트 프레임워크를 따르며, 주요 전환 이벤트도 포함합니다. 따라서 대시보드에서 강조되는 측정기준이 위닝 측정기준과 일치하지 않을 수 있습니다.
• 푸시의 경우, 직접 열람과 총 열람은 다릅니다. 자세한 내용은 영향을 받은 열람을 참조하세요.

추가 설정

실험 경로는 각 단계에 진입하고 할당된 경로에서 전환한 사용자를 기록합니다. 이는 Canvas 설정에서 지정된 모든 전환 이벤트를 추적합니다. 추가 설정 탭에서 이 실험의 전환을 추적할 기간(1~30일)을 입력합니다. 여기서 지정하는 기간은 Canvas 설정에서 선택한 전환 이벤트가 실험에 대해 추적되는 기간을 결정합니다. Canvas 설정에서 지정한 이벤트별 전환 기간은 이 단계의 추적에 적용되지 않으며, 이 전환 기간으로 대체됩니다.

전환 기간은 하위 메시지가 발송되는 시점이 아니라, 사용자가 실험 경로 단계에 진입하는 시점부터 시작됩니다. 경로에 지연 단계나 Intelligent Timing 같은 지연이 포함된 경우, 해당 지연이 전환 기간의 일부를 소모합니다.

자주 묻는 질문

실험 분할이 균등한데 경로별 발송 수가 다른 이유는 무엇인가요?

다운스트림 발송은 실험 경로의 비율 분할뿐만 아니라 각 경로의 단계, 지연, 채널 자격, 콘텐츠에 따라 달라집니다. 예를 들어, 지연 시간, Intelligent Timing, 구독 상태 등이 다르면 경로 배정이 균등하더라도 실제로 메시지를 받는 사용자 수가 달라질 수 있습니다. 경로별 성과를 비교하려면 공통 진입 시점을 기준으로 전환을 측정하는 실험 경로 분석을 사용하세요.

실험 전환 기간은 얼마나 지속되나요?

추가 설정의 전환 기간(1~30일)은 사용자가 실험 경로 단계에 진입하는 시점부터 시작됩니다. 다운스트림 지연 단계에서 소요된 시간이나 Intelligent Timing 대기 시간도 이 기간에 포함됩니다. 자세한 내용은 성과 추적을 참조하세요.