실험 경로

실험 경로를 사용하면 사용자 여정의 어느 지점에서든 여러 Canvas 경로를 서로 비교하고 대조군과 비교할 수 있습니다. 이 구성요소를 사용하면 경로 성능을 추적하여 Canvas 여정에 대해 정보에 기반한 결정을 내릴 수 있습니다.

사용자 여정에 실험 경로 단계를 포함하면, 생성한 여러 경로(또는 선택적 대조군)에 사용자를 무작위로 할당합니다. 오디언스의 일부가 선택한 비율에 따라 서로 다른 경로에 할당되므로, 서로 다른 메시지나 경로를 비교하여 어떤 것이 가장 효과적인지 판단할 수 있습니다.

필수 조건

실험 경로를 사용하려면 Canvas에 전환 이벤트가 포함되어 있어야 합니다. Canvas를 출시한 후에는 전환 이벤트를 추가할 수 없지만, 출시된 Canvas를 복제한 다음 전환 이벤트를 추가하면 실험 경로를 사용할 수 있습니다.

사용 사례

실험 경로는 전달, 케이던스, 메시지 문구, 채널 조합을 테스트하는 데 가장 적합합니다.

• 전달: 다양한 시간 지연을 두고 보낸 메시지, 사용자 행동 기반(작업 경로)으로 보낸 메시지, Intelligent Timing을 사용해 보낸 메시지의 결과를 비교합니다.
  
  
• 케이던스: 특정 기간 동안 여러 메시징 흐름을 테스트합니다. 예를 들어 다음과 같이 두 가지 온보딩 케이던스를 테스트할 수 있습니다.
  • 케이던스 1: 사용자의 처음 2주 동안 메시지 2개 보내기
  • 케이던스 2: 사용자의 처음 2주 동안 메시지 3개 보내기

  휴면 사용자를 타겟팅할 때는 일주일에 윈백 메시지를 두 번 보내는 것과 한 번만 보내는 것의 효과를 비교해 테스트할 수 있습니다.

• 메시지 문구: 일반적인 A/B 테스트와 마찬가지로, 다양한 메시지 문구를 테스트하여 어떤 표현이 더 높은 전환율로 이어지는지 확인할 수 있습니다.
  
  
• 채널 조합: 다양한 메시지 채널 조합의 효과를 테스트합니다. 예를 들어 이메일만 사용하는 경우와 이메일에 푸시를 함께 사용하는 경우의 영향을 비교할 수 있습니다.

실험 경로 만들기

실험 경로 구성 요소를 만들려면 먼저 Canvas에 단계를 추가합니다. 사이드바에서 구성 요소를 끌어다 놓거나, 단계 하단의 더하기 버튼을 선택한 다음 실험 경로를 선택합니다.

이 구성 요소의 기본 구성에는 경로 1과 경로 2라는 두 개의 기본 경로가 있으며, 각 경로로 오디언스의 50%가 전송됩니다. 구성 요소를 선택하면 실험 설정 패널이 펼쳐지고 구성 요소의 구성 옵션을 확인할 수 있습니다.

1단계: 경로 수 및 오디언스 분배 선택하기

경로 추가를 선택하여 최대 4개의 경로를 추가할 수 있으며, 대조군 추가를 선택하여 대조군을 선택적으로 추가할 수 있습니다. 각 경로의 비율 상자를 사용하여 각 경로와 대조군으로 보낼 오디언스 비율을 지정할 수 있습니다. 계속 진행하려면 입력한 비율의 합계가 100%가 되어야 합니다. 사용 가능한 모든 경로(및 대조군)를 빠르게 같은 비율로 설정하려면 경로 균등 분배를 선택하세요.

대조군 동작에서 대조군에 속한 사용자가 Canvas를 계속 진행할지, 아니면 전환 추적 기간이 지난 후 종료할지도 선택할 수 있습니다. 선택적으로 설명을 추가하여 이 실험 경로가 무엇을 테스트하려는지 다른 사람에게 알리거나, 참고할 만한 추가 정보를 포함할 수 있습니다.

2단계: 위닝 경로 켜기(선택 사항)

실험을 최적화하려면 위닝 경로를 켜세요. 위닝 경로는 처음에 오디언스의 일부를 대상으로 경로를 테스트합니다. 실험이 끝나면 Braze는 나머지 사용자와 이후 사용자를 가장 성능이 좋은 경로로 보냅니다.

3단계: 경로 만들기

다음으로 다운스트림 경로를 구축합니다. 완료를 선택하고 Canvas 빌더로 돌아갑니다. 각 경로 아래의 더하기 버튼을 선택하여 평소 사용하던 Canvas 도구로 원하는 대로 여정을 만들고, 준비가 되면 Canvas를 실행하세요.

경로와 그 다운스트림 단계는 생성된 후에는 Canvas에서 제거할 수 없다는 점에 유의하세요. 하지만 실행한 후에도 경로 간 오디언스 분배는 원하는 대로 수정할 수 있습니다. 예를 들어 Canvas를 실행하고 하루가 지난 뒤 분석 결과를 바탕으로 한 경로가 다른 경로보다 우수하다고 판단되면, 해당 경로를 100%로, 나머지 경로를 0%로 설정할 수 있습니다. 또는 필요에 따라 여러 경로로 계속 사용자를 보낼 수도 있습니다.

성능 추적

Canvas 분석 페이지에서 실험 경로를 선택하면 배리언트 분석 탭과 동일한 상세 표가 열리며, 이 표에서 경로별 상세 성능과 전환 통계를 비교할 수 있습니다. 표를 CSV로 내보낼 수도 있고, 선택한 경로 또는 대조군을 기준으로 관심 있는 측정기준의 변화율(%)을 비교할 수도 있습니다.

각 경로의 모든 단계는 다른 Canvas 단계와 마찬가지로 Canvas 분석 보기에 통계를 표시합니다. 다만 개별 단계 분석과 실험 경로 분석은 전환을 측정하는 방식이 다르다는 점에 유의하세요.

• 실험 경로 분석은 사용자가 실험 경로 단계에 진입한 시점부터 전환을 추적합니다. 모든 경로가 동일한 시작점을 공유하므로 경로 간 성능을 비교할 때는 이 보기를 사용하는 것이 좋습니다.
• 개별 단계 분석(예: 메시지 단계 분석)은 사용자가 해당 단계를 받은 시점(예: 메시지가 발송된 시점)부터 전환을 추적합니다.

이처럼 전환 기간의 시작점이 다르기 때문에, 특히 실험 단계와 그 이후 메시지 사이에 지연이 있는 경우 같은 경로라도 전환율이 다르게 표시될 수 있습니다. 경로 간 가장 신뢰할 수 있는 비교를 원한다면 실험 경로 분석을 사용하세요.

위닝 경로 성능

위닝 경로를 사용하면 시간 경과에 따른 성능을 추적하고 이후 사용자를 가장 성능이 좋은 경로로 자동 전송할 수 있습니다. 위닝 경로가 켜져 있으면 실험이 완료될 때까지 실험 경로 분석을 사용할 수 없습니다. 자세한 내용은 위닝 경로 분석을 참조하세요.

위닝 측정기준과 실험 경로에 표시되는 분석은 서로 다를 수 있습니다.

• 위닝 경로에 구성한 전환 이벤트는 실험 기간 동안 Braze가 경로를 비교하고 우승 경로를 선택하는 기준이 됩니다.
• 실험 경로 분석은 주요 전환 이벤트를 포함하여 Canvas의 나머지 부분과 동일한 Canvas 전환 이벤트 체계를 따릅니다. 따라서 대시보드에서 강조되는 측정기준이 위닝 측정기준과 일치하지 않을 수 있습니다.
• 푸시의 경우 직접 열람과 총 열람이 다릅니다. 자세한 내용은 영향을 받은 열람을 참조하세요.

추가 설정

실험 경로는 각 단계에 진입하고 할당된 경로에 있는 동안 전환한 사용자를 기록합니다. 이를 통해 Canvas 설정에서 지정한 모든 전환 이벤트를 추적합니다. 추가 설정 탭에서 이 실험이 전환을 추적할 기간을 일 단위(1~30일)로 입력하세요. 여기서 지정한 기간에 따라 실험에서 전환 이벤트(Canvas 설정에서 선택)를 얼마나 오래 추적할지가 결정됩니다. Canvas 설정에서 지정한 이벤트별 전환 기간은 이 단계의 추적에 적용되지 않으며, 대신 이 전환 기간이 사용됩니다.

전환 기간은 이후 메시지가 발송되는 시점이 아니라 사용자가 실험 경로 단계에 진입한 시점부터 시작됩니다. 경로에 지연 단계나 Intelligent Timing 같은 지연이 포함되어 있으면, 해당 지연이 전환 기간의 일부를 차지합니다.

자주 묻는 질문

실험 분할이 균등해 보이는데 경로별 발송 수가 다른 이유는 무엇인가요?

다운스트림 발송 수는 실험 경로의 분할 비율뿐 아니라 각 경로의 단계, 지연, 채널 자격, 콘텐츠에 따라서도 달라집니다. 예를 들어 경로 할당이 균등하더라도 지연 시간, Intelligent Timing 발송 시간, 구독 상태가 다르면 메시지를 받는 사용자 수가 달라질 수 있습니다. 경로별 성과를 비교하려면 공통 진입 지점을 기준으로 전환을 측정하는 실험 경로 분석을 사용하세요.

실험 전환 기간은 얼마나 지속되나요?

추가 설정의 전환 기간(1~30일)은 사용자가 실험 경로 단계에 진입할 때 시작됩니다. 다운스트림 지연 단계에서 보낸 시간이나 Intelligent Timing을 기다리는 시간도 이 기간에 포함됩니다. 자세한 내용은 성과 추적을 참조하세요.