실험 경로
실험 경로를 사용하면 사용자 여정의 어느 시점에서든 여러 캔버스 경로를 서로 비교하고 대조군을 테스트할 수 있습니다. 이 구성 요소를 사용하면 경로 성능을 추적하여 캔버스 여정에 대한 정보에 기반한 결정을 내릴 수 있습니다.
사용자 여정에 실험 경로 단계를 포함하면, 생성한 서로 다른 경로(또는 선택적 대조군)에 사용자를 무작위로 할당합니다. 선택한 비율에 따라 오디언스 일부가 서로 다른 경로로 할당되어, 서로 다른 메시지나 경로를 비교 테스트하고 가장 효과적인 것을 판단할 수 있습니다.
사용 사례
실험 경로는 전달, 케이던스, 메시지 카피 및 채널 조합을 테스트하는 데 가장 적합합니다.
- 전달: 사용자 작업(작업 경로)을 기반으로 Intelligent Timing을 사용하여 서로 다른 시간 지연으로 전송된 메시지 간의 결과를 비교합니다.
- 케이던스: 특정 기간 동안 여러 메시징 흐름을 테스트합니다. 예를 들어 두 가지 다른 온보딩 케이던스를 테스트할 수 있습니다:
- 케이던스 1: 사용자의 첫 2주 동안 2번의 메시지 보내기
- 케이던스 2: 사용자의 첫 2주 동안 3번의 메시지 보내기
휴면 사용자를 타겟팅할 때 일주일에 두 번의 윈백 메시지를 보내는 것과 한 번만 보내는 것의 효과를 테스트해 볼 수 있습니다.
- 메시지 복사본: 표준 A/B 테스트와 마찬가지로 다양한 메시지 문구를 테스트하여 어떤 문구가 더 높은 전환율을 가져오는지 확인할 수 있습니다.
- 채널 조합: 다양한 메시지 채널 조합의 효과를 테스트하세요. 예를 들어 이메일만 사용하는 경우와 푸시와 함께 사용하는 경우의 효과를 비교할 수 있습니다.
Prerequisite
실험 경로를 사용하려면 캔버스에 전환 이벤트가 포함되어야 합니다. 캔버스가 실행된 후에는 전환 이벤트를 추가할 수 없지만, 실행된 캔버스를 복제하여 전환 이벤트를 추가하고 실험 경로를 생성할 수 있습니다.
실험 경로 만들기
실험 경로 구성 요소를 만들려면 먼저 캔버스에 단계를 추가합니다. 사이드바에서 구성요소를 끌어서 놓거나 단계 하단의 더하기 버튼을 클릭하고 실험 경로를 선택합니다.
이 구성요소의 기본 구성에는 경로 1과 경로 2의 두 가지 기본 경로가 있으며, 각 경로를 통해 오디언스의 50%가 전송됩니다. 컴포넌트를 클릭하여 실험 설정 패널을 확장하면 컴포넌트에 대한 구성 옵션이 표시됩니다.
1단계: 경로 수 및 대상자 분포 선택
경로 추가를 클릭하여 최대 4개의 경로를 추가할 수 있으며, 제어 그룹 추가를 선택하여 선택적 제어 그룹을 추가할 수 있습니다. 각 경로의 백분율 상자를 사용하여 각 경로와 대조군으로 이동해야 하는 오디언스의 백분율을 지정할 수 있습니다. 계속 진행하려면 제공된 백분율을 100%로 합산해야 합니다. 사용 가능한 모든 경로(및 제어)를 동일한 비율로 빠르게 설정하려면 경로 균등 배포를 클릭합니다.
또한 대조군의 사용자가 캔버스에서 계속 내려갈지 아니면 대조군 행동에 대한 전환 추적 창이 끝난 후 종료할지 선택할 수 있습니다. 선택 사항으로 설명을 추가하여 이 실험 경로에서 테스트하려는 내용을 다른 사람에게 설명하거나 참고할 만한 추가 정보를 포함할 수 있습니다.
캔버스 재자격성이 활성화된 경우 캔버스에 들어가서 무작위로 선택한 경로를 따라 이동한 사용자가 재자격이 되어 캔버스에 다시 들어가면 동일한 경로를 다시 따라 이동합니다. 이렇게 하면 실험 및 관련 분석의 유효성을 유지할 수 있습니다. 단계에서 항상 경로 할당을 무작위로 지정하려면 실험 경로에서 무작위 경로를 선택합니다. 이 옵션은 위닝 또는 개인화된 경로를 사용할 때는 사용할 수 없습니다.
2단계: 위닝 경로 또는 개인화된 설정된 경로 켜기(선택 사항)
위닝 경로 또는 개인화된 경로를 켜서 실험을 최적화하도록 선택할 수 있습니다. 두 옵션 모두 처음에 일부 오디언스를 대상으로 경로를 테스트하는 방식으로 작동합니다. 실험 종료 후, 잔여 및 후속 사용자들은 전체적으로 가장 우수한 성능을 보인 경로(승리 경로) 또는 각 사용자에게 개인화된 경로(개인화 경로)로 안내됩니다.
3단계: 경로 만들기
마지막으로 다운스트림 경로를 구축해야 합니다. 완료를 선택하고 캔버스 빌더로 돌아갑니다. 각 경로 아래에 있는 더하기 버튼을 클릭하여 원하는 대로 일반적인 캔버스 도구를 사용하여 여정을 만들기 시작하고 준비가 되면 캔버스를 실행합니다.
경로와 그 하위 단계는 생성된 후에는 캔버스에서 제거할 수 없다는 점에 유의하세요. 그러나 시작하면 경로 전반에 걸친 오디언스 분포를 원하는 대로 수정할 수 있습니다. 예를 들어, 캔버스를 시작한 지 하루가 지난 후 분석 결과 한 경로가 다른 경로보다 우수하다고 결론을 내린 경우 해당 경로를 100%로 설정하고 다른 경로를 0%로 설정할 수 있습니다. 또는 필요에 따라 여러 경로로 사용자를 계속 보낼 수도 있습니다.
실험 오염을 방지하기 위해, 활성 또는 진행 중인 Winning Path 또는 개인화된 Path 실험이 있는 캔버스에서 활성 캔버스를 업데이트할 경우, 실험 경로 단계 자체를 업데이트했는지 여부와 관계없이 진행 중인 실험이 종료되며 해당 실험 단계는 승리 경로 또는 개인화된 경로를 결정하지 않습니다. To restart the experiment, you can disconnect the existing Experiment Path and launch a new one, or duplicate the Canvas and launch a new Canvas. 그렇지 않으면 사용자는 최적화 방법이 선택되지 않은 것처럼 실험 경로를 따라 진행하게 됩니다. 또한 실험 경로 단계가 있는 이미 활성화된 캔버스에 대해서는 개인화된 경로 또는 위닝 경로를 켤 수 없습니다.
For more information, refer to Editing Canvases after launch.
성과 추적
캔버스 애널리틱스 페이지에서 실험 경로를 선택하면 ‘배리언트 분석’ 탭과 동일한 상세 테이블이 열리며, 경로별 상세 성능/성과 및 전환 통계를 비교할 수 있습니다. 또한 CSV를 통해 테이블을 내보내고 선택한 경로 또는 컨트롤을 기준으로 관심 있는 지표의 변경 비율을 비교할 수도 있습니다.
각 경로의 각 단계는 캔버스 분석 뷰에서 통계를 표시하며, 이는 다른 캔버스 단계와 동일합니다. 그러나 개별 단계 분석과 실험 경로 분석은 전환을 다르게 측정한다는 점을 명심하십시오:
- 실험 경로 분석은 사용자가 실험 경로 단계에 진입한 시점부터 전환을 추적합니다. 이 뷰는 모든 경로가 동일한 시작점을 공유하므로 경로 간 성능/성과를 비교하는 데 권장되는 뷰입니다.
- 개별 단계 분석(예: 메시지 단계 분석)은 사용자가 해당 특정 단계를 수신하는 시점(예: 메시지 발송 시)부터 전환을 추적합니다.
이러한 전환 창은 시작점이 서로 다르기 때문에 동일한 경로에 대해 서로 다른 전환율을 보여줄 수 있습니다. 특히 실험 경로 단계와 하류 메시지 사이에 지연이 발생할 경우 더욱 그러합니다. 경로 간 가장 신뢰할 수 있는 비교를 위해서는 실험 경로 분석을 사용하십시오.
우승 경로 및 개인화된 경로 성과
위닝 경로를 활용하여 일정 기간 동안의 성과를 추적한 다음, 가장 성과가 좋은 경로로 후속 사용자를 자동으로 보내세요. 실험에 대해 위닝 경로 또는 개인화된 경로가 켜져 있는 경우의 분석에 대한 자세한 내용은 다음을 참조하세요:
Additional settings
실험 경로는 할당된 경로 내에서 각 단계를 진입하고 전환하는 사용자를 기록합니다. 이것은 캔버스 설정에서 지정된 모든 전환 이벤트를 추적합니다. 추가 설정 탭에서 이 실험이 전환을 추적할 기간(1일에서 30일 사이)을 입력하세요. 여기서 지정하는 시간 창은 실험에서 추적되는 전환 이벤트(캔버스 설정에서 선택한)의 기간을 결정합니다. 캔버스 설정에서 지정된 이벤트별 전환 기간은 이 단계의 추적에는 적용되지 않으며, 이 전환 기간으로 대체됩니다.
전환 창은 사용자가 실험 경로 단계에 진입할 때 시작되며, 다운스트림 메시지가 전송될 때가 아닙니다. 경로에 지연(예: 지연 단계 또는 Intelligent Timing)이 포함된 경우, 해당 지연은 전환 시간대의 일부를 소모합니다.
실험 경로 내 메시지 단계에서 Intelligent Timing을 사용하는 경우, 실험 진입 시점과 실제 메시지 발송 사이의 시간은 해당 경로의 효과적인 전환 창을 축소시킵니다. 예를 들어, 실험의 전환 기간이 5일이고 Intelligent Timing이 메시지 전송을 2일 지연시키는 경우, 해당 경로의 사용자는 메시지 수신 후 실험 기간 내에 전환할 수 있는 시간이 단 3일만 남게 됩니다. 이는 메시지 단계 자체의 분석이 메시지 발송 시점부터 전환을 추적함에도 불구하고 발생하는 현상입니다.
실험 분석을 더 깔끔하게 하려면, 지연(예: Delay 단계)을 실험 경로 내부가 아닌 실험 경로 단계 앞에 배치하십시오. 이렇게 하면 모든 경로가 동일한 지점에서 시작되며 지연 시간이 전환 시간을 전혀 소모하지 않습니다.
GitHub 에서 이 페이지를 편집합니다.