다변량 및 A/B 테스트 생성

단일 채널을 타겟으로 하는 모든 Campaign에 대해 다변량 또는 A/B 테스트를 생성할 수 있습니다. 예를 들어, 푸시 Campaign에 다변량 또는 A/B 테스트를 사용하려면 동일한 Campaign에서 iOS와 Android 기기를 모두 타겟으로 지정할 수 있습니다.

1단계: Campaign 만들기

1. 메시징 > Campaigns로 이동합니다.
2. Campaign 만들기를 선택하고 다변량 및 A/B 테스트를 허용하는 섹션에서 Campaign에 사용할 채널을 선택합니다. 각 메시징 채널에 대한 자세한 설명서는 Campaign 만들기를 참조하세요.

2단계: 배리언트 작성하기

메시지의 배리언트를 최대 8개까지 만들 수 있으며, 제목, 콘텐츠, 이미지 등을 서로 다르게 구성할 수 있습니다. 메시지 간 차이의 개수에 따라 다변량 테스트인지 A/B 테스트인지가 결정됩니다. A/B 테스트는 하나의 변수를 변경했을 때의 효과를 살펴보는 반면, 다변량 테스트는 두 개 이상의 변수를 살펴봅니다.

배리언트를 차별화하는 방법에 대한 아이디어가 필요하다면 채널별 팁을 참조하세요.

3단계: Campaign 스케줄 설정

다변량 Campaign의 스케줄 설정 방법은 다른 Braze Campaign과 동일합니다. 모든 표준 전달 유형을 사용할 수 있습니다.

다변량 테스트가 시작된 후에는 Campaign을 변경할 수 없습니다. 제목란이나 HTML 본문 같은 매개변수를 변경하면 Braze는 실험이 손상된 것으로 간주하고 즉시 실험을 비활성화합니다.

배리언트를 자동으로 최적화하려면 BrazeAI로 A/B 테스트 최적화하기를 참조하세요. 단일 발송 Campaign과 다중 발송 Campaign은 서로 다른 최적화 방법과 요구 사항을 사용합니다.

4단계: Segment를 선택하고 사용자를 배리언트에 분배하기

타겟팅할 Segments를 선택한 다음, 선택한 배리언트와 선택 사항인 대조군에 멤버를 분배합니다. 테스트할 Segment 선택에 관한 모범 사례는 Segment 선택하기를 참조하세요.

지원되는 Campaign(캠페인)에서는 Optimize with BrazeAI^TM를 켜서 배리언트 분배를 자동으로 최적화할 수 있습니다. 다회 발송 Campaign의 경우 BrazeAI^TM가 시간이 지남에 따라 분배를 조정합니다.

단일 발송 Campaign의 경우, Braze는 최적화된 두 번째 발송을 위해 오디언스의 일부를 따로 확보합니다. 이 부분은 배리언트 분배에서 Holdout Group으로 표시됩니다. 대조군과 어떻게 다른지 알아보려면 홀드아웃 그룹과 대조군 비교를 참조하세요.

대조군

타겟 오디언스의 일정 비율을 무작위 대조군으로 확보할 수 있습니다. 대조군에 속한 사용자는 테스트를 받지 않지만, Braze는 Campaign 기간 동안 이들의 전환율을 모니터링합니다.

결과를 볼 때 배리언트의 전환율을 대조군이 제공하는 기준 전환율과 비교할 수 있습니다. 이를 통해 배리언트 간의 효과를 비교할 수 있을 뿐 아니라, 메시지를 전혀 보내지 않았을 때의 전환율과 배리언트의 효과를 비교할 수도 있습니다.

대조군과 A/B 테스트

A/B 테스트에 사용량 제한조치를 적용하면, 사용량 제한이 테스트 그룹과 같은 방식으로 대조군에 적용되지 않으므로 시간 편향이 발생할 수 있습니다. 이러한 편향을 피하려면 적절한 전환 기간을 사용하세요.

Optimize with BrazeAI^TM를 사용한 대조군

Optimize with BrazeAI^TM를 사용하는 다회 발송 Campaign의 경우, 초기 대조군 크기는 배리언트 수에 따라 달라집니다. 각 배리언트가 사용자의 20%를 초과하여 받는 경우 대조군은 20%로 시작하고, 배리언트가 나머지 80%를 균등하게 나눕니다. 배리언트가 더 많으면 대조군은 더 작게 시작합니다. BrazeAI가 성능을 분석함에 따라 대조군이 커지거나 작아질 수 있습니다.

홀드아웃 그룹과 대조군 비교

Optimize with BrazeAI^TM를 켠 단일 발송 Campaign에서 홀드아웃 그룹과 대조군은 서로 다른 목적을 가집니다.

• 홀드아웃 그룹: 실험이 끝난 후 우승 배리언트를 받습니다. Braze가 우승 배리언트를 결정할 수 없는 경우 홀드아웃 그룹은 메시지를 받지 않습니다.
• 대조군: 메시지를 받지 않습니다. Braze는 이 그룹의 전환율을 기준으로 상승도를 측정합니다.

예를 들어 배리언트 A 25%, 배리언트 B 25%, 홀드아웃 그룹 50%로 구성된 경우, 우승 배리언트가 발송되면 전체 오디언스가 메시지를 받습니다. 여기에 10% 대조군을 추가하면 오디언스의 최대 90%만 메시지를 받습니다.

5단계: 전환 이벤트 지정(선택 사항)

Campaign에 전환 이벤트를 설정하면 해당 Campaign의 수신자 중 몇 명이 메시지를 받은 후 특정 행동을 수행했는지 확인할 수 있습니다.

이 설정은 이전 단계에서 주요 전환율을 선택한 경우에만 테스트에 영향을 줍니다. 자세한 내용은 전환 이벤트를 참조하세요.

6단계: 검토 및 실행

확인 페이지에서 다변량 Campaign의 세부 정보를 검토한 다음 테스트를 실행하세요! 이제 테스트 결과를 이해하는 방법을 알아보세요.

알아두어야 할 사항

실험이 이미 발송을 시작한 후에 메시지를 수정하면 실험이 무효화되고 모든 실험 결과가 삭제됩니다.

• 예상되는 실험 동작에 영향을 주지 않으려면 실험 Campaign을 시작한 후 1시간 이내에는 메시지를 수정하지 않는 것이 좋습니다.
• 실험이 완료된 후 발송된 메시지를 수정하면 실험 결과는 대시보드 분석에서 계속 확인할 수 있습니다. 그러나 Campaign을 다시 시작하면 실험 결과가 삭제됩니다.

채널별 팁

선택한 채널에 따라 메시지의 다양한 구성 요소를 테스트할 수 있습니다. 예를 들어 무엇을 테스트하고 무엇을 증명하고 싶은지 염두에 두고 배리언트를 작성해 볼 수 있습니다. 어떤 요소를 조정할 수 있으며, 원하는 효과는 무엇인가요? 다변량 테스트와 A/B 테스트로 살펴볼 수 있는 가능성은 무수히 많지만, 시작하는 데 도움이 될 몇 가지 제안을 소개합니다.

채널	변경할 수 있는 메시지 요소	확인할 결과
푸시	문구 이미지 및 이모티콘 사용 딥링크 숫자 표현 방식(예: “세 배” 대 “200% 증가”) 시간 표현 방식(예: “자정에 종료” 대 “6시간 후 종료”)	열람 전환율
이메일	제목 표시 이름 인사말 본문 문구 이미지 및 이모티콘 사용 숫자 표현 방식(예: “세 배” 대 “200% 증가”) 시간 표현 방식(예: “자정에 종료” 대 “6시간 후 종료”)	열람 전환율
인앱 메시지	“푸시”에 나열된 요소 인앱 메시지 이미지 사양	클릭 전환율

또한 이상적인 테스트 기간은 채널에 따라 달라질 수 있습니다. 대부분의 사용자가 각 채널에 참여하는 데 걸리는 평균 시간을 염두에 두세요.

예를 들어 푸시를 테스트하는 경우 이메일을 테스트할 때보다 더 빨리 유의미한 결과를 얻을 수 있습니다. 사용자는 푸시를 즉시 확인하지만, 이메일은 확인하거나 열람하기까지 며칠이 걸릴 수 있기 때문입니다. 인앱 메시지를 테스트하는 경우에는 사용자가 앱을 열어야 Campaign을 볼 수 있다는 점을 기억하세요. 따라서 가장 활발하게 앱을 여는 사용자뿐만 아니라 일반적인 사용자로부터도 결과를 수집할 수 있도록 더 오래 기다려야 합니다.

테스트를 얼마나 오래 실행해야 할지 잘 모르겠다면 BrazeAI^TM로 최적화를 사용해 최적화를 자동으로 구성하고 실행할 수 있습니다.

Segment 선택

사용자 Segment마다 메시징에 다르게 반응할 수 있으므로, 특정 메시지의 성공은 메시지 자체와 타겟 Segment 모두에 대해 무언가를 알려줍니다. 따라서 타겟 Segment를 염두에 두고 테스트를 설계하세요.

예를 들어 활성 사용자는 “이 혜택은 내일 만료됩니다!”와 “이 혜택은 24시간 후에 만료됩니다!”에 비슷한 반응률을 보일 수 있지만, 일주일 동안 앱을 열지 않은 사용자는 더 큰 긴박감을 주는 후자의 문구에 더 잘 반응할 수 있습니다.

또한 테스트를 실행할 Segment를 선택할 때는 해당 Segment의 규모가 테스트에 충분히 큰지 반드시 고려하세요. 일반적으로 배리언트가 많은 다변량 테스트와 A/B 테스트는 통계적으로 유의미한 결과를 얻기 위해 더 큰 테스트 그룹이 필요합니다. 배리언트가 많을수록 각 배리언트를 보는 사용자 수가 줄어들기 때문입니다.

편향 및 무작위화

대조군과 테스트 그룹 할당에 대해 흔히 묻는 질문 중 하나는 이러한 할당이 테스트에 편향을 가져올 수 있는지입니다. 또 이 할당이 정말 무작위인지 어떻게 알 수 있는지 궁금해하는 분들도 있습니다.

사용자는 (무작위로 생성된) 사용자 ID와 (무작위로 생성된) Campaign 또는 Canvas ID를 연결하고, 그 값을 100으로 나눈 나머지를 구한 다음, 대시보드에서 선택한 배리언트 및 선택적 대조군의 비율 할당에 해당하는 구간으로 사용자를 배치하는 방식으로 메시지 배리언트, 캔버스 배리언트 또는 각각의 대조군에 할당됩니다. 따라서 특정 Campaign 또는 Canvas를 생성하기 전의 사용자 행동이 배리언트와 대조군 사이에서 체계적으로 달라질 현실적인 가능성은 없습니다. 또한 이 구현보다 더 무작위적으로(더 정확하게는 의사 무작위적으로) 만드는 것도 현실적이지 않습니다.

피해야 할 실수

오디언스를 올바르게 필터링하지 않으면 메시징 채널에 따라 차이가 있는 것처럼 보이게 만드는 몇 가지 흔한 실수가 있습니다.

예를 들어 대조군을 포함해 폭넓은 오디언스에게 푸시 메시지를 보내는 경우, 테스트 그룹은 푸시 토큰이 있는 사용자에게만 메시지를 보냅니다. 그러나 대조군에는 푸시 토큰이 있는 사용자와 없는 사용자가 모두 포함됩니다. 이 경우 Campaign 또는 Canvas의 초기 오디언스는 푸시 토큰 보유 여부(Foreground Push Enabled가 true)로 필터링해야 합니다. 다른 채널에서 메시지를 수신할 수 있는 자격(옵트인, 푸시 토큰 보유, 구독)에 대해서도 동일하게 적용해야 합니다.

대조군 배리언트에 캔버스 단계가 하나도 없으면 대조군 배리언트에 속한 사용자에 대해서는 종료 기준 이벤트가 기록되지 않습니다.