다변량 및 A/B 테스트 FAQ
이 문서에서는 Braze의 다변량 및 A/B 테스트에 대해 자주 묻는 질문을 다룹니다.
테스트 기본 사항
A/B 테스트와 다변량 테스트의 차이점은 무엇인가요?
A/B 테스트
A/B 테스트에서 마케터는 Campaign 내의 단일 변수(예: 이메일 제목란 또는 메시지 발송 시간)를 실험합니다. 이는 오디언스의 일부를 무작위로 두 개 이상의 그룹으로 나누고, 각 그룹에 서로 다른 배리언트를 제시한 다음, 어떤 배리언트가 가장 높은 전환율을 보이는지 관찰하는 방식입니다. 일반적으로 가장 성능이 좋은 배리언트가 이후 나머지 오디언스에게 발송됩니다.
다변량 테스트
다변량 테스트는 A/B 테스트의 확장으로, 마케터가 여러 변수를 동시에 테스트하여 가장 효과적인 조합을 결정할 수 있게 해줍니다. 예를 들어, 이메일 메시지의 제목란, 텍스트와 함께 표시되는 이미지, CTA 버튼의 색상을 테스트할 수 있습니다. 이 유형의 테스트를 사용하면 단일 실험 내에서 더 많은 변수와 배리언트 조합을 탐색할 수 있으며, A/B 테스트보다 더 빠르고 포괄적으로 인사이트를 얻을 수 있습니다. 그러나 단일 실험 내에서 더 많은 변수와 조합을 테스트하려면 통계적 유의성을 확보하기 위해 더 큰 오디언스가 필요합니다.
A/B 테스트 결과는 어떻게 계산되나요?
Braze는 피어슨 카이제곱 검정을 사용하여 모든 배리언트를 서로 비교하며, 이를 통해 하나의 배리언트가 유의 수준 p < 0.05(즉, 95% 유의성)에서 다른 모든 배리언트보다 통계적으로 우수한 성능을 보이는지 측정합니다. 이 유의성 기준을 초과하는 모든 배리언트 중에서 가장 성능이 좋은 배리언트가 “승자”로 결정됩니다.
이는 신뢰도 점수와는 별개의 검정입니다. 신뢰도 점수는 0에서 100 사이의 숫자 값으로 대조군과 비교한 배리언트의 성능만을 설명합니다. 구체적으로, 배리언트와 대조군 간의 표준화된 전환율 차이가 우연보다 유의미하게 크다는 신뢰도를 나타냅니다.
배리언트 분배가 균등하지 않은 이유는 무엇인가요?
배리언트 할당은 각 발송 시 무작위로 이루어지므로, 특히 샘플 크기가 작은 경우 실제 분배가 구성된 비율과 정확히 일치하지 않을 수 있습니다. 자세한 내용은 배리언트 분배를 참조하세요.
테스트 실행 및 종료
초기 테스트는 언제 종료되나요?
BrazeAITM로 최적화를 사용하는 단일 발송 Campaign의 경우, 초기 테스트는 설정된 실험 기간이 끝나면 종료됩니다. 그런 다음 BrazeAITM가 성과가 가장 좋은 배리언트를 나머지 오디언스에게 발송합니다.
반복, 액션 기반 및 API 트리거 Campaign 등 여러 번 발송하는 Campaign의 경우, BrazeAITM로 최적화는 배리언트 성능을 지속적으로 추적하고 더 나은 성과를 보이는 배리언트로 Campaign 트래픽을 이동시킵니다.
반복 Campaign 또는 Canvas 진입 단계에서 메시지 배리언트를 수신한 사용자는 Braze에서 어떻게 처리되나요?
사용자는 처음 Campaign을 수신하기 전에 특정 배리언트에 무작위로 배정됩니다. 이후 Campaign을 수신할 때마다(또는 사용자가 캔버스 배리언트에 다시 진입할 때마다), 배리언트 비율이 수정되지 않는 한 동일한 배리언트를 수신합니다. 배리언트 비율이 변경되면 사용자가 다른 배리언트로 재배정될 수 있습니다. 사용자는 비율이 다시 수정될 때까지 해당 배리언트에 유지됩니다. 편집된 배리언트에 대해서만 사용자가 재배정됩니다.
예를 들어, 세 개의 배리언트가 있는 Campaign 또는 Canvas가 있다고 가정해 보겠습니다. 배리언트 A와 배리언트 B만 변경되거나 업데이트된 경우, 배리언트 C의 배리언트 비율이 변경되지 않았으므로 배리언트 C에 있는 사용자는 재배정되지 않습니다. 대조군은 배리언트 비율이 변경되지 않는 한 일관성을 유지합니다. 이전에 메시지를 수신한 사용자는 이후 발송에서 대조군에 진입할 수 없으며, 대조군에 속한 사용자도 메시지를 수신할 수 없습니다.
사용자가 채널 식별자(예: 이메일 또는 전화번호)를 메시지를 수신, 열람 또는 클릭한 다른 사용자와 공유하는 경우, 해당 사용자도 메시지를 “수신”한 것으로 표시될 수 있습니다.
실험 경로는 어떤가요?
실험 이후의 Canvas 경로도 배리언트이므로, 동일한 원칙이 적용됩니다.
Campaign 및 Canvases에서 사용자를 재배정하기 위한 조치를 취할 수 있나요?
Canvases에서 사용자를 재배정하는 유일한 방법은 실험 경로의 무작위 경로를 사용하는 것이며, 이 경우 사용자가 Canvas에 다시 진입할 때마다 항상 경로 배정이 무작위로 이루어집니다. 그러나 이는 표준 실험이 아니며, 대조군이 처리 대상 사용자로 오염될 수 있으므로 실험 결과가 무효화될 수 있습니다.
신뢰도와 편향
신뢰도는 시간이 지남에 따라 증가하나요?
다른 조건이 동일하게 유지되면 신뢰도는 시간이 지남에 따라 증가합니다. 동일하게 유지된다는 것은 배리언트 A가 테스트 도중에 종료되는 25% 할인 세일에 대해 이야기하는 것과 같이, 배리언트에 영향을 미칠 수 있는 다른 마케팅 요인이 없다는 것을 의미합니다.
신뢰도는 해당 배리언트가 대조군과 다르다는 것에 대해 Braze가 얼마나 확신하는지를 측정한 것입니다. 더 많은 메시지가 발송될수록 테스트의 통계적 검정력이 높아지며, 이에 따라 측정된 성능 차이가 무작위 우연에 의한 것이 아니라는 신뢰도가 증가합니다. 일반적으로 표본 크기가 클수록 배리언트와 대조군 간의 작은 성능 차이를 식별하는 데 대한 신뢰도가 높아집니다.
그러나 더 많은 메시지가 발송됨에 따라 배리언트와 대조군의 전환율이 수렴(더 가까워짐)하면 신뢰도가 감소할 수 있습니다. 관심 있는 측정된 차이가 줄어들면서 큰 표본 크기의 이점을 상쇄할 수 있기 때문입니다.
대조군과 테스트 그룹 배정이 테스트에 편향을 도입할 수 있나요?
특정 Campaign이나 Canvas가 생성되기 전에 사용자의 속성이나 행동이 배리언트와 대조군 간에 체계적으로 다를 수 있는 실질적인 방법은 없습니다.
사용자를 메시지 배리언트, 캔버스 배리언트 또는 각각의 대조군에 배정하기 위해, 먼저 무작위로 생성된 사용자 ID를 무작위로 생성된 Campaign 또는 Canvas ID와 연결합니다. 그런 다음 sha256 해싱 알고리즘을 적용하고, 그 결과를 100으로 나눈 나머지(100에 대한 모듈러스라고도 함)를 구합니다. 마지막으로 대시보드에서 선택한 배리언트(및 선택적 대조군)에 대한 비율 배정에 해당하는 구간에 사용자를 정렬합니다.
대조군과 함께 사용량 제한을 사용할 수 없는 이유는 무엇인가요?
Braze는 현재 대조군이 있는 A/B 테스트에서 사용량 제한을 지원하지 않습니다. 사용량 제한은 배리언트와 동일한 방식으로 대조군에 적용되지 않으므로 편향이 발생합니다. 대신 Campaign 성능에 따라 각 배리언트를 수신하는 사용자 비율을 자동으로 조정하는 BrazeAITM로 최적화를 사용하는 것을 고려하세요.