다변량 및 A/B 테스트 FAQ

이 문서에서는 Braze의 다변량 및 A/B 테스트에 대해 자주 묻는 질문을 다룹니다.

테스트 기본 사항

A/B 테스트와 다변량 테스트의 차이점은 무엇인가요?

A/B 테스트

A/B 테스트에서 마케터는 캠페인 내 단일 변수(예: 이메일 제목란 또는 메시지 발송 시간)를 실험합니다. 오디언스의 하위 집합을 무작위로 두 개 이상의 그룹으로 나누고, 각 그룹에 서로 다른 변형을 제시한 후, 어떤 변형이 가장 높은 전환율을 보이는지 관찰합니다. 일반적으로 가장 성과가 좋은 변형이 나머지 오디언스에게 발송됩니다.

다변량 테스트

다변량 테스트는 A/B 테스트의 확장으로, 마케터가 여러 변수를 동시에 테스트하여 가장 효과적인 조합을 결정할 수 있습니다. 예를 들어, 이메일 메시지의 제목란, 텍스트와 함께 표시되는 이미지, CTA 버튼의 색상을 테스트할 수 있습니다. 이 유형의 테스트를 사용하면 단일 실험 내에서 더 많은 변수와 변형 조합을 탐색할 수 있으며, A/B 테스트보다 더 빠르고 포괄적으로 인사이트를 얻을 수 있습니다. 그러나 단일 실험 내에서 더 많은 변수와 조합을 테스트하려면 통계적 유의성을 확보하기 위해 더 큰 오디언스가 필요합니다.

A/B 테스트 결과는 어떻게 계산되나요?

Braze는 피어슨 카이제곱 검정을 사용하여 모든 배리언트를 서로 비교하며, 유의 수준 p < 0.05(95% 유의성이라고 합니다)에서 하나의 배리언트가 다른 모든 배리언트보다 통계적으로 우수한 성과를 보이는지 측정합니다. 이 유의성 임계값을 초과하는 모든 배리언트 중에서 가장 성과가 좋은 배리언트가 “승자”로 결정됩니다.

이것은 신뢰도 점수와는 별개의 테스트입니다. 신뢰도 점수는 0에서 100 사이의 숫자 값으로 대조군과 비교한 배리언트의 성과만을 설명합니다. 구체적으로, 배리언트와 대조군 간의 전환율 표준화 차이가 우연보다 유의미하게 크다는 것에 대한 신뢰도를 나타냅니다.

배리언트 분배가 균등하지 않은 이유는 무엇인가요?

배리언트 할당은 각 발송 시 무작위로 이루어지므로, 실제 분배는 설정한 비율과 정확히 일치하지 않을 수 있습니다. 특히 표본 크기가 작을 때 더 그렇습니다. 자세한 내용은 배리언트 분배를 참조하세요.

테스트 실행 및 종료

초기 테스트는 언제 종료되나요?

단일 발송 캠페인에서 우승 배리언트를 사용하는 경우, 우승 배리언트 발송 시간이 도래하면 테스트가 종료됩니다. Braze는 통계적으로 유의미한 차이로 가장 높은 전환율을 보이는 배리언트를 승자로 판정합니다.

반복, 행동 기반 및 API 트리거 캠페인의 경우, 지능형 선택을 사용하여 각 배리언트의 성과 데이터를 지속적으로 추적하고 캠페인 트래픽을 최고 성과 배리언트로 지속적으로 최적화할 수 있습니다. 지능형 선택을 사용하면 사용자가 무작위 배리언트를 받는 실험 그룹을 명시적으로 정의하는 대신, Braze 알고리즘이 최고 성과 배리언트에 대한 추정을 지속적으로 개선하여 최고 성과자를 더 빠르게 선택할 수 있습니다.

Braze는 반복 캠페인이나 캔버스 진입 단계에서 메시지 배리언트를 받은 사용자를 어떻게 처리하나요?

사용자는 캠페인을 처음 받기 전에 특정 배리언트에 무작위로 할당됩니다. 캠페인을 받을 때마다(또는 사용자가 캔버스 배리언트에 다시 진입할 때마다) 배리언트 비율이 수정되지 않는 한 동일한 배리언트를 받습니다. 배리언트 비율이 변경되면 사용자가 다른 배리언트로 재분배될 수 있습니다. 사용자는 비율이 다시 수정될 때까지 해당 배리언트에 유지됩니다. 사용자는 편집된 배리언트에 대해서만 재분배됩니다.

예를 들어, 세 개의 배리언트가 있는 캠페인이나 캔버스가 있다고 가정해 보겠습니다. 배리언트 A와 배리언트 B만 변경 또는 업데이트된 경우, 배리언트 C의 배리언트 비율이 변경되지 않았으므로 배리언트 C의 사용자는 재분배되지 않습니다. 대조군은 배리언트 비율이 변경되지 않는 한 일관성을 유지합니다. 이전에 메시지를 받은 사용자는 이후 발송에서 대조군에 들어갈 수 없으며, 대조군에 있는 사용자는 메시지를 받을 수 없습니다.

실험 경로의 경우는 어떤가요?

실험 이후의 캔버스 경로도 배리언트이므로 동일하게 적용됩니다.

캠페인과 캔버스에서 사용자를 재분배하기 위한 조치를 취할 수 있나요?

캔버스에서 사용자를 재분배하는 유일한 방법은 실험 경로의 무작위 경로를 사용하는 것입니다. 이 방법은 사용자가 캔버스에 다시 진입할 때 항상 경로 할당을 무작위로 지정합니다. 그러나 이것은 표준 실험이 아니며, 대조군이 처리 사용자로 오염될 수 있으므로 실험 결과가 무효화될 수 있습니다.

신뢰도 및 편향

신뢰도는 시간이 지남에 따라 증가하나요?

다른 모든 조건이 일정하게 유지되면 신뢰도는 시간이 지남에 따라 증가합니다. 일정하게 유지된다는 것은 배리언트에 영향을 줄 수 있는 다른 마케팅 요인이 없다는 의미입니다. 예를 들어, 배리언트 A가 테스트 중간에 종료되는 25% 할인 세일에 대해 언급하는 경우가 이에 해당합니다.

신뢰도는 배리언트가 대조군과 다르다는 것에 대한 Braze의 확신 정도를 측정합니다. 더 많은 메시지가 발송될수록 테스트의 통계적 검정력이 증가하여, 성과의 측정된 차이가 무작위 우연에 의한 것이 아니라는 신뢰도가 높아집니다. 일반적으로 표본 크기가 클수록 배리언트와 대조군 간의 작은 성과 차이를 식별하는 데 대한 신뢰도가 높아집니다.

대조군과 테스트 그룹 할당이 테스트에 편향을 도입할 수 있나요?

특정 캠페인이나 캔버스가 생성되기 전에 사용자의 속성이나 행동이 배리언트와 대조군 간에 체계적으로 다를 수 있는 실질적인 방법은 없습니다.

사용자를 메시지 배리언트, 캔버스 배리언트 또는 해당 대조군에 할당하기 위해, 먼저 무작위로 생성된 사용자 ID를 무작위로 생성된 캠페인 또는 캔버스 ID와 연결합니다. 그런 다음 sha256 해싱 알고리즘을 적용하고 그 결과를 100으로 나눈 나머지(모듈러스 100이라고도 함)를 유지합니다. 마지막으로, 대시보드에서 선택한 배리언트(및 선택적 대조군)의 비율 할당에 해당하는 슬라이스에 사용자를 정렬합니다.

대조군과 함께 사용량 제한을 사용할 수 없는 이유는 무엇인가요?

Braze는 현재 대조군이 있는 A/B 테스트에서 사용량 제한을 지원하지 않습니다. 이는 사용량 제한이 배리언트와 동일한 방식으로 대조군에 적용되지 않아 편향이 발생하기 때문입니다. 대신 지능형 선택을 사용하는 것을 고려하세요. 지능형 선택은 분석 및 캠페인 성과를 기반으로 각 배리언트를 받을 사용자의 비율을 자동으로 조정합니다.