배리언트 분배

A/B 또는 다변량 테스트를 설정하면, 각 발송 시 설정한 비율에 따라 사용자가 독립적으로 배리언트에 할당됩니다. 할당은 무작위로 이루어지기 때문에, 실제 분배가 설정한 비율과 정확히 일치하지 않을 수 있습니다. 특히 표본 크기가 작을수록 차이가 발생할 수 있습니다.

작동 방식

다변량 캠페인에서 메시지가 발송될 때마다, 시스템은 설정한 비율에 따라 독립적으로 무작위 옵션을 선택하고 그 결과에 따라 배리언트를 할당합니다. 이는 동전 던지기와 비슷합니다. 이상 현상이 발생할 수 있습니다. 동전을 100번 던져본 적이 있다면, 선택지가 두 가지뿐인데도 매번 정확히 50 대 50으로 나뉘지 않는다는 것을 알 것입니다. 52번 앞면, 48번 뒷면이 나올 수도 있습니다.

여러 배리언트를 균등하게 나누려면, 배리언트 수가 100의 약수인지 확인하세요. 그렇지 않으면 일부 배리언트에 다른 배리언트보다 더 높은 비율의 사용자가 분배됩니다. 예를 들어, 캠페인에 7개의 배리언트가 있는 경우, 7은 100을 정수로 나눌 수 없으므로 균등한 배리언트 분배가 불가능합니다. 이 경우 2개의 배리언트는 15%, 5개의 배리언트는 14%가 됩니다.

인앱 메시지 분배

인앱 메시지에서 A/B 테스트를 실행할 때, 배리언트 간 비율이 균등하게 설정되어 있더라도 분석에서 한 배리언트가 다른 배리언트보다 더 높은 분배를 보이는 것처럼 나타날 수 있습니다. 예를 들어, 배리언트 A와 배리언트 C의 고유 수신자 그래프를 살펴보겠습니다.

배리언트 A의 고유 수신자 수가 배리언트 C보다 일관되게 높습니다. 이는 배리언트 분배 때문이 아니라, 인앱 메시지에서 고유 수신자가 계산되는 방식 때문입니다. 인앱 메시지의 경우 고유 수신자는 실제로 고유 노출 횟수로, 인앱 메시지를 수신하고 조회한 총 사용자 수입니다. 즉, 어떤 이유로든 메시지를 수신하지 못했거나 조회하지 않기로 한 사용자는 고유 수신자 수에 포함되지 않으며, 배리언트 분배가 편향된 것처럼 보일 수 있습니다.