Skip to content

BrazeAITM 배리언트 선택

BrazeAITM 배리언트 선택은 단일 발송 또는 반복 A/B 테스트에서 자동으로 실험을 실행하고 최적의 참여 결과를 위해 최적화하는 기능입니다.

필수 조건

BrazeAITM 배리언트 선택을 사용하려면 Campaign 또는 Canvas에서 다음 조건을 충족해야 합니다.

  • 최소 두 개의 메시지 배리언트를 추가합니다.
  • 단일 발송을 사용하지 않는 경우, 최소 하나의 전환 이벤트를 정의하고 재자격 기간을 24시간 이상으로 설정합니다. 더 짧은 기간은 대조군의 무결성에 영향을 줄 수 있으므로 지원되지 않습니다.
  • 메시지 단계에 최소 두 개의 메시지 배리언트를 포함합니다.
  • 단일 발송을 사용하지 않는 경우, 최소 하나의 전환 이벤트가 있어야 합니다.

단일 발송

두 번째 배리언트를 추가하면 BrazeAITM 배리언트 선택이 자동으로 활성화되어 실험에 최적의 파라미터를 설정하고(최적 파라미터를 따를 때 약 25%의 향상이 관찰됨), 실험을 실행한 다음 우승 배리언트를 발송합니다. 추가로 할 작업은 없습니다.

실험을 커스터마이즈하려면 다음과 같은 옵션을 제공합니다.

최적화 목표

알고리즘이 최상의 결과를 제공하는 데 필요한 데이터를 확보할 수 있도록, 의미 있는 양의 전환이 발생하는 강력한 전환 이벤트 설정이 없는 한 열람을 사용하는 것을 권장합니다.

  • 열람
  • 전환 이벤트

실험 기간

기본값을 사용하는 것을 권장하지만, 커스텀 기간을 사용할 수 있는 옵션을 포함하여 두 가지 다른 옵션도 제공합니다.

  • 4시간
  • 24시간
  • 72시간
  • 커스텀

대조군 및 배리언트 분배

대조군을 제거하거나 배리언트 분배를 편집할 수 있지만, 설정된 최적 파라미터를 사용하는 것을 권장합니다.

단일 발송 배리언트 최적화 옵션

반복

두 번째 배리언트를 추가하면 BrazeAITM 배리언트 선택이 자동으로 활성화되어 다중 슬롯 머신(multi-armed bandit) 통계 테스트를 사용하여 지속적으로 최적화합니다. 성과가 좋은 배리언트에는 더 많은 메시지를 발송하고, 성과가 낮은 배리언트에는 더 적게 발송합니다.

균등 분배로 시작하여 학습 및 최적화를 진행한 다음, 하루에 두 번 성과가 높은 배리언트 쪽으로 분배를 기울이고 성과가 낮은 배리언트에서 멀어지도록 조정합니다. 최적의 분배를 선택했다는 충분한 근거(95% 이상의 신뢰도)를 확보할 때까지 이 과정을 계속합니다.

보고

향상 보고

단일 발송의 경우 테스트가 완료된 후, 반복 발송의 경우 짧은 지연 후에 신뢰할 수 있는 데이터를 보고합니다. BrazeAITM 배리언트 선택이 달성할 수 있는 향상을 대시보드에서 보고합니다.

학습 코호트가 발송된 후, Braze는 기간 설정에 지정된 시간 동안 대기한 다음 데이터를 검토합니다. 경쟁 배리언트의 분배를 기반으로, 최적화가 수행되지 않았을 때의 성과 평균을 계산한 다음, 우승 배리언트를 기준으로 향상을 계산합니다.

예시(균등 분배 가정):

  • 배리언트 1: 3.5%
  • 배리언트 2: 3%
  • 배리언트 3: 2.5%
  • 배리언트 4: 2%

최적화 없는 열람률은 2.75%(.035.25 + .03.25 + 0.025.25 + 0.02.25)이며, 배리언트 선택은 배리언트 1(3.5%)을 선택하므로 향상은 27.3%입니다.

Braze는 조정 시 정기적으로 결과를 분석하고, 각 기간의 향상 평균을 기반으로 향상을 표시합니다.

단일 발송과 유사한 방식으로 조정 정도에 따라 기간별 향상을 계산합니다.

예시:

  • 배리언트 1: 3.5%, 코호트의 25%
  • 배리언트 2: 3%, 코호트의 25%
  • 배리언트 3: 2.5%, 코호트의 25%
  • 배리언트 4: 2%, 코호트의 25%

최적화 없는 열람률은 2.75%(.035.25 + .03.25 + 0.025.25 + 0.02.25)입니다. 배리언트 선택은 성과가 높은 배리언트에 더 큰 가중치를 부여합니다.

다음과 같이 분배한다고 가정합니다.

  • 배리언트 1: 65%
  • 배리언트 2: 15%
  • 배리언트 3: 10%
  • 배리언트 4: 5%

이 경우 선택된 열람률은 3.075%(.035.65 + .03.15 + 0.025.1 + 0.02.05)이며, 이는 11.8%의 향상입니다. 각 기간마다 이를 계산한 다음, 최적화 기간 전체에 걸쳐 평균을 산출합니다.

자주 묻는 질문

반복 Campaign 또는 Canvases에서 배리언트 선택과 결합할 때 24시간 미만의 재자격이 불가능한 이유는 무엇인가요?

테스트 결과 너무 짧은 기간의 재자격은 대조군의 무결성에 영향을 미치고 바람직하지 않은 분배로 이어질 수 있으므로, 배리언트 선택 Campaign에서는 이를 허용하지 않습니다.

반복 Campaign 초기 단계에서 배리언트가 균등한 발송량을 보이는 이유는 무엇인가요?

배리언트 선택은 학습 기간이 끝난 후에만 최종 배리언트 할당을 결정하며, 학습 기간 동안에는 배리언트 간에 균등하게 발송합니다. 시간이 지남에 따라 성과 추세를 감지하면서 조정합니다. Campaign 초기 단계에서 균등하게 발송하고 싶지 않다면, 기존 A/B 테스트를 위해 고정 배리언트를 사용하세요.

반복 배리언트 선택은 명확한 우승자를 선택하지 못한 채 최적화를 중단하나요?

네, 실험을 계속해도 전환율이 현재 비율의 1% 이상 개선되지 않을 것이라는 95%의 신뢰도가 확보되면 최적화를 중단합니다.

Canvas 또는 Campaign에서 배리언트 선택을 활성화할 수 없는 이유는 무엇인가요?

단일 발송의 경우, Canvas 또는 Campaign이 단일 배리언트로 구성되어 있으면 배리언트 선택을 활성화할 수 없습니다.

반복의 경우, 다음과 같은 상황에서 배리언트 선택을 활성화할 수 없습니다.

  • Campaign 또는 Canvas에 전환 이벤트를 추가하지 않은 경우
  • 24시간 미만의 기간으로 재자격이 활성화된 경우
  • Canvas 또는 Campaign이 단일 배리언트로 구성된 경우
New Stuff!