글로벌 컨트롤 그룹

글로벌 컨트롤 그룹을 사용하여 Campaigns이나 Canvases를 수신하지 않을 전체 사용자의 비율을 지정하면, 시간 경과에 따른 메시징 활동의 전반적인 영향을 분석할 수 있습니다.

메시징을 수신하는 사용자와 수신하지 않는 사용자의 행동을 비교하면, 마케팅 Campaigns과 Canvases가 세션 및 커스텀 이벤트의 상승에 어떻게 기여하는지 더 잘 이해할 수 있습니다.

글로벌 컨트롤 그룹의 작동 방식

글로벌 컨트롤 그룹을 사용하면 전체 사용자의 일정 비율을 대조군으로 설정할 수 있습니다. 저장하면 해당 그룹의 사용자는 어떤 Campaigns이나 Canvases도 수신하지 않습니다.

글로벌 컨트롤 그룹에 사용자를 무작위로 할당

Braze는 무작위 버킷 번호의 여러 범위를 무작위로 선택하고, 선택된 버킷에 속하는 사용자를 포함합니다. 현재 다른 목적으로 무작위 버킷 번호를 사용하고 있다면, 주의 사항을 확인하세요.

글로벌 컨트롤 그룹이 생성되면, 해당 무작위 버킷 번호를 가진 모든 사용자가 그룹에 포함됩니다. 또한 이 시점 이후에 가입한 신규 사용자(글로벌 컨트롤 그룹이 생성된 후 획득한 사용자) 중 해당 무작위 버킷 번호를 가진 사용자도 글로벌 컨트롤 그룹에 추가됩니다. 마찬가지로, 많은 사용자가 삭제되면 삭제된 사용자 중 일정 비율이 이 그룹에 속해 있었으므로 글로벌 컨트롤 그룹의 크기가 줄어들 수 있습니다. 이를 통해 전체 사용자 기반 대비 그룹 크기가 일정한 비율로 유지됩니다.

보고를 위해 처리군에 사용자를 무작위로 할당

Braze는 상승 효과 보고를 위한 처리군도 생성합니다. 처리군은 글로벌 컨트롤 그룹에 속하지 않는 사용자 중 무작위로 선택된 그룹이며, 글로벌 컨트롤 그룹과 동일한 무작위 버킷 번호 방식으로 생성됩니다.

처리군의 크기는 글로벌 컨트롤 그룹과 비슷하지만, 정확히 같은 크기일 가능성은 낮습니다. 보고를 위해 Braze는 대조군 사용자와 처리군 샘플 사용자의 행동을 측정합니다. 각 워크스페이스에는 최대 하나의 글로벌 컨트롤 그룹과 하나의 처리군 샘플 그룹이 있습니다. 처리군 샘플 그룹은 글로벌 컨트롤 보고를 어떻게 구성하든 동일한 사용자 그룹입니다.

피처 플래그에서 사용자 제외

글로벌 컨트롤 그룹의 사용자에 대해 피처 플래그를 활성화할 수 없습니다. 즉, 글로벌 컨트롤 그룹의 사용자는 피처 플래그 실험에도 참여할 수 없습니다.

글로벌 컨트롤 그룹에서 사용자 제외

글로벌 컨트롤 그룹에서 특정 사용자를 제거할 수는 없지만, 제외 설정을 추가하여 지정된 태그가 있는 Campaigns과 Canvases가 글로벌 컨트롤 그룹을 사용하지 않도록 할 수 있습니다. 또한 글로벌 컨트롤 그룹을 비활성화한 후 다시 활성화하여 멤버십을 재구성할 수 있습니다. 사용자 재구성의 이상적인 기간은 실행 중인 테스트 유형에 따라 다르지만, 한 달에 한 번 이상 재구성하지 않는 것이 좋습니다.

글로벌 컨트롤 그룹 생성

1단계: 글로벌 컨트롤 그룹 설정으로 이동

대시보드에서 오디언스 > 글로벌 컨트롤 그룹으로 이동합니다.

2단계: 전체 사용자의 비율을 이 대조군에 할당

대조군의 비율을 입력하고 Save를 선택합니다. 입력하면 Braze가 글로벌 컨트롤, 처리군, 처리군 샘플에 속하는 사용자 수의 추정치를 표시합니다. 워크스페이스에 사용자가 많을수록 이 추정치가 더 정확해진다는 점을 유의하세요.

글로벌 컨트롤 그룹의 사용자 수는 초기 설정 후 워크스페이스에 더 많은 사용자가 추가될 때 이 비율에 비례하도록 자동으로 업데이트됩니다. 또한 글로벌 컨트롤 그룹이 설정된 후 가입한 사용자 중 해당 무작위 버킷 번호를 가진 사용자도 글로벌 컨트롤 그룹에 추가됩니다. 많은 사용자가 추가되면 전체 사용자 기반 대비 일정한 비율을 유지하기 위해 글로벌 컨트롤 그룹의 크기가 커집니다. 글로벌 컨트롤 그룹의 크기가 커져도 이전에 그룹에 속해 있던 사용자는 그대로 유지됩니다(그룹을 비활성화하고 새로 생성하여 변경하지 않는 한).

비율 가이드라인은 테스트 모범 사례를 참조하세요.

3단계: 제외 설정 할당

태그를 사용하여 글로벌 컨트롤 그룹에 제외 설정을 추가합니다. 제외 설정에 포함된 태그를 사용하는 Campaigns이나 Canvases는 글로벌 컨트롤 그룹을 사용하지 않습니다. 이러한 Campaigns과 Canvases는 글로벌 컨트롤 그룹에 속한 사용자를 포함하여 타겟 오디언스의 모든 사용자에게 계속 발송됩니다.

4단계: 대조군 저장

이 시점에서 Braze는 전체 사용자 기반의 선택된 비율로 구성된 무작위 선택 사용자 그룹을 생성합니다. 저장하면 현재 활성 상태인 모든 Campaigns과 Canvases 및 향후 Campaigns과 Canvases는 제외 설정의 태그가 포함된 Campaigns이나 Canvases를 제외하고 이 그룹의 사용자에게 더 이상 발송되지 않습니다.

글로벌 컨트롤 그룹 변경

글로벌 컨트롤 그룹을 변경하려면 비활성화한 후 새로 생성해야 합니다. 예를 들어, 오디언스의 10%로 글로벌 컨트롤 그룹을 설정했는데 크기를 5%로 줄이고 싶다면, 현재 글로벌 컨트롤 그룹을 비활성화하고 새 글로벌 컨트롤 그룹을 다시 활성화해야 합니다.

글로벌 컨트롤 그룹 설정 탭에서 언제든지 글로벌 컨트롤 그룹을 비활성화할 수 있지만, 비활성화하면 해당 그룹의 사용자가 즉시 Campaigns과 Canvases를 수신할 수 있게 된다는 점을 유의하세요.

대조군을 비활성화하기 전에, 나중에 참조해야 할 경우를 대비하여 해당 그룹의 사용자 CSV를 내보내기하세요. 대조군을 비활성화하면 Braze가 해당 그룹을 복원하거나 어떤 사용자가 이 그룹에 속해 있었는지 식별할 방법이 없습니다.

대조군을 비활성화한 후 새로운 대조군을 저장할 수 있습니다. 비율을 입력하고 저장하면 Braze가 새로운 무작위 선택 사용자 그룹을 생성합니다. 이전과 동일한 비율을 입력하더라도 Braze는 대조군과 처리군에 대해 새로운 사용자 그룹을 생성합니다.

대조군 멤버 내보내기

글로벌 컨트롤 그룹에 어떤 사용자가 속해 있는지 확인하려면, CSV 또는 API를 통해 그룹 멤버를 내보낼 수 있습니다.

CSV 내보내기를 실행하려면 글로벌 컨트롤 그룹 설정 탭으로 이동하여  Export를 클릭합니다. API를 통해 내보내려면 /users/export/global_control_group 엔드포인트를 사용합니다.

사용자가 글로벌 컨트롤 그룹에 속해 있는지 확인

개별 사용자 프로필의 Engagement 탭에 있는 Miscellaneous 섹션으로 이동하여 글로벌 컨트롤 그룹 멤버십을 확인할 수 있습니다.

보고

글로벌 컨트롤 그룹 보고서를 사용하면 대조군을 처리군 샘플과 비교할 수 있습니다. 처리군 샘플은 대조군이 아닌 사용자 중 무작위로 선택된 그룹으로, 대조군과 거의 같은 수의 사용자로 구성되며 무작위 버킷 번호 방식으로 생성됩니다.

보고서 보기

대시보드에서 글로벌 컨트롤 그룹 보고서를 보려면 Analytics > 글로벌 컨트롤 그룹 보고서로 이동합니다.

다음으로, 보고서를 실행할 매개변수(세션 또는 특정 커스텀 이벤트)를 선택하고 Run Report를 선택합니다.

보고서 구성

보고서를 생성할 때, 처리군과 대조군 간에 비교할 이벤트(세션 또는 커스텀 이벤트)를 선택합니다. 그런 다음 데이터를 볼 기간을 선택합니다. 여러 대조군 실험을 서로 다른 기간에 저장한 경우, 보고서에 둘 이상의 실험 데이터를 포함하지 않도록 주의하세요.

보고서의 백분율 측정기준은 반올림된다는 점을 유의하세요. 예를 들어, 전환 수가 전체 대조군 또는 처리군의 매우 낮은 비율인 경우 전환율이 0%로 반올림될 수 있습니다.

이 보고서는 대조군 대비 변화 측정기준에 대한 신뢰도 백분율도 표시합니다. 대조군과 처리군의 전환율이 동일한 경우 신뢰도 0%가 예상됩니다. 이는 두 그룹 간 성과 차이가 있을 확률이 0%임을 나타냅니다.

그룹 크기

2024년 5월 이전에는 글로벌 컨트롤 그룹이 사용자 아카이빙에서 제외되었지만 처리군 샘플 그룹은 제외되지 않았습니다. 2024년 5월부터 두 그룹 모두 사용자 아카이빙에서 제외됩니다. 이로 인해 처리군 샘플 그룹과 글로벌 컨트롤 그룹의 크기가 크게 다를 수 있습니다. 다음에 글로벌 컨트롤 그룹을 재설정하면 이 불일치가 해소되고 비슷한 그룹 크기를 확인할 수 있습니다.

보고서 측정기준

측정기준	정의	계산
대조군 대비 변화	처리군과 대조군의 전환율 간 상승 효과를 계산합니다.	((처리군 전환율 – 대조군 전환율) ÷ 대조군 전환율) * 100
증분 상승 효과	처리군과 대조군 간 총 이벤트 수의 차이입니다. 이 측정기준은 “처리군이 얼마나 더 많은 전환 이벤트를 달성했는가?”라는 질문에 답하고자 합니다.	처리군 총 이벤트 – 대조군 총 이벤트
증분 상승 효과 백분율	처리군의 총 이벤트 중 처리(자연적인 사용자 행동이 아닌)에 기인할 수 있는 비율입니다. 증분 상승 효과(숫자)를 처리군의 총 이벤트 수로 나누어 계산합니다.	증분 상승 효과(숫자) ÷ 처리군 총 이벤트
전환율	선택한 기간 동안 대조군 또는 처리군의 사용자 중 선택한 이벤트를 완료한 추정 비율입니다. 해당 기간의 이벤트 수를 더하고 그룹 내 매일의 사용자 수 합계로 나누어 계산합니다. 새로운 사용자가 글로벌 컨트롤 그룹에 진입하면서 그룹 크기가 정기적으로 변동하고, 이벤트는 고유 이벤트가 아닌 총 이벤트이므로 근사치만 가능합니다. 전환 수가 매우 적고 대조군 또는 처리군이 매우 큰 경우 전환율이 0%로 반올림될 수 있습니다. 이벤트 수가 매우 많은 경우(예: 한 사용자가 하루에 두 번 이상 이벤트를 수행하는 경우) 전환율이 100%를 초과할 수 있습니다.	해당 기간 동안 해당 사용자의 이벤트 수 합계 ÷ 그룹 내 매일의 사용자 수 합계
추정 그룹 크기	선택한 기간 동안 대조군과 처리군의 추정 사용자 수입니다.	보고서에서 선택한 기간 동안 대조군과 처리군이 도달한 최대 멤버십 크기입니다.
총 이벤트 수	선택한 기간 동안 선택한 이벤트가 발생한 총 횟수입니다. 고유 이벤트가 아닙니다(예: 사용자가 해당 기간 동안 이벤트를 두 번 수행하면 이벤트가 두 번 증가합니다).	선택한 기간 동안 매일 이벤트가 발생한 횟수의 합계입니다.
사용자당 이벤트	선택한 기간 동안 각 그룹의 사용자가 전환 이벤트를 완료한 추정 평균 횟수입니다.	총 이벤트 ÷ 추정 그룹 크기.

문제 해결

글로벌 컨트롤 그룹을 설정하고 보고서를 확인하면서 다음과 같은 오류가 발생할 수 있습니다:

문제	문제 해결
글로벌 컨트롤 그룹을 지정할 때 입력한 비율을 저장할 수 없습니다.	이 문제는 정수가 아닌 값이나 1에서 15 사이(포함)가 아닌 정수를 입력한 경우 발생합니다.
글로벌 컨트롤 설정 페이지에서 “Braze가 글로벌 컨트롤 그룹을 업데이트할 수 없습니다” 오류가 발생합니다.	이는 일반적으로 이 페이지의 일부 구성요소가 변경되었음을 나타내며, Braze 계정의 다른 사용자가 수행한 작업으로 인한 것일 수 있습니다. 이 경우 페이지를 새로고침하고 다시 시도하세요.
글로벌 컨트롤 그룹 보고서에 데이터가 없습니다.	글로벌 컨트롤 그룹을 저장하지 않고 글로벌 컨트롤 그룹 보고서에 접근하면 보고서에 데이터가 표시되지 않습니다. 글로벌 컨트롤 그룹을 생성하고 저장한 후 다시 시도하세요.
전환율이 0%이거나 이벤트가 0건 이상 발생하고 있는데도 그래프가 표시되지 않습니다.	전환 수가 매우 적고 대조군 또는 처리군이 매우 큰 경우 전환율이 0%로 반올림되어 그래프에 표시되지 않을 수 있습니다. 총 이벤트 수 측정기준을 확인하여 이를 검증할 수 있습니다. 증분 상승 효과 백분율 측정기준을 사용하여 두 그룹의 효과를 비교할 수 있습니다.
데이터를 보는 기간에 따라 전환율(또는 기타 측정기준)이 크게 변합니다.	짧은 기간의 데이터를 보는 경우 측정기준이 일별 또는 주별로 변동할 수 있습니다. 최소 한 달 이상의 기간에 걸쳐 측정기준을 확인하세요.

주의 사항

무작위 버킷 번호 중복

글로벌 컨트롤 그룹은 무작위 버킷 번호를 사용하여 구성되므로, 무작위 버킷 번호 Segment 필터를 사용하는 다른 테스트를 실행 중인 경우 생성한 Segment와 글로벌 컨트롤 그룹 사용자 간에 중복이 있을 수 있다는 점을 유의하세요.

중복 이메일 주소

서로 다른 외부 사용자 ID를 가진 두 사용자가 동일한 이메일 주소를 가지고 있고, 한 사용자는 대조군에 속하고 다른 사용자는 속하지 않는 경우, 대조군이 아닌 사용자가 이메일을 수신할 자격이 있을 때 해당 이메일 주소로 이메일이 발송됩니다. 이 경우 두 사용자 프로필 모두 해당 이메일이 포함된 Campaign이나 Canvas를 수신한 것으로 표시됩니다.

글로벌 컨트롤 그룹과 메시지별 대조군

글로벌 컨트롤 그룹과 Campaign별 또는 Canvas별 대조군을 동시에 사용할 수 있습니다. Campaign별 또는 Canvas별 대조군을 사용하면 특정 메시지의 영향을 측정할 수 있습니다.

글로벌 컨트롤 그룹의 사용자는 태그 예외가 있는 메시지를 제외한 모든 메시지 수신이 보류되며, Campaign이나 Canvas에 대조군을 추가하면 Braze는 글로벌 처리군의 일부가 해당 특정 Campaign이나 Canvas를 수신하지 못하도록 보류합니다. 즉, 글로벌 컨트롤 그룹의 멤버가 특정 Campaign이나 Canvas를 수신할 자격이 없는 경우, 해당 특정 Campaign이나 Canvas의 대조군에 포함되지 않습니다.

개발자 콘솔의 글로벌 컨트롤 그룹 Segments

API 키 페이지의 Additional API Identifiers 섹션에서 여러 Global Control Segments를 볼 수 있습니다. 이는 글로벌 컨트롤 그룹이 활성화되거나 비활성화될 때마다 새로운 글로벌 컨트롤 그룹이 형성되기 때문입니다. 이로 인해 “Global Control Group”이라는 레이블이 붙은 여러 Segments가 생깁니다.

이 중 하나만 활성 상태이며 /users/export/global_control_group 엔드포인트를 사용하여 쿼리하거나 대시보드에서 내보낼 수 있습니다. 대시보드에서의 내보내기는 이 글로벌 컨트롤 그룹을 구성하는 하위 Segments를 구체적으로 명시합니다.

테스트 모범 사례

최적의 대조군 크기

기억해야 할 두 가지 주요 규칙:

1. 대조군은 1,000명 이상이어야 합니다.
2. 대조군은 전체 오디언스의 10%를 초과하지 않아야 합니다.

전체 오디언스가 10,000명 미만인 경우, 1,000명 이상의 그룹을 만들기 위해 비율을 높여야 합니다. 이 경우 비율을 15%보다 높게 설정하지 않아야 합니다. 전체 워크스페이스 크기가 작을수록 통계적으로 엄밀한 테스트를 실행하기가 더 어렵다는 점을 유의하세요.

• 대조군 크기를 결정할 때 고려해야 할 몇 가지 트레이드오프가 있습니다. 생성된 행동 분석이 신뢰할 수 있으려면 대조군에 충분히 많은 수의 고객이 필요합니다. 그러나 대조군이 클수록 Campaigns을 수신하는 고객이 줄어들며, 이는 Campaigns을 사용하여 참여와 전환을 유도하는 경우 단점이 됩니다.
• 전체 오디언스의 이상적인 비율은 전체 오디언스의 크기에 따라 달라집니다. 전체 오디언스가 클수록 비율을 작게 설정할 수 있습니다. 그러나 오디언스가 작은 경우 대조군에 더 큰 비율이 필요합니다.

실험 기간

이상적인 기간 선택

대조군 멤버십을 재구성하기 전에 실험을 얼마나 오래 실행할지는 테스트 내용과 사용자의 기본 행동에 따라 달라집니다. 확실하지 않은 경우, 한 분기(3개월)부터 시작하는 것이 좋지만 한 달보다 짧게 해서는 안 됩니다.

실험의 적절한 기간을 결정하려면 어떤 질문에 답하고자 하는지 고려하세요. 예를 들어, 세션에 차이가 있는지 확인하고 싶다면 사용자가 자연적으로 얼마나 자주 세션을 갖는지 생각해 보세요. 사용자가 매일 세션을 갖는 브랜드는 한 달에 몇 번만 세션을 갖는 브랜드보다 더 짧은 실험을 실행할 수 있습니다.

또는 커스텀 이벤트에 관심이 있을 수 있으며, 사용자가 해당 커스텀 이벤트를 덜 자주 트리거할 가능성이 있다면 세션을 검토하는 실험보다 더 오래 실행해야 할 수 있습니다.

실험을 조기에 종료하지 않도록 노력하세요

실험을 시작하기 전에 얼마나 오래 실행할지 결정하고, 사전에 정한 시점에 도달한 후에만 실험을 종료하고 최종 결과를 수집하세요. 실험을 조기에 종료하거나 유망한 데이터가 보일 때마다 종료하면 편향이 발생합니다.

가치 있는 측정기준에 대해 생각하세요

가장 관심 있는 측정기준의 기본 행동을 고려하세요. 연간으로만 갱신되는 구독 플랜의 구매율에 관심이 있나요? 아니면 측정하고자 하는 이벤트에 대해 고객이 주간 습관을 가지고 있나요? 메시징으로 인해 사용자가 행동을 변경하는 데 얼마나 걸리는지 생각해 보세요. 실험 기간을 결정한 후에는 실험을 조기에 종료하거나 최종 결과를 일찍 기록하지 않도록 하세요. 그렇지 않으면 결과에 편향이 생길 수 있습니다.