글로벌 컨트롤 그룹

글로벌 컨트롤 그룹을 사용하여 Campaigns이나 Canvases를 수신하지 않을 전체 사용자의 비율을 지정하면, 시간 경과에 따른 메시징 활동의 전반적인 영향을 분석할 수 있습니다.

메시징을 수신하는 사용자와 수신하지 않는 사용자의 행동을 비교하면, 마케팅 캠페인과 Canvases가 세션 및 커스텀 이벤트의 상승에 어떻게 기여하는지 더 잘 이해할 수 있습니다.

글로벌 컨트롤 그룹의 작동 방식

글로벌 컨트롤 그룹을 사용하면 전체 사용자의 일정 비율을 대조군으로 설정할 수 있습니다. 저장하면 해당 그룹의 사용자는 어떤 Campaign이나 Canvases도 수신하지 않습니다.

글로벌 컨트롤 그룹에 사용자를 무작위로 할당

Braze는 무작위 버킷 번호의 여러 범위를 무작위로 선택하고, 선택된 버킷에 해당하는 사용자를 포함합니다. 현재 다른 목적으로 무작위 버킷 번호를 사용하고 있다면 주의 사항을 확인하세요.

글로벌 컨트롤 그룹이 생성되면 해당 무작위 버킷 번호를 가진 모든 사용자가 그룹에 포함됩니다. 또한 이 시점 이후에 가입한 신규 사용자(글로벌 컨트롤 그룹이 생성된 후 획득한 사용자) 중 해당 무작위 버킷 번호를 가진 사용자도 글로벌 컨트롤 그룹에 추가됩니다. 마찬가지로, 많은 사용자가 삭제되면 삭제된 사용자 중 일정 비율이 이 그룹에 속해 있었기 때문에 글로벌 컨트롤 그룹의 크기가 줄어들 수 있습니다. 이를 통해 전체 사용자 기반 대비 그룹 크기가 일정한 비율로 유지됩니다.

리포팅을 위해 트리트먼트 그룹에 사용자를 무작위로 할당

Braze는 업리프트 리포팅을 위한 트리트먼트 그룹도 생성합니다. 트리트먼트 그룹은 글로벌 컨트롤 그룹에 속하지 않은 사용자 중 무작위로 선택된 그룹이며, 글로벌 컨트롤 그룹과 동일한 무작위 버킷 번호 방식으로 생성됩니다.

트리트먼트 그룹은 글로벌 컨트롤 그룹과 비슷한 크기이지만, 정확히 같은 크기일 가능성은 낮습니다. 리포팅을 위해 Braze는 대조군 사용자와 트리트먼트 샘플 사용자의 행동을 측정합니다. 각 워크스페이스에는 최대 하나의 글로벌 컨트롤 그룹과 하나의 트리트먼트 샘플 그룹이 있습니다. 트리트먼트 샘플 그룹은 글로벌 컨트롤 리포팅을 어떻게 구성하든 동일한 사용자 그룹입니다.

기능 플래그에서 사용자 제외

글로벌 컨트롤 그룹에 속한 사용자에게는 기능 플래그를 활성화할 수 없습니다. 즉, 글로벌 컨트롤 그룹의 사용자는 기능 플래그 실험에도 참여할 수 없습니다.

글로벌 컨트롤 그룹에서 사용자 제외

글로벌 컨트롤 그룹에서 특정 사용자를 제거할 수는 없지만, 제외 설정을 추가하여 지정된 태그가 있는 Campaigns 및 Canvases가 글로벌 컨트롤 그룹을 사용하지 않도록 할 수 있습니다. 또한 글로벌 컨트롤 그룹을 비활성화했다가 다시 활성화하여 멤버십을 셔플할 수 있습니다. 사용자 셔플의 이상적인 기간은 실행 중인 테스트 유형에 따라 다르지만, 한 달에 한 번 이상 셔플하지 않는 것이 좋습니다.

글로벌 컨트롤 그룹 만들기

1단계: 글로벌 컨트롤 그룹 설정으로 이동

대시보드에서 오디언스 > 글로벌 컨트롤 그룹으로 이동합니다.

2단계: 전체 사용자의 일정 비율을 이 대조군에 할당

대조군에 할당할 비율을 입력하고 저장을 선택합니다. 비율을 입력하면 Braze에서 글로벌 컨트롤, 처리군, 처리군 샘플에 해당하는 사용자 수의 추정치를 표시합니다. 워크스페이스에 사용자가 많을수록 이 추정치가 더 정확해진다는 점을 유의하세요.

글로벌 컨트롤 그룹의 사용자 수는 초기 설정 이후 워크스페이스에 새로운 사용자가 추가될 때 이 비율에 비례하도록 자동으로 업데이트됩니다. 또한 글로벌 컨트롤 그룹이 설정된 후에 가입한 사용자 중 무작위 버킷 번호를 가진 사용자도 글로벌 컨트롤 그룹에 추가됩니다. 많은 사용자가 추가되면 전체 사용자 기반 대비 일정한 비율을 유지하기 위해 글로벌 컨트롤 그룹의 크기가 커집니다. 글로벌 컨트롤 그룹의 크기가 커지더라도 이전에 그룹에 속해 있던 사용자는 그대로 유지됩니다(그룹을 비활성화하고 새로 만드는 등의 변경을 하지 않는 한).

비율 가이드라인은 테스트 모범 사례를 참조하세요.

3단계: 제외 설정 할당

태그를 사용하여 글로벌 컨트롤 그룹에 제외 설정을 추가합니다. 제외 설정에 포함된 태그를 사용하는 Campaign 또는 Canvases는 글로벌 컨트롤 그룹을 사용하지 않습니다. 이러한 Campaign과 Canvases는 글로벌 컨트롤 그룹에 속한 사용자를 포함하여 타겟 오디언스의 모든 사용자에게 계속 전송됩니다.

태그 드롭다운에는 현재 하나 이상의 활성 Campaign 또는 Canvas에 적용된 태그만 표시됩니다. 새 태그를 만들어 제외 설정에 사용하려면 먼저 해당 태그를 Campaign 또는 Canvas에 적용하세요.

4단계: 대조군 저장

이 시점에서 Braze는 전체 사용자 기반에서 선택한 비율에 해당하는 무작위 사용자 그룹을 생성합니다. 저장하면 현재 활성화된 모든 Campaign과 Canvases 및 향후 Campaign과 Canvases는 제외 설정의 태그가 포함된 Campaign 또는 Canvases를 제외하고 이 그룹의 사용자에게 더 이상 전송되지 않습니다.

글로벌 컨트롤 그룹 변경하기

글로벌 컨트롤 그룹을 변경하려면 기존 그룹을 비활성화하고 새 그룹을 만들어야 합니다. 예를 들어, 오디언스의 10%로 글로벌 컨트롤 그룹을 설정한 후 크기를 5%로 줄이려면 현재 글로벌 컨트롤 그룹을 비활성화하고 새 글로벌 컨트롤 그룹을 다시 활성화해야 합니다.

Global Control Group Settings 탭에서 언제든지 글로벌 컨트롤 그룹을 비활성화할 수 있지만, 비활성화하면 해당 그룹의 사용자가 즉시 Campaigns 및 Canvases에 대한 자격을 갖게 된다는 점에 유의하세요.

대조군을 비활성화하기 전에, 나중에 참조해야 할 경우를 대비하여 해당 그룹의 사용자 CSV를 내보내세요. 대조군을 비활성화하면 Braze에서 해당 그룹을 복원하거나 어떤 사용자가 이 그룹에 속해 있었는지 식별할 수 없습니다.

대조군을 비활성화한 후 새 그룹을 저장할 수 있습니다. 비율을 입력하고 저장하면 Braze가 무작위로 선택된 새 사용자 그룹을 생성합니다. 이전과 동일한 비율을 입력하더라도 Braze는 대조군과 처리군에 대해 새로운 사용자 그룹을 생성합니다.

대조군 멤버 내보내기

글로벌 컨트롤 그룹에 어떤 사용자가 속해 있는지 확인하려면, CSV 또는 API를 통해 그룹 멤버를 내보낼 수 있습니다.

CSV 내보내기를 실행하려면 글로벌 컨트롤 그룹 설정 탭으로 이동하여  내보내기를 클릭합니다. API를 통해 내보내려면 /users/export/global_control_group 엔드포인트를 사용합니다.

사용자가 글로벌 컨트롤 그룹에 속해 있는지 확인하기

개별 사용자 프로필의 인게이지먼트 탭에 있는 기타 섹션으로 이동하여 글로벌 컨트롤 그룹 멤버십을 확인할 수 있습니다.

리포팅

글로벌 컨트롤 그룹 리포트를 사용하면 그룹을 트리트먼트 샘플과 비교할 수 있습니다. 트리트먼트 샘플은 무작위 버킷 번호 방법을 사용하여 생성된, 대조군과 거의 동일한 수의 비대조군 사용자로 구성된 무작위 선택입니다.

리포트 보기

대시보드에서 글로벌 컨트롤 그룹 리포트를 보려면 Analytics > Global Control Group Report로 이동합니다.

다음으로, 리포트를 실행할 매개변수(세션 또는 특정 커스텀 이벤트)를 선택하고 Run Report를 선택합니다.

리포트 구성하기

리포트를 생성할 때 트리트먼트 그룹과 대조군 간에 비교할 이벤트(세션 또는 커스텀 이벤트)를 선택합니다. 그런 다음 데이터를 조회할 기간을 선택합니다. 서로 다른 기간에 여러 대조군 실험을 저장한 경우, 리포트에 둘 이상의 실험 데이터를 포함하지 않도록 주의하세요.

리포트의 백분율 측정기준은 반올림된다는 점에 유의하세요. 예를 들어, 전환 수가 전체 대조군 또는 트리트먼트 그룹의 매우 낮은 비율인 경우 전환율이 0%로 반올림될 수 있습니다.

이 리포트에는 대조군 대비 변화 측정기준에 대한 신뢰도 백분율도 표시됩니다. 대조군과 트리트먼트 간의 전환율이 동일한 경우 신뢰도 0%가 예상됩니다. 이는 두 그룹 간 성능 차이가 있을 확률이 0%임을 나타냅니다.

그룹 크기

2024년 5월 이전에는 글로벌 컨트롤 그룹이 사용자 아카이브에서 제외되었지만 트리트먼트 샘플 그룹은 제외되지 않았습니다. 2024년 5월부터 두 그룹 모두 사용자 아카이브에서 제외됩니다. 이로 인해 트리트먼트 샘플 그룹과 글로벌 컨트롤 그룹의 크기가 크게 다를 수 있습니다. 다음에 글로벌 컨트롤 그룹을 재설정하면 이 불일치가 해결되고 유사한 그룹 크기를 확인할 수 있습니다.

리포트 측정기준

측정기준	정의	계산
대조군 대비 변화	트리트먼트 그룹과 대조군의 전환율 간 상승률을 계산합니다.	((트리트먼트 전환율 – 대조군 전환율) ÷ 대조군 전환율) * 100
증분 상승	트리트먼트 그룹과 대조군 간의 총 이벤트 차이입니다. 이 측정기준은 “트리트먼트 그룹이 얼마나 더 많은 전환 이벤트를 달성했는가?”라는 질문에 답하고자 합니다.	트리트먼트의 총 이벤트 – 대조군의 총 이벤트
증분 상승 백분율	트리트먼트의 총 이벤트 중 트리트먼트에 기인할 수 있는 비율(자연적인 사용자 행동 대비)입니다. 증분 상승(숫자)을 트리트먼트 그룹의 총 이벤트 수로 나누어 계산합니다.	증분 상승(숫자) ÷ 트리트먼트 그룹의 총 이벤트
전환율	선택한 기간 동안 대조군 또는 트리트먼트 그룹에서 선택한 이벤트를 완료한 사용자의 추정 백분율입니다. 해당 기간의 이벤트 수를 더한 후 그룹 내 일별 사용자 수의 합으로 나누어 계산합니다. 새로운 사용자가 글로벌 컨트롤 그룹에 지속적으로 유입되어 그룹 크기가 정기적으로 변동하고, 이벤트가 고유 이벤트가 아닌 총 이벤트이므로 근사값만 산출할 수 있습니다. 전환 수가 매우 적고 대조군 또는 트리트먼트 그룹이 매우 큰 경우 전환율이 0%로 반올림될 수 있습니다. 이벤트 수가 매우 많은 경우(예: 한 사용자가 하루에 두 번 이상 이벤트를 수행하는 경우) 전환율이 100%를 초과할 수 있습니다.	해당 기간 동안 해당 사용자의 이벤트 수 합계 ÷ 그룹 내 일별 사용자 수 합계
추정 그룹 크기	선택한 기간 동안 대조군 및 트리트먼트 그룹의 추정 사용자 수입니다.	리포트에 선택한 기간 동안 대조군 및 트리트먼트 그룹이 도달한 최대 멤버십 크기입니다.
총 이벤트 수	선택한 기간 동안 선택한 이벤트가 발생한 총 횟수입니다. 이는 고유 값이 아닙니다(예: 사용자가 해당 기간 동안 이벤트를 두 번 수행하면 이벤트가 두 번 증가합니다).	선택한 기간 동안 매일 이벤트가 발생한 횟수의 합계입니다.
사용자당 이벤트	선택한 기간 동안 각 그룹의 사용자가 전환 이벤트를 완료한 추정 평균 횟수입니다.	총 이벤트 ÷ 추정 그룹 크기

문제 해결

글로벌 컨트롤 그룹을 설정하고 리포트를 확인하면서 다음과 같은 오류가 발생할 수 있습니다:

문제	문제 해결
글로벌 컨트롤 그룹을 지정할 때 입력한 비율을 저장할 수 없습니다.	이 문제는 정수가 아닌 값이나 1에서 15 사이(포함)가 아닌 정수를 입력한 경우에 발생합니다.
글로벌 컨트롤 설정 페이지에서 “Braze is not able to update your Global Control Group” 오류가 표시됩니다.	이는 일반적으로 이 페이지의 일부 구성 요소가 변경되었음을 나타내며, Braze 계정의 다른 사용자가 수행한 작업으로 인해 발생하는 경우가 많습니다. 이 경우 페이지를 새로고침하고 다시 시도하세요.
글로벌 컨트롤 그룹 리포트에 데이터가 없습니다.	글로벌 컨트롤 그룹을 저장하지 않은 상태에서 글로벌 컨트롤 그룹 리포트에 접근하면 리포트에 데이터가 표시되지 않습니다. 글로벌 컨트롤 그룹을 생성하고 저장한 후 다시 시도하세요.
전환율이 0%이거나, 이벤트가 0건 이상 발생하고 있는데도 그래프가 표시되지 않습니다.	전환 수가 매우 적고 대조군 또는 처리군이 매우 큰 경우, 전환율이 0%로 반올림되어 그래프에 표시되지 않을 수 있습니다. 총 이벤트 수 측정기준을 확인하여 이를 검증할 수 있습니다. 증분 상승률 측정기준을 사용하여 두 그룹의 효과를 비교할 수도 있습니다.
데이터를 조회하는 기간에 따라 전환율(또는 기타 측정기준)이 크게 변동합니다.	짧은 기간의 데이터를 조회하는 경우, 측정기준이 일별 또는 주별로 변동할 수 있습니다. 최소 한 달 이상의 기간에 걸쳐 측정기준을 확인하세요.

주의 사항

무작위 버킷 번호 중복

글로벌 컨트롤 그룹은 무작위 버킷 번호를 사용하여 구성되므로, 무작위 버킷 번호 Segment 필터를 사용하는 다른 테스트를 실행하는 경우, 생성한 Segments와 글로벌 컨트롤 그룹 사용자 간에 중복이 발생할 수 있다는 점을 유의하세요.

중복 이메일 주소

서로 다른 외부 사용자 ID를 가진 두 사용자가 동일한 이메일 주소를 사용하고, 한 사용자는 대조군에 속하고 다른 사용자는 속하지 않는 경우, 대조군이 아닌 사용자가 이메일 수신 대상이 되면 해당 이메일 주소로 이메일이 전송됩니다. 이 경우 두 고객 프로필 모두 해당 이메일이 포함된 Campaign 또는 Canvas를 수신한 것으로 표시됩니다.

글로벌 컨트롤 그룹과 메시지별 대조군

글로벌 컨트롤 그룹과 Campaign별 또는 Canvas별 대조군을 동시에 사용할 수 있습니다. Campaign별 또는 Canvas별 대조군을 사용하면 특정 메시지의 영향을 측정할 수 있습니다.

글로벌 컨트롤 그룹의 사용자는 태그 예외가 있는 메시지를 제외한 모든 메시지 수신이 보류되며, Campaign 또는 Canvas에 대조군을 추가하면 Braze는 글로벌 처리군의 일부가 해당 특정 Campaign 또는 Canvas를 수신하지 못하도록 보류합니다. 즉, 글로벌 컨트롤 그룹의 구성원이 특정 Campaign 또는 Canvas를 수신할 자격이 없는 경우, 해당 특정 Campaign 또는 Canvas의 대조군에 포함되지 않습니다.

개발자 콘솔의 글로벌 컨트롤 그룹 Segments

API 키 페이지의 추가 API 식별자 섹션에 여러 개의 글로벌 컨트롤 Segments가 표시될 수 있습니다. 이는 글로벌 컨트롤 그룹이 활성화 또는 비활성화될 때마다 새로운 글로벌 컨트롤 그룹이 생성되기 때문입니다. 이로 인해 “Global Control Group”이라는 레이블이 지정된 여러 Segments가 생성됩니다.

이 중 하나만 활성 상태이며, /users/export/global_control_group 엔드포인트를 사용하여 쿼리하거나 대시보드에서 내보낼 수 있습니다. 대시보드에서의 내보내기에는 이 글로벌 컨트롤 그룹을 구성하는 하위 Segments가 구체적으로 명시됩니다.

테스트 모범 사례

최적의 대조군 크기

기억해야 할 두 가지 주요 규칙:

1. 대조군은 1,000명 이상의 사용자로 구성되어야 합니다.
2. 대조군은 전체 오디언스의 10%를 초과하지 않아야 합니다.

전체 오디언스가 10,000명 미만인 경우, 1,000명 이상의 그룹을 만들기 위해 비율을 높여야 합니다. 이 경우 비율을 15% 이상으로 높이지 않는 것이 좋습니다. 전체 워크스페이스 규모가 작을수록 통계적으로 엄밀한 테스트를 실행하기가 더 어렵다는 점을 유의하세요.

• 대조군 크기를 결정할 때 고려해야 할 몇 가지 트레이드오프가 있습니다. 행동 분석 결과가 신뢰할 수 있으려면 대조군에 충분히 많은 수의 고객이 포함되어야 합니다. 그러나 대조군이 클수록 Campaigns을 수신하는 고객 수가 줄어들며, 이는 Campaigns을 통해 인게이지먼트와 전환을 유도하려는 경우 단점이 될 수 있습니다.
• 전체 오디언스에서 이상적인 비율은 전체 오디언스의 규모에 따라 달라집니다. 전체 오디언스가 클수록 비율을 더 작게 설정할 수 있습니다. 반면 오디언스가 작은 경우에는 대조군에 더 큰 비율이 필요합니다.

실험 기간

이상적인 기간 선택

대조군 멤버십을 재편성하기 전에 실험을 얼마나 오래 실행할지는 테스트 대상과 사용자의 기본 행동에 따라 달라집니다. 확실하지 않은 경우, 한 분기(3개월)부터 시작하는 것이 좋지만 한 달보다 짧게 설정해서는 안 됩니다.

실험에 적절한 기간을 결정하려면 어떤 질문에 답하고자 하는지 고려하세요. 예를 들어, 세션에 차이가 있는지 확인하고 싶으신가요? 그렇다면 사용자가 자연적으로 얼마나 자주 세션을 갖는지 생각해 보세요. 사용자가 매일 세션을 갖는 브랜드는 한 달에 몇 번만 세션을 갖는 브랜드보다 더 짧은 실험을 실행할 수 있습니다.

또는 커스텀 이벤트에 관심이 있을 수 있으며, 사용자가 해당 커스텀 이벤트를 덜 빈번하게 트리거할 가능성이 있다면 세션을 검토하는 실험보다 더 오래 실행해야 할 수 있습니다.

실험을 조기에 종료하지 않도록 주의하세요

실험을 시작하기 전에 실행 기간을 결정하고, 사전에 정한 시점에 도달한 후에만 실험을 종료하고 최종 결과를 수집하세요. 유망한 데이터가 보일 때마다 실험을 조기에 종료하면 편향이 발생합니다.

가치 있는 측정기준을 고려하세요

가장 관심 있는 측정기준에 대한 기본 행동을 고려하세요. 연간으로만 갱신되는 구독 플랜의 구매율에 관심이 있으신가요? 아니면 고객이 측정하고자 하는 이벤트에 대해 주간 습관을 가지고 있나요? 메시징으로 인해 사용자가 행동을 변경하는 데 얼마나 걸리는지 생각해 보세요. 실험 실행 기간을 결정한 후에는 실험을 조기에 종료하거나 최종 결과를 미리 기록하지 마세요. 그렇지 않으면 결과에 편향이 생길 수 있습니다.