Experimentos com Feature Flag

Experimentos com Feature Flag permitem que você faça testes A/B de mudanças em suas aplicações para otimizar as taxas de conversão. Os profissionais de marketing podem usar Feature Flags para determinar se um novo recurso impacta positiva ou negativamente as taxas de conversão, ou qual conjunto de propriedades de Feature Flag é o mais otimizado.

Pré-requisitos

Antes de poder rastrear dados de usuários no experimento, seu app precisa registrar quando um usuário interage com uma feature flag. Isso é chamado de impressão de feature flag. Certifique-se de registrar uma impressão de feature flag sempre que um usuário vir ou puder ter visto o recurso que você está testando, mesmo que ele esteja no grupo de controle.

Para saber mais sobre como registrar impressões de feature flag, consulte Criando feature flags.

• web
• android

1
2
3
4
5
6
7

const featureFlag = braze.getFeatureFlag("my-new-feature");
braze.logFeatureFlagImpression("my-new-feature");
if (featureFlag?.enabled) {
   return <NewFeature />
} else {
   return <ExistingFeature />
}

1
2
3
4
5
6
7

FeatureFlag featureFlag = braze.getFeatureFlag("my-new-feature");
braze.logFeatureFlagImpression("my-new-feature");
if (featureFlag != null && featureFlag.getEnabled()) {
  return new NewFeature();
} else {
  return new ExistingFeature();
}

1
2
3
4
5
6
7

val featureFlag = braze.getFeatureFlag("my-new-feature")
braze.logFeatureFlagImpression("my-new-feature")
if (featureFlag?.enabled == true) {
  return NewFeature()
} else {
  return ExistingFeature()
}

Criando um experimento de Feature Flag

Etapa 1: Criar um experimento

1. Acesse Messaging > Campaigns e selecione + Create Campaign.
2. Selecione Feature Flag Experiment.
3. Dê à sua Campaign um nome claro e significativo.

Etapa 2: Adicionar variantes do experimento

Em seguida, crie variações. Para cada variante, escolha o Feature Flag que deseja ativar ou desativar e revise as propriedades atribuídas.

Para testar o impacto do seu recurso, use variantes para dividir o tráfego em dois ou mais grupos. Nomeie um grupo como “Meu grupo de controle” e desative seus Feature Flags.

Experimentos de Feature Flag suportam até nove grupos no total: um grupo de controle e até oito variantes.

Etapa 3: Sobrescrever propriedades (opcional)

Você pode optar por sobrescrever as propriedades padrão que configurou inicialmente para os usuários que recebem uma variante de Campaign específica.

Para editar, adicionar ou remover propriedades padrão adicionais, edite o Feature Flag diretamente em Messaging > Feature Flags. Quando uma variante está desativada, o SDK retornará um objeto de propriedades vazio para o Feature Flag correspondente.

Etapa 4: Escolher os usuários-alvo

Use um dos seus Segments ou filtros para escolher seus usuários-alvo. Por exemplo, você pode usar o filtro Received Feature Flag Variant para redirecionar usuários que já receberam um teste A/B.

Nota

A associação ao Segment é calculada quando os Feature Flags são atualizados para um determinado usuário. As alterações ficam disponíveis após o app atualizar os Feature Flags ou quando uma nova sessão é iniciada.

Etapa 5: Distribuir variantes

Escolha a distribuição percentual para o seu experimento. Como prática recomendada, você não deve alterar a distribuição após o lançamento do experimento.

Etapa 6: Atribuir conversões

A Braze permite que você acompanhe a frequência com que os usuários realizam ações específicas, chamadas eventos de conversão, após receberem uma Campaign. Especifique uma janela de até 30 dias durante a qual uma conversão será contabilizada se o usuário realizar a ação especificada.

Etapa 7: Revisar e lançar

Depois de finalizar a construção do seu experimento, revise os detalhes e selecione Launch Experiment.

Revisão dos resultados

Após a conclusão do experimento com Feature Flag, você pode revisar os dados de impressão do seu experimento. Acesse Messaging > Campaigns e selecione a campanha com o seu experimento de Feature Flag.

Análise de dados da campanha

Campaign Analytics oferece uma visão geral de alto nível do desempenho do seu experimento, como:

• O número total de impressões
• O número de impressões únicas
• A taxa de conversão primária
• A receita total gerada pela mensagem
• O público estimado

Você também pode visualizar as configurações do experimento para entrega, público e conversão.

Desempenho do experimento com Feature Flag

Feature Flags Experiments Performance mostra o desempenho da sua mensagem em várias dimensões. As métricas específicas que você verá variam de acordo com o canal de envio de mensagens escolhido e se você está executando um teste multivariante. Para ver os valores de Feature Flag associados a cada variante, selecione Preview.