Experimentos com Feature Flag

Experimentos com Feature Flag permitem que você faça testes A/B de mudanças em suas aplicações para otimizar as taxas de conversão. Os profissionais de marketing podem usar Feature Flags para determinar se um novo recurso impacta positiva ou negativamente as taxas de conversão, ou qual conjunto de propriedades de Feature Flag é o mais otimizado.

Pré-requisitos

Antes de rastrear dados de usuários no experimento, seu app precisa registrar quando um usuário interage com uma Feature Flag. Isso é chamado de impressão de Feature Flag. Certifique-se de registrar uma impressão de Feature Flag sempre que um usuário vir ou puder ter visto o recurso que você está testando, mesmo que ele esteja no grupo de controle.

Para saber mais sobre o registro de impressões de Feature Flag, consulte Criando feature flags.

• web
• android

1
2
3
4
5
6
7

const featureFlag = braze.getFeatureFlag("my-new-feature");
braze.logFeatureFlagImpression("my-new-feature");
if (featureFlag?.enabled) {
   return <NewFeature />
} else {
   return <ExistingFeature />
}

1
2
3
4
5
6
7

FeatureFlag featureFlag = braze.getFeatureFlag("my-new-feature");
braze.logFeatureFlagImpression("my-new-feature");
if (featureFlag != null && featureFlag.getEnabled()) {
  return new NewFeature();
} else {
  return new ExistingFeature();
}

1
2
3
4
5
6
7

val featureFlag = braze.getFeatureFlag("my-new-feature")
braze.logFeatureFlagImpression("my-new-feature")
if (featureFlag?.enabled == true) {
  return NewFeature()
} else {
  return ExistingFeature()
}

Criando um experimento com Feature Flag

Etapa 1: Criar um experimento

1. Acesse Messaging > Campaigns e selecione + Create Campaign.
2. Selecione Feature Flag Experiment.
3. Dê à sua campanha um nome claro e significativo.

Etapa 2: Adicionar variantes do experimento

Em seguida, crie variações. Para cada variante, escolha a Feature Flag que deseja ativar ou desativar e revise as propriedades atribuídas.

Para testar o impacto do seu recurso, use variantes para dividir o tráfego em dois ou mais grupos. Nomeie um grupo como “Meu grupo de controle” e desative as Feature Flags dele.

Os experimentos com Feature Flag suportam até nove grupos no total: um grupo de controle e até oito variantes.

Etapa 3: Sobrescrever propriedades (opcional)

Você pode optar por sobrescrever as propriedades padrão que configurou inicialmente para os usuários que recebem uma variante de campanha específica.

Para editar, adicionar ou remover propriedades padrão adicionais, edite a própria Feature Flag em Messaging > Feature Flags. Quando uma variante está desativada, o SDK retorna um objeto de propriedades vazio para a Feature Flag correspondente.

Etapa 4: Escolher os usuários-alvo

Use um dos seus Segments ou filtros para escolher seus usuários-alvo. Por exemplo, você pode usar o filtro Received Feature Flag Variant para redirecionar usuários que já receberam um teste A/B.

Nota

A participação em Segments é calculada quando as Feature Flags são atualizadas para um determinado usuário. As alterações ficam disponíveis após o app atualizar as Feature Flags ou quando uma nova sessão é iniciada.

Etapa 5: Distribuir variantes

Escolha a distribuição percentual para o seu experimento. Como prática recomendada, você não deve alterar a distribuição após o lançamento do experimento.

Etapa 6: Atribuir conversões

A Braze permite que você acompanhe a frequência com que os usuários realizam ações específicas, chamadas eventos de conversão, após receberem uma campanha. Especifique uma janela de até 30 dias durante a qual uma conversão será contabilizada se o usuário realizar a ação especificada.

Etapa 7: Revisar e lançar

Após concluir a construção do seu experimento, revise os detalhes e selecione Launch Experiment.

Revisando os resultados

Após o término do seu experimento com Feature Flag, você pode revisar os dados de impressão do experimento. Acesse Messaging > Campaigns e selecione a campaign com seu experimento de Feature Flag.

Análise de dados da campaign

Campaign Analytics oferece uma visão geral de alto nível do desempenho do seu experimento, como:

• O número total de impressões
• O número de impressões únicas
• A taxa de conversão primária
• A receita total gerada pela mensagem
• O público estimado

Você também pode visualizar as configurações do experimento para entrega, público e conversão.

Desempenho do experimento com Feature Flag

Feature Flags Experiments Performance mostra o desempenho da sua mensagem em várias dimensões. As métricas específicas que você verá variam dependendo do canal de envio de mensagens escolhido e se você está executando um teste multivariante. Para ver os valores de Feature Flag associados a cada variante, selecione prévia.