Criar testes multivariantes e testes A/B
Você pode criar um teste multivariante ou teste A/B para qualquer Campaign que tenha como alvo um único canal. Por exemplo, se quiser usar testes multivariantes ou testes A/B para uma Campaign de push, você pode segmentar dispositivos iOS e Android na mesma Campaign.
Etapa 1: Crie sua campanha
- Acesse Messaging > Campaigns.
- Selecione Create campaign e escolha um canal na seção que permite testes multivariantes e testes A/B. Para ver a documentação detalhada de cada canal de envio de mensagens, consulte Criar uma campanha.
Etapa 2: Crie suas variantes
Você pode criar até oito variantes da sua mensagem, com diferenças de título, conteúdo, imagens e muito mais. A quantidade de diferenças entre as mensagens define se o teste é multivariante ou A/B. Um teste A/B avalia o efeito de alterar uma única variável. Já um teste multivariante avalia duas ou mais.
Para ter ideias de como começar a diferenciar suas variantes, consulte Dicas para diferentes canais.
Etapa 3: Agende sua campanha
O agendamento da sua campanha multivariante funciona da mesma forma que o de qualquer outra campanha da Braze. Todos os tipos de entrega padrão estão disponíveis.
Depois que um teste multivariante começa, não é possível fazer alterações na campanha. Se você alterar os parâmetros, como a linha de assunto ou o corpo do HTML, a Braze considera o experimento comprometido e o desativa imediatamente.
Para otimizar suas variantes automaticamente, consulte Otimização de testes A/B com BrazeAI. Campanhas de envio único e de envio múltiplo usam métodos e requisitos de otimização diferentes.
Etapa 4: Escolha um Segment e distribua seus usuários entre as variantes
Selecione os Segments que você quer segmentar e, em seguida, distribua os membros entre as variantes selecionadas e o grupo de controle opcional. Para conhecer as práticas recomendadas na escolha de um Segment para o teste, consulte Escolhendo um Segment.
Nas Campaigns compatíveis, ative Optimize with BrazeAITM para otimizar automaticamente a distribuição das variantes. Em uma Campaign com vários envios, a BrazeAITM ajusta a distribuição ao longo do tempo.
Em uma Campaign de envio único, a Braze reserva parte do público para um segundo envio otimizado. Essa parcela aparece como Holdout Group na distribuição das variantes. Para entender a diferença em relação a um grupo de controle, consulte Grupo de holdout versus grupo de controle.
Grupo de controle
Você pode reservar uma porcentagem do público-alvo para um grupo de controle aleatório. Os usuários do grupo de controle não recebem o teste, mas a Braze monitora a taxa de conversão deles durante toda a Campaign.
Ao visualizar os resultados, você pode comparar as taxas de conversão das suas variantes com uma taxa de conversão de referência fornecida pelo grupo de controle. Assim, é possível comparar os efeitos das variantes entre si e também com a taxa de conversão que você teria se não enviasse nenhuma mensagem.
Não recomendamos usar um grupo de controle ao determinar a vencedora por Aberturas ou Cliques. Como o grupo de controle não recebe a mensagem, esses usuários não podem realizar aberturas nem cliques. Portanto, a taxa de conversão desse grupo é 0% por definição e não oferece uma comparação significativa com as variantes.
Grupos de controle e testes A/B
Ao usar limite de frequência em um teste A/B, o limite não é aplicado ao grupo de controle da mesma forma que ao grupo de teste, o que pode gerar viés de tempo. Use janelas de conversão adequadas para evitar esse viés.
Grupos de controle com Optimize with BrazeAITM
Em uma Campaign com vários envios usando Optimize with BrazeAITM, o tamanho inicial do grupo de controle depende do número de variantes. Se cada variante receber mais de 20% dos usuários, o grupo de controle começa com 20%, e as variantes dividem igualmente os 80% restantes. Com mais variantes, o grupo de controle começa menor. À medida que a BrazeAI analisa o desempenho, o grupo de controle pode aumentar ou diminuir.
Grupo de holdout versus grupo de controle
Em uma Campaign de envio único com Optimize with BrazeAITM ativado, o grupo de holdout e o grupo de controle têm finalidades diferentes:
- Grupo de holdout: Recebe a variante vencedora depois que o experimento termina. Se a Braze não conseguir determinar uma variante vencedora, o grupo de holdout não recebe mensagem.
- Grupo de controle: Não recebe mensagem. A Braze usa a taxa de conversão dele como referência para medir o aumento.
Por exemplo, com 25% para a variante A, 25% para a variante B e 50% para o grupo de holdout, todo o público recebe uma mensagem quando a variante vencedora é enviada. Se você adicionar um grupo de controle de 10%, no máximo 90% do público recebe uma mensagem.
Etapa 5: Designe um evento de conversão (opcional)
Definir um evento de conversão para uma campanha permite ver quantos destinatários dessa campanha realizaram uma determinada ação depois de recebê-la.
Isso só afeta o teste se você escolheu Taxa de conversão primária nas etapas anteriores. Para saber mais, consulte Eventos de conversão.
Etapa 6: Revise e lance
Na página de confirmação, revise os detalhes da sua campanha multivariante e lance o teste! Em seguida, saiba como entender os resultados do seu teste.
Informações importantes
Se o seu experimento já começou a ser enviado e você editar a mensagem, o experimento é invalidado e todos os resultados dele são removidos.
- Para evitar qualquer interferência no comportamento esperado do experimento, recomendamos não editar a mensagem na primeira hora após o lançamento da Campaign do experimento.
- Se o seu experimento já foi concluído e você editar a mensagem depois do envio, os resultados do experimento continuam disponíveis na análise de dados do dashboard. Porém, se você relançar a Campaign, os resultados do experimento são removidos.
Dicas para diferentes canais
Dependendo do canal selecionado, você pode testar diferentes componentes da sua mensagem. Por exemplo, tente compor variantes já sabendo o que você quer testar e o que espera comprovar. Quais alavancas você tem à disposição e quais são os efeitos desejados? Existem milhões de possibilidades para investigar com um teste multivariante e A/B, mas temos algumas sugestões para você começar:
| Canal | Aspectos da mensagem que você pode alterar | Resultados a observar |
|---|---|---|
| Push | Texto Uso de imagens e emojis Deep links Apresentação de números (por exemplo, “triplicar” versus “aumentar em 200%”) Apresentação de tempo (por exemplo, “termina à meia-noite” versus “termina em 6 horas”) |
Aberturas Taxa de conversão |
| Assunto Nome de exibição Saudação Texto do corpo Uso de imagens e emojis Apresentação de números (por exemplo, “triplicar” versus “aumentar em 200%”) Apresentação de tempo (por exemplo, “termina à meia-noite” versus “termina em 6 horas”) |
Aberturas Taxa de conversão |
|
| Mensagem no app | Aspectos listados para “push” Especificações de imagem para mensagens no app |
Cliques Taxa de conversão |
Ao realizar testes A/B, não se esqueça de gerar relatórios de funil para entender como cada variante impactou seu funil de conversão, principalmente se a “conversão” para sua empresa envolver várias etapas ou ações.
Além disso, a duração ideal do seu teste também pode variar de acordo com o canal. Leve em conta o tempo médio que a maioria dos usuários pode levar para interagir com cada canal.
Por exemplo, se você estiver testando um push, talvez consiga resultados significativos mais rápido do que ao testar um e-mail. Isso porque os usuários veem os pushes imediatamente, mas podem levar dias para ver ou abrir um e-mail. Se você estiver testando mensagens no app, lembre-se de que os usuários precisam abrir o app para ver a Campaign. Então, é melhor esperar mais tempo para coletar resultados tanto dos usuários que abrem o app com mais frequência quanto dos usuários mais típicos.
Se não tiver certeza de quanto tempo seu teste deve durar, o recurso Otimizar com BrazeAITM pode configurar e executar a otimização automaticamente.
Escolhendo um Segment
Como diferentes Segments de usuários podem responder de formas diferentes às mensagens, o sucesso de uma mensagem específica diz algo tanto sobre a mensagem em si quanto sobre o Segment-alvo. Portanto, tente criar o teste tendo seu Segment-alvo em mente.
Por exemplo, usuários ativos podem ter taxas de resposta iguais para “Esta oferta expira amanhã!” e “Esta oferta expira em 24 horas!”. Já usuários que não abrem o app há uma semana podem responder melhor à segunda opção, já que ela cria um senso de urgência maior.
Além disso, ao escolher em qual Segment executar o teste, verifique se o tamanho desse Segment é grande o suficiente. Em geral, testes multivariantes e A/B com mais variantes exigem um grupo de teste maior para alcançar resultados estatisticamente significativos. Isso acontece porque, com mais variantes, menos usuários veem cada variante individual.
Como referência, você provavelmente vai precisar de cerca de 15.000 usuários por variante (incluindo o controle) para alcançar 95% de confiança nos resultados do teste. Porém, o número exato de usuários necessário pode ser maior ou menor, dependendo do seu caso. Para uma orientação mais precisa sobre o tamanho da amostra das variantes, consulte uma calculadora de tamanho de amostra.
Viés e randomização
Uma dúvida comum sobre a atribuição de grupos de controle e de teste é se eles podem introduzir viés nos testes. Outras pessoas às vezes se perguntam como sabemos se essas atribuições são realmente aleatórias.
Os usuários são atribuídos às variantes de mensagem, às variantes do Canvas ou aos respectivos grupos de controle da seguinte forma: concatenamos o ID do usuário (gerado aleatoriamente) com o ID da Campaign ou do Canvas (também gerado aleatoriamente), calculamos o módulo desse valor por 100 e, então, organizamos os usuários em fatias que correspondem às porcentagens de atribuição das variantes e do controle opcional escolhidas no dashboard. Portanto, não há nenhuma forma prática de o comportamento dos usuários antes da criação de uma Campaign ou Canvas variar sistematicamente entre as variantes e o controle. Também não é viável ser mais aleatório (ou, mais precisamente, pseudoaleatório) do que essa implementação.
Erros a evitar
Há alguns erros comuns que podem criar a aparência de diferenças com base no canal de envio de mensagens, caso os públicos não sejam filtrados corretamente.
Por exemplo, se você enviar uma mensagem push para um público amplo com um grupo de controle, o grupo de teste envia mensagens apenas para usuários com token por push. Porém, o grupo de controle inclui tanto usuários que têm token por push quanto usuários que não têm. Nesse caso, o público inicial da Campaign ou do Canvas precisa filtrar por usuários com token por push (Foreground Push Enabled é true). O mesmo deve ser feito para a elegibilidade de recebimento de mensagens em outros canais: ter feito opt-in, ter token por push ou estar inscrito.
Observe que, se uma variante de controle não tiver nenhuma etapa do Canvas, os eventos de critérios de saída não são registrados para os usuários dessa variante de controle.
Se você usa manualmente números de bucket aleatórios para grupos de controle, confira os pontos de atenção nos seus grupos de controle.