FAQ sobre testes multivariantes e Testes A/B

Este artigo aborda perguntas frequentes sobre testes multivariantes e Testes A/B com a Braze.

Conceitos básicos de testes

Qual é a diferença entre Testes A/B e testes multivariantes?

Testes A/B

Nos Testes A/B, o profissional de marketing experimenta uma única variável dentro da campanha (como o assunto do e-mail ou o horário de envio da mensagem). Isso envolve dividir aleatoriamente um subconjunto do público em dois ou mais grupos, apresentar a cada grupo uma variação diferente e observar qual variação apresenta a maior taxa de conversão. Normalmente, a variação com melhor performance é enviada em seguida para o restante do público.

Testes multivariantes

Os testes multivariantes são uma extensão dos Testes A/B, que permitem ao profissional de marketing testar múltiplas variáveis ao mesmo tempo para determinar a combinação mais eficaz. Por exemplo, você pode testar o assunto do seu e-mail, a imagem que acompanha o texto e a cor do botão de CTA. Esse tipo de teste permite explorar mais variáveis e combinações de variações em um único experimento, obtendo insights de forma mais rápida e abrangente do que os Testes A/B. No entanto, testar mais variáveis e combinações em um único experimento exige um público maior para alcançar significância estatística.

Como os resultados dos Testes A/B são calculados?

A Braze testa todas as variantes entre si usando testes qui-quadrado de Pearson, que medem se uma variante supera estatisticamente todas as outras em um nível de significância de p < 0,05, ou o que chamamos de significância de 95%. Entre todas as variantes que excedem esse limite de significância, a variante com melhor performance é determinada como a “vencedora”.

Esse é um teste separado do intervalo de confiança, que descreve apenas a performance de uma variante em comparação com o controle, com um valor numérico entre 0 e 100%. Especificamente, ele representa nossa confiança de que a diferença padronizada na taxa de conversão entre a variante e o controle é significativamente maior do que o acaso.

Por que a distribuição de variantes não é uniforme?

A atribuição de variantes é aleatória em cada envio, então a divisão real pode não corresponder exatamente às porcentagens configuradas — especialmente com amostras menores. Para saber mais, consulte Distribuição de variantes.

Execução e conclusão de testes

Quando o teste inicial termina?

Ao usar a Variante Vencedora para campanhas de envio único, o teste termina quando o Horário de Envio da Variante Vencedora chega. A Braze considerará uma variante como vencedora se ela apresentar a maior taxa de conversão com uma margem estatisticamente significativa.

Para campanhas recorrentes, baseadas em ação e disparadas por API, você pode usar a Seleção inteligente para acompanhar continuamente os dados de performance de cada variante e otimizar continuamente o tráfego da campanha para as variantes com melhor performance. Com a Seleção inteligente, em vez de definir explicitamente um grupo experimental onde os usuários recebem variantes aleatórias, o algoritmo da Braze refinará continuamente sua estimativa da variante com melhor performance, permitindo potencialmente uma seleção mais rápida da melhor opção.

Como a Braze lida com usuários que receberam uma variante de mensagem em uma campanha recorrente ou etapa de entrada do Canvas?

Os usuários são atribuídos aleatoriamente a uma variante específica antes de receber a campanha pela primeira vez. Cada vez que a campanha é recebida novamente (ou o usuário reentra em uma variante do Canvas), eles recebem a mesma variante, a menos que as porcentagens das variantes sejam modificadas. Se as porcentagens das variantes mudarem, os usuários podem ser redistribuídos para outras variantes. Os usuários permanecem nessas variantes até que as porcentagens sejam modificadas novamente. Os usuários são redistribuídos apenas para as variantes que foram editadas.

Por exemplo, digamos que temos uma campanha ou Canvas com três variantes. Se apenas a Variante A e a Variante B forem alteradas ou atualizadas, os usuários da Variante C não serão redistribuídos porque a porcentagem da Variante C não foi alterada. Os grupos de controle permanecem consistentes se a porcentagem da variante não for alterada. Usuários que receberam mensagens anteriormente não podem entrar no grupo de controle em um envio posterior, e nenhum usuário no grupo de controle pode receber uma mensagem.

E quanto às Jornadas do experimento?

O mesmo se aplica, pois as jornadas do Canvas que seguem um experimento também são variantes.

Posso tomar ações para redistribuir usuários em campanhas e Canvas?

A única maneira de redistribuir usuários em Canvas é usar Jornadas Aleatórias nas Jornadas do Experimento, que sempre randomizará as atribuições de jornada quando os usuários reentrarem no Canvas. No entanto, isso não é um experimento padrão e pode invalidar quaisquer resultados do experimento, pois o grupo de controle pode ser contaminado com usuários do grupo de tratamento.

Intervalo de confiança e viés

O intervalo de confiança aumenta com o tempo?

O intervalo de confiança aumenta com o tempo se todas as outras condições permanecerem constantes. Manter constante significa que não há outros fatores de marketing que possam influenciar as variantes, como a Variante A mencionando uma promoção de 25% de desconto que termina no meio do teste.

O intervalo de confiança é uma medida de quão confiante a Braze está de que a variante é diferente do controle. À medida que mais mensagens são enviadas, o poder estatístico do teste aumenta, o que eleva o intervalo de confiança de que as diferenças medidas na performance não se devem ao acaso. Geralmente, uma amostra maior aumenta nossa confiança em identificar diferenças menores na performance entre variantes e controle.

A atribuição de grupos de controle e teste pode introduzir viés nos testes?

Não há uma maneira prática pela qual os atributos ou comportamentos de um usuário antes da criação de uma campanha ou Canvas específico possam variar sistematicamente entre variantes e controle.

Para atribuir usuários a variantes de mensagem, variantes do Canvas ou seus respectivos grupos de controle, começamos vinculando o ID de usuário gerado aleatoriamente ao ID da campanha ou Canvas gerado aleatoriamente. Em seguida, aplicamos um algoritmo de hash sha256 e dividimos o resultado por 100, mantendo o resto (também conhecido como módulo de 100). Por fim, ordenamos os usuários em fatias que correspondem às porcentagens de atribuição para variantes (e controle opcional) escolhidas no dashboard.

Por que não posso usar limite de taxa com um grupo de controle?

Atualmente, a Braze não oferece suporte a limite de taxa com Testes A/B que possuem um grupo de controle. Isso ocorre porque o limite de taxa não se aplica ao grupo de controle da mesma forma que às variantes, introduzindo viés. Em vez disso, considere usar a Seleção inteligente, que ajusta automaticamente a porcentagem de usuários que receberão cada variante com base na análise de dados e na performance da campanha.