Seleção inteligente

A Seleção inteligente é um recurso que analisa o desempenho de uma Campaign recorrente ou do Canvas duas vezes por dia e ajusta automaticamente a porcentagem de usuários que recebem cada variante de mensagem.

Pré-requisitos

• campaign
• canvas

Sobre a Seleção inteligente

Uma variante que pareça ter um desempenho melhor do que outras será enviada a mais usuários, enquanto as variantes com desempenho inferior serão direcionadas a menos usuários. Cada ajuste é feito usando um algoritmo estatístico que garante que a Braze está ajustando para diferenças reais de desempenho e não apenas por acaso.

A Seleção inteligente irá:

• Examinar repetidamente os dados de desempenho e mudar gradualmente o tráfego da Campaign para as variantes vencedoras.
• Verificar se mais usuários recebem sua variante de melhor desempenho sem sacrificar a confiança estatística.
• Excluir as variantes de baixo desempenho e identificar as variantes de alto desempenho mais rapidamente do que em um teste A/B tradicional.
• Testar com mais frequência e com mais confiança de que seus usuários verão sua melhor mensagem.

A Seleção inteligente funciona melhor para Campaigns que enviam mais de uma vez. Ela precisa de dados de desempenho iniciais para começar a otimizar, então Campaigns de envio único não se beneficiarão. Para essas Campaigns, recomendamos usar um teste A/B tradicional.

Você pode adicionar a Seleção inteligente às suas Campaigns e Canvas.

• campaign
• canvas

A Seleção inteligente pode ser adicionada a qualquer Campaign de múltiplos envios na etapa Público-alvo do criador de Campaigns da Braze. Campaigns que enviam apenas uma vez não podem aproveitar esse recurso.

Nota

A Seleção inteligente não pode ser usada em Campaigns com um período de reelegibilidade de menos de 24 horas, pois isso afetaria a integridade da variante de controle. Para saber mais, consulte FAQ de Inteligência.

Adicione pelo menos um evento de conversão e duas variantes ao seu Canvas. Em seguida, selecione uma das porcentagens de variante na etapa de Construção.

Isso permite que você edite a distribuição de variantes e ative a Seleção inteligente.

A Seleção inteligente não estará disponível se você ainda não tiver adicionado eventos de conversão ao seu Canvas ou se sua Campaign for composta de uma única variante.

Tempo de execução

Para Campaigns e Canvas, a Seleção inteligente será executada até reunir evidências suficientes sobre as taxas de conversão “verdadeiras” das variantes. O “suficiente” é determinado por uma métrica especial chamada “arrependimento”. Você pode pensar nisso como algo semelhante ao intervalo de confiança, pois a Seleção inteligente será desativada quando houver dados suficientes para saber qual é a melhor variante.

Na maioria dos casos, a Seleção inteligente escolherá uma das variantes como a variante vencedora. Essa variante receberá 100% do público para envios futuros.

Nota

É possível que a Seleção inteligente pare de otimizar sem escolher um único vencedor claro. A Seleção inteligente interrompe a otimização quando tem 95% de confiança de que a continuação do experimento não melhorará a taxa de conversão em mais de 1% da taxa atual.

Distribuição de variantes da Seleção inteligente

A Seleção inteligente baseia sua distribuição de variantes no status atual das conversões da Campaign. Ela só determina as distribuições finais após o período de treinamento.

Isso significa que, durante as fases iniciais da Campaign, tanto as seleções inteligentes de 99% quanto de 1% podem receber envios aproximadamente iguais, mas as porcentagens finais para alocação de variantes podem ser definidas em 99%—1%.

Se você não quiser que a Seleção inteligente envie 50/50 durante as fases iniciais da Campaign, recomendamos usar um teste A/B tradicional com variantes fixas.

Perguntas frequentes

Por que a reelegibilidade em menos de 24 horas não está disponível quando combinada com a Seleção inteligente?

Não permitimos que Campaigns com Seleção inteligente tenham reelegibilidade em um período muito curto, pois isso afetaria a integridade da variante de controle. Ao criar um intervalo de 24 horas, ajudamos a garantir que o algoritmo tenha um conjunto de dados estatisticamente válido para trabalhar.

Normalmente, Campaigns com reelegibilidade farão com que os usuários entrem novamente na mesma variante que receberam antes. Com a Seleção inteligente, a Braze não pode garantir que um usuário receberá a mesma variante de Campaign, porque a distribuição de variantes teria mudado devido ao aspecto de alocação ideal desse recurso. Se o usuário pudesse entrar novamente antes de a Seleção inteligente reexaminar o desempenho da variante, os dados poderiam ser distorcidos por causa dos usuários que reentraram.

Por exemplo, se uma Campaign estiver usando estas variantes:

• Variante A: 20%
• Variante B: 20%
• Controle: 60%

Então, a distribuição de variantes poderia ser a seguinte para a segunda rodada:

• Variante A: 15%
• Variante B: 25%
• Controle: 60%

Por que minhas variantes da Seleção inteligente estão mostrando envios iguais durante os estágios iniciais da minha Campaign?

A Seleção inteligente aloca variantes para envio com base no status atual da conversão da Campaign. Ela só determina as alocações finais de variantes após um período de treinamento, em que os envios são feitos de forma homogênea entre as variantes. Se não quiser que a Seleção inteligente envie uniformemente durante os estágios iniciais da sua Campaign, use variantes fixas para um teste A/B tradicional.

A Seleção inteligente deixará de otimizar sem escolher um vencedor claro?

A Seleção inteligente interromperá a otimização quando tiver 95% de confiança de que a continuação do experimento não melhorará a taxa de conversão em mais de 1% da taxa atual.

Por que não consigo ativar a Seleção inteligente na minha Campaign ou no meu Canvas (opção acinzentada)?

A Seleção inteligente não estará disponível se:

• Você não adicionou eventos de conversão à sua Campaign ou ao Canvas
• Você está criando uma Campaign de envio único
• A reelegibilidade está ativada com uma janela de menos de 24 horas
• Seu Canvas é composto por uma única variante, sem variantes adicionais ou grupos de controle adicionados
• Seu Canvas é composto por um único grupo de controle, sem variantes adicionadas