Jornadas experimentais
As jornadas experimentais permitem testar múltiplas jornadas do Canvas entre si e contra um grupo de controle em qualquer ponto da jornada do usuário. Com esse componente, você pode acompanhar o desempenho de cada jornada para tomar decisões informadas sobre sua jornada no Canvas.
Quando você inclui uma etapa de jornada experimental na jornada do usuário, ela atribui aleatoriamente os usuários a diferentes jornadas (ou a um grupo de controle opcional) que você criar. Partes do público são atribuídas a diferentes jornadas de acordo com as porcentagens que você selecionar, permitindo testar diferentes mensagens ou jornadas entre si e determinar qual é a mais eficaz.
Pré-requisitos
Para usar jornadas experimentais, seu Canvas precisa incluir eventos de conversão. Não é possível adicionar eventos de conversão depois que um Canvas é lançado. Mas você pode clonar o Canvas lançado e adicionar eventos de conversão para usar jornadas experimentais.
Casos de uso
As jornadas experimentais são mais indicadas para testar entrega, cadência, texto da mensagem e combinações de canais.
- Entrega: Compare os resultados entre mensagens enviadas com diferentes postergações, com base em ações do usuário (jornadas de ação) e usando o Intelligent Timing.
- Cadência: Teste vários fluxos de envio de mensagens ao longo de um período específico. Por exemplo, você pode testar duas cadências de integração diferentes:
- Cadência 1: Enviar 2 mensagens nas 2 primeiras semanas do usuário
- Cadência 2: Enviar 3 mensagens nas 2 primeiras semanas do usuário
Ao direcionar usuários que estão se tornando inativos, você pode testar a eficácia de enviar duas mensagens de recuperação em uma semana em comparação com enviar apenas uma.
- Texto da mensagem: Assim como em um teste A/B padrão, você pode testar diferentes textos de mensagem para ver qual redação resulta em uma taxa de conversão maior.
- Combinações de canais: Teste a eficácia de diferentes combinações de canais de mensagem. Por exemplo, você pode comparar o impacto de usar apenas um e-mail com o de um e-mail combinado com um push.
Criando uma jornada experimental
Para criar um componente de Jornadas Experimentais, primeiro adicione uma etapa ao seu Canvas. Arraste e solte o componente da barra lateral ou selecione o botão de adição na parte inferior de uma etapa e selecione Jornadas Experimentais.
Na configuração padrão desse componente, há duas jornadas padrão, Jornada 1 e Jornada 2, com 50% do público enviado por cada jornada. Selecione o componente para expandir o painel Configurações do experimento e ver as opções de configuração do componente.
Etapa 1: Escolha o número de jornadas e a distribuição do público
Você pode adicionar até quatro jornadas selecionando Adicionar jornada e um grupo de controle opcional selecionando Adicionar um grupo de controle. Usando as caixas de porcentagem de cada jornada, você pode especificar a porcentagem do público que deve ir para cada jornada e para o grupo de controle. As porcentagens informadas precisam somar 100% para continuar. Se quiser definir rapidamente a mesma porcentagem para todas as jornadas disponíveis (e para o controle), selecione Distribuir jornadas uniformemente.
Também é possível escolher, em Comportamento do grupo de controle, se os usuários do grupo de controle devem continuar no Canvas ou sair após a janela de rastreamento de conversão. Se quiser, adicione uma descrição para explicar a outras pessoas o que essa jornada experimental pretende testar ou incluir informações adicionais que possam ser úteis.
Se a reelegibilidade do Canvas estiver ativada, os usuários que entrarem no Canvas e seguirem por uma jornada escolhida aleatoriamente seguirão pela mesma jornada novamente se se tornarem reelegíveis e entrarem de novo no Canvas. Isso mantém a validade do experimento e da análise de dados associada. Para randomizar a atribuição de jornada sempre que os usuários entrarem novamente, selecione Jornadas randomizadas nas Jornadas Experimentais. Essa opção não está disponível ao usar a Jornada vencedora.
Etapa 2: Ative a Jornada vencedora (opcional)
Para otimizar seu experimento, ative a Jornada vencedora. Inicialmente, a Jornada vencedora testa suas jornadas com parte do público. Depois que o experimento termina, a Braze envia os usuários restantes e subsequentes pela jornada com melhor desempenho.
As Jornadas personalizadas não estão disponíveis para novas etapas de Jornada experimental. As etapas existentes que usam Jornadas personalizadas continuam em execução.
Etapa 3: Crie as jornadas
Em seguida, monte suas jornadas posteriores. Selecione Concluído e volte ao criador de Canvas. Selecione o botão de adição abaixo de cada jornada para começar a criar jornadas usando as ferramentas habituais do Canvas como achar melhor e lance o Canvas quando estiver pronto.
Lembre-se de que as jornadas e suas etapas posteriores não podem ser removidas de um Canvas depois de criadas. No entanto, após o lançamento, você pode modificar a distribuição do público entre as jornadas como quiser. Por exemplo, se um dia após lançar um Canvas você concluir, com base na análise de dados, que uma jornada é superior às demais, pode definir essa jornada como 100% e as outras como 0%. Ou, dependendo das suas necessidades, pode continuar enviando usuários por várias jornadas.
Para evitar a contaminação do experimento, atualizar um Canvas ativo com um experimento de Jornada vencedora em andamento encerra o experimento. Isso se aplica mesmo que você não atualize a etapa de Jornada experimental. Para reiniciar o experimento, desconecte a Jornada experimental existente e lance uma nova, ou duplique o Canvas e lance a cópia. Não é possível ativar a Jornada vencedora em um Canvas já ativo com uma etapa de Jornada experimental.
Para saber mais, consulte Editar Canvas após o lançamento.
Rastreamento de desempenho
Na página Análise de dados do Canvas, selecione a Jornada experimental para abrir uma tabela detalhada idêntica à guia Analisar variantes. Com ela, você compara estatísticas detalhadas de desempenho e conversão entre as jornadas. Também é possível exportar a tabela em CSV e comparar as variações percentuais das métricas de interesse em relação à jornada ou ao controle que você selecionar.
Cada etapa de cada jornada exibe estatísticas na visualização de análise de dados do Canvas, assim como qualquer etapa do Canvas. No entanto, lembre-se de que a análise de dados de etapas individuais e a análise de dados da Jornada experimental medem as conversões de formas diferentes:
- Análise de dados da Jornada experimental: rastreia as conversões a partir do momento em que o usuário entra na etapa de Jornada experimental. Essa é a visualização recomendada para comparar o desempenho entre jornadas, porque todas elas têm o mesmo ponto de partida.
- Análise de dados de etapas individuais (como a análise de dados da etapa de Mensagem): rastreia as conversões a partir do momento em que o usuário recebe aquela etapa específica (por exemplo, quando a mensagem é enviada).
Como essas janelas de conversão têm pontos de partida diferentes, elas podem mostrar taxas de conversão diferentes para a mesma jornada, principalmente quando há postergações entre a etapa de experimento e uma mensagem posterior. Para a comparação mais confiável entre jornadas, use a análise de dados da Jornada experimental.
Desempenho da Jornada vencedora
Use a Jornada vencedora para rastrear o desempenho ao longo do tempo e enviar automaticamente os usuários subsequentes pela jornada com melhor desempenho. Se a Jornada vencedora estiver ativada, a análise de dados da Jornada experimental só fica disponível depois que o experimento for concluído. Para saber mais, consulte Análise de dados da Jornada vencedora.
A métrica vencedora e a análise de dados exibida nas Jornadas experimentais podem ser diferentes:
- O evento de conversão que você configura para a Jornada vencedora determina como a Braze compara as jornadas e seleciona uma vencedora durante a janela do experimento.
- A análise de dados da Jornada experimental continua seguindo a mesma estrutura de eventos de conversão do restante do Canvas, incluindo seu evento de conversão primária. Por isso, as métricas destacadas no dashboard podem não corresponder à métrica vencedora.
- Para push, Aberturas Diretas e Total de aberturas são diferentes. Para saber mais, consulte Aberturas por Influência.
Configurações adicionais
As Jornadas experimentais registram os usuários que entram em cada etapa e convertem enquanto estão na jornada atribuída. Isso rastreia todos os eventos de conversão especificados na configuração do Canvas. Na guia Configurações adicionais, informe por quantos dias (entre 1 e 30) você quer que esse experimento rastreie conversões. A janela de tempo especificada aqui determina por quanto tempo os eventos de conversão (escolhidos na configuração do Canvas) são rastreados para o experimento. As janelas de conversão por evento definidas na configuração do Canvas não se aplicam ao rastreamento dessa etapa e são substituídas por essa janela de conversão.
A janela de conversão começa quando o usuário entra na etapa de Jornada experimental, e não quando uma mensagem posterior é enviada. Se uma jornada incluir postergações, como uma etapa de Postergação ou o Intelligent Timing, essas postergações consomem parte da janela de conversão.
Se você usar o Intelligent Timing em uma etapa de Mensagem dentro de uma jornada experimental, o tempo entre a entrada no experimento e o envio real da mensagem reduz a janela de conversão efetiva dessa jornada. Por exemplo, se o experimento tiver uma janela de conversão de 5 dias e o Intelligent Timing postergar a mensagem em 2 dias, os usuários dessa jornada terão apenas 3 dias após receber a mensagem para converter dentro da janela do experimento, mesmo que a análise de dados da própria etapa de Mensagem rastreie as conversões a partir do envio da mensagem.
Para obter uma análise de dados de experimento mais clara, coloque as postergações (como etapas de Postergação) antes da etapa de Jornada experimental, e não dentro de uma jornada experimental. Assim, todas as jornadas começam do mesmo ponto e as postergações não consomem nenhuma parte da janela de conversão.
Perguntas frequentes
Por que os envios diferem entre as jornadas quando a divisão do experimento parece equilibrada?
Os Envios posteriores dependem das etapas, postergações, elegibilidade de canal e conteúdo de cada jornada, e não apenas da porcentagem de divisão na Jornada experimental. Por exemplo, postergações diferentes, horários de envio inteligentes ou o status de inscrição podem mudar quantos usuários recebem uma mensagem, mesmo quando a atribuição das jornadas foi equilibrada. Para comparar os resultados das jornadas, use a análise de dados da Jornada experimental. Ela mede as conversões a partir de um ponto de entrada comum.
Quanto tempo dura a janela de conversão do experimento?
A janela de conversão em Configurações adicionais (de 1 a 30 dias) começa quando o usuário entra na etapa de Jornada experimental. O tempo gasto em etapas de Postergação posteriores ou aguardando o Intelligent Timing conta dentro dessa janela. Para saber mais, consulte Rastreamento de desempenho.