Jornadas do experimento
As Jornadas do experimento permitem testar múltiplas jornadas do Canvas entre si e contra um grupo de controle em qualquer ponto da jornada do usuário. Com esse componente, você pode acompanhar o desempenho de cada jornada para tomar decisões informadas sobre sua jornada no Canvas.
Quando você inclui uma etapa de Jornadas do experimento na jornada do usuário, ela atribui aleatoriamente os usuários a diferentes jornadas (ou a um grupo de controle opcional) que você criar. Partes do público serão atribuídas a diferentes jornadas de acordo com as porcentagens que você selecionar, permitindo testar diferentes mensagens ou jornadas entre si e determinar qual é a mais eficaz.
Pré-requisitos
Para usar jornadas experimentais, seu Canvas deve incluir eventos de conversão. Embora não seja possível adicionar eventos de conversão após o lançamento de um Canvas, você pode clonar o Canvas já lançado e adicionar eventos de conversão para incluir jornadas experimentais.
Casos de uso
As jornadas experimentais são mais adequadas para testar entrega, cadência, texto da mensagem e combinações de canais.
- Entrega: Compare os resultados entre mensagens enviadas com diferentes postergações de tempo, com base em ações do usuário (jornadas de ação) e usando Intelligent Timing.
- Cadência: Teste vários fluxos de envio de mensagens durante um período específico. Por exemplo, você pode testar duas cadências de integração diferentes:
- Cadência 1: Enviar 2 mensagens nas primeiras 2 semanas do usuário
- Cadência 2: Enviar 3 mensagens nas primeiras 2 semanas do usuário
Ao direcionar usuários inativos, você pode testar a eficácia de enviar duas mensagens de recuperação em uma semana em comparação com enviar apenas uma.
- Texto da mensagem: Semelhante a um teste A/B padrão, você pode testar diferentes textos de mensagem para ver qual redação resulta em uma taxa de conversão mais alta.
- Combinações de canais: Teste a eficácia de diferentes combinações de canais de mensagem. Por exemplo, você pode comparar o impacto de usar apenas um e-mail em comparação com um e-mail combinado com um push.
Criando uma jornada experimental
Para criar um componente de jornadas experimentais, primeiro adicione uma etapa ao seu Canvas. Arraste e solte o componente da barra lateral ou clique no botão de adição na parte inferior de uma etapa e selecione Experiment Paths.
Na configuração padrão desse componente, existem duas jornadas padrão, Path 1 e Path 2, com 50% do público sendo enviado por cada jornada. Clique no componente para expandir o painel Experiment Settings, e você verá as opções de configuração do componente.
Etapa 1: Escolher o número de jornadas e a distribuição do público
Você pode adicionar até quatro jornadas clicando em Add Path e um grupo de controle opcional marcando Add a Control Group. Usando as caixas de porcentagem de cada jornada, você pode especificar a porcentagem do público que deve seguir por cada jornada e pelo grupo de controle. As porcentagens fornecidas devem somar 100% para prosseguir. Se quiser definir rapidamente todas as jornadas disponíveis (e o controle) com a mesma porcentagem, clique em Distribute Paths Evenly.
Você também pode escolher se os usuários no grupo de controle devem continuar no Canvas ou sair após a janela de rastreamento de conversão em Control Group Behavior. Opcionalmente, você pode adicionar uma descrição para explicar a outras pessoas o que essa jornada experimental pretende testar ou incluir informações adicionais que possam ser úteis.
Se a reelegibilidade do Canvas estiver ativada, os usuários que entrarem no Canvas e seguirem por uma jornada escolhida aleatoriamente seguirão pela mesma jornada novamente se se tornarem reelegíveis e reentrarem no Canvas. Isso mantém a validade do experimento e das análises associadas. Para randomizar a atribuição de jornadas cada vez que os usuários reentrarem, selecione Randomized Paths in Experiment Paths. Essa opção não está disponível ao usar a Jornada vencedora.
Etapa 2: Ativar a Jornada vencedora (opcional)
Para otimizar seu experimento, ative a Jornada vencedora. A Jornada vencedora testa inicialmente suas jornadas com parte do público. Após o término do experimento, a Braze envia os usuários restantes e subsequentes pela jornada com melhor desempenho.
As jornadas personalizadas não estão disponíveis para novas etapas de jornada experimental. As etapas existentes que usam jornadas personalizadas continuam funcionando.
Etapa 3: Criar jornadas
Por fim, você deve construir suas jornadas subsequentes. Selecione Done e retorne ao construtor de Canvas. Clique no botão de adição abaixo de cada jornada para começar a criar percursos usando as ferramentas habituais do Canvas como preferir, e lance o Canvas quando estiver pronto.
Tenha em mente que as jornadas e suas etapas subsequentes não podem ser removidas de um Canvas após serem criadas. No entanto, após o lançamento, você pode modificar a distribuição do público entre as jornadas como preferir. Por exemplo, se um dia após o lançamento de um Canvas, você concluir que uma jornada é superior às demais com base nas análises, pode definir essa jornada para 100% e as outras para 0%. Ou, dependendo das suas necessidades, pode continuar enviando usuários por múltiplas jornadas.
Para evitar a contaminação do experimento, atualizar um Canvas ativo com um experimento de Jornada vencedora em andamento encerra o experimento. Isso se aplica mesmo que você não atualize a etapa da jornada experimental. Para reiniciar o experimento, desconecte a jornada experimental existente e lance uma nova, ou duplique o Canvas e lance a duplicata. Não é possível ativar a Jornada vencedora para um Canvas já ativo com uma etapa de jornada experimental.
Para saber mais, consulte Editando Canvas após o lançamento.
Rastreamento de desempenho
Na página Canvas Analytics, selecione a jornada experimental para abrir uma tabela detalhada idêntica à guia Analyze Variants, que permite comparar estatísticas detalhadas de desempenho e conversão entre as jornadas. Você também pode exportar a tabela em CSV e comparar as variações percentuais das métricas de interesse em relação à jornada ou ao controle selecionado.
Cada etapa em cada jornada exibe estatísticas na visualização do Canvas Analytics, assim como qualquer etapa do Canvas. No entanto, tenha em mente que a análise de dados de etapas individuais e a análise de dados da jornada experimental medem conversões de maneiras diferentes:
- A análise de dados da jornada experimental rastreia conversões a partir do momento em que o usuário entra na etapa da jornada experimental. Essa é a visualização recomendada para comparar o desempenho entre jornadas, pois todas compartilham o mesmo ponto de partida.
- A análise de dados de etapas individuais (como a análise de dados de uma etapa de mensagem) rastreia conversões a partir do momento em que o usuário recebe essa etapa específica (por exemplo, quando a mensagem é enviada).
Como essas janelas de conversão têm pontos de partida diferentes, elas podem apresentar taxas de conversão distintas para a mesma jornada, especialmente quando há postergações entre a etapa do experimento e uma mensagem posterior. Para a comparação mais confiável entre jornadas, use a análise de dados da jornada experimental.
Desempenho da jornada vencedora
Use a Jornada vencedora para rastrear o desempenho ao longo do tempo e enviar automaticamente os usuários subsequentes pela jornada com melhor desempenho. Para saber mais, consulte Análise de dados da jornada vencedora.
A métrica vencedora e a análise de dados exibida nas jornadas experimentais podem ser diferentes:
- O evento de conversão configurado para a Jornada vencedora determina como a Braze compara as jornadas e seleciona uma vencedora durante a janela do experimento.
- A análise de dados da jornada experimental segue a mesma estrutura de eventos de conversão do Canvas que o restante do Canvas, incluindo o evento de conversão primária. Por isso, as métricas destacadas no dashboard podem não coincidir com a métrica vencedora.
- Para push, Aberturas Diretas e Aberturas Totais são diferentes. Para saber mais, consulte Aberturas por Influência.
Configurações adicionais
As jornadas experimentais registram os usuários que entram em cada etapa e convertem enquanto estão na jornada atribuída. Isso rastreia todos os eventos de conversão especificados na configuração do Canvas. Na guia Additional Settings, insira quantos dias (entre 1 e 30) você deseja que esse experimento rastreie conversões. A janela de tempo especificada aqui determina por quanto tempo os eventos de conversão (escolhidos na configuração do Canvas) são rastreados para o experimento. As janelas de conversão por evento especificadas na configuração do Canvas não se aplicam ao rastreamento dessa etapa e são substituídas por essa janela de conversão.
A janela de conversão começa quando o usuário entra na etapa da jornada experimental, e não quando uma mensagem posterior é enviada. Se uma jornada incluir postergações — como uma etapa de postergação ou Intelligent Timing — essas postergações consomem parte da janela de conversão.
Se você estiver usando Intelligent Timing em uma etapa de mensagem dentro de uma jornada experimental, o tempo entre a entrada no experimento e o envio real da mensagem reduz a janela de conversão efetiva para essa jornada. Por exemplo, se o seu experimento tem uma janela de conversão de 5 dias e o Intelligent Timing atrasa a mensagem em 2 dias, os usuários nessa jornada terão apenas 3 dias após receber a mensagem para converter dentro da janela do experimento — mesmo que a análise de dados da própria etapa de mensagem rastreie conversões a partir do momento do envio da mensagem.
Para obter uma análise de dados do experimento mais limpa, coloque quaisquer postergações (como etapas de postergação) antes da etapa da jornada experimental, e não dentro de uma jornada experimental. Dessa forma, todas as jornadas começam do mesmo ponto e as postergações não consomem nenhuma parte da janela de conversão.
Perguntas frequentes
Por que os envios diferem entre as jornadas quando a divisão do experimento parece equilibrada?
Os Envios posteriores dependem das etapas, postergações, elegibilidade de canal e conteúdo de cada jornada, e não apenas da divisão percentual na jornada experimental. Por exemplo, postergações diferentes, horários de envio inteligente ou status de inscrição podem alterar a quantidade de usuários que recebem uma mensagem, mesmo quando a atribuição de jornada estava equilibrada. Para comparar os resultados das jornadas, use a análise de dados da jornada experimental, que mede as conversões a partir de um ponto de entrada comum.
Quanto tempo dura a janela de conversão do experimento?
A janela de conversão em Configurações adicionais (de 1 a 30 dias) começa quando o usuário entra na etapa da jornada experimental. O tempo gasto em etapas de postergação posteriores ou aguardando o Intelligent Timing é contabilizado dentro dessa janela. Consulte Rastreamento de desempenho para mais detalhes.