Recorridos de experimentos
Los recorridos de experimentos te permiten probar múltiples rutas de Canvas entre sí y contra un grupo de control en cualquier punto del recorrido del usuario. Con este componente, puedes hacer seguimiento del rendimiento de las rutas para tomar decisiones informadas sobre tu recorrido en Canvas.
Cuando incluyes un paso de recorrido de experimentos en tu recorrido de usuario, este asigna aleatoriamente a los usuarios a diferentes rutas (o a un grupo de control opcional) que tú crees. Se asignan porciones de la audiencia a diferentes rutas según los porcentajes que selecciones, lo que te permite probar diferentes mensajes o rutas entre sí y determinar cuál es más efectiva.
Requisitos previos
Para usar los recorridos de experimentos, tu Canvas debe incluir eventos de conversión. Aunque no puedes añadir eventos de conversión después de lanzar un Canvas, puedes clonar el Canvas lanzado y añadir eventos de conversión para agregar recorridos de experimentos.
Ejemplos
Los recorridos de experimentos son ideales para probar la entrega, la cadencia, el texto del mensaje y las combinaciones de canales.
- Entrega: Compara los resultados entre mensajes enviados con distintos retrasos, según las acciones de los usuarios (Rutas de Acción) y utilizando la sincronización inteligente.
- Cadencia: Prueba varios flujos de mensajería durante un periodo concreto. Por ejemplo, podrías probar dos cadencias de incorporación diferentes:
- Cadencia 1: Envía 2 mensajes en las 2 primeras semanas del usuario
- Cadencia 2: Envía 3 mensajes en las 2 primeras semanas del usuario
Cuando te dirijas a usuarios que están dejando de interactuar, puedes probar la eficacia de enviar dos mensajes de recuperación en una semana frente a enviar solo uno.
- Texto del mensaje: Al igual que en una prueba A/B estándar, puedes probar distintos textos de mensaje para ver qué redacción consigue una tasa de conversión más alta.
- Combinaciones de canales: Prueba la eficacia de distintas combinaciones de canales de mensajería. Por ejemplo, puedes comparar el impacto de usar solo un correo electrónico frente a un correo electrónico combinado con un push.
Crear un recorrido de experimentos
Para crear un componente de recorrido de experimentos, primero añade un paso a tu Canvas. Arrastra y suelta el componente desde la barra lateral, o selecciona el botón más en la parte inferior de un paso y selecciona Recorridos de experimentos.
En la configuración predeterminada de este componente, hay dos rutas predeterminadas, Ruta 1 y Ruta 2, y el 50 % de la audiencia se envía por cada ruta. Selecciona el componente para expandir el panel Configuración del experimento y ver las opciones de configuración del componente.
Paso 1: Elige el número de rutas y la distribución de la audiencia
Puedes añadir hasta cuatro rutas seleccionando Añadir ruta y un grupo de control opcional seleccionando Añadir un grupo de control. Con las casillas de porcentaje de cada ruta, puedes especificar el porcentaje de la audiencia que debe ir a cada ruta y al grupo de control. Los porcentajes indicados deben sumar 100 % para continuar. Si quieres establecer rápidamente el mismo porcentaje para todas las rutas disponibles (y el control), selecciona Distribuir rutas uniformemente.
También puedes elegir en Comportamiento del grupo de control si los usuarios del grupo de control deben continuar por el Canvas o salir después de la ventana de seguimiento de conversiones. Opcionalmente, puedes añadir una descripción para explicar a los demás qué pretende probar este recorrido de experimentos o incluir información adicional que pueda ser útil.
Si la reelegibilidad de Canvas está habilitada, los usuarios que entran en el Canvas y siguen una ruta elegida aleatoriamente vuelven a seguir la misma ruta si se vuelven elegibles de nuevo y reingresan en el Canvas. Así se mantiene la validez del experimento y de los análisis asociados. Para aleatorizar la asignación de rutas cada vez que los usuarios reingresan, selecciona Rutas aleatorias en recorridos de experimentos. Esta opción no está disponible cuando usas la ruta ganadora.
Paso 2: Activa la ruta ganadora (opcional)
Para optimizar tu experimento, activa la ruta ganadora. La ruta ganadora prueba inicialmente tus rutas con una parte de la audiencia. Cuando termina el experimento, Braze envía a los usuarios restantes y posteriores por la ruta con mejor rendimiento.
Las rutas personalizadas no están disponibles para los nuevos pasos de recorrido de experimentos. Los pasos existentes que usan rutas personalizadas siguen ejecutándose.
Paso 3: Crea las rutas
A continuación, construye tus rutas posteriores. Selecciona Hecho y vuelve al editor de Canvas. Selecciona el botón más debajo de cada ruta para empezar a crear recorridos con las herramientas habituales de Canvas según te convenga, y lanza el Canvas cuando estés listo.
Ten en cuenta que las rutas y sus pasos posteriores no se pueden eliminar de un Canvas una vez creados. Sin embargo, tras el lanzamiento, puedes modificar la distribución de la audiencia entre las rutas como prefieras. Por ejemplo, si un día después de lanzar un Canvas concluyes, según los análisis, que una ruta es mejor que las demás, puedes establecer esa ruta en 100 % y las otras en 0 %. O, según tus necesidades, puedes seguir enviando usuarios por varias rutas.
Para evitar la contaminación del experimento, actualizar un Canvas activo con un experimento de ruta ganadora en curso finaliza el experimento. Esto se aplica incluso si no actualizas el paso de recorrido de experimentos. Para reiniciar el experimento, desconecta el recorrido de experimentos existente y lanza uno nuevo, o duplica el Canvas y lanza el duplicado. No puedes activar la ruta ganadora en un Canvas ya activo que tenga un paso de recorrido de experimentos.
Para más información, consulta Editar Canvas después del lanzamiento.
Seguimiento del rendimiento
En la página Análisis de Canvas, selecciona el recorrido de experimentos para abrir una tabla detallada idéntica a la pestaña Analizar variantes y comparar estadísticas detalladas de rendimiento y conversión entre rutas. También puedes exportar la tabla en CSV y comparar los cambios porcentuales de las métricas que te interesen en relación con la ruta o el grupo de control que selecciones.
Cada paso de cada ruta muestra estadísticas en la vista Análisis de Canvas, igual que cualquier paso en Canvas. Sin embargo, ten en cuenta que los análisis de pasos individuales y los análisis del recorrido de experimentos miden las conversiones de forma diferente:
- Los análisis del recorrido de experimentos hacen un seguimiento de las conversiones desde que el usuario entra en el paso de recorrido de experimentos. Esta es la vista recomendada para comparar el rendimiento entre rutas, porque todas las rutas comparten el mismo punto de partida.
- Los análisis de pasos individuales (como los análisis del paso Mensaje) hacen un seguimiento de las conversiones desde que el usuario recibe ese paso concreto (por ejemplo, cuando se envía el mensaje).
Como estas ventanas de conversión tienen puntos de partida distintos, pueden mostrar tasas de conversión diferentes para la misma ruta, sobre todo cuando hay retrasos entre el paso de experimento y un mensaje posterior. Para obtener la comparación más fiable entre rutas, utiliza los análisis del recorrido de experimentos.
Rendimiento de la ruta ganadora
Utiliza la ruta ganadora para hacer un seguimiento del rendimiento a lo largo del tiempo y enviar automáticamente a los usuarios posteriores por la ruta con mejor rendimiento. Si la ruta ganadora está activada, los análisis del recorrido de experimentos no estarán disponibles hasta que finalice el experimento. Para más información, consulta Análisis de la ruta ganadora.
La métrica ganadora y los análisis que se muestran en los recorridos de experimentos pueden diferir:
- El evento de conversión que configuras para la Ruta ganadora determina cómo Braze compara las rutas y selecciona una ganadora durante la ventana del experimento.
- Los análisis del recorrido de experimentos siguen el mismo marco de eventos de conversión de Canvas que el resto del Canvas, incluido tu evento de conversión primaria. Por eso, es posible que las métricas destacadas en el panel no coincidan con la métrica ganadora.
- En push, Direct Opens y Total Opens son diferentes. Para más información, consulta Aperturas influidas.
Configuración adicional
Los recorridos de experimentos registran a los usuarios que entran en cada paso y realizan una conversión mientras están en la ruta asignada. Así se hace un seguimiento de todos los eventos de conversión especificados en la configuración del Canvas. En la pestaña Configuración adicional, introduce durante cuántos días (entre 1 y 30) quieres que este experimento haga un seguimiento de las conversiones. La ventana de tiempo que especifiques aquí determina durante cuánto tiempo se hace un seguimiento de los eventos de conversión (elegidos en la configuración del Canvas) para el experimento. Las ventanas de conversión por evento especificadas en la configuración del Canvas no se aplican al seguimiento de este paso y se sustituyen por esta ventana de conversión.
La ventana de conversión empieza cuando el usuario entra en el paso de recorrido de experimentos, no cuando se envía un mensaje posterior. Si una ruta incluye retrasos, como un paso de retraso o la sincronización inteligente, esos retrasos consumen parte de la ventana de conversión.
Si utilizas la sincronización inteligente en un paso Mensaje dentro de un recorrido de experimentos, el tiempo entre la entrada en el experimento y el envío real del mensaje reduce la ventana de conversión efectiva de esa ruta. Por ejemplo, si tu experimento tiene una ventana de conversión de 5 días y la sincronización inteligente retrasa el mensaje 2 días, los usuarios de esa ruta solo tienen 3 días después de recibir el mensaje para realizar la conversión dentro de la ventana del experimento, aunque los análisis propios del paso Mensaje hagan un seguimiento de las conversiones desde el momento del envío del mensaje.
Para obtener análisis de experimentos más limpios, coloca cualquier retraso (como los pasos de retraso) antes del paso de recorrido de experimentos en lugar de dentro de un recorrido de experimentos. De este modo, todas las rutas empiezan desde el mismo punto y los retrasos no consumen nada de la ventana de conversión.
Preguntas frecuentes
¿Por qué los envíos difieren entre rutas cuando la división del experimento parece equilibrada?
Los envíos posteriores dependen de los pasos, retrasos, elegibilidad de canal y contenido de cada ruta, y no solo del porcentaje de división en el recorrido de experimentos. Por ejemplo, distintos retrasos, horarios de envío inteligentes o estados de suscripción pueden cambiar cuántos usuarios reciben un mensaje, aunque la asignación de rutas haya sido equilibrada. Para comparar los resultados de las rutas, usa los análisis del recorrido de experimentos, que miden las conversiones desde un punto de entrada común.
¿Cuánto dura la ventana de conversión del experimento?
La ventana de conversión de Configuración adicional (de 1 a 30 días) comienza cuando el usuario entra en el paso de recorrido de experimentos. El tiempo que pasa en pasos de retraso posteriores o esperando la sincronización inteligente cuenta dentro de esa ventana. Consulta Seguimiento del rendimiento para obtener más información.