Recorridos de experimentos
Los recorridos de experimentos te permiten probar múltiples rutas de Canvas entre sí y contra un grupo de control en cualquier punto del recorrido del usuario. Con este componente, puedes hacer seguimiento del rendimiento de las rutas para tomar decisiones informadas sobre tu recorrido en Canvas.
Cuando incluyes un paso de recorrido de experimentos en tu recorrido de usuario, este asignará aleatoriamente a los usuarios a diferentes rutas (o a un grupo de control opcional) que tú crees. Se asignarán porciones de la audiencia a diferentes rutas según los porcentajes que selecciones, lo que te permite probar diferentes mensajes o rutas entre sí y determinar cuál es más efectiva.
Requisitos previos
Para usar recorridos de experimentos, tu Canvas debe incluir eventos de conversión. Aunque no puedes añadir eventos de conversión después de que un Canvas se haya lanzado, puedes clonar el Canvas lanzado y añadir eventos de conversión para agregar recorridos de experimentos.
Ejemplos
Los recorridos de experimentos son más adecuados para probar la entrega, la cadencia, el texto del mensaje y las combinaciones de canales.
- Entrega: Compara los resultados entre mensajes enviados con diferentes retrasos de tiempo, basados en acciones de los usuarios (Rutas de Acción) y utilizando la sincronización inteligente.
- Cadencia: Prueba múltiples flujos de mensajería durante un período específico. Por ejemplo, podrías probar dos cadencias de incorporación diferentes:
- Cadencia 1: Enviar 2 mensajes en las primeras 2 semanas del usuario
- Cadencia 2: Enviar 3 mensajes en las primeras 2 semanas del usuario
Al segmentar usuarios inactivos, puedes probar la efectividad de enviar dos mensajes de recuperación en una semana en comparación con enviar solo uno.
- Texto del mensaje: De forma similar a una prueba A/B estándar, puedes probar diferentes textos de mensaje para ver qué redacción produce una tasa de conversión más alta.
- Combinaciones de canales: Prueba la efectividad de diferentes combinaciones de canales de mensajería. Por ejemplo, puedes comparar el impacto de usar solo un correo electrónico frente a un correo electrónico combinado con un push.
Crear un recorrido de experimentos
Para crear un componente de recorrido de experimentos, primero añade un paso a tu Canvas. Arrastra y suelta el componente desde la barra lateral, o haz clic en el botón de signo más en la parte inferior de un paso y selecciona Recorridos de experimentos.
En la configuración predeterminada de este componente, hay dos rutas predeterminadas, Ruta 1 y Ruta 2, con el 50 % de la audiencia enviada por cada ruta. Haz clic en el componente para expandir el panel Configuración del experimento, y verás las opciones de configuración del componente.
Paso 1: Elige el número de rutas y la distribución de la audiencia
Puedes añadir hasta cuatro rutas haciendo clic en Añadir ruta y un grupo de control opcional marcando Añadir un grupo de control. Usando las casillas de porcentaje de cada ruta, puedes especificar el porcentaje de la audiencia que debe ir por cada ruta y el grupo de control. Los porcentajes proporcionados deben sumar 100 % para continuar. Si quieres establecer rápidamente todas las rutas disponibles (y el control) con el mismo porcentaje, haz clic en Distribuir rutas uniformemente.
También puedes elegir si los usuarios del grupo de control deben continuar por el Canvas o salir después de la ventana de seguimiento de conversiones para el Comportamiento del grupo de control. Opcionalmente, puedes añadir una descripción para explicar a otros qué pretende probar este recorrido de experimentos o incluir información adicional que pueda ser útil anotar.
Si la reelegibilidad del Canvas está habilitada, los usuarios que entran en el Canvas y siguen por una ruta elegida aleatoriamente seguirán por la misma ruta de nuevo si vuelven a ser elegibles y reingresan al Canvas. Esto mantiene la validez del experimento y los análisis asociados. Para aleatorizar la asignación de rutas cada vez que los usuarios reingresan, selecciona Rutas aleatorias en recorridos de experimentos. Esta opción no está disponible cuando se usa la ruta ganadora.
Paso 2: Activa la ruta ganadora (opcional)
Para optimizar tu experimento, activa la ruta ganadora. La ruta ganadora prueba inicialmente tus rutas con parte de la audiencia. Después de que finalice el experimento, Braze envía a los usuarios restantes y posteriores por la ruta con mejor rendimiento.
Las rutas personalizadas no están disponibles para nuevos pasos de recorrido de experimentos. Los pasos existentes que usan rutas personalizadas continúan ejecutándose.
Paso 3: Crea las rutas
Por último, debes construir las rutas posteriores. Selecciona Hecho y vuelve al creador de Canvas. Haz clic en el botón de signo más debajo de cada ruta para comenzar a crear recorridos usando las herramientas habituales de Canvas como consideres oportuno, y lanza el Canvas cuando estés listo.
Ten en cuenta que las rutas y sus pasos posteriores no se pueden eliminar de un Canvas después de crearse. Sin embargo, una vez lanzado, puedes modificar la distribución de la audiencia entre las rutas como consideres oportuno. Por ejemplo, si un día después de lanzar un Canvas concluyes que una ruta es superior a las demás según los análisis, puedes establecer esa ruta al 100 % y las demás al 0 %. O, según tus necesidades, puedes continuar enviando usuarios por múltiples rutas.
Para evitar la contaminación del experimento, actualizar un Canvas activo con un experimento de ruta ganadora en curso finaliza el experimento. Esto se aplica incluso si no actualizas el paso de recorrido de experimentos. Para reiniciar el experimento, desconecta el recorrido de experimentos existente y lanza uno nuevo, o duplica el Canvas y lanza el duplicado. No puedes activar la ruta ganadora para un Canvas ya activo con un paso de recorrido de experimentos.
Para más información, consulta Editar Canvas después del lanzamiento.
Seguimiento del rendimiento
Desde la página de análisis de Canvas, selecciona el recorrido de experimentos para abrir una tabla detallada idéntica a la pestaña Analizar variantes para comparar estadísticas detalladas de rendimiento y conversión entre las rutas. También puedes exportar la tabla como CSV y comparar los cambios porcentuales de las métricas de interés en relación con la ruta o el control que selecciones.
Cada paso en cada ruta muestra estadísticas en la vista de análisis de Canvas, igual que cualquier paso en Canvas. Sin embargo, ten en cuenta que los análisis de pasos individuales y los análisis de recorridos de experimentos miden las conversiones de manera diferente:
- Los análisis de recorridos de experimentos rastrean las conversiones desde el momento en que el usuario entra en el paso de recorrido de experimentos. Esta es la vista recomendada para comparar el rendimiento entre rutas, ya que todas las rutas comparten el mismo punto de partida.
- Los análisis de pasos individuales (como los análisis de un paso de mensaje) rastrean las conversiones desde el momento en que el usuario recibe ese paso específico (por ejemplo, cuando se envía el mensaje).
Dado que estas ventanas de conversión tienen diferentes puntos de partida, pueden mostrar distintas tasas de conversión para la misma ruta, especialmente cuando hay retrasos entre el paso de experimento y un mensaje posterior. Para la comparación más fiable entre rutas, utiliza los análisis de recorridos de experimentos.
Rendimiento de la ruta ganadora
Utiliza la ruta ganadora para hacer seguimiento del rendimiento a lo largo del tiempo y enviar automáticamente a los usuarios posteriores por la ruta con mejor rendimiento. Para más información, consulta Análisis de la ruta ganadora.
La métrica ganadora y los análisis mostrados en los recorridos de experimentos pueden diferir:
- El evento de conversión que configuras para la ruta ganadora determina cómo Braze compara las rutas y selecciona un ganador durante la ventana del experimento.
- Los análisis de recorridos de experimentos siguen el mismo marco de eventos de conversión de Canvas que el resto del Canvas, incluido tu evento de conversión primaria. Como resultado, las métricas destacadas en el panel podrían no coincidir con la métrica ganadora.
- Para push, Direct Opens y Total Opens difieren. Para más información, consulta Influenced Opens.
Configuración adicional
Los recorridos de experimentos registran a los usuarios que entran en cada paso y convierten mientras están en la ruta asignada. Esto hace seguimiento de todos los eventos de conversión especificados en la configuración del Canvas. En la pestaña Configuración adicional, introduce cuántos días (entre 1 y 30) deseas que este experimento haga seguimiento de las conversiones. La ventana de tiempo que especifiques aquí determina durante cuánto tiempo se rastrean los eventos de conversión (elegidos en la configuración del Canvas) para el experimento. Las ventanas de conversión por evento especificadas en la configuración del Canvas no se aplican al seguimiento de este paso y son reemplazadas por esta ventana de conversión.
La ventana de conversión comienza cuando el usuario entra en el paso de recorrido de experimentos, no cuando se envía un mensaje posterior. Si una ruta incluye retrasos, como un paso de retraso o la sincronización inteligente, esos retrasos consumen parte de la ventana de conversión.
Si utilizas la sincronización inteligente en un paso de mensaje dentro de un recorrido de experimentos, el tiempo entre la entrada al experimento y el envío real del mensaje reduce la ventana de conversión efectiva para esa ruta. Por ejemplo, si tu experimento tiene una ventana de conversión de 5 días y la sincronización inteligente retrasa el mensaje 2 días, los usuarios en esa ruta solo tienen 3 días después de recibir el mensaje para convertir dentro de la ventana del experimento, aunque los análisis propios del paso de mensaje rastrean las conversiones desde el momento del envío del mensaje.
Para obtener análisis del experimento más limpios, coloca cualquier retraso (como pasos de retraso) antes del paso de recorrido de experimentos en lugar de dentro de un recorrido de experimentos. De esta forma, todas las rutas comienzan desde el mismo punto y los retrasos no consumen parte de la ventana de conversión.
Preguntas frecuentes
¿Por qué los envíos difieren entre rutas cuando la división del experimento parece equitativa?
Los envíos posteriores dependen de los pasos, retrasos, elegibilidad del canal y contenido de cada ruta, no solo del porcentaje de división en el recorrido de experimentos. Por ejemplo, diferentes retrasos, sincronización inteligente o estados de suscripción pueden cambiar cuántos usuarios reciben un mensaje, incluso cuando la asignación de rutas fue equilibrada. Para comparar los resultados de las rutas, utiliza los análisis de recorridos de experimentos, que miden las conversiones desde un punto de entrada común.
¿Cuánto dura la ventana de conversión del experimento?
La ventana de conversión en Configuración adicional (de 1 a 30 días) comienza cuando el usuario entra en el paso de recorrido de experimentos. El tiempo transcurrido en pasos de retraso posteriores o esperando la sincronización inteligente se descuenta de esa ventana. Consulta Seguimiento del rendimiento para más detalles.