Crea pruebas multivariantes y A/B

Puedes crear una prueba multivariante o A/B para cualquier campaña dirigida a un solo canal y un solo dispositivo. Por ejemplo, si quieres utilizar pruebas multivariantes o A/B para una campaña push, puedes dirigirte solo a dispositivos iOS o solo a dispositivos Android, no a ambos tipos de dispositivos en la misma campaña.

Paso 1: Crea tu campaña

1. Ve a Mensajería > Campañas.
2. Selecciona Crear campaña y un canal para la campaña en la sección que permite pruebas multivariantes y A/B. Para obtener documentación detallada sobre cada canal de mensajería, consulta Crear una campaña.

Paso 2: Compón tus variantes

Puedes crear hasta ocho variantes de tu mensaje, diferenciando entre títulos, contenido, imágenes y mucho más. El número de diferencias entre los mensajes determina si se trata de una prueba multivariante o A/B. Una prueba A/B examina el efecto de cambiar una variable, mientras que una prueba multivariante examina dos o más.

Para algunas ideas sobre cómo empezar a diferenciar tus variantes, consulta Consejos para diferentes canales.

Paso 3: Programa tu campaña

La programación de tu campaña multivariante funciona igual que la programación de cualquier otra campaña de Braze. Todos los tipos de entrega estándar están disponibles.

Una vez iniciada una prueba multivariante, no puedes hacer cambios en la campaña. Si cambias los parámetros, como la línea del asunto o el cuerpo HTML, Braze considera que el experimento está comprometido y lo desactiva inmediatamente.

Paso 4: Elige un segmento y distribuye a tus usuarios por variantes

Selecciona los segmentos a los que dirigirte y, a continuación, distribuye a los miembros entre las variantes seleccionadas y el grupo de control opcional. Para conocer las mejores prácticas a la hora de elegir un segmento con el que realizar las pruebas, consulta Elegir un segmento.

Para las campañas push, de correo electrónico y webhook programadas para enviarse una vez, también puedes utilizar una optimización. Una optimización reserva una parte de tu audiencia objetivo de la prueba A/B y la retiene para un segundo envío optimizado basado en los resultados de la primera prueba.

Grupo de control

Puedes reservar un porcentaje de tu audiencia objetivo para un grupo de control aleatorio. Los usuarios del grupo de control no reciben la prueba, pero Braze monitoriza su tasa de conversión durante toda la campaña.

Al visualizar tus resultados, puedes comparar las tasas de conversión de tus variantes con una tasa de conversión de referencia proporcionada por tu grupo de control. Esto te permite comparar tanto los efectos de tus variantes como los efectos de tus variantes frente a la tasa de conversión que resultaría si no enviaras ningún mensaje.

Grupos de control con pruebas A/B

Cuando se utiliza el límite de velocidad con una prueba A/B, el límite de velocidad no se aplica al grupo de control de la misma manera que al grupo de prueba, lo que es una fuente potencial de sesgo temporal. Utiliza ventanas de conversión adecuadas para evitar este sesgo.

Grupos de control con Intelligent Selection

El tamaño del grupo de control para una campaña con Intelligent Selection se basa en el número de variantes. Si cada variante se envía a más del 20 % de los usuarios, entonces el grupo de control es el 20 %, y las variantes se reparten por igual entre el 80 % restante. Sin embargo, si tienes suficientes variantes como para que cada una de ellas se envíe a menos del 20 % de los usuarios, entonces el grupo de control debe ser más pequeño. Cuando Intelligent Selection empieza a analizar el rendimiento de tu prueba, el grupo de control aumenta o disminuye en función de los resultados.

Paso 5: Designa un evento de conversión (opcional)

Establecer un evento de conversión para una campaña te permite ver cuántos destinatarios de esa campaña realizaron una acción concreta después de recibirla.

Esto solo afecta a la prueba si elegiste Tasa de conversión primaria en los pasos anteriores. Para más información, consulta los eventos de conversión.

Paso 6: Revisa y lanza

En la página de confirmación, revisa los detalles de tu campaña multivariante y lanza la prueba. A continuación, aprende a comprender los resultados de tus pruebas.

Lo que debes saber

Si tu experimento ya ha comenzado a enviarse y editas el mensaje, el experimento se invalida y se eliminan todos los resultados del experimento.

• Para evitar cualquier interferencia con el comportamiento esperado del experimento, recomendamos no editar los mensajes en el plazo de una hora desde el lanzamiento de la campaña del experimento.
• Si tu experimento ha finalizado y editas el mensaje después de enviarlo, los resultados del experimento seguirán estando disponibles en el análisis de tu dashboard. Sin embargo, si vuelves a lanzar la campaña, se eliminan los resultados del experimento.

Consejos para distintos canales

Según el canal que selecciones, puedes probar distintos componentes de tu mensaje. Por ejemplo, puedes intentar componer variantes con una idea de lo que quieres probar y lo que esperas demostrar. ¿De qué palancas dispones y cuáles son los efectos deseados? Aunque hay millones de posibilidades que puedes investigar utilizando una prueba multivariante y A/B, tenemos algunas sugerencias para que empieces:

Canal	Aspectos del mensaje que puedes cambiar	Resultados a buscar
Push	Texto Uso de imágenes y emoji Vínculos profundos Presentación de las cifras (por ejemplo, “triplicar” frente a “aumentar un 200 %”) Presentación del tiempo (por ejemplo, “termina a medianoche” frente a “termina dentro de 6 horas”)	Aperturas Tasa de conversión
Correo electrónico	Asunto Nombre para mostrar Saludo Cuerpo del texto Uso de imágenes y emoji Presentación de las cifras (por ejemplo, “triplicar” frente a “aumentar un 200 %”) Presentación del tiempo (por ejemplo, “termina a medianoche” frente a “termina dentro de 6 horas”)	Aperturas Tasa de conversión
Mensaje dentro de la aplicación	Aspectos listados para “push” Especificaciones de imágenes de mensajes dentro de la aplicación	Clic Tasa de conversión

Además, la duración ideal de tu prueba también puede variar en función del canal. Ten en cuenta el tiempo medio que la mayoría de los usuarios necesitan para interactuar con cada canal.

Por ejemplo, si estás probando un push, puedes obtener resultados significativos más rápidamente que cuando pruebas el correo electrónico, ya que los usuarios ven los push inmediatamente, pero pueden pasar días antes de que vean o abran un correo electrónico. Si estás probando mensajes dentro de la aplicación, ten en cuenta que los usuarios deben abrir la aplicación para ver la campaña, por lo que debes esperar más tiempo para recopilar resultados tanto de los que abren más activamente la aplicación como de los usuarios más típicos.

Si no tienes claro cuánto tiempo debe durar tu prueba, la característica Intelligent Selection puede ser útil para encontrar una variante ganadora de forma eficaz.

Elegir un segmento

Dado que los distintos segmentos de tus usuarios pueden responder de forma diferente a los mensajes, el éxito de un mensaje concreto dice algo tanto del mensaje en sí como de su segmento objetivo. Por lo tanto, intenta diseñar una prueba pensando en tu segmento objetivo.

Por ejemplo, mientras que los usuarios activos pueden tener tasas de respuesta iguales a “¡Esta oferta caduca mañana!” y “¡Esta oferta caduca en 24 horas!”, los usuarios que no han abierto la aplicación durante una semana pueden ser más receptivos a la segunda formulación, ya que crea una mayor sensación de urgencia.

Además, cuando elijas el segmento en el que vas a realizar la prueba, asegúrate de tener en cuenta si el tamaño de ese segmento es lo suficientemente grande para tu prueba. En general, las pruebas multivariantes y A/B con más variantes requieren un grupo de prueba mayor para conseguir resultados estadísticamente significativos. Esto se debe a que un mayor número de variantes hace que menos usuarios vean cada variante individual.

Sesgo y aleatorización

Una cuestión habitual con las asignaciones de grupos de control y de prueba es si pueden introducir sesgos en tus pruebas. Otros se preguntan a veces cómo sabemos si estas asignaciones son realmente aleatorias.

Los usuarios se asignan a variantes de mensajes, variantes en Canvas o a sus respectivos grupos de control concatenando su ID de usuario (generado aleatoriamente) con el ID de campaña o Canvas (generado aleatoriamente), tomando el módulo de ese valor con 100 y, a continuación, ordenando a los usuarios en porciones que se correspondan con las asignaciones porcentuales de variantes y control opcional elegidas en el dashboard. Por tanto, no hay forma práctica de que los comportamientos de los usuarios antes de crear una campaña o Canvas concretos puedan variar sistemáticamente entre las variantes y el control. Tampoco es práctico ser más aleatorio (o más exactamente, pseudoaleatorio) que esta implementación.

Errores a evitar

Hay algunos errores comunes que debes evitar y que crean la apariencia de diferencias basadas en el canal de mensajería si las audiencias no se filtran correctamente.

Por ejemplo, si envías un mensaje push a una amplia audiencia con un control, el grupo de prueba envía mensajes solo a los usuarios con un token de notificaciones push. Sin embargo, el grupo de control incluye tanto a usuarios que sí tienen un token de notificaciones push como a usuarios que no lo tienen. En este caso, tu audiencia inicial para la campaña o Canvas debe filtrar por tener un token push (Foreground Push Enabled es true). Lo mismo debe hacerse para la elegibilidad de recibir mensajes en otros canales: adhesión voluntaria, tiene un token de notificaciones push o está suscrito.

Ten en cuenta que si una variante de control no consta de ningún paso en Canvas, los eventos de criterios de salida no se registran para los usuarios de la variante de control.