Creación de pruebas multivariantes y A/B

Puede crear una prueba multivariante o A/B para cualquier campaña dirigida a un único canal.

Paso 1: Crea tu campaña

1. Ve a Mensajes > Campañas.
2. Selecciona Crear campaña y un canal para la campaña en la sección que permite pruebas multivariantes y A/B. Para obtener documentación detallada sobre cada canal de mensajería, consulta Crear una campaña.

Paso 2: Compone tus variantes

Puedes crear hasta ocho variantes de tu mensaje, diferenciando entre títulos, contenido, imágenes y mucho más. El número de diferencias entre los mensajes determina si se trata de una prueba multivariante o A/B. Una prueba A/B examina el efecto de cambiar una variable, mientras que una prueba multivariante examina dos o más.

Para algunas ideas sobre cómo empezar a diferenciar tus variantes, consulta Consejos para diferentes canales.

Paso 3: Programa tu campaña

La programación de su campaña multivariante funciona igual que la programación de cualquier otra campaña Braze. Todos los tipos de entrega estándar están disponibles.

Una vez que comienza una prueba multivariante, no puede realizar cambios en la campaña. Si cambia los parámetros, como la línea de asunto o el cuerpo HTML, Braze considerará que el experimento está comprometido y lo desactivará inmediatamente.

Paso 4: Elija un segmento y distribuya a sus usuarios por variantes

Seleccione los segmentos a los que dirigirse y, a continuación, distribuya sus miembros entre las variantes seleccionadas y el grupo de control opcional. Si desea conocer las mejores prácticas para elegir un segmento con el que realizar las pruebas, consulte Elegir un segmento.

Para las campañas push, de correo electrónico y webhook programadas para enviarse una vez, también puede utilizar una optimización. Esto reservará una parte de su público objetivo de la prueba A/B y los retendrá para un segundo envío optimizado basado en los resultados de la primera prueba.

Grupo de control

Puede reservar un porcentaje de su público objetivo para un grupo de control aleatorio. Los usuarios del grupo de control no reciben la prueba, pero Braze controla su tasa de conversión durante toda la campaña.

Al visualizar sus resultados, puede comparar las tasas de conversión de sus variantes con una tasa de conversión de referencia proporcionada por su grupo de control. Esto le permite comparar tanto los efectos de sus variantes como los efectos de sus variantes frente a la tasa de conversión que resultaría si no enviara ningún mensaje.

Grupos de control con pruebas A/B

Cuando se utiliza la limitación de la tasa con una prueba A/B, el límite de la tasa no se aplica al grupo de control de la misma manera que al grupo de prueba, lo que es una fuente potencial de sesgo temporal. Utilice ventanas de conversión adecuadas para evitar este sesgo.

Grupos de control con selección inteligente

El tamaño del grupo de control para una campaña con Selección Inteligente se basa en el número de variantes. Si cada variante se envía a más del 20% de los usuarios, entonces el grupo de control es el 20%, y las variantes se reparten por igual entre el 80% restante. Sin embargo, si tiene suficientes variantes como para que cada una de ellas se envíe a menos del 20% de los usuarios, entonces el grupo de control debe ser más pequeño. Cuando Intelligent Selection empieza a analizar el rendimiento de su prueba, el grupo de control aumenta o disminuye en función de los resultados.

Paso 5: Designar un evento de conversión (opcional)

Establecer un evento de conversión para una campaña le permite ver cuántos destinatarios de esa campaña realizaron una acción concreta después de recibirla.

Esto sólo afecta a la prueba si eligió Tasa de conversión primaria en los pasos anteriores. Para más información, consulta los eventos de conversión.

Paso 6: Revisión y lanzamiento

En la página de confirmación, revise los detalles de su campaña multivariante e inicie la prueba. A continuación, aprenda a comprender los resultados de sus pruebas.

Lo que hay que saber

Si tu experimento ya ha comenzado a enviarse y editas el mensaje, el experimento se invalidará y se eliminará cualquier resultado del experimento.

• Para evitar cualquier interferencia con el comportamiento esperado del experimento, recomendamos evitar la edición de mensajes en el plazo de una hora desde el lanzamiento de la campaña del experimento.
• Si tu experimento ha finalizado y editas el mensaje después de enviarlo, los resultados del experimento seguirán estando disponibles en el análisis de tu panel. Sin embargo, si vuelves a lanzar la campaña, se eliminarán los resultados del experimento.

Consejos para distintos canales

Según el canal que selecciones, puedes probar distintos componentes de tu mensaje. Por ejemplo, puedes intentar componer variantes con una idea de lo que quieres probar y lo que esperas demostrar. ¿De qué palancas tienes que tirar, y cuáles son los efectos deseados? Aunque hay millones de posibilidades que puedes investigar utilizando una prueba multivariante y A/B, tenemos algunas sugerencias para que empieces:

Canal	Aspectos del mensaje que puedes cambiar	Resultados a buscar
Push	Copiar Uso de imágenes y emoji Vínculos profundos Presentación de las cifras (por ejemplo, “triplicar” frente a “aumentar un 200%”). Presentación del tiempo (por ejemplo, “termina a medianoche” frente a “termina dentro de 6 horas”)	Aperturas Tasa de conversión
Correo electrónico	Asunto Nombre para mostrar Saludo Copia del cuerpo Uso de imágenes y emoji Presentación de las cifras (por ejemplo, “triplicar” frente a “aumentar un 200%”). Presentación del tiempo (por ejemplo, “termina a medianoche” frente a “termina dentro de 6 horas”)	Aperturas Tasa de conversión
Mensaje dentro de la aplicación	Aspectos listados para “push” Formato del mensaje	Clic Tasa de conversión

Además, la duración ideal de su prueba también puede variar en función del canal. Tenga en cuenta el tiempo medio que la mayoría de los usuarios necesitan para interactuar con cada canal.

Por ejemplo, si estás probando un push, puedes conseguir resultados significativos más rápidamente que al probar el correo electrónico, ya que los usuarios ven los push inmediatamente, pero pueden pasar días antes de que vean o abran un correo electrónico. Si estás probando mensajes dentro de la aplicación, ten en cuenta que los usuarios deben abrir la aplicación para ver la campaña, por lo que debes esperar más tiempo para recopilar resultados tanto de los que abren más activamente la aplicación como de los usuarios más típicos.

Si no está seguro de cuánto tiempo debe durar su prueba, la función Selección inteligente puede ser útil para encontrar una Variante Ganadora de forma eficiente.

Elegir un segmento

Dado que los distintos segmentos de sus usuarios pueden responder de forma diferente a los mensajes, el éxito de un mensaje concreto dice algo tanto del mensaje en sí como de su segmento objetivo. Por lo tanto, intente diseñar una prueba pensando en su segmento objetivo.

Por ejemplo, mientras que los usuarios activos pueden tener tasas de respuesta iguales a “¡Esta oferta caduca mañana!” y “¡Esta oferta caduca en 24 horas!”, los usuarios que no han abierto la aplicación durante una semana pueden ser más receptivos a la última formulación, ya que crea una mayor sensación de urgencia.

Además, a la hora de elegir el segmento sobre el que realizar la prueba, asegúrese de considerar si el tamaño de ese segmento será lo suficientemente grande para su prueba. En general, las pruebas multivariantes y A/B con más variantes requieren un grupo de prueba mayor para conseguir resultados estadísticamente significativos. Esto se debe a que un mayor número de variantes hará que menos usuarios vean cada variante individual.

Sesgo y aleatorización

Una cuestión habitual con las asignaciones de grupos de control y de prueba es si pueden introducir sesgos en tus pruebas. Otros se preguntan a veces cómo sabemos si estas asignaciones son realmente aleatorias.

Los usuarios se asignan a variantes de mensajes, variantes de Canvas o a sus respectivos grupos de control concatenando su ID de usuario (generado aleatoriamente) con el ID de campaña o Canvas (generado aleatoriamente), tomando el módulo de ese valor con 100 y, a continuación, ordenando a los usuarios en porciones que se correspondan con las asignaciones porcentuales de variantes y control opcional elegidas en el cuadro de mandos. Por tanto, no hay forma práctica de que los comportamientos de los usuarios antes de crear una campaña o Canvas concretos puedan variar sistemáticamente entre las variantes y el control. Tampoco es práctico ser más aleatorio (o más exactamente, pseudoaleatorio) que esta implementación.

Errores a evitar

Si no se filtran correctamente las audiencias, hay que evitar algunos errores comunes que crean la apariencia de diferencias basadas en el canal de mensajería.

Por ejemplo, si envía un mensaje push a un público amplio con un control, el grupo de prueba sólo enviará mensajes a los usuarios con un token push. Sin embargo, el grupo de control incluirá tanto a usuarios que sí tienen un token de notificaciones push como a usuarios que no lo tienen. En este caso, su audiencia inicial para la campaña o Canvas debe filtrar por tener un token push (Push Enabled es true). Lo mismo debe hacerse para ser elegible para recibir mensajes en otros canales: adhesión voluntaria, tiene un token de notificaciones push, está suscrito, etc.