Crear pruebas multivariantes y pruebas A/B

Puedes crear una prueba multivariante o A/B para cualquier campaña que se dirija a un solo canal. Por ejemplo, si quieres usar pruebas multivariantes o A/B para una campaña push, puedes dirigirte a dispositivos iOS y Android en la misma campaña.

Paso 1: Crea tu Campaign

1. Ve a Mensajería > Campaigns.
2. Selecciona Crear Campaign y un canal para la Campaign en la sección que permite pruebas multivariantes y A/B. Para obtener documentación detallada sobre cada canal de mensajería, consulta Crear una Campaign.

Paso 2: Redacta tus variantes

Puedes crear hasta ocho variantes de tu mensaje, diferenciando títulos, contenido, imágenes y mucho más. El número de diferencias entre los mensajes determina si se trata de una prueba multivariante o de una prueba A/B. Una prueba A/B examina el efecto de cambiar una variable, mientras que una prueba multivariante examina dos o más.

Para obtener algunas ideas sobre cómo empezar a diferenciar tus variantes, consulta Consejos para diferentes canales.

Paso 3: Programa tu campaña

Programar tu campaña multivariante funciona igual que programar cualquier otra campaña de Braze. Están disponibles todos los tipos de entrega estándar.

Una vez que comienza una prueba multivariante, no puedes hacer cambios en la campaña. Si cambias los parámetros, como la línea del asunto o el cuerpo HTML, Braze considera que el experimento está comprometido y lo desactiva de inmediato.

Para optimizar automáticamente tus variantes, consulta Optimizar pruebas A/B con BrazeAI. Las campañas de envío único y las de envío múltiple usan métodos y requisitos de optimización diferentes.

Paso 4: Elige un Segment y distribuye a tus usuarios entre las variantes

Selecciona los Segments a los que quieres dirigirte y, después, distribuye a sus miembros entre las variantes que hayas seleccionado y el grupo de control opcional. Para conocer las prácticas recomendadas a la hora de elegir un Segment para la prueba, consulta Elegir un Segment.

En las campañas compatibles, activa Optimize with BrazeAI^TM para optimizar automáticamente la distribución de tus variantes. En una campaña de envío múltiple, BrazeAI^TM ajusta la distribución a lo largo del tiempo.

En una campaña de envío único, Braze reserva parte de la audiencia para un segundo envío optimizado. Esta parte aparece como Holdout Group en la distribución de variantes. Para saber en qué se diferencia de un grupo de control, consulta Grupo de exclusión frente a grupo de control.

Grupo de control

Puedes reservar un porcentaje de tu público objetivo para un grupo de control aleatorio. Los usuarios del grupo de control no reciben la prueba, pero Braze supervisa su tasa de conversión durante toda la campaña.

Al ver tus resultados, puedes comparar las tasas de conversión de tus variantes con una tasa de conversión de referencia que proporciona tu grupo de control. Así puedes comparar tanto los efectos de tus variantes entre sí como los efectos de tus variantes frente a la tasa de conversión que se obtendría si no enviaras ningún mensaje.

Importante

No se recomienda usar un grupo de control cuando determinas un ganador por Aperturas o Clics. Como el grupo de control no recibe el mensaje, esos usuarios no pueden realizar aperturas ni clics. Por lo tanto, la tasa de conversión de ese grupo es del 0 % por definición y no constituye una comparación significativa con las variantes.

Grupos de control y Pruebas A/B

Cuando usas la limitación de velocidad con una prueba A/B, el límite de velocidad no se aplica al grupo de control de la misma forma que al grupo de prueba, lo que puede generar un sesgo temporal. Usa ventanas de conversión adecuadas para evitar este sesgo.

Grupos de control con Optimize with BrazeAI^TM

En una campaña de envío múltiple con Optimize with BrazeAI^TM, el tamaño inicial del grupo de control depende del número de variantes. Si cada variante recibe más del 20 % de los usuarios, el grupo de control empieza con un 20 % y las variantes se reparten el 80 % restante a partes iguales. Con más variantes, el grupo de control empieza siendo más pequeño. A medida que BrazeAI analiza el rendimiento, el grupo de control puede aumentar o reducirse.

Grupo de exclusión frente a grupo de control

En una campaña de envío único con Optimize with BrazeAI^TM activado, el grupo de exclusión y el grupo de control cumplen funciones diferentes:

• Grupo de exclusión: Recibe la variante ganadora cuando termina el experimento. Si Braze no puede determinar una variante ganadora, el grupo de exclusión no recibe ningún mensaje.
• Grupo de control: No recibe ningún mensaje. Braze usa su tasa de conversión como referencia para medir el incremento.

Por ejemplo, con un 25 % para la variante A, un 25 % para la variante B y un 50 % para el grupo de exclusión, toda la audiencia recibe un mensaje cuando se envía una variante ganadora. Si añades un grupo de control del 10 %, no más del 90 % de la audiencia recibe un mensaje.

Paso 5: Designa un evento de conversión (opcional)

Configurar un evento de conversión para una campaña te permite ver cuántos destinatarios de esa campaña realizaron una acción concreta después de recibirla.

Esto solo afecta a la prueba si elegiste Tasa de conversión primaria en los pasos anteriores. Para más información, consulta Eventos de conversión.

Paso 6: Revisa y lanza

En la página de confirmación, revisa los detalles de tu campaña multivariante y ¡lanza la prueba! A continuación, aprende a comprender los resultados de tu prueba.

Aspectos a tener en cuenta

Si tu experimento ya empezó a enviarse y editas el mensaje, el experimento queda invalidado y se eliminan todos sus resultados.

• Para evitar interferencias con el comportamiento esperado del experimento, te recomendamos no editar el mensaje durante la primera hora después del lanzamiento de la Campaign del experimento.
• Si tu experimento ya terminó y editas el mensaje después del envío, los resultados del experimento seguirán disponibles en los análisis de tu panel. Sin embargo, si vuelves a lanzar la Campaign, se eliminarán los resultados del experimento.

Consejos para distintos canales

Según el canal que elijas, puedes probar distintos componentes de tu mensaje. Por ejemplo, puedes crear variantes teniendo claro qué quieres probar y qué esperas demostrar. ¿Qué palancas puedes accionar y qué efectos buscas? Aunque hay millones de posibilidades que puedes investigar con una prueba multivariante o una prueba A/B, aquí tienes algunas sugerencias para empezar:

Consejo

Cuando hagas pruebas A/B, no olvides generar informes de embudo que te permitan entender cómo influyó cada variante en tu embudo de conversión, sobre todo si la “conversión” en tu negocio implica dar varios pasos o realizar varias acciones.

Además, la duración ideal de tu prueba también puede variar según el canal. Ten en cuenta el tiempo promedio que la mayoría de los usuarios pueden necesitar para interactuar con cada canal.

Por ejemplo, si estás probando una notificación push, puedes obtener resultados significativos más rápido que con el correo electrónico, ya que los usuarios ven las notificaciones push al instante, pero pueden pasar días antes de que vean o abran un correo electrónico. Si estás probando mensajes dentro de la aplicación, recuerda que los usuarios deben abrir la aplicación para ver la Campaign, así que conviene esperar más para recopilar resultados tanto de los usuarios que abren la aplicación con más frecuencia como de los usuarios más típicos.

Si no sabes cuánto tiempo debe durar tu prueba, Optimizar con BrazeAI^TM puede configurar y ejecutar la optimización automáticamente.

Elegir un Segment

Como los distintos Segments de tus usuarios pueden responder de forma diferente a los mensajes, el éxito de un mensaje concreto dice algo tanto del propio mensaje como de su Segment objetivo. Por eso, intenta diseñar la prueba teniendo en cuenta tu Segment objetivo.

Por ejemplo, aunque los usuarios activos pueden responder por igual a “¡Esta oferta vence mañana!” y a “¡Esta oferta vence en 24 horas!”, los usuarios que no han abierto la aplicación en una semana pueden responder mejor a la segunda frase, porque transmite una mayor sensación de urgencia.

Además, al elegir el Segment en el que harás la prueba, asegúrate de considerar si su tamaño es suficiente. En general, las pruebas multivariantes y A/B con más variantes necesitan un grupo de prueba más grande para obtener resultados estadísticamente significativos. Esto se debe a que, con más variantes, menos usuarios ven cada variante individual.

Consejo

Como referencia, probablemente necesites unos 15 000 usuarios por variante (incluido el control) para alcanzar un 95 % de confianza en los resultados de tu prueba. Sin embargo, la cifra exacta de usuarios que necesitas podría ser mayor o menor, según tu caso concreto. Para obtener una orientación más precisa sobre el tamaño de la muestra por variante, puedes consultar una calculadora de tamaño de muestra.

Sesgo y aleatorización

Una pregunta habitual sobre la asignación de grupos de control y de prueba es si pueden introducir sesgos en tus pruebas. Otras personas se preguntan cómo sabemos si estas asignaciones son realmente aleatorias.

Los usuarios se asignan a las variantes de mensaje, a las variantes en Canvas o a sus respectivos grupos de control concatenando su ID de usuario (generado aleatoriamente) con el ID de la Campaign o del Canvas (generado aleatoriamente), calculando el módulo de ese valor entre 100 y, después, distribuyendo a los usuarios en porciones que corresponden a los porcentajes asignados a las variantes y al control opcional elegidos en el panel. Por lo tanto, no hay ninguna forma práctica de que el comportamiento de los usuarios antes de crear una Campaign o un Canvas concretos varíe sistemáticamente entre las variantes y el control. Tampoco es práctico ser más aleatorio (o, para ser más exactos, pseudoaleatorio) que esta implementación.

Errores que debes evitar

Hay algunos errores comunes que debes evitar para no crear la apariencia de diferencias según el canal de mensajería cuando las audiencias no se filtran correctamente.

Por ejemplo, si envías un mensaje push a una audiencia amplia con un control, el grupo de prueba solo envía mensajes a los usuarios con un token de notificaciones push. Sin embargo, el grupo de control incluye tanto a usuarios que tienen un token de notificaciones push como a usuarios que no lo tienen. En este caso, la audiencia inicial de tu Campaign o Canvas debe filtrar por tener un token de notificaciones push (Foreground Push Enabled es true). Lo mismo debe hacerse con la elegibilidad para recibir mensajes en otros canales: con adhesión voluntaria, con un token de notificaciones push o suscrito.

Ten en cuenta que, si una variante de control no contiene ningún paso en Canvas, los eventos de criterios de salida no se registran para los usuarios de la variante de control.

Nota

Si usas manualmente números de contenedor aleatorios para los grupos de control, consulta los aspectos a vigilar en tus grupos de control.