Preguntas frecuentes sobre pruebas multivariantes y A/B

Aspectos básicos de las pruebas

¿Cuál es la diferencia entre las pruebas A/B y las pruebas multivariantes?

Pruebas A/B

En las pruebas A/B, el especialista en marketing experimenta con una única variable dentro de la campaña (como las líneas del asunto del correo electrónico o la hora de envío del mensaje). Esto implica dividir aleatoriamente un subconjunto de la audiencia en dos o más grupos, presentar a cada grupo una variación diferente y observar qué variación presenta la tasa de conversión más alta. Normalmente, la variante con mejor rendimiento se envía posteriormente al resto de la audiencia.

Pruebas multivariantes

Las pruebas multivariantes son una extensión de las pruebas A/B, que permiten al especialista en marketing probar múltiples variables a la vez para determinar la combinación más eficaz. Por ejemplo, puedes probar la línea del asunto de tu mensaje de correo electrónico, la imagen que acompaña al texto y el color del botón de CTA. Este tipo de pruebas te permite explorar más variables y combinaciones de variaciones en un solo experimento, y obtener información más rápida y exhaustiva que con las pruebas A/B. Sin embargo, probar más variables y combinaciones dentro de un mismo experimento requiere una audiencia mayor para obtener significación estadística.

¿Cómo se calculan los resultados de las pruebas A/B?

Braze comprueba todas las variantes entre sí con las pruebas chi-cuadrado de Pearson, que miden si una variante supera estadísticamente a todas las demás a un nivel de significación de p < 0,05, o lo que denominamos significación del 95%. Entre todas las variantes que superan este umbral de significación, se determina que la variante con mejor rendimiento es la “ganadora”.

Se trata de una prueba independiente de la puntuación de confianza, que sólo describe el rendimiento de una variante en comparación con el control con un valor numérico entre 0 y 100%. En concreto, representa nuestra confianza en que la diferencia estandarizada en la tasa de conversión entre la variante y el control es significativamente superior al azar.

¿Por qué la distribución de variantes no es uniforme?

La distribución entre variantes no siempre es uniforme. Así funciona la distribución de variantes

Cada vez que se envía un mensaje en una campaña multivariante, el sistema selecciona de forma independiente una opción aleatoria según los porcentajes que establezcas y asigna una variante en función del resultado. Es como lanzar una moneda al aire: las anomalías son posibles. Si alguna vez has tirado una moneda al aire 100 veces, sabrás que probablemente no siempre obtendrás un 50-50 exacto entre cara y cruz, aunque sólo tengas dos opciones. Podrías obtener 52 caras y 48 colas.

Si tiene varias variantes que desea dividir por igual, también debe asegurarse de que el número de variantes es múltiplo de 100. De lo contrario, algunas variantes tendrán un mayor porcentaje de usuarios distribuidos a esa variante en comparación con otras. Por ejemplo, si su campaña tiene 7 variantes, no puede haber una distribución uniforme de variantes, ya que 7 no se divide igual por 100 como número entero. En este caso, tendrías 2 variantes del 15 % y 5 variantes del 14 %.

Nota sobre los mensajes in-app

Al ejecutar una prueba A/B en mensajes dentro de la aplicación, puede parecer que tus análisis muestran una distribución de variantes mayor entre una variante y otra, aunque tengan una división porcentual uniforme. Por ejemplo, considere el siguiente gráfico de Destinatarios Únicos para la Variante A y la Variante C.

La variante A tiene un mayor número de destinatarios únicos que la variante C. Esto no se debe a la distribución de variantes, sino a cómo se calculan los destinatarios únicos para los mensajes dentro de la aplicación. Para los mensajes in-app, los Destinatarios Únicos son en realidad Impresiones Únicas, que es el número total de personas que recibieron y vieron el mensaje in-app. Esto significa que si un usuario no recibe el mensaje por cualquier motivo o decide no verlo, no se incluye en el recuento de Destinatarios Únicos, y la distribución de variantes puede aparecer sesgada.

Ejecución y conclusión de las pruebas

¿Cuándo termina la prueba inicial?

Cuando se utiliza la Variante ganadora para campañas de un solo envío, la prueba finaliza cuando llega la Hora de envío de la Variante ganadora. Braze considerará que una variante es la ganadora si muestra la tasa de conversión más alta por un margen estadísticamente significativo.

Para campañas recurrentes, basadas en acciones y desencadenadas por API, puedes utilizar Intelligent Selection para hacer un seguimiento continuo de los datos de rendimiento de cada variante y optimizar continuamente el tráfico de la campaña hacia las variantes de mayor rendimiento. Con la Intelligent Selection, en lugar de definir explícitamente un grupo de experimentación en el que los usuarios reciban variantes aleatorias, el algoritmo Braze refinará continuamente su estimación de la variante de mejor rendimiento, lo que potencialmente permitirá una selección más rápida de la de mayor rendimiento.

¿Cómo gestiona Braze a los usuarios que han recibido una variante de mensaje en una campaña recurrente o en un paso en Canvas de entrada?

Los usuarios son asignados aleatoriamente a una variante concreta antes de recibir la campaña por primera vez. Cada vez que se reciba la campaña sucesivamente (o el usuario vuelva a entrar en una variante de Canvas), recibirá la misma variante, a menos que se modifiquen los porcentajes de la variante. Si los porcentajes de variantes cambian, los usuarios pueden redistribuirse a otras variantes. Los usuarios permanecen en estas variantes hasta que se vuelven a modificar los porcentajes. Los usuarios sólo serán redistribuidos para las variantes que fueron editadas.

Por ejemplo, supongamos que tenemos una campaña o Canvas con tres variantes. Si sólo se modifican o actualizan la Variante A y la Variante B, los usuarios de la Variante C no se redistribuirán porque el porcentaje de variantes de la Variante C no se modificó. Los grupos de control siguen siendo coherentes si el porcentaje de variantes no varía. Los usuarios que hayan recibido mensajes anteriormente no pueden entrar en el grupo de control en un envío posterior, ni ningún usuario del grupo de control puede recibir nunca un mensaje.

¿Qué pasa con las Rutas de experimentos?

Lo mismo ocurre porque las rutas Canvas que siguen a un experimento también son variantes.

¿Puedo realizar acciones para redistribuir usuarios en campañas y Lienzos?

La única forma de redistribuir a los usuarios en los Canvas es utilizar Rutas Aleatorias en las Rutas de experimentos, que siempre asignarán aleatoriamente las rutas cuando los usuarios vuelvan a entrar en el Canvas. Sin embargo, esto no es un experimento estándar y podría invalidar los resultados del experimento, porque el grupo de control puede contaminarse con usuarios del tratamiento.

Confianza y sesgo

¿Aumenta la confianza con el tiempo?

La confianza aumenta con el tiempo si todo lo demás se mantiene constante. Mantenerlo constante significa que no hay otros factores de marketing que puedan influir en las variantes, como que la variante A hable de una rebaja del 25% que termina a mitad de la prueba.

La confianza es una medida de la seguridad que tiene Braze de que la variante es diferente del control. A medida que se envían más mensajes, aumenta la potencia estadística de la prueba, lo que aumentaría la confianza en que las diferencias de rendimiento medidas no se deben al azar. En general, un mayor tamaño de la muestra aumenta nuestra confianza a la hora de identificar pequeñas diferencias de rendimiento entre las variantes y el control.

¿La asignación de grupos de control y de prueba puede introducir sesgos en las pruebas?

No hay forma práctica de que los atributos o comportamientos de un usuario antes de la creación de una determinada campaña o Canvas puedan variar sistemáticamente entre las variantes y el control.

Para asignar usuarios a variantes de mensajería, variantes en Canvas o sus respectivos grupos de control, empezamos por vincular su ID de usuario generado aleatoriamente con el ID de campaña o Canvas generado aleatoriamente. A continuación, aplicamos un algoritmo de hashing sha256 y dividimos ese resultado por 100, y nos quedamos con el resto (también conocido como módulo con 100). Por último, ordenamos a los usuarios en porciones que corresponden a las asignaciones porcentuales de variantes (y control opcional) elegidas en el panel.

¿Por qué no puedo utilizar el límite de velocidad con un grupo de control?

Actualmente, Braze no admite el límite de velocidad con pruebas A/B que tengan un grupo de control. Esto se debe a que el límite de velocidad no se aplica al grupo de control del mismo modo que a las variantes, lo que introduce un sesgo. En su lugar, considera la posibilidad de utilizar Intelligent Selection, que ajusta automáticamente el porcentaje de usuarios que recibirán cada variante en función de los análisis y el rendimiento de la campaña.