Medición de Decisioning Studio Go
Esta guía explica cómo medir el impacto de tu agente, ya sea con el control aleatorio integrado o comparándolo con tu programa habitual actual (BAU, business as usual).
Decisioning Studio Go te ofrece una comparación de forma predeterminada: el agente frente a un control aleatorio. Puedes configurar tú mismo una segunda comparación: el agente frente a tu programa actual. Esta guía cubre ambas, además de cómo interpretar los números y llevar los datos a tu propio almacén de datos.
La comparación integrada: agente frente a control aleatorio
Cada agente divide automáticamente su audiencia en dos grupos:
- El grupo de Decisioning Studio recibe contenido optimizado por IA.
- El grupo de control aleatorio recibe combinaciones elegidas al azar de las mismas opciones que configuraste, con la misma programación y las mismas restricciones.
Como ambos grupos usan las mismas opciones y la misma programación, la diferencia entre ellos aísla el efecto de la toma de decisiones del agente. Esta es tu medida de aumento más limpia y siempre disponible. No tienes que configurar nada más.
La métrica de aumento
La métrica principal es Clientes únicos que hicieron clic al día: el número de usuarios distintos que hacen clic, no el volumen bruto de clics. El aumento es la diferencia entre el grupo de Decisioning Studio y el control aleatorio en esta medida.
El agente solo aprende de clics reales. Antes de que un clic cuente, pasa por filtros de validación que descartan la actividad automatizada y los clics relacionados con bajas. Por eso, los totales de clics de Decisioning Studio son inferiores a los de tus informes de correo electrónico sin procesar. El mismo filtrado se aplica por igual a ambos grupos, así que la comparación entre ellos sigue siendo válida.
Dimensiona el grupo de control
El tamaño mínimo del control es del 5 %. Ajústalo a tu audiencia. Las audiencias más pequeñas necesitan un control proporcionalmente mayor para que sea estadísticamente significativo:
| Tamaño de la audiencia | División recomendada (Decisioning Studio / control aleatorio) |
|---|---|
| 20 000 – 100 000 | 80 / 20 |
| 100 000 – 1 000 000 | 90 / 10 |
| 1 000 000 – 40 000 000 | 95 / 5 |
Compara con tu programa habitual
El control aleatorio mide el agente frente a combinaciones elegidas al azar de las mismas opciones. Para medir el agente frente a tu programa actual, configura tú mismo una comparación BAU. Decisioning Studio Go no orquesta ni informa sobre el grupo BAU: tú armas esta comparación.
Paso 1: Divide tu audiencia en un grupo BAU y un grupo del agente
Puedes usar cualquiera de estos métodos:
- Usa un paso de recorrido de experimentos en un Canvas (recomendado) para dirigir a los usuarios por un recorrido BAU o hacia el segmento del agente. Un paso de recorrido de experimentos en Canvas es una división aleatoria limpia y es la forma recomendada de configurar una prueba justa. Consulta Usar Decisioning Studio Go con Canvas.
- Usa números de contenedor aleatorios fuera de un Canvas para separar un grupo BAU y un grupo del agente de la misma audiencia.
Paso 2: Comprueba que tu audiencia sea lo bastante grande para dividirla
El grupo del agente debe contener al menos 20 000 usuarios después de la división y después de asignar su control aleatorio. Si tu audiencia total es de unos 40 000 usuarios o menos, una división BAU 50/50 deja cada mitad por debajo de ese mínimo. Para audiencias más pequeñas pero aún elegibles, reserva una parte BAU más pequeña o utiliza el control aleatorio integrado en lugar de una comparación BAU.
Paso 3: Haz que la prueba sea justa
Una comparación BAU solo tiene sentido si los dos grupos se diferencian en quién toma las decisiones. Antes de lanzarla:
- Mantén el mismo comportamiento de envío. Iguala la frecuencia de envío del agente a tu frecuencia BAU o establécela en el promedio BAU. Si un grupo envía con más frecuencia que el otro, estarás midiendo el volumen de envíos en lugar de la toma de decisiones.
- Carga los creativos BAU en el agente. Cada línea del asunto, llamada a la acción (CTA) e imagen debe estar disponible tanto para el grupo BAU como para el agente. Así, cualquier diferencia refleja las decisiones, porque ambos grupos tienen el mismo contenido disponible.
- Unifica la forma de contar un clic en ambos grupos para comparar lo mismo con lo mismo.
- Mantén estable el programa BAU durante el período de medición. No lo vuelvas a optimizar durante la prueba.
Paso 4: Espera a tener una lectura justa
Al principio, un agente que aún está en entrenamiento suele quedar por detrás de un programa BAU maduro y ya optimizado. Esa diferencia es normal. Espera a que el agente esté Totalmente entrenado antes de comparar. Para más información, consulta Qué esperar después del lanzamiento.
Analiza los resultados en tu propio almacén de datos
Cada envío escribe identificadores en message_extras en el evento users.messages.email.Send. Se escriben automáticamente en todos los espacios de trabajo:
| Campo | Qué es |
|---|---|
ds_go_agent_id |
Qué agente envió el mensaje |
ds_go_agent_regime |
En qué grupo está el usuario: impulsado por IA o control aleatorio |
ds_go_rec_id |
El ID de la decisión específica (recomendación) |
Para analizar estos campos en tu almacén de datos:
- Confirma que tu exportación de Currents o de datos incluye
message_extrasen el evento de envío. - Une el evento de envío, que lleva la etiqueta del grupo, con las aperturas y los clics mediante
user_idydispatch_id. - Compara la métrica que elijas entre los valores de
ds_go_agent_regimey, si la configuraste, entre tu división BAU y la del agente.
Cómo interpretar los informes
- Establece la fecha de finalización en hace dos días. Los datos de los informes tienen un retraso de aproximadamente un día, así que una fecha de finalización de hace dos días te da una vista completa.
- Deja que los informes se completen durante unos días después del lanzamiento. Si aparecen vacíos justo después de lanzar, es normal. Los informes todavía están recopilando datos.
- Usa las vistas Rendimiento y Preferencias del agente. Rendimiento muestra el aumento en comparación con el control aleatorio. Preferencias del agente muestra con qué frecuencia el agente ha elegido cada variante.