Des tests multivariés à l'intelligence artificielle décisionnelle

Trouvant les tests A/B trop lents, vous êtes passé aux tests multivariés. Vous pouvez désormais tester plusieurs variantes simultanément, plutôt que de vous limiter à deux. Les tests multivariés sont certes plus rapides que les tests A/B, mais ils restent néanmoins trop lents et présentent d'autres inconvénients, comme leur incapacité à s'adapter à l’évolution du comportement des clients et à personnaliser les expériences. Il existe une méthode radicalement plus efficace pour optimiser vos campagnes marketing : l’IA décisionnelle avec les bandits contextuels.

Dans cet article, nous explorerons l'évolution des méthodes d'expérimentation marketing, des tests A/B aux tests multivariés, en passant par les bandits contextuels et à plusieurs bras. Nous analyserons les avantages de chaque méthode, tout en soulignant leurs inconvénients. Enfin, nous présenterons la manière dont Braze utilise et améliore les bandits contextuels pour offrir une véritable personnalisation individuelle.

Tests multivariés

Lors d’un test A/B, l’audience est répartie aléatoirement entre deux groupes : chacun reçoit une variante différente du message marketing, puis les performances des deux versions sont comparées à l’aide d’un indicateur clé, comme le taux de conversion. Par exemple, supposons que vous souhaitiez savoir quelle chaussure proposer dans une offre par e-mail.

Dès que vous avez plus de deux paires de chaussures à tester, la méthode A/B devient vite contraignante, dans la mesure où il faut comparer chaque paire aux autres, un processus lent et peu efficace. Avec les tests multivariés, vous testez toutes vos variantes simultanément :

Les tests multivariés sont essentiellement des tests A/B réalisés en parallèle plutôt que de manière séquentielle. En permettant de tester plusieurs variables simultanément plutôt que de réaliser des tests séparés les uns après les autres, cette approche parallèle offre un gain de temps considérable par rapport aux tests A/B traditionnels.

Cependant, cette efficacité a un coût. Dans la mesure où l'audience totale est répartie en parts égales parmi toutes les combinaisons de variantes (2 catégories, hommes/femmes et 3 styles = 6 combinaisons pour l'exemple ci-dessus), il peut être difficile d'atteindre une pertinence statistique si le nombre de combinaisons est élevé.

Cela pose un véritable dilemme aux marketeurs :

• Attendre plus longtemps afin de recueillir assez de données pour obtenir des résultats fiables, et non de simples variations dues au hasard.
• Mettre en œuvre rapidement ce qui semble être la meilleure option en fonction des premières données, bien que celles-ci puissent être peu fiables.

Plus vous testez de combinaisons, plus les groupes respectifs se réduisent, ce qui complique davantage la situation. Par exemple, si vous comptez 60 000 clients et testez 6 combinaisons, chaque combinaison ne sera testée que sur 10 000 clients. Si vous passez à 12 combinaisons, chaque combinaison ne sera testée que sur 5 000 clients, et il deviendra donc encore plus difficile d'obtenir rapidement une pertinence statistique.

En raison de ces contraintes, les tests multivariés sont souvent utilisés par les marketeurs pour tester un sous-ensemble restreint de variantes, plutôt que toutes les combinaisons possibles de messages marketing ou de produits. Cela permet de conserver des groupes de taille plus importante et d’atteindre plus rapidement la pertinence statistique, mais cela réduit le nombre de variantes testées, et donc l’intérêt global de la méthode.

La nature statique des tests multivariés constitue un autre inconvénient majeur. Une fois que vous avez réalisé votre test et déterminé un « gagnant », ce résultat est définitif. Or, les préférences et comportements des clients évoluent au fil du temps. Une variante performante aujourd'hui pourrait ne plus être le meilleur choix dans un mois ou deux. Les tests multivariés traditionnels ne prennent pas en compte ces changements, à moins de réaliser constamment de nouveaux tests, un processus fastidieux et gourmand en ressources.

C'est précisément dans ce type de situation que des solutions plus sophistiquées, comme les bandits à plusieurs bras et les bandits contextuels, prennent tout leur sens.

Bandits à plusieurs bras

Étant donné que les tests multivariés répartissent l'audience de manière égale entre les différentes variantes, l'expérience peut être assez inefficace en termes d’optimisation des conversions. Chaque variante est envoyée au même nombre de clients (10 000 dans l'exemple ci-dessus), même si, dès les 1 000 premiers envois, une variante s'avère nettement moins performante. Un bandit à plusieurs bras est un algorithme qui alloue efficacement les envois à chaque variante en fonction de la probabilité que cette variante soit la meilleure. Un bandit à plusieurs bras est donc nettement plus efficace qu’un test multivarié pour identifier la meilleure combinaison. Toutefois, le bandit à plusieurs bras ne se contente pas d’envoyer uniquement la variante qu’il pense être la meilleure. Il alterne entre deux stratégies : exploiter ce qu’il sait déjà, en envoyant la variante la plus prometteuse, et explorer de nouvelles options de variantes pour mieux comprendre leur performance.

Cela met en évidence un autre avantage du bandit à plusieurs bras par rapport aux tests multivariés : le bandit à plusieurs bras expérimente en permanence. Un bandit à plusieurs bras détectera si, au fil du temps, une variante initialement sous-performante devient plus efficace, et commencera à l'envoyer plus souvent aux utilisateurs, en fonction de l'amélioration de ses performances. Ainsi, la variante jugée la meilleure par le bandit à plusieurs bras et la façon dont il distribue les variantes peuvent évoluer dans le temps.

Les bandits à plusieurs bras permettent d’identifier la variante la plus performante, pour tous les clients ou pour un segment précis, puis d’ajuster automatiquement les envois si cette variante change avec le temps. Mais les bandits à plusieurs bras présentent un inconvénient majeur : ils ne sont pas capables de personnaliser. Un bandit à plusieurs bras traite chaque variante testée comme une entité indépendante (par exemple, il ne distingue pas si deux chaussures se ressemblent et pourraient donc offrir des performances similaires) et applique la même approche à tous les clients, sans aucune personnalisation. Or, chaque client est unique… tout comme les variantes !

Bandits contextuels

À la différence des bandits à plusieurs bras, les bandits contextuels sont des algorithmes qui s’appuient sur des informations de contexte concernant les clients, les variantes et l’environnement pour guider leurs décisions (par exemple : s’agit-il d’un jour férié ou d’un week-end ?). Par exemple, un bandit contextuel est capable d’identifier le style d’une chaussure et de déterminer s’il s’agit d’un modèle masculin ou féminin. Le bandit peut également étudier l’historique d’achats du client, notamment des styles de chaussures qu’il a déjà achetés auparavant. Le bandit contextuel peut donc déterminer rapidement quelles offres ont le plus de chances de séduire un segment spécifique.

Le bandit contextuel ne se contente pas de choisir une variante en fonction de sa probabilité moyenne de conversion, mais tient compte de ses chances de convertirun client spécifique, dans un contexte donné (par exemple, un samedi matin).

De plus, le bandit contextuel peut tirer des enseignements d’une variante et les appliquer à d’autres variantes similaires. Par exemple, si une nouvelle chaussure de sport est ajoutée à la collection, l’algorithme saura qu’il s’agit d’un modèle de sport et exploitera les connaissances déjà acquises sur ce type de produit pour la recommander efficacement. Ainsi, cette approche est bien plus adaptée aux cas où de nouvelles variantes apparaissent en permanence.

Les bandits contextuels présentent aussi certains inconvénients : ils sont plus difficiles à mettre en œuvre et à gérer que les bandits à plusieurs bras, nécessitent des données clients régulièrement mises à jour, et, même s’ils peuvent traiter un nombre de variantes bien plus important que les méthodes précédentes, ils peuvent perdre en efficacité lorsqu’ils doivent gérer un trop grand nombre de variantes.

Comment Braze repousse les limites des bandits contextuels grâce à l’IA décisionnelle

Pour améliorer l’efficacité de l’échantillonnage, c’est-à-dire la rapidité avec laquelle le modèle apprend à partir d’un volume de données limité, chez Braze, nous utilisons une communauté de bandits, à savoir des agents de décision basés sur l’IA qui décomposent la recommandation en plusieurs dimensions (par exemple : le jour de la semaine, le moment de la journée, le canal, le contenu créatif ou l’offre), chaque dimension étant gérée par un bandit contextuel distinct chargé de prendre des décisions spécifiques.

Pour en savoir plus sur la prise de décision par l’IA, découvrez notre livre blanc consacré à notre communauté de bandits.