Créer des tests A/B et multivariés

Vous pouvez créer un test multivarié ou un test A/B pour toute campagne qui cible un seul canal.

Étape 1 : Créer votre campagne

1. Sélectionnez Envoi de messages > Campagnes.
2. Sélectionnez Créer une campagne et un canal pour la campagne dans la section qui permet les tests multivariés et les tests A/B. Pour obtenir une documentation détaillée sur chaque canal de communication, reportez-vous à la section Créer une campagne.

Étape 2 : Composer vos variantes

Vous pouvez créer jusqu’à huit variantes de votre message, en changeant les titres, le contenu, les images, etc. Le nombre de différences entre les messages détermine s’il s’agit d’un test A/B ou multivarié. Un test A/B examine l’effet de la modification d’une variable alors qu’un test multivarié en examine deux ou plus.

Découvrez de nouvelles idées sur la manière de différencier vos variantes en consultant nos conseils pour différents canaux.

Étape 3 : Planifier votre campagne

Planifier votre campagne multivariée fonctionne comme pour toute autre planification de campagne Braze. Tous les types de distribution standard sont disponibles.

Une fois qu’un test multivarié a commencé, vous ne pouvez plus apporter de modifications à la campagne. Si vous modifiez les paramètres, tels que la ligne d’objet ou le corps HTML, Braze considérera que l’expérience est compromise et la désactivera immédiatement.

Étape 4 : Choisir un segment et répartir vos utilisateurs entre les variantes

Sélectionnez les segments à cibler, puis répartissez ses membres entre les variantes sélectionnées et le groupe de contrôle facultatif. Pour connaître les meilleures pratiques concernant le choix d’un segment d’essai, reportez-vous à la section Choix d’un segment.

Pour les campagnes push, e-mail et webhook planifiées pour être envoyées une seule fois, vous pouvez également utiliser une optimisation. Ceci séparera une partie de votre audience cible du test A/B et les réservera pour un second envoi optimisé selon les résultats du premier test.

Groupe de contrôle

Vous pouvez réserver un pourcentage de votre audience cible pour créer un groupe de contrôle randomisé. Les utilisateurs du groupe de contrôle ne reçoivent pas le test, mais Braze surveille leur taux de conversion pendant la durée de la campagne.

Lorsque vous visualisez vos résultats, vous pouvez comparer les taux de conversion de vos variantes par rapport au taux de conversion de référence fourni par votre groupe de contrôle. Cela vous permet de comparer les effets de vos variantes, mais aussi de comparer les effets de vos variantes au taux de conversion que vous obtiendriez si vous n’aviez envoyé aucun message.

Groupes de contrôle avec test A/B

Lorsque vous utilisez la limite de débit avec un test A/B, la limite de débit n’est pas appliquée au groupe de contrôle de la même manière qu’au groupe de test, ce qui constitue une source potentielle de biais temporel. Utilisez des fenêtres de conversion appropriées pour éviter ce biais.

Groupes de contrôle avec sélection intelligente

La taille du groupe de contrôle pour une campagne avec sélection intelligente est basée sur le nombre de variantes. Si chaque variante est envoyée à plus de 20 % des utilisateurs, alors le groupe de contrôle est de 20 % et les variantes sont réparties de manière égale sur les 80 % restants. Cependant, si vous avez assez de variantes pour que chaque variante soit envoyée à moins de 20 % des utilisateurs, le groupe de contrôle doit alors être plus petit. Lorsque la sélection intelligente commence à analyser les performances de votre test, le groupe de contrôle s’agrandit ou se réduit en fonction des résultats.

Étape 5 : Désigner un événement de conversion (Facultatif)

Définir un événement de conversion pour une campagne vous permet de voir combien de destinataires de la campagne ont effectué une action donnée après réception.

Cela n’affecte le test que si vous avez choisi Taux de conversion primaire dans les étapes précédentes. Pour plus d’informations, reportez-vous à la section Événements de conversion.

Étape 6 : Vérifier et lancer le test

Sur la page de confirmation, vérifiez les informations de votre campagne multivariée et lancez le test une fois terminé ! Ensuite, apprenez à comprendre les résultats de vos tests.

Choses à savoir

Si l’envoi de votre expérience a déjà commencé et que vous modifiez le message, l’expérience sera invalidée et tous les résultats de l’expérience seront supprimés.

• Pour éviter toute interférence avec le comportement attendu de l’expérience, nous vous recommandons d’éviter de modifier les messages dans l’heure qui suit le lancement de la campagne de communication.
• Si votre expérience est terminée et que vous modifiez le message après son envoi, les résultats de l’expérience resteront disponibles dans votre tableau de bord analytique. Toutefois, si vous relancez la campagne, les résultats de l’expérience seront supprimés.

Conseils pour différents canaux

Selon le canal choisi, vous pouvez tester différents éléments de votre message. Par exemple, vous pouvez essayer de composer des variantes en ayant une idée de ce que vous voulez tester et de ce que vous espérez prouver. Quels sont les leviers à actionner et quels sont les effets recherchés ? Bien qu’il existe des millions d’éléments à étudier à l’aide d’un test A/B ou multivarié, nous avons réuni quelques suggestions pour vous aider à démarrer :

Canal	Les aspects du message que vous pouvez modifier	Résultats à rechercher
Notification push	Copier Utilisation des images et des émojis Liens profonds Présentation des chiffres (par exemple, “tripler” par rapport à “augmenter de 200%”) Présentation de l’heure (par exemple, “se termine à minuit” ou “se termine dans 6 heures”)	Ouvertures Taux de conversion
E-mail	Objet Nom affiché Salutations Copie du corps Utilisation des images et des émojis Présentation des chiffres (par exemple, “tripler” par rapport à “augmenter de 200%”) Présentation de l’heure (par exemple, “se termine à minuit” ou “se termine dans 6 heures”)	Ouvertures Taux de conversion
Message in-app	Aspects listés pour « notification push » Format du message	Clic Taux de conversion

De plus, la longueur idéale de votre test peut également varier en fonction du canal. Gardez à l’esprit la durée moyenne dont la plupart des utilisateurs peuvent avoir besoin pour interagir avec chaque canal.

Par exemple, si vous testez un push, vous pouvez obtenir des résultats significatifs plus rapidement que lorsque vous testez un e-mail, car les utilisateurs voient les push immédiatement, alors qu’il peut s’écouler des jours avant qu’ils ne voient ou n’ouvrent un e-mail. Si vous testez des messages in-app, gardez à l’esprit que les utilisateurs doivent ouvrir l’application pour voir la campagne, vous devriez donc attendre plus longtemps pour collecter les résultats à la fois de vos utilisateurs les plus actifs qui ouvrent l’application et de vos utilisateurs les plus typiques.

Si vous n’êtes pas sûr de la durée de votre test, la fonctionnalité Sélection intelligente peut s’avérer utile pour identifier efficacement une variante gagnante.

Choisir des segments

Étant donné que différents segments d’utilisateurs peuvent réagir différemment à votre message, la réussite d’un message donné révèle quelque chose à la fois sur le message lui-même et sur son segment cible. Essayez donc de créer un test en pensant à votre segment cible.

Par exemple, alors que les utilisateurs actifs peuvent avoir le même taux de réponse à “Cette offre expire demain !” et à “Cette offre expire dans 24 heures !”, les utilisateurs qui n’ont pas ouvert l’application depuis une semaine peuvent être plus réceptifs à la dernière formulation, car elle crée un plus grand sentiment d’urgence.

Par ailleurs, lorsque vous choisissez un segment à tester, assurez-vous que la taille de ce segment sera suffisamment grande pour votre test. En général, les tests A/B et multivariés qui comportent un plus grand nombre de variantes nécessitent un groupe de test plus grand pour obtenir des résultats probants sur le plan statistique. En effet, plus le nombre de variantes est important, plus le nombre d’utilisateurs voyant chaque variante sera réduit.

Biais et randomisation

Une question fréquente concernant les groupes de contrôle et de test est de savoir s’ils peuvent introduire un biais dans vos tests. D’autres se demandent parfois comment nous pouvons savoir si ces affectations sont réellement aléatoires.

Les utilisateurs sont affectés à des variantes de message, des variantes de Canvas ou à leurs groupes de contrôle respectifs en concaténant leur ID utilisateur (généré aléatoirement) avec l’ID de campagne (généré aléatoirement) ou l’ID de Canvas, en prenant le module de cette valeur avec 100, puis en ordonnant les utilisateurs en tranches qui correspondent aux affectations de pourcentage pour les variantes et le contrôle facultatif choisi dans le tableau de bord. Il n’y a donc aucun moyen pratique pour que les comportements des utilisateurs avant la création d’une campagne ou d’un Canvas particulier varient systématiquement entre les variantes et le contrôle. Il n’est pas non plus pratique d’être plus aléatoire (ou, plus précisément, pseudo-aléatoire) que cette implémentation.

Erreurs à éviter

Il existe des erreurs courantes pour éviter de créer l’apparence de différences en fonction du canal de communication si les audiences ne sont pas filtrées correctement.

Par exemple, si vous envoyez une notification push à une large audience avec un contrôle, le groupe de test n’enverra des messages qu’aux utilisateurs avec un jeton push. Cependant, le groupe de contrôle comprendra à la fois des utilisateurs qui disposent d’un jeton push et d’autres qui n’en ont pas. Dans ce cas, votre audience initiale pour la campagne ou le Canvas doit filtrer pour avoir un jeton de notification push (Push Enabled est true). Il en va de même pour l’éligibilité à recevoir des messages sur d’autres canaux : s’est inscrit, a un jeton de notification push, s’est abonné, etc.