Créer des tests multivariés et des tests A/B

Vous pouvez créer un test multivarié ou un test A/B pour toute campagne qui cible un seul canal et un seul appareil. Par exemple, si vous souhaitez utiliser le test multivarié ou le test A/B pour une campagne push, vous pouvez cibler uniquement les appareils iOS ou uniquement les appareils Android - et non les deux types d’appareils dans la même campagne.

Étape 1 : Créer votre campagne

1. Sélectionnez Envoi de messages > Campagnes.
2. Sélectionnez Créer une campagne et un canal pour la campagne dans la section qui permet les tests multivariés et les tests A/B. Pour obtenir une documentation détaillée sur chaque canal de communication, reportez-vous à la section Créer une campagne.

Étape 2 : Composer vos variantes

Vous pouvez créer jusqu’à huit variantes de votre message, en changeant les titres, le contenu, les images, etc. Le nombre de différences entre les messages détermine s’il s’agit d’un test A/B ou multivarié. Un test A/B examine l’effet de la modification d’une variable alors qu’un test multivarié en examine deux ou plus.

Découvrez de nouvelles idées sur la manière de différencier vos variantes en consultant nos conseils pour différents canaux.

Étape 3 : Planifier votre campagne

Planifier votre campagne multivariée fonctionne comme pour toute autre planification de campagne Braze. Tous les types de réception/distribution standard sont disponibles.

Après le début d’un test multivarié, vous ne pouvez pas apporter de modifications à la campagne. Si vous modifiez les paramètres, tels que la ligne d’objet ou le corps HTML, Braze considère que l’expérience est compromise et la désactive immédiatement.

Étape 4 : Choisir un segment et répartir vos utilisateurs entre les variantes

Sélectionnez les segments à cibler, puis répartissez les membres entre les variantes sélectionnées et le groupe de contrôle facultatif. Pour connaître les meilleures pratiques concernant le choix d’un segment d’essai, reportez-vous à la section Choix d’un segment.

Pour les campagnes push, e-mail et webhook planifiées pour être envoyées une seule fois, vous pouvez également utiliser une optimisation. Une optimisation réserve une partie de votre audience cible du test A/B et la retient pour un second envoi optimisé en fonction des résultats du premier test.

Groupe de contrôle

Vous pouvez réserver un pourcentage de votre audience cible pour créer un groupe de contrôle randomisé. Les utilisateurs du groupe de contrôle ne reçoivent pas le test, mais Braze surveille leur taux de conversion pendant la durée de la campagne.

Lorsque vous visualisez vos résultats, vous pouvez comparer les taux de conversion de vos variantes par rapport au taux de conversion de référence fourni par votre groupe de contrôle. Cela vous permet de comparer les effets de vos variantes, mais aussi de comparer les effets de vos variantes au taux de conversion que vous obtiendriez si vous n’aviez envoyé aucun message.

Groupes de contrôle avec test A/B

Lorsque vous utilisez la limite de débit avec un test A/B, la limite de débit n’est pas appliquée au groupe de contrôle de la même manière qu’au groupe de test, ce qui constitue une source potentielle de biais temporel. Utilisez des fenêtres de conversion appropriées pour éviter ce biais.

Groupes de contrôle avec sélection intelligente

La taille du groupe de contrôle pour une campagne avec sélection intelligente est basée sur le nombre de variantes. Si chaque variante est envoyée à plus de 20 % des utilisateurs, alors le groupe de contrôle est de 20 % et les variantes sont réparties de manière égale sur les 80 % restants. Cependant, si vous avez assez de variantes pour que chaque variante soit envoyée à moins de 20 % des utilisateurs, le groupe de contrôle doit alors être plus petit. Lorsque la sélection intelligente commence à analyser les performances de votre test, le groupe de contrôle s’agrandit ou se réduit en fonction des résultats.

Étape 5 : Désigner un événement de conversion (Facultatif)

Définir un événement de conversion pour une campagne vous permet de voir combien de destinataires de la campagne ont effectué une action donnée après réception.

Cela n’affecte le test que si vous avez choisi Taux de conversion primaire dans les étapes précédentes. Pour plus d’informations, reportez-vous à la section Événements de conversion.

Étape 6 : Vérifier et lancer le test

Sur la page de confirmation, vérifiez les informations de votre campagne multivariée et lancez le test une fois terminé ! Ensuite, apprenez à comprendre les résultats de vos tests.

Choses à savoir

Si l’envoi de votre expérience a déjà commencé et que vous modifiez le message, l’expérience est invalidée et tous les résultats de l’expérience sont supprimés.

• Pour éviter toute interférence avec le comportement attendu de l’expérience, nous vous recommandons d’éviter de modifier les messages dans l’heure qui suit le lancement de la campagne de communication.
• Si votre expérience est terminée et que vous modifiez le message après l’envoi, les résultats de l’expérience restent disponibles dans votre tableau de bord analytique. Toutefois, si vous relancez la campagne, les résultats de l’expérience sont supprimés.

Conseils pour différents canaux

Selon le canal choisi, vous pouvez tester différents éléments de votre message. Par exemple, vous pouvez essayer de composer des variantes en ayant une idée de ce que vous voulez tester et de ce que vous espérez prouver. Quels sont les leviers à actionner et quels sont les effets recherchés ? Bien qu’il existe des millions d’éléments à étudier à l’aide d’un test A/B ou multivarié, nous avons réuni quelques suggestions pour vous aider à démarrer :

Canal	Les aspects du message que vous pouvez modifier	Résultats à rechercher
Notification push	Copier Utilisation des images et des émojis Liens profonds Présentation des chiffres (par exemple, “tripler” par rapport à “augmenter de 200%”) Présentation de l’heure (par exemple, “se termine à minuit” ou “se termine dans 6 heures”)	Ouvertures Taux de conversion
E-mail	Objet Nom affiché Salutations Copie du corps Utilisation des images et des émojis Présentation des chiffres (par exemple, “tripler” par rapport à “augmenter de 200%”) Présentation de l’heure (par exemple, “se termine à minuit” ou “se termine dans 6 heures”)	Ouvertures Taux de conversion
Message in-app	Aspects listés pour « notification push » Format de message	Clic Taux de conversion

De plus, la longueur idéale de votre test peut également varier en fonction du canal. Gardez à l’esprit la durée moyenne dont la plupart des utilisateurs peuvent avoir besoin pour interagir avec chaque canal.

Par exemple, si vous testez une notification push, vous pouvez obtenir des résultats probants plus rapidement qu’en testant des e-mails, car les utilisateurs voient immédiatement les notifications push, alors qu’ils peuvent mettre plusieurs jours à voir et ouvrir un e-mail. Si vous testez des messages in-app, gardez à l’esprit que les utilisateurs doivent ouvrir l’application pour voir la campagne, vous devriez donc attendre plus longtemps pour collecter les résultats à la fois de vos utilisateurs les plus actifs qui ouvrent l’application et de vos utilisateurs les plus typiques.

Si vous n’êtes pas sûr de la durée de votre test, la fonctionnalité de sélection intelligente peut s’avérer utile pour trouver efficacement une variante gagnante.

Choisir des segments

Étant donné que différents segments d’utilisateurs peuvent réagir différemment à votre message, la réussite d’un message donné révèle quelque chose à la fois sur le message lui-même et sur son segment cible. Essayez donc de créer un test en pensant à votre segment cible.

Par exemple, alors que les utilisateurs actifs peuvent avoir le même taux de réponse à “Cette offre expire demain !” et à “Cette offre expire dans 24 heures !”, les utilisateurs qui n’ont pas ouvert l’application depuis une semaine peuvent être plus réceptifs à la dernière formulation, car elle crée un plus grand sentiment d’urgence.

En outre, lorsque vous choisissez le segment sur lequel vous allez effectuer votre essai, assurez-vous que la taille de ce segment est suffisante pour votre essai. En général, les tests A/B et multivariés qui comportent un plus grand nombre de variantes nécessitent un groupe de test plus grand pour obtenir des résultats probants sur le plan statistique. En effet, plus il y a de variantes, moins il y a d’utilisateurs qui voient chacune d’entre elles.

Biais et randomisation

Une question fréquente concernant les groupes de contrôle et de test est de savoir s’ils peuvent introduire un biais dans vos tests. D’autres se demandent parfois comment nous pouvons savoir si ces affectations sont réellement aléatoires.

Les utilisateurs sont affectés à des variantes de message, des variantes de Canvas ou à leurs groupes de contrôle respectifs en concaténant leur ID utilisateur (généré aléatoirement) avec l’ID de campagne (généré aléatoirement) ou l’ID de Canvas, en prenant le module de cette valeur avec 100, puis en ordonnant les utilisateurs en tranches qui correspondent aux affectations de pourcentage pour les variantes et le contrôle facultatif choisi dans le tableau de bord. Il n’y a donc aucun moyen pratique pour que les comportements des utilisateurs avant la création d’une campagne ou d’un Canvas particulier varient systématiquement entre les variantes et le contrôle. Il n’est pas non plus pratique d’être plus aléatoire (ou, plus précisément, pseudo-aléatoire) que cette implémentation.

Erreurs à éviter

Il existe des erreurs courantes pour éviter de créer l’apparence de différences en fonction du canal de communication si les audiences ne sont pas filtrées correctement.

Par exemple, si vous envoyez un message push à une large audience avec un contrôle, le groupe de test envoie des messages uniquement aux utilisateurs disposant d’un jeton push. Cependant, le groupe de contrôle comprend à la fois des utilisateurs qui disposent d’un jeton push et d’autres qui n’en ont pas. Dans ce cas, votre audience initiale pour la campagne ou le Canvas doit filtrer pour avoir un jeton de notification push (Foreground Push Enabled est true). Il faut faire de même pour l’éligibilité à la réception de messages sur d’autres canaux : opt in, has a push token, or subscribed.

Notez que si une variante de contrôle ne comprend aucune étape du canvas, les événements liés aux critères de sortie ne sont pas enregistrés pour les utilisateurs de la variante de contrôle.