多変量テストおよび AB テストの作成

単一のチャネルと単一のデバイスをターゲットとするすべてのキャンペーンに対して、多変量テストまたは AB テストを作成できます。たとえば、プッシュキャンペーンに多変量テストまたは AB テストを使用する場合、iOS デバイスのみ、または Android デバイスのみをターゲットにできます。同じキャンペーン内で両方のデバイスタイプをターゲットにすることはできません。

ステップ 1: キャンペーンを作成する

1. [メッセージング] > [キャンペーン] に移動します。
2. [キャンペーンを作成] を選択し、多変量テストおよび AB テストが可能なセクションからキャンペーンのチャネルを選択します。各メッセージングチャネルの詳細なドキュメントについては、キャンペーンの作成を参照してください。

ステップ 2: バリアントを作成する

メッセージのバリアントを最大 8 つ作成でき、タイトル、コンテンツ、画像などを変えることができます。メッセージ間の違いの数によって、多変量テストか AB テストかが決まります。AB テストは 1 つの変数を変更した場合の効果を検証するのに対し、多変量テストは 2 つ以上の変数を検証します。

バリアントの差別化を始めるためのアイデアについては、さまざまなチャネル向けのヒントを参照してください。

ステップ 3: キャンペーンをスケジュールする

多変量キャンペーンのスケジュール設定は、他の Braze キャンペーンのスケジュール設定と同じように機能します。すべての標準配信タイプを使用できます。

多変量テストが開始された後は、キャンペーンを変更できません。件名や HTML 本文などのパラメーターを変更すると、Braze はその実験が損なわれたとみなし、直ちに実験を無効にします。

ステップ 4: セグメントを選択し、バリアント間でユーザーを分配する

ターゲットとするセグメントを選択し、選択したバリアントとオプションのコントロールグループにメンバーを分配します。テストするセグメントの選択に関するベストプラクティスについては、セグメントの選択を参照してください。

プッシュ、メール、Webhook キャンペーンを 1 回送信するようにスケジュールしている場合は、最適化を使用することもできます。最適化は、AB テストからターゲットオーディエンスの一部を予約し、最初のテストの結果に基づいて 2 回目の最適化された送信のために保持します。

コントロールグループ

ターゲットオーディエンスの一定の割合をランダム化されたコントロールグループのために予約できます。コントロールグループのユーザーはテストを受けませんが、Braze はキャンペーン期間中のコンバージョン率を監視します。

結果を表示する際に、バリアントのコンバージョン率をコントロールグループが提供するベースラインコンバージョン率と比較できます。これにより、バリアントの効果と、メッセージをまったく送信しなかった場合に発生するコンバージョン率に対するバリアントの効果の両方を比較できます。

AB テストのコントロールグループ

AB テストでレート制限を使用する場合、コントロールグループにはテストグループと同じ方法でレート制限が適用されません。これは時間バイアスの潜在的な原因となります。このバイアスを避けるために、適切なコンバージョン時間枠を使用してください。

インテリジェントセレクションを使用するコントロールグループ

インテリジェントセレクションを使用するキャンペーンのコントロールグループのサイズは、バリアントの数に基づいています。各バリアントがユーザーの 20% を超える割合に送信される場合、コントロールグループは 20% になり、バリアントは残りの 80% に均等に分割されます。ただし、十分な数のバリアントがあり、各バリアントがユーザーの 20% 未満に送信される場合は、コントロールグループを小さくする必要があります。インテリジェントセレクションがテストのパフォーマンスの分析を開始すると、その結果に基づいてコントロールグループが拡大または縮小します。

ステップ 5: コンバージョンイベントの指定（オプション）

キャンペーンにコンバージョンイベントを設定すると、キャンペーンを受信した後に特定のアクションを実行した受信者の数を確認できます。

これは、前のステップで [1次コンバージョン率] を選択した場合にのみテストに影響します。詳しくは、コンバージョンイベントを参照してください。

ステップ 6: 確認して開始する

確認ページで、多変量キャンペーンの詳細を確認し、テストを開始してください。次に、テスト結果を理解する方法を学びましょう。

知っておくべきこと

実験がすでに送信を開始した後にメッセージを編集すると、実験は無効になり、すべての実験結果が削除されます。

• 予期される実験動作への干渉を防ぐために、実験キャンペーンの開始から 1 時間以内はメッセージの編集を避けることをお勧めします。
• 実験が完了し、送信後にメッセージを編集した場合、実験結果はダッシュボードの分析で引き続き利用できます。ただし、キャンペーンを再開すると、実験結果は削除されます。

さまざまなチャネル向けのヒント

選択したチャネルに応じて、メッセージのさまざまなコンポーネントをテストできます。たとえば、テストしたい内容と証明したい内容のアイデアを持ってバリアントを作成してみてください。どのようなレバーを引くことができ、どのような効果が期待されますか？多変量テストと AB テストを使用して調査できる可能性は無数にありますが、始めるためのいくつかの提案をご紹介します。

チャネル	変更できるメッセージの側面	確認すべき結果
プッシュ	コピー 画像と絵文字の使い方 ディープリンク 数値の表示（たとえば、「3 倍」と「200% 増加」） 時間の表示（たとえば、「午前 0 時に終了」と「6 時間後に終了」）	開封数 コンバージョン率
メール	件名 表示名 あいさつ 本文コピー 画像と絵文字の使い方 数値の表示（たとえば、「3 倍」と「200% 増加」） 時間の表示（たとえば、「午前 0 時に終了」と「6 時間後に終了」）	開封数 コンバージョン率
アプリ内メッセージ	「プッシュ」に記載されている側面 アプリ内メッセージの画像仕様	クリック コンバージョン率

さらに、テストの理想的な長さもチャネルによって異なる場合があります。ほとんどのユーザーが各チャネルでエンゲージメントするのに必要な平均時間を念頭に置いてください。

たとえば、プッシュをテストする場合、ユーザーにはプッシュがすぐに表示されるため、メールをテストする場合よりも早く有意な結果が得られる可能性がありますが、メールが表示または開封されるまでには数日かかる場合があります。アプリ内メッセージをテストしている場合は、ユーザーがキャンペーンを表示するにはアプリを開く必要があることに留意してください。そのため、最もアクティブなアプリ利用者と、より一般的なユーザーの両方から結果を収集するまで、より長い時間待つ必要があります。

テストの実行時間がわからない場合は、インテリジェントセレクション機能が勝者バリアントを効率的に見つけるのに役立ちます。

セグメントの選択

ユーザーのセグメントが異なれば、メッセージングに対する反応も異なる場合があるため、特定のメッセージの成功は、メッセージ自体とそのターゲットセグメントの両方について示唆を与えます。そのため、ターゲットセグメントを念頭に置いてテストを設計するようにしてください。

たとえば、アクティブユーザーは「このセールは明日までです！」と「このセールは 24 時間で終了します！」に対して同じ応答率を示すかもしれませんが、アプリを 1 週間開いていないユーザーは、後者の表現の方が切迫感が高まるため、より反応する可能性があります。

また、テストを実行するセグメントを選択する際は、そのセグメントのサイズがテストに十分な大きさであるかどうかを確認してください。一般に、多変量テストと AB テストでバリアントの数が多い場合、統計的に有意な結果を得るには、より大きなテストグループが必要になります。これは、バリアントが多いほど、個々のバリアントを見るユーザーが少なくなるためです。

バイアスとランダム化

コントロールグループとテストグループの割り当てに関するよくある質問は、テストにバイアスをもたらす可能性があるかどうかというものです。また、これらの割り当てが本当にランダムかどうかを疑問に思う方もいます。

ユーザーは、メッセージバリアント、キャンバスバリアント、またはそれぞれのコントロールグループに割り当てられます。その方法は、（ランダムに生成された）ユーザー ID を（ランダムに生成された）キャンペーン ID またはキャンバス ID と連結し、その値の 100 に対するモジュラスを取り、ダッシュボードで選択されたバリアントとオプションのコントロールのパーセンテージ割り当てに対応するスライスにユーザーを並べ替えます。そのため、特定のキャンペーンやキャンバスを作成する前のユーザーの行動が、バリアントとコントロールの間で体系的に異なることは実際にはありません。また、この実装よりもランダム（より正確には疑似ランダム）にすることは現実的ではありません。

避けるべき間違い

オーディエンスが正しくフィルタリングされていない場合に、メッセージングチャネルに基づく差異が生じているように見える一般的な間違いがいくつかあります。

たとえば、コントロール付きで幅広いオーディエンスにプッシュメッセージを送信する場合、テストグループはプッシュトークンを持つユーザーにのみメッセージを送信します。しかし、コントロールグループにはプッシュトークンを持つユーザーと持たないユーザーの両方が含まれます。この場合、キャンペーンまたはキャンバスの初期オーディエンスは、プッシュトークンの有無（Foreground Push Enabled が true）でフィルタリングする必要があります。他のチャネルでメッセージを受信する適格性についても同様に行う必要があります。オプトイン済み、プッシュトークンあり、または購読中であることが条件です。

コントロールバリアントにキャンバスステップが含まれていない場合、コントロールバリアントのユーザーには終了基準イベントが記録されないことに注意してください。