多変量テストとABテストの作成

単一チャネルをターゲットとする任意のキャンペーンに対して、多変量テストまたはABテストを作成できます。たとえば、プッシュキャンペーンで多変量テストまたはABテストを使用する場合、同じキャンペーン内でiOSデバイスとAndroidデバイスの両方をターゲットにできます。

ステップ1: キャンペーンを作成する

1. メッセージング > キャンペーンに移動します。
2. キャンペーンを作成を選択し、多変量テストおよびABテストが可能なセクションからキャンペーンのチャネルを選択します。各メッセージングチャネルの詳細なドキュメントについては、キャンペーンを作成するを参照してください。

ステップ2: バリアントを作成する

メッセージのバリアントは最大8つ作成でき、タイトル、コンテンツ、画像などを変えることができます。メッセージ間の違いの数によって、多変量テストか AB テストかが決まります。AB テストは1つの変数を変更した場合の効果を調べるものですが、多変量テストでは2つ以上の変数を調べます。

バリアントの差別化についてのアイデアは、「チャネル別のヒント」を参照してください。

ステップ3: キャンペーンをスケジュールする

多変量キャンペーンのスケジュール設定は、他のBrazeキャンペーンのスケジュール設定と同じです。すべての標準的な配信タイプが利用可能です。

多変量テストが開始された後は、キャンペーンに変更を加えることはできません。件名やHTML本文などのパラメーターを変更すると、Brazeは実験が損なわれたとみなし、直ちに実験を無効にします。

バリアントを自動的に最適化するには、BrazeAIによるABテストの最適化を参照してください。単一送信キャンペーンと複数送信キャンペーンでは、異なる最適化方法と要件が使用されます。

ステップ4：セグメントを選択し、ユーザーをバリアント間で分配する

ターゲットとするセグメントを選択し、選択したバリアントとオプションのコントロールグループにメンバーを分配します。テストに使用するセグメントの選択に関するベストプラクティスについては、セグメントの選択を参照してください。

サポートされているキャンペーンでは、BrazeAI^TMで最適化をオンにして、バリアントの分配を自動的に最適化できます。単発送信キャンペーンの場合、Brazeはオーディエンスの一部を最適化された2回目の送信用に確保します。複数回送信キャンペーンの場合、BrazeAI^TMが時間の経過とともに分配を調整します。

コントロールグループ

ターゲットオーディエンスの一定割合をランダム化されたコントロールグループとして確保できます。コントロールグループのユーザーはテストを受け取りませんが、Brazeはキャンペーン期間中のコンバージョン率を監視します。

結果を確認する際、バリアントのコンバージョン率をコントロールグループが提供するベースラインコンバージョン率と比較できます。これにより、バリアントの効果と、メッセージをまったく送信しなかった場合のコンバージョン率との比較の両方が可能になります。

コントロールグループとABテスト

ABテストでレート制限を使用する場合、レート制限はテストグループと同じ方法ではコントロールグループに適用されません。これは時間バイアスの潜在的な原因となります。このバイアスを避けるために、適切なコンバージョンウィンドウを使用してください。

コントロールグループとBrazeAI^TMで最適化

BrazeAI^TMで最適化を使用した複数回送信キャンペーンの場合、初期のコントロールグループサイズはバリアントの数に依存します。各バリアントがユーザーの20%以上を受け取る場合、コントロールグループは20%から開始し、残りの80%をバリアントが均等に分割します。バリアントが多い場合、コントロールグループはより小さく開始します。BrazeAI^TMがパフォーマンスを分析するにつれて、コントロールグループは拡大または縮小する場合があります。

ステップ5: コンバージョンイベントを指定する（オプション）

キャンペーンにコンバージョンイベントを設定すると、そのキャンペーンの受信者のうち、受信後に特定のアクションを実行した人数を確認できます。

これは、前のステップで1次コンバージョン率を選択した場合にのみテストに影響します。詳細については、コンバージョンイベントを参照してください。

ステップ 6: 確認して開始する

確認ページで、多変量キャンペーンの詳細を確認し、テストを開始します。次に、テスト結果の理解について学びましょう。

知っておくべきこと

実験がすでに送信を開始した後にメッセージを編集すると、実験は無効になり、実験結果はすべて削除されます。

• 予期される実験の動作に干渉しないよう、実験キャンペーンの開始から1時間以内のメッセージ編集は避けることをお勧めします。
• 実験が完了し、送信後にメッセージを編集した場合、実験結果はダッシュボードの分析に引き続き表示されます。ただし、キャンペーンを再開すると、実験結果は削除されます。

チャネルごとのヒント

選択するチャネルに応じて、メッセージのさまざまなコンポーネントをテストできます。たとえば、何をテストしたいか、何を証明したいかというアイデアを念頭にバリアントを作成してみてください。どのような手段があり、期待される効果は何でしょうか？多変量テストやABテストで調査できる可能性は何百万もありますが、まず始めるためのいくつかの提案を紹介します。

チャネル	変更可能なメッセージの要素	確認すべき結果
プッシュ	コピー 画像と絵文字の使用 ディープリンク 数値の表現方法（例：「3倍」と「200%増加」） 時間の表現方法（例：「深夜に終了」と「あと6時間で終了」）	開封 コンバージョン率
メール	件名 表示名 挨拶文 本文コピー 画像と絵文字の使用 数値の表現方法（例：「3倍」と「200%増加」） 時間の表現方法（例：「深夜に終了」と「あと6時間で終了」）	開封 コンバージョン率
アプリ内メッセージ	「プッシュ」に記載されている要素 アプリ内メッセージの画像仕様	クリック コンバージョン率

さらに、テストの理想的な長さもチャネルによって異なる場合があります。ほとんどのユーザーが各チャネルに対してエンゲージメントするのに必要な平均時間を念頭に置いてください。

たとえば、プッシュをテストする場合、ユーザーはプッシュをすぐに目にするため、メールのテストよりも早く有意な結果が得られる可能性があります。一方、メールの場合はユーザーが確認したり開封したりするまでに数日かかることがあります。アプリ内メッセージをテストする場合は、ユーザーがキャンペーンを表示するにはアプリを開く必要があるため、最もアクティブなアプリ利用者と一般的なユーザーの両方から結果を収集するために、より長い期間を設定する必要があります。

テストをどのくらいの期間実行すべきかわからない場合は、BrazeAI^TMで最適化機能で最適化を自動的に設定・実行できます。

セグメントの選択

ユーザーのセグメントによってメッセージへの反応は異なるため、特定のメッセージの成功はメッセージ自体とそのターゲットセグメントの両方について示唆を与えます。したがって、ターゲットセグメントを念頭に置いてテストを設計してみてください。

たとえば、アクティブユーザーは「このセールは明日で終了します！」と「このセールはあと24時間で終了します！」に対して同等の反応率を示すかもしれませんが、1週間アプリを開いていないユーザーは、より強い緊急性を感じさせる後者の表現に反応しやすい可能性があります。

さらに、テストを実施するセグメントを選択する際は、そのセグメントのサイズがテストに十分な大きさかどうかを考慮してください。一般的に、バリアントが多い多変量テストやABテストでは、統計的に有意な結果を得るためにより大きなテストグループが必要です。これは、バリアントが多いほど、個々のバリアントを見るユーザーが少なくなるためです。

バイアスとランダム化

コントロールグループとテストグループの割り当てに関してよくある質問は、テストにバイアスが入り込む可能性があるかどうかです。また、これらの割り当てが本当にランダムかどうかを疑問に思う方もいます。

ユーザーは、（ランダムに生成された）ユーザーIDと（ランダムに生成された）キャンペーンまたはキャンバスIDを連結し、その値の100で割った余りを求め、ダッシュボードで選択されたバリアントとオプションのコントロールの割合に対応するスライスにユーザーを順序付けることで、メッセージバリアント、キャンバスバリアント、またはそれぞれのコントロールグループに割り当てられます。そのため、特定のキャンペーンやキャンバスを作成する前のユーザーの行動が、バリアントとコントロールの間で体系的に異なることは実質的にあり得ません。また、この実装以上にランダム（より正確には擬似ランダム）にすることも実質的に不可能です。

避けるべきミス

オーディエンスが正しくフィルタリングされていない場合、メッセージングチャネルに基づく差異があるように見えてしまういくつかの一般的なミスがあります。

たとえば、広範なオーディエンスにプッシュメッセージをコントロール付きで送信する場合、テストグループはプッシュトークンを持つユーザーにのみメッセージを送信します。しかし、コントロールグループにはプッシュトークンを持つユーザーと持たないユーザーの両方が含まれます。この場合、キャンペーンまたはキャンバスの初期オーディエンスで、プッシュトークンを持っていること（Foreground Push Enabled が true）をフィルター条件にする必要があります。他のチャネルでメッセージを受信する資格についても同様です。オプトイン済み、プッシュトークンを保有、または配信登録済みであることが必要です。

コントロールバリアントにキャンバスステップが含まれていない場合、コントロールバリアントのユーザーに対しては離脱基準イベントが記録されないことに注意してください。