多変量テストと AB テストの作成
単一チャネルかつ単一デバイスをターゲットとする任意のキャンペーンに対して、多変量テストまたは AB テストを作成できます。たとえば、プッシュキャンペーンで多変量テストまたは AB テストを使用する場合、iOS デバイスのみ、または Android デバイスのみをターゲットにできます。同じキャンペーン内で両方のデバイスタイプをターゲットにすることはできません。
ステップ 1: キャンペーンを作成する
- メッセージング > キャンペーンに移動します。
- キャンペーンを作成を選択し、多変量テストと AB テストが可能なセクションからキャンペーンのチャネルを選択します。各メッセージングチャネルの詳細なドキュメントについては、キャンペーンの作成を参照してください。
ステップ 2: バリアントを作成する
メッセージのバリアントを最大8つ作成でき、タイトル、コンテンツ、画像などを差別化できます。メッセージ間の違いの数によって、多変量テストか AB テストかが決まります。AB テストは1つの変数を変更した場合の効果を調べるのに対し、多変量テストは2つ以上の変数を調べます。
バリアントの差別化を始めるためのアイデアについては、チャネル別のヒントを参照してください。
ステップ 3: キャンペーンをスケジュールする
多変量キャンペーンのスケジュール設定は、他の Braze キャンペーンのスケジュール設定と同じです。すべての標準的な配信タイプが利用可能です。
多変量テストの送信が開始された後は、キャンペーンに変更を加えることはできません。件名や HTML 本文などのパラメーターを変更すると、Braze は実験が損なわれたとみなし、直ちに実験を無効にします。
最適化（一部のチャネルで利用可能）を使用するには、キャンペーンを1回限りの配信としてスケジュールしてください。最適化は、繰り返し配信や再エントリが有効になっているキャンペーンでは利用できません。
ステップ 4: セグメントを選択し、バリアント間でユーザーを分配する
ターゲットとするセグメントを選択し、選択したバリアントとオプションのコントロールグループにメンバーを分配します。テスト用のセグメント選択のベストプラクティスについては、セグメントの選択を参照してください。
プッシュ、メール、Webhook の1回限りの配信キャンペーンでは、最適化も使用できます。最適化は、ターゲットオーディエンスの一部を AB テストから確保し、最初のテストの結果に基づいて最適化された2回目の送信のために保持します。
コントロールグループ
ターゲットオーディエンスの一定割合をランダム化されたコントロールグループとして確保できます。コントロールグループのユーザーはテストを受け取りませんが、Braze はキャンペーン期間中のコンバージョン率を監視します。
結果を確認する際、バリアントのコンバージョン率をコントロールグループが提供するベースラインのコンバージョン率と比較できます。これにより、バリアントの効果と、メッセージをまったく送信しなかった場合のコンバージョン率に対するバリアントの効果の両方を比較できます。
開封数またはクリック数で勝者を決定する際にコントロールグループを使用することは推奨されません。コントロールグループはメッセージを受け取らないため、それらのユーザーは開封やクリックを行うことができません。そのため、そのグループのコンバージョン率は定義上0%となり、バリアントとの有意義な比較にはなりません。
AB テストにおけるコントロールグループ
AB テストでレート制限を使用する場合、レート制限はテストグループと同じ方法ではコントロールグループに適用されません。これは時間バイアスの潜在的な原因となります。このバイアスを避けるために、適切なコンバージョン時間枠を使用してください。
インテリジェントセレクションにおけるコントロールグループ
インテリジェントセレクションを使用するキャンペーンのコントロールグループのサイズは、バリアントの数に基づきます。各バリアントがユーザーの20%以上に送信される場合、コントロールグループは20%となり、バリアントは残りの80%に均等に分配されます。ただし、各バリアントがユーザーの20%未満に送信されるほど多くのバリアントがある場合、コントロールグループはより小さくなる必要があります。インテリジェントセレクションがテストのパフォーマンス分析を開始すると、コントロールグループは結果に基づいて拡大または縮小します。
ステップ 5: コンバージョンイベントを指定する（オプション）
キャンペーンにコンバージョンイベントを設定すると、そのキャンペーンの受信者のうち、受信後に特定のアクションを実行した人数を確認できます。
これは、前のステップで1次コンバージョン率を選択した場合にのみテストに影響します。詳細については、コンバージョンイベントを参照してください。
ステップ 6: 確認して起動する
確認ページで多変量キャンペーンの詳細を確認し、テストを起動します。次に、テスト結果の理解の方法を学びましょう。
注意事項
実験の送信がすでに開始されている状態でメッセージを編集すると、実験は無効となり、実験結果はすべて削除されます。
- 予期される実験動作への干渉を防ぐため、実験キャンペーンの起動から1時間以内のメッセージ編集は避けることを推奨します。
- 実験が完了し、送信後にメッセージを編集した場合、実験結果はダッシュボードの分析で引き続き利用可能です。ただし、キャンペーンを再起動すると、実験結果は削除されます。
チャネル別のヒント
選択するチャネルに応じて、メッセージのさまざまなコンポーネントをテストできます。たとえば、何をテストしたいか、何を証明したいかというアイデアを持ってバリアントを作成してみてください。どのような要素を調整でき、期待される効果は何でしょうか？多変量テストと AB テストで調査できる可能性は無数にありますが、始めるためのいくつかの提案をご紹介します。
| チャネル | 変更可能なメッセージの要素 | 注目すべき結果 |
|---|---|---|
| プッシュ | コピー 画像と絵文字の使用 ディープリンク 数値の表現（例：「3倍」と「200%増加」） 時間の表現（例：「深夜に終了」と「残り6時間で終了」） |
開封数 コンバージョン率 |
| メール | 件名 表示名 挨拶文 本文コピー 画像と絵文字の使用 数値の表現（例：「3倍」と「200%増加」） 時間の表現（例：「深夜に終了」と「残り6時間で終了」） |
開封数 コンバージョン率 |
| アプリ内メッセージ | 「プッシュ」に記載された要素 アプリ内メッセージの画像仕様 |
クリック数 コンバージョン率 |
AB テストを実施する際は、ファネルレポートを生成することを忘れないでください。各バリアントがコンバージョンファネルにどのような影響を与えたかを理解できます。特に、ビジネスにおける「コンバージョン」が複数のステップやアクションを伴う場合に有用です。
また、テストの理想的な期間もチャネルによって異なる場合があります。各チャネルでユーザーがエンゲージメントするのに必要な平均的な時間を考慮してください。
たとえば、プッシュをテストする場合、ユーザーはプッシュを即座に確認するため、メールのテストよりも早く有意な結果が得られる可能性があります。一方、メールの場合は確認や開封までに数日かかることがあります。アプリ内メッセージをテストする場合、ユーザーがキャンペーンを確認するにはアプリを開く必要があるため、最もアクティブなアプリユーザーだけでなく、一般的なユーザーからも結果を収集するために、より長い期間待つ必要があります。
テストの実施期間が不明な場合は、インテリジェントセレクション機能が勝者バリアントを効率的に見つけるのに役立ちます。
セグメントの選択
ユーザーのセグメントによってメッセージへの反応が異なる可能性があるため、特定のメッセージの成功は、メッセージ自体とそのターゲットセグメントの両方について示唆を与えます。そのため、ターゲットセグメントを念頭に置いてテストを設計するようにしてください。
たとえば、アクティブユーザーは「このセールは明日終了！」と「このセールは24時間で終了！」に対して同等の反応率を示すかもしれませんが、1週間アプリを開いていないユーザーは、より強い緊急感を生み出す後者の表現に対してより反応する可能性があります。
さらに、テストを実施するセグメントを選択する際は、そのセグメントのサイズがテストに十分な大きさであることを確認してください。一般的に、バリアントが多い多変量テストや AB テストでは、統計的に有意な結果を得るためにより大きなテストグループが必要です。これは、バリアントが多いほど、各バリアントを見るユーザーが少なくなるためです。
目安として、テスト結果に95%の信頼度を得るには、バリアントごと（コントロールを含む）に約15,000人のユーザーが必要です。ただし、必要なユーザー数は、特定のケースによってそれより多くなったり少なくなったりする可能性があります。バリアントのサンプルサイズに関するより正確なガイダンスについては、サンプルサイズ計算ツールを参照することを検討してください。
バイアスとランダム化
コントロールグループとテストグループの割り当てに関するよくある質問は、テストにバイアスが生じる可能性があるかどうかです。また、これらの割り当てが本当にランダムであるかどうかを疑問に思う方もいます。
ユーザーは、（ランダムに生成された）ユーザー ID と（ランダムに生成された）キャンペーンまたはキャンバス ID を連結し、その値の100による剰余を取り、ダッシュボードで選択されたバリアントとオプションのコントロールの割合に対応するスライスにユーザーを順序付けることで、メッセージバリアント、キャンバスバリアント、またはそれぞれのコントロールグループに割り当てられます。そのため、特定のキャンペーンやキャンバスを作成する前のユーザーの行動が、バリアントとコントロール間で体系的に異なる実用的な方法はありません。また、この実装よりもランダム（より正確には擬似ランダム）にすることも実用的ではありません。
避けるべきミス
オーディエンスが正しくフィルタリングされていない場合、メッセージングチャネルに基づく差異があるように見えてしまう一般的なミスがいくつかあります。
たとえば、広範なオーディエンスにコントロール付きのプッシュメッセージを送信する場合、テストグループはプッシュトークンを持つユーザーにのみメッセージを送信します。しかし、コントロールグループにはプッシュトークンを持つユーザーと持たないユーザーの両方が含まれます。この場合、キャンペーンまたはキャンバスの初期オーディエンスは、プッシュトークンを持っていること（Foreground Push Enabled が true）でフィルタリングする必要があります。他のチャネルでメッセージを受信する資格についても同様です：オプトイン済み、プッシュトークンを持っている、または購読中であることが必要です。
コントロールバリアントにキャンバスステップが含まれていない場合、コントロールバリアントのユーザーに対して離脱条件イベントはログに記録されないことに注意してください。
コントロールグループにランダムバケット番号を手動で使用している場合は、コントロールグループの注意事項を確認してください。