多変量テストと AB テストの作成
多変量テストや AB テストは、単一チャネルをターゲットとするキャンペーンならどれでも作成できます。
ステップ 1: キャンペーンを作成
[キャンペーンを作成] をクリックし、多変量テストと AB テストを許可するセクションからキャンペーンのチャネルを選択します。各メッセージングチャネルの詳細なドキュメントについては、「キャンペーンの作成」を参照してください。
ステップ 2: バリアントを作成
タイトル、コンテンツ、画像などを区別して、メッセージのバリアントを最大8つ作成できます。メッセージ間の差の数によって、これが多変量テストかA/Bテストかが決まる。A/Bテストは1つの変数を変更した場合の効果を検証するのに対し、多変量テストは2つ以上の変数を検証する。
バリアントの区別を始めるためのアイデアについては、「さまざまなチャネル向けのヒント」を参照してください。
ステップ 3: キャンペーンをスケジュールする
多変量キャンペーンのスケジュール設定は、他の Braze キャンペーンのスケジュール設定と同じように機能します。すべての標準的な[配送タイプ][4] が利用できる。
多変量テストが始まると、キャンペーンを変更することはできない。件名やHTML本文などのパラメータを変更した場合、Brazeはその実験を危険とみなし、即座に実験を無効にする。
最適化機能 (一部のチャンネルで利用可能) を使用する場合は、キャンペーンを一度だけ配信するようにスケジュールしてください。繰り返し行われるキャンペーンや再適格性が有効になっているキャンペーンでは、最適化は利用できません。
ステップ 4: セグメントを選択し、さまざまなバリアントにユーザーを分配する
ターゲットとするセグメントを選択し、そのメンバーを選択したバリアントとオプションのコントロールグループに分配します。テストするセグメントの選択に関するベストプラクティスについては、「セグメントの選択」を参照してください。
プッシュキャンペーン、メールキャンペーン、Webhook キャンペーンを1回送信するようにスケジュールしている場合は、最適化を使用することもできます。これにより、ターゲットオーディエンスの一部を AB テストから確保し、最初のテスト結果に基づいて最適化された2回目の送信のために保持します。
コントロールグループ
ターゲットオーディエンスの特定の割合をランダム化されたコントロールグループのために予約できます。コントロールグループのユーザーはテストを受けませんが、Braze はキャンペーン期間中のコンバージョン率を監視します。
結果を表示すると、バリアントのコンバージョン率をコントロールグループから提供されたベースラインコンバージョン率と比較できます。これにより、バリアントの効果と、メッセージをまったく送信しなかった場合に発生するコンバージョン率に対するバリアントの効果の両方を比較できます。
![A/Bテストパネルでは、コントロールグループ、バリアント1、バリアント2、バリアント3の各グループの割合が25%ずつ表示される。][5]
開封数またはクリック数で勝者を決定するときにコントロールグループを使用することはお勧めしません。コントロールグループはメッセージを受信しないため、これらのユーザーは開封したりクリックしたりすることはできません。したがって、そのグループのコンバージョン率は定義上0% であり、バリアントとの有意義な比較にはなりません。
A/Bテストによる対照群
A/Bテストでレート制限を使用する場合、レート制限はテストグループと同じようにコントロールグループには適用されない。このバイアスを避けるために、適切な変換ウィンドウを使用する。
インテリジェントセレクションを使用するコントロールグループ
インテリジェントセレクションを使用するキャンペーンのコントロールグループのサイズは、バリアントの数に基づいています。各バリアントが20% を超えるユーザーに送信された場合、コントロールグループは20% になり、バリアントは残りの80% に均等に分割されます。ただし、十分な数のバリアントがあり、各バリアントがユーザーの20% 未満に送信される場合は、コントロールグループを小さくする必要があります。インテリジェントセレクションがテストのパフォーマンスの分析を開始すると、その結果に基づいてコントロールグループが拡大または縮小します。
ステップ5: コンバージョンイベントの指定 (オプション)
キャンペーンにコンバージョンイベントを設定すると、キャンペーンを受信した後に特定のアクションを実行した受信者の数を確認できます。
これは、前のステップで [1次コンバージョン率] を選択した場合にのみテストに影響します。詳しくは、「コンバージョンイベント」を参照してください。
ステップ6: レビューと開始
確認ページで、多変量キャンペーンの詳細を確認して、テストを開始してください。次に、テスト結果を理解する方法を学びます。
知っておくべきこと
実験開始後にメッセージを編集すると、テスト結果は無効になる。
- 実験が送信途中でメッセージを編集した場合、実験は無駄になり、実験結果はすべて削除される。
- 実験が完了し、送信後にメッセージを編集しても、実験結果はダッシュボードの分析ページで利用できる。キャンペーンを再開すると、実験結果は削除される。
さまざまなチャンネル向けのヒント
選択したチャンネルに応じて、メッセージのさまざまなコンポーネントをテストできます。何をテストしたいのか、何を証明したいのかを考えてバリアントを作成してみてください。
どのような手段を講じる必要があり、どのような効果が期待できますか。多変量テストと AB テストを使用して調査できる可能性は無数にありますが、始めるための提案をいくつかご紹介します。
Channel | あなたが変えられるメッセージの側面 | 注目すべき結果 |
---|---|---|
プッシュ | コピー 画像と絵文字の使い方 ディープリンク 数値の表示 (たとえば、「3倍」と「200%増加」) 時間の表示(例えば、「午前0時に終了」と「6時間後に終了」)。 |
オープン コンバージョン率 |
メール | 件名 表示名 あいさつ 本文のコピー 画像と絵文字の使い方 数値の表示 (たとえば、「3倍」と「200%増加」) 時間の表示(例えば、「午前0時に終了」と「6時間後に終了」)。 |
オープン コンバージョン率 |
アプリ内メッセージ | “プッシュ “にリストアップされたアスペクト [メッセージの形式][7] |
クリック コンバージョン率 |
AB テストを実施する際は、各バリアントがコンバージョンファネルにどのような影響を与えたかを把握できるファネルレポートを生成することを忘れないでください。特に、ビジネスの「コンバージョン」に複数のステップやアクションが必要である場合は特にそうです。
さらに、テストの理想的な長さもチャネルによって異なる場合があります。ほとんどのユーザーが各チャネルと関わるのに要する平均時間を覚えておいてください。
たとえば、プッシュをテストする場合、ユーザーにはプッシュがすぐに表示されるため、メールをテストする場合よりも早く大きな結果が得られる可能性がありますが、メールが表示または開封されるまでには数日かかる場合があります。アプリ内ッセージをテストする場合、ユーザーはキャンペーンを見るにはアプリを開かなければならないことを覚えておいてください。そのため、最もアクティブなアプリを開くユーザーと一般的なユーザーの両方から結果を収集するには、より長く待機する必要があります。
テストの実行時間がわからない場合、[Intelligent Selection][6] ]機能は、Winning Variantを効率的に見つけるのに便利である。
セグメントを選択する
ユーザーのセグメントが異なれば、メッセージングに対する反応も異なる場合があるため、特定のメッセージが成功したかどうかは、メッセージ自体とそのターゲットセグメントの両方に何らかの影響を及ぼします。そのため、ターゲットセグメントを念頭に置いてテストを設計するようにしてください。
例えば、アクティブユーザーは「このセールは明日までです!」と「このセールは24時間で終了します! 」に対して同じ応答率を示すかもしれませんが、アプリを1週間開いていないユーザーは、後者の表現の方が切迫感が高まるため、より反応する可能性があります。
さらに、テストを実行するセグメントを選択するときは、そのセグメントのサイズがテストに十分な大きさであるかどうかを必ず検討してください。一般に、多変量テストと AB テストでバリアントの数が多い場合、統計的に有意な結果を得るには、より多くのテストグループが必要になります。これは、バリアントが多いほど、個々のバリアントを見るユーザーが少なくなるためです。
目安として、テスト結果の95% の信頼性を達成するには、バリアント (コントロールを含む) あたり約15,000人のユーザーが必要になる可能性があります。ただし、特定の状況に応じて、必要な正確なユーザー数がこれよりも多くなる場合も少なくなる場合もあります。変種サンプルサイズに関するより正確なガイダンスについては、サンプルサイズ計算機を参照することを検討する。
バイアスとランダム化
コントロールグループとテストグループの割り当てに関するよくある質問は、テストにバイアスをもたらす可能性があるかどうかというものです。他の人は、これらの割り当てが本当にランダムかどうかをどうやって知るのか疑問に思うことがあります。
ユーザーは、メッセージバリアント、キャンバスバリアント、またはそれぞれのコントロールグループに割り当てられます。そのためには、(ランダムに生成された) ユーザー ID を (ランダムに生成された) キャンペーン ID またはキャンバス ID と連結し、その値のモジュラスを100とし、次にダッシュボードで選択されたバリアントとオプションコントロールのパーセンテージ割り当てに対応するスライスにユーザーを並べ替えます。そのため、特定のキャンペーンやキャンバスを作成する前のユーザーの行動が、バリアントとコントロールの間で体系的に異なることは実際にはありません。また、この実装よりもランダム (より正確には疑似ランダム) にすることは現実的ではありません。
避けるべき間違い
オーディエンスが正しくフィルタリングされていない場合に、メッセージングチャネルに基づいて相違が発生しないようにするための一般的な間違いがいくつかあります。
たとえば、コントロールを使用して幅広いオーディエンスにプッシュメッセージを送信した場合、テストグループはプッシュトークンを持つユーザーにのみメッセージを送信します。ただし、コントロールグループには、プッシュトークンを持っているユーザーと持っていないユーザーの両方が含まれます。この場合、キャンペーンまたはキャンバスの最初のオーディエンスは、プッシュトークンの有無 (Push Enabled
は true
) をフィルタリングする必要があります。他のチャネルでメッセージを受信する資格を得るには、同じことを行う必要があります (オプトイン済み、プッシュトークンあり、サブスクライブ済みなど)。
コントロールグループにランダムなバケット番号を手動で使用する場合は、コントロールグループで注意すべき点のリストを参照してください。
tools/campaigns/scheduling_and_organizing/delivery_types/ /docs/ja/user_guide/engagement_ [5]: /docs/ja/assets/img/ab_create_4.png?e9692b6b4eceb14fc05da287144d0782 [6]: /docs/ja/user_guide/sage_ai/intelligence/intelligent_selection/ [7]: /docs/ja/user_guide/message_building_by_channel/push/best_practices/message_format/