多変量テストと AB テストの作成

多変量テストや AB テストは、単一チャネルをターゲットとするキャンペーンならどれでも作成できます。

ステップ 1: キャンペーンを作成

1. [メッセージング] > [キャンペーン] に進みます。
2. Create campaignを選択し、多変量およびA/Bテストを許可するセクションからキャンペーンのチャネルを選択します。各メッセージングチャネルの詳細なドキュメントについては、キャンペーンの作成を参照してください。

ステップ 2: バリアントを作成

最大8 種類のメッセージを作成し、タイトル、コンテンツ、イメージなどを区別できます。メッセージ間の差の数によって、これが多変量テストかA/Bテストかが決まる。A/Bテストは1つの変数を変更した場合の効果を検証するのに対し、多変量テストは2つ以上の変数を検証する。

バリアントの区別を始めるためのアイデアについては、「さまざまなチャネル向けのヒント」を参照してください。

ステップ 3: キャンペーンをスケジュールする

多変量キャンペーンのスケジュール設定は、他の Braze キャンペーンのスケジュール設定と同じように機能します。すべての標準配信タイプを使用できます。

多変量テストの開始後に、キャンペーンの変更はできません。件名やHTML本文などのパラメータを変更した場合、Brazeはその実験を危険とみなし、即座に実験を無効にする。

ステップ 4: セグメントを選択し、さまざまなバリアントにユーザーを分配する

ターゲットとするセグメントを選択し、そのメンバーを選択したバリアントとオプションのコントロールグループに分配します。テストするセグメントの選択に関するベストプラクティスについては、「セグメントの選択」を参照してください。

プッシュキャンペーン、メールキャンペーン、Webhook キャンペーンを1回送信するようにスケジュールしている場合は、最適化を使用することもできます。これにより、ターゲットオーディエンスの一部を AB テストから確保し、最初のテスト結果に基づいて最適化された2回目の送信のために保持します。

コントロールグループ

ターゲットオーディエンスの特定の割合をランダム化されたコントロールグループのために予約できます。コントロールグループのユーザーはテストを受けませんが、Braze はキャンペーン期間中のコンバージョン率を監視します。

結果を表示すると、バリアントのコンバージョン率をコントロールグループから提供されたベースラインコンバージョン率と比較できます。これにより、バリアントの効果と、メッセージをまったく送信しなかった場合に発生するコンバージョン率に対するバリアントの効果の両方を比較できます。

AB テストのコントロールグループ

AB テストでレート制限を使用する場合、コントロールグループには、テストグループにレート制限を適用するものと同様な方法は適用されません。これは、時間バイアスの潜在的な原因です。このバイアスを避けるために、適切な変換ウィンドウを使用する。

インテリジェントセレクションを使用するコントロールグループ

インテリジェントセレクションを使用するキャンペーンのコントロールグループのサイズは、バリアントの数に基づいています。各バリアントが20% を超えるユーザに送信された場合、コントロールグループは20% であり、バリアントは残りの80% で均等に分割されます。ただし、十分な数のバリアントがあり、各バリアントがユーザーの20% 未満に送信される場合は、コントロールグループを小さくする必要があります。インテリジェントセレクションがテストのパフォーマンスの分析を開始すると、その結果に基づいてコントロールグループが拡大または縮小します。

ステップ5: コンバージョンイベントの指定 (オプション)

キャンペーンにコンバージョンイベントを設定すると、キャンペーンを受信した後に特定のアクションを実行した受信者の数を確認できます。

これは、前のステップで [1次コンバージョン率] を選択した場合にのみテストに影響します。詳しくは、「コンバージョンイベント」を参照してください。

ステップ6: レビューと開始

確認ページで、多変量キャンペーンの詳細を確認して、テストを開始してください。次に、テスト結果を理解する方法を学びます。

知っておくべきこと

実験がすでに送信を開始し、メッセージを編集した場合、実験は無効になり、実験結果は削除されます。

• 予期される実験動作への干渉を防ぐために、実験キャンペーンの起動から1 時間以内にメッセージの編集を避けることをお勧めします。
• 実験が完了し、送信後にメッセージを編集した場合、実験結果はダッシュボードアナリティックで引き続き使用できます。ただし、キャンペーンを再起動すると、実験結果は削除されます。

さまざまなチャンネル向けのヒント

選択したチャンネルに応じて、メッセージのさまざまなコンポーネントをテストできます。たとえば、テストする内容と、証明することを希望する内容のアイデアでバリアントを作成しようとすることができます。どのようなレバーを引く必要があり、どのような効果が望まれますか?多変量テストと AB テストを使用して調査できる可能性は無数にありますが、始めるための提案をいくつかご紹介します。

Channel	変更できるメッセージの側面	探すべき結果
プッシュ	コピー 画像と絵文字の使い方 ディープリンク 数値の表示 (たとえば、「3倍」と「200％増加」) 時間の表示 (例えば、「午前 0 時に終了」と「6 時間後に終了」)。	開封数 コンバージョン率
メール	件名 表示名 あいさつ 本文のコピー 画像と絵文字の使い方 数値の表示 (たとえば、「3倍」と「200％増加」) 時間の表示 (例えば、「午前 0 時に終了」と「6 時間後に終了」)。	開封数 コンバージョン率
アプリ内メッセージ	“プッシュ “にリストアップされたアスペクト メッセージの形式	クリック コンバージョン率

さらに、テストの理想的な長さもチャネルによって異なる場合があります。ほとんどのユーザーが各チャネルと関わるのに要する平均時間を覚えておいてください。

たとえば、プッシュをテストしている場合、ユーザはすぐにプッシュを表示するため、メールをテストする場合よりもはるかに高速な結果を得ることができますが、メールを表示したり開いたりするのは数日前である可能性があります。アプリ内メッセージをテストしている場合は、ユーザーはキャンペーンを表示するためにアプリを開く必要があることに留意してください。そのため、最もアクティブなアプリオープナーと、より一般的なユーザーの両方から結果を収集するまで、より長い時間をお待ちください。

テストの実行時間がわからない場合、インテリジェントセレクション機能が勝者バリアントを効率的に見つけるために役立ちます。

セグメントを選択する

ユーザーのセグメントが異なれば、メッセージングに対する反応も異なる場合があるため、特定のメッセージが成功したかどうかは、メッセージ自体とそのターゲットセグメントの両方に何らかの影響を及ぼします。そのため、ターゲットセグメントを念頭に置いてテストを設計するようにしてください。

例えば、アクティブユーザーは「このセールは明日までです!」と「このセールは24時間で終了します! 」に対して同じ応答率を示すかもしれませんが、アプリを1週間開いていないユーザーは、後者の表現の方が切迫感が高まるため、より反応する可能性があります。

さらに、テストを実行するセグメントを選択するときは、そのセグメントのサイズがテストに十分な大きさであるかどうかを必ず検討してください。一般に、多変量テストと AB テストでバリアントの数が多い場合、統計的に有意な結果を得るには、より多くのテストグループが必要になります。これは、バリアントが多いほど、個々のバリアントを見るユーザーが少なくなるためです。

バイアスとランダム化

対照群と試験群の割り付けによくある質問は、試験に偏りを生じさせることができるかどうかである。他の人は、これらの割り当てが本当にランダムかどうかをどうやって知るのか疑問に思うことがあります。

ユーザーは、メッセージバリアント、キャンバスバリアント、またはそれぞれのコントロールグループに割り当てられます。そのためには、(ランダムに生成された) ユーザー ID を (ランダムに生成された) キャンペーン ID またはキャンバス ID と連結し、その値のモジュラスを100とし、次にダッシュボードで選択されたバリアントとオプションコントロールのパーセンテージ割り当てに対応するスライスにユーザーを並べ替えます。したがって、特定のキャンペーンまたはキャンバスを作成する前のユーザの動作が、バリアントとコントロールの間で系統的に異なることはありえません。また、この実装よりもランダム (より正確には疑似ランダム) にすることは現実的ではありません。

避けるべき間違い

オーディエンスが正しくフィルタリングされていない場合に、メッセージングチャネルに基づいて相違が発生しないようにするための一般的な間違いがいくつかあります。

たとえば、コントロールを使用して幅広いオーディエンスにプッシュメッセージを送信した場合、テストグループはプッシュトークンを持つユーザーにのみメッセージを送信します。ただし、コントロールグループには、プッシュトークンを持つユーザーと持たないユーザーの両方が含まれます。この場合、キャンペーンまたはキャンバスの最初のオーディエンスは、プッシュトークンの有無 (Push Enabled は true) をフィルタリングする必要があります。他のチャネルでメッセージを受信する資格を得るには、同じことを行う必要があります (オプトイン済み、プッシュトークンあり、サブスクライブ済みなど）。