多変量テストと AB テストの FAQ

この記事では、Braze での多変量テストと AB テストに関するよくある質問について説明します。

テストの基本

AB テストと多変量テストの違いは何ですか？

AB テスト

AB テストでは、マーケターがキャンペーン内の単一の変数（メールの件名やメッセージの送信時間など）を実験します。オーディエンスのサブセットをランダムに2つ以上のグループに分け、各グループに異なるバリエーションを提示し、どのバリエーションが最も高いコンバージョン率を示すかを観察します。通常、最もパフォーマンスの高いバリエーションがその後、残りのオーディエンスに送信されます。

多変量テスト

多変量テストは AB テストの拡張版であり、マーケターが複数の変数を同時にテストして、最も効果的な組み合わせを判断できます。たとえば、メールメッセージの件名、テキストに添付する画像、CTA ボタンの色をテストできます。このタイプのテストでは、単一の実験内でより多くの変数とバリエーションの組み合わせを探索でき、AB テストよりも迅速かつ包括的にインサイトを得ることができます。ただし、単一の実験内でより多くの変数と組み合わせをテストするには、統計的有意性を得るためにより大きなオーディエンスが必要です。

AB テストの結果はどのように計算されますか？

Braze は、ピアソンのカイ二乗検定を使用してすべてのバリアントを相互に比較し、あるバリアントが p < 0.05 の有意水準（95% の有意性と呼ばれるもの）で他のすべてのバリアントを統計的に上回るかどうかを測定します。この有意性の閾値を超えるすべてのバリアントの中で、最もパフォーマンスの高いバリアントが「勝者」と判定されます。

これは信頼度スコアとは別のテストです。信頼度スコアは、バリアントのパフォーマンスをコントロールと比較して 0 から 100 の数値で表すものです。具体的には、バリアントとコントロール間のコンバージョン率の標準化された差が偶然よりも有意に大きいという確信度を表します。

バリアントの分布が均等にならないのはなぜですか？

バリアントの割り当ては送信ごとにランダム化されるため、実際の分割は設定したパーセンテージと正確に一致しない場合があります。特にサンプルサイズが小さい場合に顕著です。詳細については、バリアントの分布を参照してください。

テストの実行と終了

初期テストはいつ終了しますか？

単一送信キャンペーンで勝者バリアントを使用する場合、テストは勝者バリアントの送信時間が到来した時点で終了します。Braze は、統計的に有意な差で最も高いコンバージョン率を示すバリアントを勝者と判定します。

定期的なキャンペーン、アクションベースのキャンペーン、API トリガーキャンペーンでは、インテリジェントセレクションを使用して、各バリアントのパフォーマンスデータを継続的に追跡し、キャンペーンのトラフィックをパフォーマンスの高いバリアントに継続的に最適化できます。インテリジェントセレクションでは、ユーザーがランダムなバリアントを受け取る実験グループを明示的に定義するのではなく、Braze のアルゴリズムが最もパフォーマンスの高いバリアントの推定を継続的に改善し、トップパフォーマーのより迅速なセレクションを可能にします。

定期的なキャンペーンやキャンバスのエントリステップでメッセージバリアントを受信したユーザーを Braze はどのように処理しますか？

ユーザーは、キャンペーンを初めて受信する前に、特定のバリアントにランダムに割り当てられます。キャンペーンを受信するたび（またはユーザーがキャンバスバリアントに再エントリするたび）、バリアントのパーセンテージが変更されない限り、同じバリアントを受信します。バリアントのパーセンテージが変更された場合、ユーザーは他のバリアントに再分配される可能性があります。ユーザーは、パーセンテージが再度変更されるまでそのバリアントに留まります。ユーザーの再分配は、編集されたバリアントに対してのみ行われます。

たとえば、3つのバリアントを持つキャンペーンまたはキャンバスがあるとします。バリアント A とバリアント B のみが変更または更新された場合、バリアント C のバリアントパーセンテージは変更されていないため、バリアント C のユーザーは再分配されません。コントロールグループは、バリアントのパーセンテージが変更されない限り一貫性を保ちます。以前にメッセージを受信したユーザーは、後の送信でコントロールグループに入ることはできません。また、コントロールグループのユーザーがメッセージを受信することもありません。

実験パスの場合はどうなりますか？

実験に続くキャンバスパスもバリアントであるため、同じことが適用されます。

キャンペーンやキャンバスでユーザーを再分配するためのアクションを取ることはできますか？

キャンバスでユーザーを再分配する唯一の方法は、実験パスのランダム化パスを使用することです。これにより、ユーザーがキャンバスに再エントリするたびにパスの割り当てが常にランダム化されます。ただし、これは標準的な実験ではなく、コントロールグループがトリートメントユーザーで汚染される可能性があるため、実験結果が無効になる可能性があります。

信頼度とバイアス

信頼度は時間の経過とともに上昇しますか？

他のすべての条件が一定であれば、信頼度は時間の経過とともに上昇します。一定とは、バリアント A がテストの途中で終了する 25% オフセールについて言及しているなど、バリアントに影響を与える可能性のある他のマーケティング要因がないことを意味します。

信頼度は、バリアントがコントロールと異なるという Braze の確信度を測定するものです。より多くのメッセージが送信されると、テストの統計的検出力が増加し、パフォーマンスの測定された差がランダムな偶然によるものではないという信頼度が高まります。一般的に、サンプルサイズが大きいほど、バリアントとコントロール間のパフォーマンスの小さな差を特定する信頼度が高まります。

コントロールグループとテストグループの割り当てはテストにバイアスをもたらしますか？

特定のキャンペーンやキャンバスの作成前のユーザーの属性や行動が、バリアントとコントロール間で体系的に異なる実用的な方法はありません。

メッセージバリアント、キャンバスバリアント、またはそれぞれのコントロールグループにユーザーを割り当てるために、まずランダムに生成されたユーザー ID とランダムに生成されたキャンペーンまたはキャンバス ID をリンクします。次に、sha256 ハッシュアルゴリズムを適用し、その結果を 100 で割って余りを保持します（100 による剰余演算とも呼ばれます）。最後に、ダッシュボードで選択したバリアント（およびオプションのコントロール）のパーセンテージ割り当てに対応するスライスにユーザーを並べます。

コントロールグループでレート制限を使用できないのはなぜですか？

Braze は現在、コントロールグループを含む AB テストでのレート制限をサポートしていません。これは、レート制限がバリアントと同じ方法でコントロールグループに適用されないため、バイアスが生じるためです。代わりに、インテリジェントセレクションの使用を検討してください。これは、分析とキャンペーンのパフォーマンスに基づいて、各バリアントを受信するユーザーのパーセンテージを自動的に調整します。