バリアント配分

A/Bテストや多変量テストを設定すると、送信のたびに設定したパーセンテージに基づいてユーザーが独立してバリアントに割り当てられます。割り当てはランダムに行われるため、実際の配分は設定したパーセンテージと正確に一致しない場合があります。特にサンプルサイズが小さい場合にその傾向が顕著です。

仕組み

多変量キャンペーンでメッセージが送信されるたびに、システムは設定したパーセンテージに従ってランダムにオプションを独立して選択し、その結果に基づいてバリアントを割り当てます。これはコイン投げのようなもので、偏りが生じる可能性があります。コインを100回投げた経験があれば、選択肢が2つしかないにもかかわらず、毎回正確に50対50の結果にはならないことをご存知でしょう。52回表で48回裏になることもあります。

複数のバリアントを均等に分割したい場合は、バリアントの数が100の約数であることを確認してください。そうでない場合、一部のバリアントに他のバリアントよりも高いパーセンテージのユーザーが配分されます。例えば、キャンペーンに7つのバリアントがある場合、7は100を整数で均等に割り切れないため、均等なバリアント配分にはなりません。この場合、15%のバリアントが2つと14%のバリアントが5つになります。

アプリ内メッセージの配分

アプリ内メッセージでA/Bテストを実施する場合、パーセンテージが均等に分割されていても、分析上ではバリアント間の配分に差があるように見えることがあります。例えば、バリアントAとバリアントCのユニーク受信者に関する以下のグラフをご覧ください。

バリアントAはユニーク受信者のカウントがバリアントCよりも一貫して高くなっています。これはバリアント配分の問題ではなく、アプリ内メッセージにおけるユニーク受信者の計算方法に起因しています。アプリ内メッセージの場合、ユニーク受信者は実際にはユニークインプレッションであり、アプリ内メッセージを受信して閲覧した人の合計数です。つまり、何らかの理由でメッセージを受信しなかったユーザーや、閲覧しないことを選択したユーザーはユニーク受信者のカウントに含まれないため、バリアント配分が偏っているように見えることがあります。