実験パス
実験パスを使用すると、ユーザージャーニーの任意のポイントで複数のキャンバスパスを相互に、またコントロールグループと比較テストできます。このコンポーネントを使用してパスのパフォーマンスをトラッキングし、キャンバスジャーニーについて十分な情報に基づいた意思決定を行うことができます。
ユーザージャーニーに実験パスステップを含めると、作成した異なるパス（またはオプションのコントロールグループ）にユーザーがランダムに割り当てられます。選択したパーセンテージに従ってオーディエンスの一部が異なるパスに割り当てられるため、異なるメッセージやパスを相互にテストし、どれが最も効果的かを判断できます。
前提条件
実験パスを使用するには、キャンバスにコンバージョンイベントが含まれている必要があります。キャンバスの開始後にコンバージョンイベントを追加することはできませんが、開始済みのキャンバスを複製してコンバージョンイベントを追加すれば、実験パスを追加できます。
ユースケース
実験パスは、配信、ケイデンス、メッセージコピー、チャネルの組み合わせをテストするのに最適です。
- 配信: 異なる時間の遅延で送信したメッセージ、ユーザーのアクションに基づいて送信したメッセージ (アクションパス)、およびインテリジェントタイミングを使用して送信したメッセージの結果を比較します。
- ケイデンス: 特定の期間にわたって複数のメッセージングフローをテストします。たとえば、2つの異なるオンボーディングのケイデンスをテストできます。
- ケイデンス1: ユーザーの最初の2週間に2件のメッセージを送信する
- ケイデンス2: ユーザーの最初の2週間に3件のメッセージを送信する
離脱ユーザーをターゲットにする場合は、1週間に奪還メッセージを2件送信する場合と1件だけ送信する場合の効果をテストできます。
- メッセージコピー: 標準的なA/Bテストと同様に、異なるメッセージコピーをテストして、どの文言がより高いコンバージョン率につながるかを確認できます。
- チャネルの組み合わせ: 異なるメッセージチャネルの組み合わせの効果をテストします。たとえば、メールのみを使用した場合と、メールとプッシュを組み合わせた場合の影響を比較できます。
実験パスの作成
実験パスコンポーネントを作成するには、まずキャンバスにステップを追加します。サイドバーからコンポーネントをドラッグ＆ドロップするか、ステップの下部にある プラスボタンを選択して、実験パスを選択します。
このコンポーネントのデフォルト設定には、パス1とパス2の2つのデフォルトパスがあり、オーディエンスの50%がそれぞれのパスに送られます。コンポーネントを選択して実験設定パネルを展開すると、コンポーネントの設定オプションが表示されます。
ステップ1: パスの数とオーディエンスの配分を選択する
パスを追加を選択すると最大4つのパスを追加でき、コントロールグループを追加を選択するとオプションのコントロールグループを追加できます。各パスのパーセンテージボックスを使用して、各パスとコントロールグループに送るオーディエンスの割合を指定できます。次に進むには、指定したパーセンテージの合計が100%になる必要があります。利用可能なすべてのパス (およびコントロール) をすばやく同じ割合に設定したい場合は、パスを均等に配分を選択します。
また、コントロールグループの動作で、コントロールグループのユーザーがキャンバスを続行するか、コンバージョントラッキングウィンドウの後に退出するかを選択することもできます。必要に応じて説明を追加し、この実験パスで何をテストするのかを他のユーザーに伝えたり、メモしておくと役立つ追加情報を含めたりすることができます。
キャンバスの再エントリーが有効になっている場合、キャンバスにエントリーしてランダムに選ばれたパスに進んだユーザーは、再エントリーの対象となってキャンバスに再エントリーすると、再び同じパスに進みます。これにより、実験と関連する分析の妥当性が維持されます。ユーザーが再エントリーするたびにパスの割り当てをランダム化するには、実験パスでランダム化されたパスを選択します。このオプションは、勝者パスを使用している場合は利用できません。
ステップ2: 勝者パスをオンにする (オプション)
実験を最適化するには、勝者パスをオンにします。勝者パスは、まずオーディエンスの一部を使ってパスをテストします。実験が終了すると、Brazeは残りのユーザーと後続のユーザーを最もパフォーマンスの高いパスに送ります。
パーソナライズされたパスは、新しい実験パスステップでは利用できません。パーソナライズされたパスを使用している既存のステップは引き続き実行されます。
ステップ3: パスを作成する
次に、ダウンストリームのパスを構築します。完了を選択して、キャンバスビルダーに戻ります。各パスの下にある プラスボタンを選択し、通常のキャンバスツールを使って必要に応じてジャーニーの作成を開始し、準備ができたらキャンバスを開始します。
パスとそのダウンストリームのステップは、作成後にキャンバスから削除できないことに注意してください。ただし、開始後は、必要に応じてパス間のオーディエンス配分を変更できます。たとえば、キャンバスの開始から1日後、分析に基づいて1つのパスが他のパスより優れていると判断した場合は、そのパスを100%に、他のパスを0%に設定できます。また、ニーズに応じて、引き続き複数のパスにユーザーを送ることもできます。
実験の汚染を防ぐため、進行中の勝者パス実験があるアクティブなキャンバスを更新すると、実験は終了します。これは、実験パスステップを更新しない場合でも適用されます。実験を再開するには、既存の実験パスの接続を解除して新しい実験パスを開始するか、キャンバスを複製して複製したキャンバスを開始します。実験パスステップがあるすでにアクティブなキャンバスで、勝者パスをオンにすることはできません。
詳細については、開始後のキャンバスの編集を参照してください。
パフォーマンスのトラッキング
キャンバス分析ページで実験パスを選択すると、バリアントを分析タブと同じ詳細なテーブルが開きます。このテーブルでは、パフォーマンスとコンバージョンの詳細な統計をパス間で比較できます。テーブルはCSVでエクスポートすることもできます。また、選択したパスまたはコントロールに対する、目的の指標の変化率を比較することもできます。
各パスの各ステップには、他のキャンバスステップと同様に、キャンバス分析ビューに統計が表示されます。ただし、個々のステップの分析と実験パスの分析では、コンバージョンの測定方法が異なることに注意してください。
- 実験パスの分析では、ユーザーが実験パスステップにエントリした時点からコンバージョンをトラッキングします。すべてのパスで開始点が同じになるため、パス間のパフォーマンスを比較する場合はこのビューの使用をお勧めします。
- 個々のステップの分析（メッセージステップの分析など）では、ユーザーがその特定のステップを受け取った時点（たとえば、メッセージが送信された時点）からコンバージョンをトラッキングします。
これらのコンバージョンウィンドウは開始点が異なるため、同じパスでもコンバージョン率が異なる場合があります。特に、実験ステップとその後のメッセージの間に遅延がある場合は、この差が生じやすくなります。パス間で最も信頼性の高い比較を行うには、実験パスの分析を使用してください。
勝者パスのパフォーマンス
勝者パスを使用すると、パフォーマンスを継続的にトラッキングし、後続のユーザーを最もパフォーマンスの高いパスに自動的に送ることができます。勝者パスがオンになっている場合、実験が完了するまで実験パスの分析は表示されません。詳細については、勝者パスの分析を参照してください。
勝者の判定に使われる指標と、実験パスに表示される分析は異なる場合があります。
- 勝者パスに設定したコンバージョンイベントによって、実験ウィンドウ中にBrazeがパスを比較し、勝者を選択する方法が決まります。
- 実験パスの分析は、1次コンバージョンイベントを含め、キャンバスの他の部分と同じキャンバスのコンバージョンイベントの仕組みに従います。そのため、ダッシュボードで強調表示される指標が、勝者の判定に使われる指標と一致しない場合があります。
- プッシュの場合、直接開封数と合計開封数は異なります。詳細については、影響を受けた開封を参照してください。
追加設定
実験パスは、各ステップにエントリし、割り当てられたパスにいる間にコンバージョンしたユーザーを記録します。これにより、キャンバスの設定で指定したすべてのコンバージョンイベントがトラッキングされます。追加設定タブで、この実験でコンバージョンをトラッキングする日数（1～30日）を入力します。ここで指定した期間によって、（キャンバスの設定で選択した）コンバージョンイベントを実験でトラッキングする期間が決まります。キャンバスの設定で指定したイベントごとのコンバージョンウィンドウは、このステップのトラッキングには適用されず、このコンバージョンウィンドウに置き換えられます。
コンバージョンウィンドウは、その後のメッセージが送信された時点ではなく、ユーザーが実験パスステップにエントリした時点から始まります。パスに遅延ステップやインテリジェントタイミングなどの遅延が含まれている場合、その遅延はコンバージョンウィンドウの一部を消費します。
実験パス内のメッセージステップでインテリジェントタイミングを使用している場合、実験へのエントリから実際のメッセージ送信までの時間によって、そのパスの実質的なコンバージョンウィンドウが短くなります。たとえば、実験のコンバージョンウィンドウが5日間で、インテリジェントタイミングによってメッセージが2日遅れた場合、そのパスのユーザーが実験ウィンドウ内でコンバージョンできるのは、メッセージを受け取ってから3日間だけです。これは、メッセージステップ自体の分析がメッセージ送信時点からコンバージョンをトラッキングする場合でも同様です。
実験の分析をより明確にするには、遅延（遅延ステップなど）を実験パス内ではなく、実験パスステップの前に配置してください。こうすることで、すべてのパスが同じ時点から始まり、遅延がコンバージョンウィンドウを消費することはありません。
よくある質問
実験の分割が均等に見えるのに、パスごとに送信数が異なるのはなぜですか？
下流の送信数は、実験パスでの分割比率だけでなく、各パスのステップ、遅延、チャネルの適格性、コンテンツによって変わります。たとえば、パスの割り当てが均等でも、遅延の違いやインテリジェント送信時刻、購読ステータスによって、メッセージを受信するユーザー数が変わることがあります。パスの成果を比較するには、共通のエントリポイントからのコンバージョンを測定する実験パスの分析を使用してください。
実験のコンバージョンウィンドウはどのくらいの期間ですか？
追加設定のコンバージョンウィンドウ (1～30日) は、ユーザーが実験パスステップに入った時点から始まります。下流の遅延ステップで過ごす時間や、インテリジェントタイミングの待機時間も、このウィンドウに含まれます。詳細については、パフォーマンスのトラッキングを参照してください。