多変量テストまたはスプリットテストとは、1 つ以上の変数を変更して、変更した変数がキャンペーンの他の変数に与える影響を判断するために、マーケターが実施する実験です。 1 つ以上の独立変数に対する従属変数の影響は、次のことに役立ちます。

• 現象を予測する
• 変数間に因果関係がある場合、それを説明する

​

A/B テストとは?

A/B テスト はスプリットテストとも呼ばれ、メッセージコピーの 2 つのバージョン(バリエーションと呼ばれます)を、ランダムに選ばれた同数のユーザーグループに送信して互いに比較し、エンゲージメント指標の向上においてどちらのパフォーマンスが優れているかを把握するための実験的な設定です。1 つの変数のみをテストするために比較を行う場合に使用されます。

​

多変量テストとは?

多変量テスト では、バリエーションのパフォーマンスを比較するために、ランダムに選ばれた異なるユーザーに、コミュニケーションの 3 つ以上のバリエーションを送信します。

​

A/B テストと多変量テストの違い

A/B テストまたは多変量テストを作成する際は、バリエーション間の違いが、マーケターがテストしたい違いのみであることを確認してください。 例: 画像付きの Android プッシュ通知が画像なしのものよりも高い CTR を獲得するかどうか のみをテストしたい場合は、同様のコンテンツで 2 つのバリエーションを作成し、一方のバリエーションでは画像を送信し、もう一方では送信しないという点のみを違いにする必要があります。

​

ユーザー配分のさまざまなタイプ

​

手動ユーザー配分

手動配分は、固定されたユーザーセットに対して定義し、バリエーションキャンペーンを分析した後、最良または勝者のキャンペーンをすべてのユーザーに送信するものです。

• マーケターは、キャンペーンを受け取るユーザーの割合を設定します。
• マーケターは分析を確認し、必要に応じて割合を変更します。

詳細については、静的ユーザー配分を参照してください。

​

Merlin AI を使用した動的ユーザー配分

動的バリエーションとは、MoEngage Merlin AI が勝者キャンペーンを自動的に決定し、勝者キャンペーンをユーザーに送信することを意味します。 詳細については、動的ユーザー配分を参照してください。

​

バリエーションをどのように分割すべきか?

分割は最小サンプルサイズに基づいて行います。最小サンプルサイズは、ベースラインの数値と、テストが成功したと宣言する前に検出したいキャンペーンバリエーションの関数です。 バリエーション間の適切な分割は、次の要素によって決まります。

• テストの仮説または目的
• どのバリエーションが最も優れたパフォーマンスを発揮すると予想されるかの確率的な可能性

たとえば、あるバリアントが成功する可能性が 80% あると考える場合は、そのバリアントにオーディエンスの 80% を割り当て、残りの 20% を確信度の低いバリエーションに割り当てる必要があります。 テストでは次のことを行います。

• キャンペーン内のバリエーション間の割合を設定する
• アンインストールしたユーザーやフリークエンシーキャップを超えたユーザーを除外する

MoEngage では、すべてのアクティブなトークンの中から、コントロールグループまたは多変量テストのメンバーがランダムに選択されます。 ランダム化により、各バリエーションのメンバーはグループ全体のメンバーと統計的に類似したものとなり、テスト対象の特定のマーケティングキャンペーンまたはキャンペーンインスタンスを除いて、同じ条件にさらされることになります。

​

テスト前

テストを作成する前に、次のことを行う必要があります。

1. テストの目的、つまりテストしたい仮説を把握する
2. ベースラインのパフォーマンスのためにコントロールグループを作成するかどうかを理解する
3. この仮説をテストしたいセグメントを把握する
4. 複数のバリエーション(2 ^ 仮説の数、つまり 1 つの変数をテストする場合は 2 つのバリエーション、2 つの変数をテストする場合は 4 つのバリエーション)を作成し、そのコンテンツを確定する

   仮説 1	仮説 2	バリアント名
   No	No	Variation 1
   Yes	No	Variation 2
   No	Yes	Variation 3
   Yes	Yes	Variation 4

5. 影響を与えたい指標を明確に定義し、テストのコンバージョン目標で使用する。たとえば、単に開封率を高めたいのか、それともより多くのコンバージョンを獲得したいのか?

​

テスト中

テストを作成する際は、次のことを行います。

1. キャンペーンから有用なインサイトを得るために、各分割のユーザー数が十分であること、つまり各バリエーションで少なくとも 5000 人であることを確認する
2. トラッキングする指標を主要コンバージョン目標として使用する

​

テスト後

テストを分析する際は、次のことを行います。 どのバリエーションがベースラインの数値に対して最も優れたパフォーマンスを発揮したか、またどの仮説の組み合わせを表しているかを確認します。たとえば、表によると、バリエーション 4 は 2 つの仮説を表しています。そのため、Variant 2 が Variant 1 よりも優れたパフォーマンスを発揮した場合、仮説 1 が有効であることがわかります。Variant 4 が Variant 2 よりも優れたパフォーマンスを発揮した場合、仮説 2 が成り立つことがわかります。

​

次のステップ

勝者メッセージを特定しても、そこで終わりにしないでください。この学びを活用して、次のテストを作成しましょう。合言葉は「テスト、測定、学習、繰り返し」です。

• 手動ユーザー配分
• 動的ユーザー配分
• キャンペーンでユーザー配分を手動で行う
• キャンペーンでユーザー配分を動的に行う
• 多変量テストを編集する
• バリエーションキャンペーンを分析する

以前は Sherpa AI と呼ばれていたすべての MoEngage AI 製品は、現在 Merlin AI という名称になっています。