Push の A/B テストのサンプル

実験はマーケティングの鍵です。マーケターは A/B テストや多変量テストを使用して、キャンペーンの小さな変更が結果にどれほど大きな影響を与えるかをテストします。そして、ある実験から得た学びを次のキャンペーンに還元し、それを基に改善を重ねていくことができます。 A/B テストは、1 つの変数をテストするために実施されます。多変量テストは複数の「変数」にわたって実施でき、特定のコンバージョン目標に対してどのバリエーションがより優れたパフォーマンスを発揮するかを比較できます。顧客にはいずれかのバリエーションが配信されるため、各体験に対するエンゲージメントが測定および収集され、分析として表示されます。可能であれば、Control Group を使用してベースラインを作成してください。Control Group の割り当ては 2〜5% 程度まで低くすることができます。 メッセージの実験は次のように始められます。

​

絵文字

仮説の例: メッセージに絵文字を含めると CTR が向上する 実験: バリエーション 1 では絵文字を使用し、バリエーション 2 ではプレーンなメッセージを送信する 測定: バリエーション 1 とバリエーション 2 の CTR を比較します。バリエーション 1 の CTR の方が高ければ、仮説が妥当である可能性が高いと言えます。

​

パーソナライゼーション

仮説の例: 顧客の名 (First Name) またはフルネームを使用すると CTR が向上する 実験: バリエーション 1 では First Name 属性に基づくパーソナライゼーションを使用し、バリエーション 2 ではプレーンなメッセージを作成する 測定: バリエーション 1 とバリエーション 2 の CTR を比較します。バリエーション 1 の CTR の方が高ければ、仮説が妥当である可能性が高いと言えます。

​

アクションボタン

仮説の例: アクションボタンを使用するとクリックスルーが向上する 実験: バリエーション 1 では通知アクションを使用し、バリエーション 2 ではデフォルトの通知クリックのみを使用する。追跡したいコンバージョンイベントに応じてコンバージョン目標を設定する。 測定: バリエーション 1 とバリエーション 2 の CTR を比較します。バリエーション 1 の CTR がバリエーション 2 よりも高ければ、仮説が妥当である可能性が高いと言えます。

​

画像

仮説の例: Android のプッシュ通知で画像を使用するとクリックスルーが向上する 実験: バリエーション 1 では画像を使用し、バリエーション 2 では画像を使用しない 測定: バリエーション 1 とバリエーション 2 の CTR を比較します。バリエーション 1 の CTR がバリエーション 2 よりも高ければ、仮説が妥当である可能性が高いと言えます。

​

クーポンコード

仮説の例: プッシュ通知でクーポンコードを送信するとコンバージョンが向上する 実験: バリエーション 1 ではクーポンコードを使用し、バリエーション 2 では使用しない実験を作成する。追跡したいコンバージョンイベントに応じてコンバージョン目標を設定する。 測定: バリエーション 1 とバリエーション 2 のコンバージョンを比較します。バリエーション 1 のコンバージョンが 2 よりも高ければ、仮説が妥当である可能性が高いと言えます。

​

ランディングページ

仮説の例: 新規顧客をいずれかのセールページに誘導するとコンバージョン率が向上する 実験: バリエーション 1 では 10〜15% OFF の割引コードを使用してユーザーをホームページに誘導し、バリエーション 2 では割引コードを提供せずにユーザーをセールページに誘導する実験を作成する。 測定: バリエーション 1 とバリエーション 2 のコンバージョンを比較します。バリエーション 2 のコンバージョンが 1 よりも高ければ、仮説が妥当である可能性が高いと言えます。 同様に、次のような実験もできます。

• カスタムサウンドを使用するとユーザーの注意をより引き、CTR が向上するか
• 画像のカルーセルを使用すると、単一の画像と比較してクリック数が増えるか

他にどのような実験を行っているか、ぜひお知らせください。