概要
MoEngage Flows における Control Group（コントロールグループ）とは、フローに入ってステージを通過するものの、そのフロー内で設定したキャンペーンを意図的に一切受信しないようにするユーザーの割合です。マーケティングメッセージを送らないことは直感に反するように思えるかもしれませんが、コントロールグループはエンゲージメント戦略の真の効果を正確に測定するために不可欠です。 このグループにメッセージを送信しないことで、ユーザーの自然な行動のベースラインを確立できます。このベースラインは、フローのキャンペーンの影響を受けずに、どれだけのユーザーが自発的にコンバージョンするかを示します。 このアプローチの真の価値は、フローを経験したユーザーのコンバージョン率（CVR）とコントロールグループの CVR を比較したときに明らかになります。この比較により、次の 2 つの重要な仮説を検証できます。- プラスの効果: フローが実際にユーザーのコンバージョン率を高めている。
- 必要性: 望ましいアクションを促すために、この特定のフローでユーザーとエンゲージメントを図る明確な必要性がある。
- メインフローのコンバージョン率（CVR）がコントロールグループの CVR より高い場合、キャンペーンの有効性が実証されます。この成功は「コンバージョンアップリフト」、つまりフローに直接起因するコンバージョンの増加率を計算することで定量化できます。
- 反対に、コントロールグループの CVR がフローの CVR 以上の場合、フローが期待どおりに機能していないという重要なインサイトを示しています。この結果は、ユーザーが自発的にコンバージョンする可能性が高いこと、さらに悪い場合は、フロー内のメッセージがユーザーの意欲をそいでいる可能性があることを示唆しています。このような場合、データはフローが価値を生み出していないことを示しているため、フローを一時停止して再評価する必要があります。
コンバージョンアップリフト
アップリフト分析は、MoEngage Flow がユーザーをどの程度コンバージョンに導いたかを分析する最も一般的な方法です。アップリフトは、コントロールグループのユーザーの自然なコンバージョンと、フローのアクションキャンペーンを少なくとも 1 つ受信したユーザーのコンバージョンを比較して測定されます。Uplift = [(Flow CVR - Control group CVR )/Control Group CVR] x 100。
コンバージョンアップリフトが 50% の場合、設定したフローによって、フローを設定しなかった場合に比べて 50% 多くのコンバージョンが得られたことを意味します。
アップリフト率の理解
アップリフトの計算は、対象となるステージと期間によって異なります。そのため、Detailed Stats セクションの上部に表示されるフローのアップリフトは、Detailed stats の Engagement Trends に表示されるアップリフトと異なる場合があります。後者は選択したチャネルについてのみ計算されるのに対し、前者はフロー全体について計算されるためです。例
36 時間のアトリビューションウィンドウを持ち、Push キャンペーンと Email キャンペーンが設定されたフローを例に考えてみましょう。36 時間のアトリビューションウィンドウのデフォルトシナリオ: タイムライン
- 0 時間目 - ユーザーがフローに入る (90 TG, 10 CG)
- 全員にプッシュキャンペーン Push-1 が送信され、全員が受信したと仮定します（インプレッション/ビュースルー 100%）
- 0～24 時間 - 5 ユーザー**(4 TG, 1 CG)** がコンバージョン。これらのユーザーはプッシュキャンペーン Push-1 にのみアトリビュートされます。
- 24 時間目 - Email キャンペーン Email-1 が送信され、全員がメールを開封したと仮定します（インプレッション/ビュースルー 100%）
- 24～36 時間 - 8 ユーザー (8 TG, 0 CG) がコンバージョン。これらのユーザーはプッシュキャンペーン Push-1 と Email キャンペーン Email-1 の両方にアトリビュートされます。
- 36～60 時間 - 5 ユーザー (4 TG, 1 CG) がコンバージョン。これらのユーザーは Email キャンペーン Email-1 にのみアトリビュートされます。
子レベルでのアップリフト率と CVR
フローレベルでのアップリフト率
- TG のコンバージョンユーザー合計 = 16 / 90 = 17.7%
- CG のコンバージョンユーザー合計 = 2 / 10 = 20%
- Uplift = -11.5%
コントロールグループの設定方法
コントロールグループを追加するオプションは、エントリー条件ノードとフロー設定ページの両方で利用できます。コントロールグループはデフォルトで有効になっており、フローのライフサイクル中いつでも変更できます。ユーザーがコントロールグループに含まれるのは、コントロールグループ設定を有効にした状態でフローが公開された後のみです。
コントロールグループのユーザーの割り当て方法
MoEngage が運用する規模の大きさから、ユーザーをランダムにサブグループに分割し、毎日各グループにコントロールグループの分割率を適用しています。上記のプロセスは、任意の日に異なるサブグループへ同数のユーザーを割り当てられるという前提で行われます。そのため、分割を維持するには、フローに入るユーザーが一定数以上必要です。また、時間の経過とともに、システムは状況に応じて CG として割り当てるユーザー数を増減させ、CG のユーザーの割合が常に定義された値に近くなるようにします。 マーケターが「Users part of Control Group should continue to be part of it for their subsequent entries」（上の画像を参照）をオンにすると、システムは CG としてマークされたユーザーが常に CG ユーザーであるようにします。そのため、CG ユーザーが他のタイプのユーザーよりも繰り返しフローに入る場合、全トリップに対する CG トリップの割合は定義された値より大きくなります。ただし、ユニークユーザーレベルでの分割率は定義どおりになります。 たとえば、マーケターが 20% のコントロールグループ分割を持つフローを定義し、「Users part of the Control Group should continue to be part of it for their subsequent entries」を有効にしたい場合を考えます。ユーザー U1、U2、U3、U4、U5 がそれぞれ 1、2、3、4、5 回エントリーしたとします。U5 がコントロールグループとしてマークされたとします。この場合: 合計トリップ数 = 15CG トリップ数 = 5
ただし、5 人中 1 人のユーザーのみがコントロールグループとしてマークされたため、CG 分割は 20% に維持されています。
コントロールグループの適切なサイズ
ターゲットオーディエンスに応じて、コントロールグループを最大 95%、最小 1% に設定できます。たとえば、10 万人のユーザーがフローに入ることが予想される場合、1% の CG で十分です。フローの有効性を効果的に測定するには、ターゲットグループが小さいほど、コントロールグループを大きく設定する必要があります。コントロールグループの仕組み
ユーザーは、フローに入る時点でランダムにコントロールグループに割り当てられます。コントロールグループのユーザーは、フローに入った後、トリップ中の行動に応じてフローを通過し、最終的にフローから退出します。これらのユーザーには、フロートリップ中にキャンペーンは送信されません。コントロールグループのコンバージョントラッキング
フローのコンバージョントラッキングと同様に、コントロールグループのユーザーのコンバージョントラッキングは、フローで設定されたいずれかのアクションキャンペーンを通過した時点で開始されます。これらのユーザーはキャンペーンを受信したものと見なし、設定されたアトリビューションウィンドウでコンバージョンのトラッキングを開始します。コントロールグループ以外のユーザーと同様に、CG ユーザーが行ったコンバージョンは、アクションキャンペーンとフローの両方にアトリビュートされます。コントロールグループのユーザーはすべてのアクションキャンペーンをスキップするため、「このような場合、フローのコンバージョンアトリビューションウィンドウはどうあるべきか?」という興味深い問題が生じます。次のいずれかの解決策を試すことができます。
- アプローチ 1: フローの最長パスを計算し、コントロールグループのユーザーがフローに入った後、その期間だけコンバージョンを待ち続けます。ただし、これはコントロールグループに含まれていなかった場合、すべてのコントロールグループのユーザーが最長パスでフローを通過していたことを前提としており、その可能性は非常に低いと考えられます。
- アプローチ 2: コントロールグループのユーザーがフローに入った後、アトリビューションウィンドウの期間だけコンバージョンを待ちます。このアプローチでは、設定したフローが長い場合、コントロールグループのユーザーが不当に有利になります。たとえば、フローの最長パスの通過と退出に 3 日かかり、フローのアトリビューションウィンドウが 24 時間の場合、フローのユーザーが最長パスで 1 回のトリップを完了する前に、コントロールグループはフローに入ってコンバージョンすることを約 3 回繰り返すことができます。
- アプローチ 3: コントロールグループのユーザーがフローに入った後、その行動に基づいて考えられるいずれかのパスを通過させ、コンバージョンのトラッキングを続けます。いずれかのノードからフローを退出した後、フローのアトリビューションウィンドウと同じ追加期間、コンバージョンをトラッキングします。これにより、コンバージョンをトラッキングする期間をコントロールグループのユーザーの行動によって決定できます。
コントロールグループの編集
マーケターはフローの存続期間中いつでもコントロールグループのバリエーションを変更できますが、トラフィック配分を変更すると実験結果が無効になる可能性があるため、変更しないことをお勧めします。 たとえば、1 日目に 50% のコントロールグループでフローを公開し、その日に 2,000 件のユーザーエントリーがあったとします。1,000 件のフローユーザーのエントリーから 250 件のコンバージョントリップが得られ、1,000 件のコントロールグループ（CG）ユーザーのエントリーから 200 件のコンバージョンが得られました。したがって、CG CVR は 20%、フロー CVR は 25% となり、コントロールグループに対して 25% のアップリフトとなります。 翌日に CG のバリエーションを 10% に変更し、その日に 1,000 件のユーザーエントリーがあったとします。900 件の通常のフローエントリーのうち 45 件が少なくとも 1 回のコンバージョンにつながり（つまりコンバージョントリップになり）、100 件の CG ユーザーのエントリーのうちコンバージョンしたのは 4 件のみでした。2 日目は CG CVR が 4%、フロー CVR が 5% となり、これも CG に対して 25% のアップリフトです。 ここで 1 日目と 2 日目の結果を合算すると、CG CVR は 18.55% [(204/1100)x100) になるのに対し、同期間のフロー CVR は 15.52% [(295/1900)x100] に低下し、全体として -16.33% のマイナスのアップリフトとなります。 フロー CVR は両日とも個別には優れているにもかかわらず、実験ではコントロールグループが勝っています。CG の配分を変更したことで、最終的に実験結果が変わってしまったのです。これは統計理論でシンプソンのパラドックスとして知られています。このため、フローを公開する前にコントロールグループのバリエーションを確定し、どうしても必要な場合や、長期間にわたってそのフローの有効性を検証した場合を除き、変更しないことを強くお勧めします。コントロールグループの削除
かなりの期間にわたってフローのコンバージョンアップリフトが確認されている場合は、フローのコントロールグループ設定を無効にすることをお勧めします。無効にすると、フローに入るすべてのユーザーが、フローで設定されたアクションキャンペーンを受信できるようになります。 コントロールグループのユーザーがフローに再度入った場合も、アクションキャンペーンを受信できるようになります。以前のコントロールグループのユーザーリストも消去されるため、コントロールグループを再度追加すると、CG のユーザー配分は以前のコントロールグループの影響を受けずにゼロから開始されます。コントロールグループとしてマークされたユーザーの検索
コントロールグループを削除した後、コントロールグループに含まれていて、フローを通過した後もフローのアクションキャンペーンイベントを一切受信しなかったユーザーをターゲットにするために、それらのユーザーを見つけたい場合があります。フローのコントロールグループとしてマークされたユーザー
“User entered flow” イベントを実行したすべてのユーザーを含むセグメントを作成できます。その際、Flow Id Attribute の値をフローの flow-id に、“with control group” 属性を “true” に、“Control Group Type” を Flow に設定します。
