Amazon Redshift - MoEngage

はじめに

Amazon Redshift は、高速かつ強力なフルマネージド型のペタバイト規模のデータウェアハウスサービスで、クラウドコンピューティングプラットフォームである Amazon Web Services の一部です。

MoEngage × Redshift

MoEngage と Redshift の連携により、キャンペーンインタラクションイベントのデータを Amazon Redshift クラスターに直接エクスポートできます。

連携

Redshift クラスター、ロール、ポリシーを作成・編集する権限を持つ Amazon Web Services アカウントがあることを確認してください。
任意：新しいユーザーを作成するには、Redshift クラスターで新しいユーザーを作成するアクセス権が必要です。
MoEngage から Amazon Redshift へのデータのエクスポートには、有料アドオンである MoEngage Streams を使用します。ご利用のプランで利用可能な機能を確認するには、Plans and Pricing を参照してください。アカウントで有効にするには、MoEngage のカスタマーサクセスマネージャー（CSM）またはサポートチームにお問い合わせください。

ステップ 1：Redshift クラスターがパブリックにアクセス可能であることを確認する

Redshift クラスターで “Publicly Accessible” 設定がオンになっていることを確認してください。

新しい Redshift クラスターを作成する場合は、“Network and Security” セクションで “Turn on Publicly accessible” オプションを選択します。
すでに Redshift クラスターがある場合は、Properties タブで Network and Security セクションを探します。“Edit” ボタンをクリックします。

プロパティで Publicly accessible をオンにして保存します

ステップ 2：MoEngage 用の新しいデータベースユーザーを作成する

MoEngage は、お客様が提供した認証情報を使用して Redshift クラスターに接続します。MoEngage 専用に、権限を制限した新しいユーザーを作成することをおすすめします。既存のユーザーの認証情報を提供することもできます。新しい専用ユーザーを作成するには、Redshift クラスターで以下のコマンドを実行します。

-- create a new user with a strong password
CREATE USER <username> PASSWORD <password>;
-- create a new schema where MoEngage will dump data
-- you can skip this if you want to use existing schema
CREATE SCHEMA IF NOT EXISTS <schema_name>;
-- grant create access on the above schema or existing schema
GRANT CREATE, USAGE ON SCHEMA <schema_name> TO <username>;

既存のスキーマを使用することもできます。MoEngage は、App Marketplace で接続を設定する際に指定したスキーマにテーブルを作成します。

ステップ 3：MoEngage の IP がクラスターにアクセスできるようにする

新しいセキュリティグループを作成するか、既存のセキュリティグループを編集できます。

新しいセキュリティグループを作成する

EC2 コンソールの “Network & Security” で、Security Groups ページを開きます。“Create security group” ボタンをクリックします。

セキュリティグループに名前と、任意で説明を付けます。
VPC を選択します（デフォルトでは選択済みです）。
以下の詳細で新しいインバウンドルールを追加します。

プロパティ	値
Type	Redshift
Protocol	TCP
Port range	5439
Source	ドロップダウンから Custom を選択します。CIDR ブロックには、MoEngage ダッシュボードのデータセンターに応じて、対応する CIDR を入力する必要があります。以下の表を参照してください。
Description	任意で説明を入力します。

“source” フィールドに入力する正しい IP アドレスは、MoEngage のデータセンターのリージョンによって異なります。

データセンターのリージョン	CIDR ブロック
DC-01	52.1.205.204/32
DC-02	18.195.110.23/32
DC-03	3.6.251.95/32
DC-04	10.22.3.193/32

追加する必要があるインバウンドルールは 1 つだけです。たとえば、MoEngage の DC-01 サーバーを使用している場合は、最初の CIDR ブロックのみを追加します。

アウトバウンドルールは空のままにします。
完了したら “Create security group” をクリックします。

既存のセキュリティグループを編集する

EC2 コンソールの “Network & Security” で、Security Groups ページを開きます。セキュリティグループの一覧から、編集するものを開きます。

セキュリティグループのページで “Actions” ボタンをクリックし、“Edit inbound rules” を選択します。
上記の表に従って、新しいインバウンドルールを追加します。
完了したら “Save rules” をクリックします。

セキュリティグループを Redshift クラスターにアタッチする

Redshift コンソールで、Redshift クラスターを開きます。Properties タブに移動します。
“Network & Security settings” セクションで、“Edit” ボタンをクリックします。
VPC security groups で、作成または編集したセキュリティグループを選択します。
完了したら “Save changes” をクリックします。

ステップ 4：新しい IAM ポリシーを作成する

MoEngage が S3 から Redshift クラスターにデータを転送できるようにする、新しい IAM ポリシーを作成する必要があります。

IAM コンソールの Access Management で、Policies に移動します。“Create policy” ボタンをクリックします。

Create Policy ページで JSON タブに切り替え、以下のポリシーを貼り付けます。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor1",
            "Effect": "Allow",
            "Action": [
                "s3:Get*",
                "s3:List*"
            ],
            "Resource": [ "<bucket-arn>",
                          "<bucket-arn>/*"]
        }
    ]
}

<bucket-arn> の値は、MoEngage のデータセンターのリージョンによって異なります。

データセンターのリージョン	`<bucket-arn>`	Resource 配列
DC-01	`arn:aws:s3:::moe-warehouse-exports-us-east-1`	`"Resource": ["arn:aws:s3:::moe-warehouse-exports-us-east-1", "arn:aws:s3:::moe-warehouse-exports-us-east-1/*"]`
DC-02	`arn:aws:s3:::moe-warehouse-exports-eu-central-1`	`"Resource": ["arn:aws:s3:::moe-warehouse-exports-eu-central-1", "arn:aws:s3:::moe-warehouse-exports-eu-central-1/*"]`
DC-03	`arn:aws:s3:::moe-warehouse-exports-ap-south-1`	`"Resource": ["arn:aws:s3:::moe-warehouse-exports-ap-south-1", "arn:aws:s3:::moe-warehouse-exports-ap-south-1/*"]`
DC-04	`arn:aws:s3:::moe-warehouse-exports-us-east-2`	`"Resource": ["arn:aws:s3:::moe-warehouse-exports-us-east-2", "arn:aws:s3:::moe-warehouse-exports-us-east-2/*"]`

<bucket-arn> を、お使いの MoEngage データセンターのリージョンに対応するものに置き換えるだけです。

“Next” をクリックし、任意でタグを追加します。次に “Next: Review” をクリックします。

ポリシーに名前と、任意で説明を付けます。準備ができたら “Create policy” をクリックします。

ステップ 5：新しい Redshift IAM ロールを作成する

このロールにより、MoEngage のサーバーが Redshift クラスターにデータを書き込めるようになります。

IAM コンソールの Access Management で、Roles に移動します。“Create role” ボタンをクリックします。
Trusted entity type として “AWS service” を選択します。Use Case で、“Use cases for other AWS services” から “Redshift ” を選択します。Redshift のユースケースの種類で、“Redshift - Customizable ” を選択します。準備ができたら “Next” をクリックします。
次のステップで、ステップ 4 で作成したポリシーを選択します。完了したら Next をクリックします。
ロールに名前を付け、先ほど作成した正しいポリシーがアタッチされているかを確認します。準備ができたら Create Role をクリックします。

ステップ 6：このロールを Redshift クラスターにアタッチする

Redshift コンソールで、Redshift クラスターを開きます。

Properties タブで、“Associated IAM roles” セクションに移動します。
“Manage IAM roles” ボタンをクリックし、“Associate IAM roles” オプションを選択します。
ポップアップのモーダルから、ステップ 5 で作成したロールを選択します。

“Associate IAM roles” をクリックして、このロールを Redshift クラスターにアタッチします。

サポートされている日時形式

日付と時刻の形式	例
`"datetime_format": "YYYY-MM-DD"`	2022-01-22
`"datetime_format": "YYYY/MM/DD"`	2022/01/22
`"datetime_format": "DD/MM/YYYY"`	22/01/2022
`"datetime_format": "DD-MM-YYYY"`	22-01-2022
`"datetime_format": "DD-MM-YYYY hh:mm:ss"`	31-12-2022 12:10:33
`"datetime_format": "DD/MM/YYYY hh:mm:ss"`	31/12/2022 12:10:33
`"datetime_format": "YYYY-MM-DD hh:mm:ss"`	2019-02-22 17:54:14
`"datetime_format": "YYYY/MM/DD hh:mm:ss"`	2019/02/22 17:54:14
`"datetime_format": "DD-MM-YYYYThh:mm:ss.s"`	31-12-2022T12:10:33.882
`"datetime_format": "DD/MM/YYYYThh:mm:ss.s"`	31/12/2022T12:10:33.882
`"datetime_format": "DD-MM-YYYYThh:mm:ssTZD"`	31-12-2022T12:10:33Z 31-12-2022T12:10:33+08:00 31-12-2022T12:10:33-08:00
`"datetime_format": "DD/MM/YYYYThh:mm:ssTZD"`	31/12/2022T12:10:33Z 31/12/2022T12:10:33+08:00 31/12/2022T12:10:33-08:00
`"datetime_format": "YYYY-MM-DD hh:mm:ss.s"`	2019-02-22 17:54:14.933
`"datetime_format": "YYYY/MM/DD hh:mm:ss.s"`	2019/02/22 17:54:14.933
`"datetime_format": "YYYY-MM-DDThh:mm:ssTZD"`	2019-11-14T00:01:02Z 2019-11-14T00:01:02+08:00 2019-11-14T00:01:02Z-08:00
`"datetime_format": "YYYY/MM/DDThh:mm:ssTZD"`	2019/11/14T00:01:02Z 2019/11/14T00:01:02+08:00 2019/11/14T00:01:02-08:00
`"datetime_format": "YYYY-MM-DDThh:mm:ss.sTZD"`	2019-02-22T17:54:14.957Z 2019-02-22T17:54:14.957299-08:00 2019-02-22T17:54:14.957299+08:00
`"datetime_format": "YYYY/MM/DDThh:mm:ss.sTZD"`	2019/02/22T17:54:14.957Z 2019/02/22T17:54:14.957299-08:00 2019/02/22T17:54:14.957299+08:00

MoEngage から Redshift へのイベントのエクスポート

MoEngage から Redshift クラスターにイベントをエクスポートできます。エクスポートを設定するには、Redshift エクスポートガイドを参照してください。