翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

AWS セルフマネージド型データベースソースのゼロ ETL 統合

AWS ゼロ ETL 統合は、トランザクションデータと運用データを複数の運用データベースソースとトランザクションデータベースソースから Amazon Redshift、Amazon S3、Amazon S3 Tables で利用できるようにするフルマネージドソリューションです。ゼロ ETL を使用すると、MySQL、PostgreSQL、SQL Server、Oracle などのセルフマネージド型ソースデータベースから、既存の AWS Database Migration Service (AWS DMS) ソースエンドポイントを介して Amazon Redshift にデータをレプリケートできます。自動同期により、従来の抽出、変換、ロード (ETL) プロセスを回避できます。また、リアルタイム分析と AI ワークロードも有効にします。詳細については、「Amazon Redshift 管理ガイド」の「ゼロ ETL 統合」を参照してください。

ゼロ ETL 統合には、次のような利点があります。

セルフマネージド型データベースソースでのゼロ ETL 統合の仕組み

以前にセルフマネージド型データベース用に作成した既存の AWS DMS エンドポイントを使用することも、新しいエンドポイントを作成することもできます。

データがレプリケートされたら、Amazon Redshift の分析機能を使用できます。例えば、組み込みの機械学習 (ML)、マテリアライズドビュー、データ共有、複数のデータストアやデータレイクへの直接アクセスなどが利用できます。データエンジニアにとって、ゼロ ETL 統合は、複雑なデータパイプラインの断続的なエラーによって遅延する可能性のある、時間的制約のあるデータへのアクセスを提供します。トランザクションデータに対して分析クエリや機械学習モデルを実行して、時間的制約のあるイベントやビジネス上の意思決定について、タイムリーなインサイトを引き出すことができます。

Amazon Redshift イベント通知サブスクリプションを作成して、ゼロ ETL 統合で問題が発生したときに自動的に通知を受け取ることができます。統合関連のイベント通知のリストを表示するには、「Amazon EventBridge とのゼロ ETL 統合イベント通知」を参照してください。サブスクリプションを作成する最も簡単な方法は、Amazon Simple Notification Service コンソールを使用することです。Amazon SNS トピックの作成とサブスクリプションについては、「Amazon Simple Notification Service デベロッパーガイド」の「Amazon SNS の開始方法」を参照してください。

統合を作成する前のソースデータベース設定

ゼロ ETL 統合を設定する前に、データベースエンジンの要件に従ってソースデータベースを適切に設定する必要があります。各エンジンには、特定の設定要件と制限があります。

SQL Server

Oracle

MySQL

[PostgreSQL]

ゼロ ETL 統合のための IAM アクセス許可と暗号化の設定

ゼロ ETL 統合を作成および管理するには、適切な IAM アクセス許可、 AWS Key Management Service (AWS KMS) 暗号化キー、リソースポリシーを設定する必要があります。このセクションでは、必要なセキュリティコンポーネントの設定に関するガイダンスを提供します。

前提条件

ゼロ ETL 統合を作成する前に、以下があることを確認してください。

KMS キーを作成する

まず、カスタマーマネージド AWS KMS キーを作成して、ゼロ ETL 統合でデータを暗号化します。次の例では、対称暗号化キーを作成します。

aws kms create-key \
  --description "On-prem Zero-ETL Integration Encryption Key" \
  --key-usage ENCRYPT_DECRYPT \
  --key-spec SYMMETRIC_DEFAULT \
  --region region

キーポリシーを設定して統合を作成するときに必要になるため、レスポンスKeyIdArnの と に注意してください。

出力例:

{
    "KeyMetadata": {
        "AWSAccountId": "account-id",
        "KeyId": "4e2c14f8-7abe-4aec-851a-379f6ed973a8",
        "Arn": "arn:aws:kms:region:account-id:key/4e2c14f8-7abe-4aec-851a-379f6ed973a8",
        "CreationDate": 1763155061.148,
        "Enabled": true,
        "Description": "Zero-ETL Integration Encryption Key",
        "KeyUsage": "ENCRYPT_DECRYPT",
        "KeyState": "Enabled",
        "Origin": "AWS_KMS",
        "KeyManager": "CUSTOMER",
        "CustomerMasterKeySpec": "SYMMETRIC_DEFAULT",
        "KeySpec": "SYMMETRIC_DEFAULT",
        "EncryptionAlgorithms": [
            "SYMMETRIC_DEFAULT"
        ],
        "MultiRegion": false
    }
}

KMS キーポリシーの設定

KMS キーを作成したら、Amazon Redshift と AWS Glue のサービスがキーを暗号化および復号オペレーションに使用できるようにキーポリシーを設定します。キーポリシーは、サービスプリンシパルに必要なアクセス許可を付与し、統合の作成時に使用される暗号化コンテキストを含める必要があります。

次の例は、ゼロ ETL 統合のキーポリシーを示しています。

{
    "Version": "2012-10-17",
    "Id": "key-default-1",
    "Statement": [
        {
            "Sid": "Enable IAM User Permissions",
            "Effect": "Allow",
            "Principal": {
                "AWS": "arn:aws:iam::account-id:root"
            },
            "Action": "kms:*",
            "Resource": "*"
        },
        {
            "Sid": "Allows the Redshift and glue service principal to add a grant to a KMS key",
            "Effect": "Allow",
            "Principal": {
                "Service": [
                    "redshift.amazonaws.com",
                    "glue.amazonaws.com"
                ]
            },
            "Action": "kms:CreateGrant",
            "Resource": "*",
            "Condition": {
                "StringEquals": {
	              "kms:EncryptionContext:context-key": "context-value"
                },
                "ForAllValues:StringEquals": {
                    "kms:GrantOperations": [
                        "Decrypt",
                        "GenerateDataKey",
                        "CreateGrant",
                        "GenerateDataKeyWithoutPlaintext",
                        "ReEncryptTo"
                    ]
                }
            }
        }
    ]
}

kms:EncryptionContext 条件は、統合の作成時に指定した追加の暗号化コンテキストと一致する必要があります。キーポリシーは、 AWS KMS コンソールまたは次の CLI コマンドを使用して更新できます。

aws kms put-key-policy \
  --key-id key-id \
  --policy-name default \
  --policy file://kms-key-policy.json

IAM ユーザーの作成と CLI AWS の設定

ゼロ ETL 統合の管理に使用する IAM ユーザーを作成し、適切な認証情報を使用して AWS CLI を設定します。

IAM ポリシーを作成してアタッチする

ゼロ ETL 統合オペレーションのアクセス許可を付与する IAM ポリシーを作成します。ポリシーには AWS Glue、、 AWS DMS Amazon Redshift、 AWS KMSおよび のアクセス許可を含める必要があります。

次のポリシーをファイル ( など/tmp/zetl-policy.json) に保存します。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "ZetlGlueIntegrationAccess",
            "Effect": "Allow",
            "Action": [
                "glue:CreateIntegration",
                "glue:ModifyIntegration",
                "glue:DeleteIntegration",
                "glue:DescribeIntegrations",
                "glue:DescribeInboundIntegrations"
            ],
            "Resource": "*"
        },
        {
            "Sid": "DMSIntegrationAccess",
            "Effect": "Allow",
            "Action": [
                "dms:CreateOutboundIntegration",
                "dms:ModifyOutboundIntegration",
                "dms:CreateEndpoint",
                "dms:DescribeEndpoints",
                "dms:ModifyEndpoint",
                "dms:DeleteEndpoint",
                "dms:TestConnection"
            ],
            "Resource": "*"
        },
        {
            "Sid": "ZetlRedshiftFullAccess",
            "Effect": "Allow",
            "Action": [
                "redshift:*",
                "redshift-serverless:*",
                "ec2:DescribeAccountAttributes",
                "ec2:DescribeAddresses",
                "ec2:DescribeAvailabilityZones",
                "ec2:DescribeSecurityGroups",
                "ec2:DescribeSubnets",
                "ec2:DescribeVpcs",
                "ec2:DescribeInternetGateways",
                "sns:CreateTopic",
                "sns:Get*",
                "sns:List*",
                "cloudwatch:Describe*",
                "cloudwatch:Get*",
                "cloudwatch:List*",
                "cloudwatch:PutMetricAlarm",
                "cloudwatch:EnableAlarmActions",
                "cloudwatch:DisableAlarmActions",
                "tag:GetResources",
                "tag:UntagResources",
                "tag:GetTagValues",
                "tag:GetTagKeys",
                "tag:TagResources"
            ],
            "Resource": "*"
        },
        {
            "Sid": "ZetlRedshiftDataAPI",
            "Effect": "Allow",
            "Action": [
                "redshift-data:ExecuteStatement",
                "redshift-data:CancelStatement",
                "redshift-data:ListStatements",
                "redshift-data:GetStatementResult",
                "redshift-data:DescribeStatement",
                "redshift-data:ListDatabases",
                "redshift-data:ListSchemas",
                "redshift-data:ListTables",
                "redshift-data:DescribeTable"
            ],
            "Resource": "*"
        },
        {
            "Sid": "ZetlKMSAccess",
            "Effect": "Allow",
            "Action": [
                "kms:CreateKey",
                "kms:DescribeKey",
                "kms:Encrypt",
                "kms:Decrypt",
                "kms:GenerateDataKey",
                "kms:ListKeys",
                "kms:CreateAlias",
                "kms:ListAliases",
                "kms:CreateGrant"
            ],
            "Resource": "*"
        },
        {
            "Sid": "ZetlSecretsManagerAccess",
            "Effect": "Allow",
            "Action": [
                "secretsmanager:GetSecretValue",
                "secretsmanager:PutSecretValue",
                "secretsmanager:CreateSecret",
                "secretsmanager:UpdateSecret",
                "secretsmanager:DeleteSecret",
                "secretsmanager:DescribeSecret",
                "secretsmanager:ListSecrets",
                "secretsmanager:GetResourcePolicy",
                "secretsmanager:PutResourcePolicy",
                "secretsmanager:ValidateResourcePolicy"
            ],
            "Resource": "*"
        }
    ]
}

ポリシーを作成し、IAM ユーザーにアタッチします。

aws iam create-policy \
  --policy-name ZetlCustomPolicy \
  --policy-document file:///tmp/zetl-policy.json

aws iam attach-user-policy \
  --policy-arn arn:aws:iam::account-id:policy/ZetlCustomPolicy \
  --user-name cli-user

CLI AWS プロファイルの設定

前のステップで作成したユーザー認証情報を使用して AWS CLI プロファイルを設定します。

aws configure set aws_access_key_id ACCESS_KEY_ID --profile cli-user
aws configure set aws_secret_access_key SECRET_ACCESS_KEY --profile cli-user
aws configure set region region --profile cli-user
aws configure set output json --profile cli-user

プロファイル設定をテストします。

aws sts get-caller-identity --profile cli-user

出力には、ユーザーのアカウント ID、ユーザー ID、ARN が表示され、プロファイルが正しく設定されていることを確認します。

Redshift リソースポリシーの作成

Amazon Redshift リソースポリシーを作成して、 AWS DMS ソースエンドポイントが Amazon Redshift 名前空間とのインバウンド統合を作成することを承認します。このポリシーは Amazon Redshift 名前空間にアタッチされ、データをレプリケートできるソースを制御します。

次の例は、Amazon Redshift 名前空間のリソースポリシーを作成する方法を示しています。

aws redshift put-resource-policy \
  --policy '{
    "Version": "2012-10-17",
    "Statement": [
      {
        "Effect": "Allow",
        "Principal": {
          "Service": ["redshift.amazonaws.com"]
        },
        "Action": ["redshift:AuthorizeInboundIntegration"],
        "Condition": {
          "StringEquals": {
            "aws:SourceArn": "arn:aws:dms:region:account-id:endpoint:endpoint-id"
          }
        }
      },
      {
        "Effect": "Allow",
        "Principal": {
          "AWS": "account-id"
        },
        "Action": [
          "redshift:CreateInboundIntegration",
          "redshift:ModifyInboundIntegration"
        ]
      }
    ]
  }' \
  --resource-arn arn:aws:redshift:region:account-id:namespace:namespace-id \
  --region region

次のプレースホルダーを置き換えます。

例: 暗号化によるゼロ ETL 統合の作成

必要なアクセス許可と暗号化キーを設定したら、 AWS Glue API を使用してゼロ ETL 統合を作成できます。次の例は、KMS 暗号化を使用して MySQL ソースから Amazon Redshift ターゲットへの統合を作成する方法を示しています。

aws glue create-integration \
  --integration-name mysql-onprem-integration \
  --source-arn arn:aws:dms:region:account-id:endpoint:source-endpoint-id \
  --target-arn arn:aws:redshift:region:account-id:namespace:namespace-id \
  --description "MySQL to Redshift integration" \
  --integration-config '{"SourceProperties":{"SubnetIds":"subnet-id1,subnet-id2,subnet-id3","VpcSecurityGroupIds":"sg-id"}}' \
  --data-filter "include: mysql.*" \
  --kms-key-id arn:aws:kms:region:account-id:key/key-id \
  --additional-encryption-context '{"context-key": "context-value"}' \
  --profile cli-user \
  --region region

コマンドには、次のキーパラメータが含まれます。

正常に作成されると、 コマンドは統合 ARN、ステータス、設定パラメータを含む統合の詳細を返します。出力例:

{
    "SourceArn": "arn:aws:dms:region:account-id:endpoint:endpoint-id",
    "TargetArn": "arn:aws:redshift:region:account-id:namespace:namespace-id",
    "IntegrationName": "mysql-onprem-integration",
    "IntegrationArn": "arn:aws:glue:region:account-id:integration:integration-id",
    "KmsKeyId": "arn:aws:kms:region:account-id:key/key-id",
    "AdditionalEncryptionContext": {
	  "context-key": "context-value"
    },
    "Status": "CREATED",
    "CreateTime": 1763234086.001,
    "DataFilter": "include: mysql.*",
    "IntegrationConfig": {
        "SourceProperties": {
            "SubnetIds": "subnet-id1,subnet-id2,subnet-id3",
            "VpcSecurityGroupIds": "sg-id"
        }
    }
}

セキュリティのベストプラクティス

ゼロ ETL 統合を設定するときは、次のセキュリティのベストプラクティスに従ってください。