マルチリポジトリ設定で Supply Chain データレイクのデプロイを自動化する

リポジトリのクローン作成

このパターンのリポジトリのクローンを作成するには、ローカルワークステーションで次のコマンドを実行します。

git clone https://github.com/aws-samples/sample-automate-aws-supply-chain-deployment.git
cd ASC-Deployment

(自動オプション) デプロイの前提条件を確認します。

自動デプロイの前提条件が完了していることを確認します。

(手動オプション) Supply Chain データセットのデプロイを準備します。

の terraform-deployment ディレクトリに移動するにはASC-Datasets、次のコマンドを実行します。

cd ASC-Datasets/terraform-deployment

前提条件で作成されたロール ARN を引き受けるには、次のコマンドを実行します。

aws sts assume-role --role-arn <enter AWS user role ARN> --role-session-name <your-session-name>

環境変数を設定してエクスポートするには、次のコマンドを実行します。

# Export Environment variables
export REGION=<Enter deployment region>
export REPO_NAME=<Enter Current ASC Datasets dir name>
export PROJECT_NAME="asc-deployment-poc"
export ACCOUNT_ID=<Enter deployment Account ID>
export ENVIRONMENT="dev"
export LAMBDA_LAYER_TEMP_DIR_TERRAFORM="layerOutput"
export LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM="lambdaOutput"
export AWS_USER_ROLE=<Enter user role ARN for AWS Console access and deployment>
export S3_TERRAFORM_ARTIFACTS_BUCKET_NAME="$PROJECT_NAME-$ACCOUNT_ID-$REGION-terraform-artifacts-$ENVIRONMENT"

(手動オプション) デプロイで Supply Chain 統合フローを管理する準備をします。

の terraform-deployment ディレクトリに移動するにはASC-Integration-Flows、次のコマンドを実行します。

cd ASC-Integration-Flows/terraform-deployment

以前に作成したロール ARN を引き受けるには、次のコマンドを実行します。

aws sts assume-role --role-arn <enter AWS user role ARN> --role-session-name <your-session-name>

環境変数を設定してエクスポートするには、次のコマンドを実行します。

# Export Environment variables
export REGION=<Enter deployment region>
export REPO_NAME=<Enter Current ASC Integration Flows dir name>
export ASC_DATASET_VARS_REPO=<Enter Current ASC Datasets dir name>  #Must be the same directory name used for ASC Datasets deployment
export PROJECT_NAME="asc-deployment-poc"
export ACCOUNT_ID=<Enter deployment Account ID>
export ENVIRONMENT="dev"
export LAMBDA_LAYER_TEMP_DIR_TERRAFORM="layerOutput"
export LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM="lambdaOutput"
export S3_TERRAFORM_ARTIFACTS_BUCKET_NAME="$PROJECT_NAME-$ACCOUNT_ID-$REGION-terraform-artifacts-$ENVIRONMENT"

ASC-Datasets ディレクトリをコピーします。

ASC-Datasets ディレクトリを新しい場所にコピーするには、次の手順を実行します。

ASC-Datasets ディレクトリを設定します。

を組織内のスタンドアロンリポジトリASC-Datasetsとして設定するには、次のコマンドを実行します。

git init
git add .
git commit -m "Initial commit: ASC-Datasets standalone repository"
git remote add origin <INSERT_ASC_DATASETS_GITHUB_URL>
git branch -M dev

.github ワークフローファイルでブランチ名を設定します。

次の例に示すように、デプロイワークフローファイルにブランチ名を設定します。

   on:
     workflow_dispatch:
     push:
       branches:
         - dev     #Change to any other branch preferred for deployment

GitHub 環境をセットアップし、環境値を設定します。

GitHub 組織で GitHub 環境を設定するには、このパターンのリポジトリにある GitHub 環境のセットアップの手順を使用します。

ワークフローファイルで環境値を設定するには、このパターンのリポジトリのワークフローファイルの環境値のセットアップの手順を使用します。

ワークフローをトリガーします。

変更を GitHub 組織にプッシュし、デプロイワークフローをトリガーするには、次のコマンドを実行します。

git push -u origin dev

ASC-Integration-Flows ディレクトリをコピーします。

ASC-Integration-Flows ディレクトリを新しい場所にコピーするには、次の手順を実行します。

ASC-Integration-Flows ディレクトリを設定します。

ASC-Integration-Flows ディレクトリを組織内のスタンドアロンリポジトリとして設定するには、次のコマンドを実行します。

git init
git add .
git commit -m "Initial commit: ASC-Integration-Flows standalone repository"
git remote add origin <INSERT_ASC_Integration_Flows_GITHUB_URL>
git branch -M dev

.github ワークフローファイルでブランチ名を設定します。

次の例に示すように、デプロイワークフローファイルにブランチ名を設定します。

   on:
     workflow_dispatch:
     push:
       branches:
         - dev     #Change to any other branch preferred for deployment

GitHub 環境をセットアップし、環境値を設定します。

GitHub 組織で GitHub 環境を設定するには、このパターンのリポジトリにある GitHub 環境のセットアップの手順を使用します。

ワークフローファイルで環境値を設定するには、このパターンのリポジトリのワークフローファイルの環境値のセットアップの手順を使用します。

ワークフローをトリガーします。

変更を GitHub 組織にプッシュし、デプロイワークフローをトリガーするには、次のコマンドを実行します。

git push -u origin dev

terraform-deployment ディレクトリに移動します。

の terraform-deployment ディレクトリに移動するにはASC-Datasets、次のコマンドを実行します。

cd ASC-Datasets/terraform-deployment

Terraform 状態 Amazon S3 バケットを設定します。

Terraform 状態 Amazon S3 バケットを設定するには、次のスクリプトを使用します。

# Setup terraform bucket
chmod +x ../scripts/setup-terraform.sh
../scripts/setup-terraform.sh

Terraform アーティファクトの Amazon S3 バケットを設定します。

Terraform アーティファクト Amazon S3 バケットを設定するには、次のスクリプトを使用します。

# Setup terraform artifacts bucket
chmod +x ../scripts/setup-terraform-artifacts-bucket.sh
../scripts/setup-terraform-artifacts-bucket.sh

Terraform バックエンドとプロバイダーの設定をセットアップします。

Terraform バックエンドとプロバイダーの設定を設定するには、次のスクリプトを使用します。

# Setup terraform backend and providers config if they don't exist
chmod +x ../scripts/generate-terraform-config.sh
../scripts/generate-terraform-config.sh

デプロイプランを生成します。

デプロイプランを生成するには、次のコマンドを実行します。

# Run terraform init and validate
terraform init
terraform validate

# Run terraform plan
terraform plan \
-var-file="tfInputs/$ENVIRONMENT.tfvars" \
-var="project_name=$PROJECT_NAME" \
-var="environment=$ENVIRONMENT" \
-var="user_role=$AWS_USER_ROLE" \
-var="lambda_temp_dir=$LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM" \
-var="layer_temp_dir=$LAMBDA_LAYER_TEMP_DIR_TERRAFORM" \
-parallelism=40 \
-out='tfplan.out'

設定をデプロイします。

設定をデプロイするには、次のコマンドを実行します。

# Run terraform apply
terraform apply tfplan.out

他の設定を更新し、出力を保存します。

AWS KMS キーポリシーを更新し、適用された設定出力を Terraform アーティファクト Amazon S3 バケットに保存するには、次のコマンドを実行します。

# Update AWS Supply Chain KMS Key policy with the service's requirements
chmod +x ../scripts/update-asc-kms-policy.sh
../scripts/update-asc-kms-policy.sh

# Update AWS KMS Keys' policy with IAM roles
chmod +x ../scripts/update-kms-policy.sh
../scripts/update-kms-policy.sh

# Create terraform outputs file to be used as input variables
terraform output -json > raw_output.json
jq -r 'to_entries | map(
  if .value.type == "string" then
      "\(.key) = \"\(.value.value)\""
  else
      "\(.key) = \(.value.value | tojson)"
  end
) | .[]' raw_output.json > $REPO_NAME-outputs.tfvars

# Upload reformed outputs file to Amazon S3 terraform artifacts bucket (For retrieval from other repositories)
aws s3 cp $REPO_NAME-outputs.tfvars s3://$S3_TERRAFORM_ARTIFACTS_BUCKET_NAME/$REPO_NAME-outputs.tfvars
rm -f raw_output.json
rm -f $REPO_NAME-outputs.tfvars

terraform-deployment ディレクトリに移動します。

の terraform-deployment ディレクトリに移動するにはASC-Integration-Flows、次のコマンドを実行します。

cd ASC-Integration-Flows/terraform-deployment

Terraform バックエンドとプロバイダーの設定をセットアップします。

Terraform バックエンドとプロバイダーの設定を設定するには、次のスクリプトを使用します。

# Setup terraform backend and providers config if they don't exist
chmod +x ../scripts/generate-terraform-config.sh
../scripts/generate-terraform-config.sh

デプロイプランを生成します。

デプロイプランを生成するには、次のコマンドを実行します。これらのコマンドは、Terraform 環境を初期化し、 の設定変数を既存の Terraform 設定ASC-Datasetsとマージして、デプロイプランを生成します。

# Run terraform init and validate
terraform init
terraform validate

# Download and merge ASC DATASET tfvars
chmod +x ../scripts/download-vars-through-s3.sh
../scripts/download-vars-through-s3.sh $ASC_DATASET_VARS_REPO

# Run terraform plan
terraform plan \
-var-file="tfInputs/$ENVIRONMENT.tfvars" \
-var="project_name=$PROJECT_NAME" \
-var="environment=$ENVIRONMENT" \
-var="lambda_temp_dir=$LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM" \
-var="layer_temp_dir=$LAMBDA_LAYER_TEMP_DIR_TERRAFORM" \
-parallelism=40 \
-out='tfplan.out'

設定をデプロイします。

設定をデプロイするには、次のコマンドを実行します。

# Run terraform apply
terraform apply tfplan.out

他の設定を更新します。

AWS KMS キーポリシーを更新し、適用された設定出力を Terraform アーティファクト Amazon S3 バケットに保存するには、次のコマンドを実行します。

# Update AWS KMS Keys' policy with IAM roles
chmod +x ../scripts/update-kms-policy-through-s3.sh
../scripts/update-kms-policy-through-s3.sh $ASC_DATASET_VARS_REPO

# Create terraform outputs file to be used as input variables
terraform output -json > raw_output.json
jq -r 'to_entries | map(
  if .value.type == "string" then
      "\(.key) = \"\(.value.value)\""
  else
      "\(.key) = \(.value.value | tojson)"
  end
) | .[]' raw_output.json > $REPO_NAME-outputs.tfvars

# Upload reformed outputs file to Amazon S3 terraform artifacts bucket (For retrieval from other repositories)
aws s3 cp $REPO_NAME-outputs.tfvars s3://$S3_TERRAFORM_ARTIFACTS_BUCKET_NAME/$REPO_NAME-outputs.tfvars
rm -f raw_output.json
rm -f $REPO_NAME-outputs.tfvars

サンプル CSV ファイルをアップロードします。

データセットのサンプル CSV ファイルをアップロードするには、次の手順を実行します。

Supply Chain アクセスを設定します。

からの Supply Chain アクセスを設定するには AWS マネジメントコンソール、次の手順を実行します。

統合フローリソースの破棄ワークフローをトリガーします。

GitHub 組織のデプロイブランチASC-Integration-Flowsから の破棄ワークフローをトリガーします。

データセットリソースの破棄ワークフローをトリガーします。

GitHub 組織のデプロイブランチASC-Datasetsから の破棄ワークフローをトリガーします。

terraform-deployment ディレクトリに移動します。

の terraform-deployment ディレクトリに移動するにはASC-Integration-Flows、次のコマンドを実行します。

cd ASC-Integration-Flows/terraform-deployment

Terraform バックエンドとプロバイダーの設定をセットアップします。

Terraform バックエンドとプロバイダーの設定を設定するには、次のスクリプトを使用します。

# Setup terraform backend and providers config if they don't exist
chmod +x ../scripts/generate-terraform-config.sh
../scripts/generate-terraform-config.sh

インフラストラクチャ破壊計画を作成します。

詳細なティアダウンプランを生成して AWS インフラストラクチャの制御された破壊に備えるには、次のコマンドを実行します。このプロセスでは、Terraform を初期化し、 Supply Chain データセット設定を組み込み、実行前に確認できる破棄計画を作成します。

# Run terraform init and validate
terraform init
terraform validate

# Download and merge ASC DATASET tfvars
chmod +x ../scripts/download-vars-through-s3.sh
../scripts/download-vars-through-s3.sh $ASC_DATASET_VARS_REPO

# Run terraform plan
terraform plan -destroy\
-var-file="tfInputs/$ENVIRONMENT.tfvars" \
-var="project_name=$PROJECT_NAME" \
-var="environment=$ENVIRONMENT" \
-var="lambda_temp_dir=$LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM" \
-var="layer_temp_dir=$LAMBDA_LAYER_TEMP_DIR_TERRAFORM" \
-parallelism=40 \
-out='tfplan.out'

インフラストラクチャ破壊計画を実行します。

インフラストラクチャの計画された破棄を実行するには、次のコマンドを実行します。

# Run terraform apply
terraform apply tfplan.out

Amazon S3 バケットから Terraform 出力を削除します。

のデプロイ中にアップロードされた出力ファイルを削除するにはASC-Integration-Flows、次のコマンドを実行します。

# Delete the outputs file
aws s3 rm s3://$S3_TERRAFORM_ARTIFACTS_BUCKET_NAME/$REPO_NAME-outputs.tfvars

terraform-deployment ディレクトリに移動します。

の terraform-deployment ディレクトリに移動するにはASC-Datasets、次のコマンドを実行します。

cd ASC-Datasets/terraform-deployment

Terraform バックエンドとプロバイダーの設定をセットアップします。

Terraform バックエンドとプロバイダーの設定を設定するには、次のスクリプトを使用します。

# Setup terraform backend and providers config if they don't exist
chmod +x ../scripts/generate-terraform-config.sh
../scripts/generate-terraform-config.sh

インフラストラクチャ破壊計画を作成します。

Supply Chain データセットリソースを破棄する計画を作成するには、次のコマンドを実行します。

# Run terraform init and validate
terraform init
terraform validate

# Run terraform plan
terraform plan -destroy\
-var-file="tfInputs/$ENVIRONMENT.tfvars" \
-var="project_name=$PROJECT_NAME" \
-var="environment=$ENVIRONMENT" \
-var="user_role=$AWS_USER_ROLE" \
-var="lambda_temp_dir=$LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM" \
-var="layer_temp_dir=$LAMBDA_LAYER_TEMP_DIR_TERRAFORM" \
-parallelism=40 \
-out='tfplan.out'

Amazon S3 バケットを空にします。

すべての Amazon S3 バケット ( 用に設定されたサーバーアクセスログ記録バケットを除くforce-destroy) を空にするには、次のスクリプトを使用します。

# Delete S3 buckets excluding server access logging bucket
chmod +x ../scripts/empty-s3-buckets.sh
../scripts/empty-s3-buckets.sh tfplan.out

インフラストラクチャ破壊計画を実行します。

生成されたプランを使用して Supply Chain データセットインフラストラクチャの計画的破壊を実行するには、次のコマンドを実行します。

# Run terraform apply
terraform apply tfplan.out

Amazon S3 Terraform アーティファクトバケットから Terraform 出力を削除します。

クリーンアッププロセスを完了するには、次のコマンドASC-Datasetsを実行して、 のデプロイ中にアップロードされた出力ファイルを削除します。

# Delete the outputs file
aws s3 rm s3://$S3_TERRAFORM_ARTIFACTS_BUCKET_NAME/$REPO_NAME-outputs.tfvars