使用 GitHub Actions、Artifactory 和 Terraform 在多儲存庫設定中自動化 AWS Supply Chain 資料湖的部署

複製儲存庫。

若要複製此模式的儲存庫，請在本機工作站中執行下列命令：

git clone https://github.com/aws-samples/sample-automate-aws-supply-chain-deployment.git
cd ASC-Deployment

（自動化選項） 驗證部署的先決條件。

請確定自動化部署的先決條件已完成。

（手動選項） 準備部署 AWS Supply Chain 資料集。

若要前往 的terraform-deployment目錄ASC-Datasets，請執行下列命令：

cd ASC-Datasets/terraform-deployment

若要擔任在先決條件中建立的角色 ARN，請執行下列命令：

aws sts assume-role --role-arn <enter AWS user role ARN> --role-session-name <your-session-name>

若要設定和匯出環境變數，請執行下列命令：

# Export Environment variables
export REGION=<Enter deployment region>
export REPO_NAME=<Enter Current ASC Datasets dir name>
export PROJECT_NAME="asc-deployment-poc"
export ACCOUNT_ID=<Enter deployment Account ID>
export ENVIRONMENT="dev"
export LAMBDA_LAYER_TEMP_DIR_TERRAFORM="layerOutput"
export LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM="lambdaOutput"
export AWS_USER_ROLE=<Enter user role ARN for AWS Console access and deployment>
export S3_TERRAFORM_ARTIFACTS_BUCKET_NAME="$PROJECT_NAME-$ACCOUNT_ID-$REGION-terraform-artifacts-$ENVIRONMENT"

（手動選項） 準備管理部署中的 AWS Supply Chain 整合流程。

若要前往 的terraform-deployment目錄ASC-Integration-Flows，請執行下列命令：

cd ASC-Integration-Flows/terraform-deployment

若要擔任先前建立的角色 ARN，請執行下列命令：

aws sts assume-role --role-arn <enter AWS user role ARN> --role-session-name <your-session-name>

若要設定和匯出環境變數，請執行下列命令：

# Export Environment variables
export REGION=<Enter deployment region>
export REPO_NAME=<Enter Current ASC Integration Flows dir name>
export ASC_DATASET_VARS_REPO=<Enter Current ASC Datasets dir name>  #Must be the same directory name used for ASC Datasets deployment
export PROJECT_NAME="asc-deployment-poc"
export ACCOUNT_ID=<Enter deployment Account ID>
export ENVIRONMENT="dev"
export LAMBDA_LAYER_TEMP_DIR_TERRAFORM="layerOutput"
export LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM="lambdaOutput"
export S3_TERRAFORM_ARTIFACTS_BUCKET_NAME="$PROJECT_NAME-$ACCOUNT_ID-$REGION-terraform-artifacts-$ENVIRONMENT"

複製 ASC-Datasets目錄。

若要將ASC-Datasets目錄複製到新位置，請使用下列步驟：

設定 ASC-Datasets目錄。

若要在您的組織中ASC-Datasets將 設定為獨立儲存庫，請執行下列命令：

git init
git add .
git commit -m "Initial commit: ASC-Datasets standalone repository"
git remote add origin <INSERT_ASC_DATASETS_GITHUB_URL>
git branch -M dev

在 .github 工作流程檔案中設定分支名稱。

在部署工作流程檔案中設定分支名稱，如下列範例所示：

   on:
     workflow_dispatch:
     push:
       branches:
         - dev     #Change to any other branch preferred for deployment

設定 GitHub 環境並設定環境值。

若要在 GitHub 組織中設定 GitHub 環境，請使用此模式儲存庫中設定 GitHub 環境的指示。

若要在工作流程檔案中設定環境值，請使用此模式儲存庫中工作流程檔案中設定環境值中的指示。

觸發工作流程。

若要將您的變更推送到您的 GitHub 組織並觸發部署工作流程，請執行下列命令：

git push -u origin dev

複製 ASC-Integration-Flows目錄。

若要將ASC-Integration-Flows目錄複製到新位置，請使用下列步驟：

設定 ASC-Integration-Flows目錄。

若要將ASC-Integration-Flows目錄設定為組織中的獨立儲存庫，請執行下列命令：

git init
git add .
git commit -m "Initial commit: ASC-Integration-Flows standalone repository"
git remote add origin <INSERT_ASC_Integration_Flows_GITHUB_URL>
git branch -M dev

在 .github 工作流程檔案中設定分支名稱。

在部署工作流程檔案中設定分支名稱，如下列範例所示：

   on:
     workflow_dispatch:
     push:
       branches:
         - dev     #Change to any other branch preferred for deployment

設定 GitHub 環境並設定環境值。

若要在 GitHub 組織中設定 GitHub 環境，請使用此模式儲存庫中設定 GitHub 環境的指示。

若要在工作流程檔案中設定環境值，請使用此模式儲存庫中工作流程檔案中設定環境值中的指示。

觸發工作流程。

若要將您的變更推送到您的 GitHub 組織並觸發部署工作流程，請執行下列命令：

git push -u origin dev

導覽至 terraform-deployment 目錄。

若要前往 的terraform-deployment目錄ASC-Datasets，請執行下列命令：

cd ASC-Datasets/terraform-deployment

設定 Terraform 狀態 Amazon S3 儲存貯體。

若要設定 Terraform 狀態 Amazon S3 儲存貯體，請使用下列指令碼：

# Setup terraform bucket
chmod +x ../scripts/setup-terraform.sh
../scripts/setup-terraform.sh

設定 Terraform 成品 Amazon S3 儲存貯體。

若要設定 Terraform 成品 Amazon S3 儲存貯體，請使用下列指令碼：

# Setup terraform artifacts bucket
chmod +x ../scripts/setup-terraform-artifacts-bucket.sh
../scripts/setup-terraform-artifacts-bucket.sh

設定 Terraform 後端和提供者組態。

若要設定 Terraform 後端和提供者組態，請使用下列指令碼：

# Setup terraform backend and providers config if they don't exist
chmod +x ../scripts/generate-terraform-config.sh
../scripts/generate-terraform-config.sh

產生部署計畫。

若要產生部署計畫，請執行下列命令：

# Run terraform init and validate
terraform init
terraform validate

# Run terraform plan
terraform plan \
-var-file="tfInputs/$ENVIRONMENT.tfvars" \
-var="project_name=$PROJECT_NAME" \
-var="environment=$ENVIRONMENT" \
-var="user_role=$AWS_USER_ROLE" \
-var="lambda_temp_dir=$LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM" \
-var="layer_temp_dir=$LAMBDA_LAYER_TEMP_DIR_TERRAFORM" \
-parallelism=40 \
-out='tfplan.out'

部署組態。

若要部署組態，請執行下列命令：

# Run terraform apply
terraform apply tfplan.out

更新其他組態並存放輸出。

若要更新 AWS KMS 金鑰政策，並將套用的組態輸出存放在 Terraform 成品 Amazon S3 儲存貯體中，請執行下列命令：

# Update AWS Supply Chain KMS Key policy with the service's requirements
chmod +x ../scripts/update-asc-kms-policy.sh
../scripts/update-asc-kms-policy.sh

# Update AWS KMS Keys' policy with IAM roles
chmod +x ../scripts/update-kms-policy.sh
../scripts/update-kms-policy.sh

# Create terraform outputs file to be used as input variables
terraform output -json > raw_output.json
jq -r 'to_entries | map(
  if .value.type == "string" then
      "\(.key) = \"\(.value.value)\""
  else
      "\(.key) = \(.value.value | tojson)"
  end
) | .[]' raw_output.json > $REPO_NAME-outputs.tfvars

# Upload reformed outputs file to Amazon S3 terraform artifacts bucket (For retrieval from other repositories)
aws s3 cp $REPO_NAME-outputs.tfvars s3://$S3_TERRAFORM_ARTIFACTS_BUCKET_NAME/$REPO_NAME-outputs.tfvars
rm -f raw_output.json
rm -f $REPO_NAME-outputs.tfvars

導覽至 terraform-deployment 目錄。

若要前往 的terraform-deployment目錄ASC-Integration-Flows，請執行下列命令：

cd ASC-Integration-Flows/terraform-deployment

設定 Terraform 後端和提供者組態。

若要設定 Terraform 後端和提供者組態，請使用下列指令碼：

# Setup terraform backend and providers config if they don't exist
chmod +x ../scripts/generate-terraform-config.sh
../scripts/generate-terraform-config.sh

產生部署計畫。

若要產生部署計畫，請執行下列命令。這些命令會初始化您的 Terraform 環境、將來自 的組態變數ASC-Datasets與現有的 Terraform 組態合併，以及產生部署計畫。

# Run terraform init and validate
terraform init
terraform validate

# Download and merge ASC DATASET tfvars
chmod +x ../scripts/download-vars-through-s3.sh
../scripts/download-vars-through-s3.sh $ASC_DATASET_VARS_REPO

# Run terraform plan
terraform plan \
-var-file="tfInputs/$ENVIRONMENT.tfvars" \
-var="project_name=$PROJECT_NAME" \
-var="environment=$ENVIRONMENT" \
-var="lambda_temp_dir=$LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM" \
-var="layer_temp_dir=$LAMBDA_LAYER_TEMP_DIR_TERRAFORM" \
-parallelism=40 \
-out='tfplan.out'

部署組態。

若要部署組態，請執行下列命令：

# Run terraform apply
terraform apply tfplan.out

更新其他組態。

若要更新 AWS KMS 金鑰政策，並將套用的組態輸出存放在 Terraform 成品 Amazon S3 儲存貯體中，請執行下列命令：

# Update AWS KMS Keys' policy with IAM roles
chmod +x ../scripts/update-kms-policy-through-s3.sh
../scripts/update-kms-policy-through-s3.sh $ASC_DATASET_VARS_REPO

# Create terraform outputs file to be used as input variables
terraform output -json > raw_output.json
jq -r 'to_entries | map(
  if .value.type == "string" then
      "\(.key) = \"\(.value.value)\""
  else
      "\(.key) = \(.value.value | tojson)"
  end
) | .[]' raw_output.json > $REPO_NAME-outputs.tfvars

# Upload reformed outputs file to Amazon S3 terraform artifacts bucket (For retrieval from other repositories)
aws s3 cp $REPO_NAME-outputs.tfvars s3://$S3_TERRAFORM_ARTIFACTS_BUCKET_NAME/$REPO_NAME-outputs.tfvars
rm -f raw_output.json
rm -f $REPO_NAME-outputs.tfvars

上傳範例 CSV 檔案。

若要上傳資料集的範例 CSV 檔案，請使用下列步驟：

設定 AWS Supply Chain 存取權。

若要從 設定 AWS Supply Chain 存取權 AWS 管理主控台，請使用下列步驟：

觸發整合流程資源的銷毀工作流程。

ASC-Integration-Flows 從 GitHub 組織中的部署分支觸發 的銷毀工作流程。

觸發資料集資源的銷毀工作流程。

ASC-Datasets 從 GitHub 組織中的部署分支觸發 的銷毀工作流程。

導覽至 terraform-deployment 目錄。

若要前往 的terraform-deployment目錄ASC-Integration-Flows，請執行下列命令：

cd ASC-Integration-Flows/terraform-deployment

設定 Terraform 後端和提供者組態。

若要設定 Terraform 後端和提供者組態，請使用下列指令碼：

# Setup terraform backend and providers config if they don't exist
chmod +x ../scripts/generate-terraform-config.sh
../scripts/generate-terraform-config.sh

產生基礎設施銷毀計畫。

若要透過產生詳細的捨棄計畫來準備 AWS 基礎設施的受控銷毀，請執行下列命令。程序會初始化 Terraform、整合 AWS Supply Chain 資料集組態，並建立銷毀計畫，供您在執行之前檢閱。

# Run terraform init and validate
terraform init
terraform validate

# Download and merge ASC DATASET tfvars
chmod +x ../scripts/download-vars-through-s3.sh
../scripts/download-vars-through-s3.sh $ASC_DATASET_VARS_REPO

# Run terraform plan
terraform plan -destroy\
-var-file="tfInputs/$ENVIRONMENT.tfvars" \
-var="project_name=$PROJECT_NAME" \
-var="environment=$ENVIRONMENT" \
-var="lambda_temp_dir=$LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM" \
-var="layer_temp_dir=$LAMBDA_LAYER_TEMP_DIR_TERRAFORM" \
-parallelism=40 \
-out='tfplan.out'

執行基礎設施銷毀計畫。

若要執行基礎設施的計劃銷毀，請執行下列命令：

# Run terraform apply
terraform apply tfplan.out

從 Amazon S3 儲存貯體移除 Terraform 輸出。

若要移除部署 期間上傳的輸出檔案ASC-Integration-Flows，請執行下列命令：

# Delete the outputs file
aws s3 rm s3://$S3_TERRAFORM_ARTIFACTS_BUCKET_NAME/$REPO_NAME-outputs.tfvars

導覽至 terraform-deployment 目錄。

若要前往 的terraform-deployment目錄ASC-Datasets，請執行下列命令：

cd ASC-Datasets/terraform-deployment

設定 Terraform 後端和提供者組態。

若要設定 Terraform 後端和提供者組態，請使用下列指令碼：

# Setup terraform backend and providers config if they don't exist
chmod +x ../scripts/generate-terraform-config.sh
../scripts/generate-terraform-config.sh

產生基礎設施銷毀計畫。

若要建立銷毀 AWS Supply Chain 資料集資源的計劃，請執行下列命令：

# Run terraform init and validate
terraform init
terraform validate

# Run terraform plan
terraform plan -destroy\
-var-file="tfInputs/$ENVIRONMENT.tfvars" \
-var="project_name=$PROJECT_NAME" \
-var="environment=$ENVIRONMENT" \
-var="user_role=$AWS_USER_ROLE" \
-var="lambda_temp_dir=$LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM" \
-var="layer_temp_dir=$LAMBDA_LAYER_TEMP_DIR_TERRAFORM" \
-parallelism=40 \
-out='tfplan.out'

清空 Amazon S3 儲存貯體。

若要清空所有 Amazon S3 儲存貯體 （為 設定的伺服器存取記錄儲存貯體除外force-destroy)，請使用下列指令碼：

# Delete S3 buckets excluding server access logging bucket
chmod +x ../scripts/empty-s3-buckets.sh
../scripts/empty-s3-buckets.sh tfplan.out

執行基礎設施銷毀計畫。

若要使用產生的計劃執行 AWS Supply Chain 資料集基礎設施的計劃銷毀，請執行下列命令：

# Run terraform apply
terraform apply tfplan.out

從 Amazon S3 Terraform 成品儲存貯體移除 Terraform 輸出。

若要完成清除程序，ASC-Datasets請執行下列命令，移除部署 期間上傳的輸出檔案：

# Delete the outputs file
aws s3 rm s3://$S3_TERRAFORM_ARTIFACTS_BUCKET_NAME/$REPO_NAME-outputs.tfvars