使用 GitHub Actions、Artifactory 和 Terraform 在多存储库设置中自动部署 AWS Supply Chain 数据湖

克隆存储库。

要克隆此模式的存储库，请在您的本地工作站中运行如下命令：

git clone https://github.com/aws-samples/sample-automate-aws-supply-chain-deployment.git
cd ASC-Deployment

（自动选项）验证部署的先决条件。

确保已完成自动部署的先决条件。

（手动选项）准备部署 AWS Supply Chain 数据集。

要转到的terraform-deployment目录ASC-Datasets，请运行以下命令：

cd ASC-Datasets/terraform-deployment

要代入在先决条件中创建的 ARN 角色，请运行以下命令：

aws sts assume-role --role-arn <enter AWS user role ARN> --role-session-name <your-session-name>

要配置和导出环境变量，请运行以下命令：

# Export Environment variables
export REGION=<Enter deployment region>
export REPO_NAME=<Enter Current ASC Datasets dir name>
export PROJECT_NAME="asc-deployment-poc"
export ACCOUNT_ID=<Enter deployment Account ID>
export ENVIRONMENT="dev"
export LAMBDA_LAYER_TEMP_DIR_TERRAFORM="layerOutput"
export LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM="lambdaOutput"
export AWS_USER_ROLE=<Enter user role ARN for AWS Console access and deployment>
export S3_TERRAFORM_ARTIFACTS_BUCKET_NAME="$PROJECT_NAME-$ACCOUNT_ID-$REGION-terraform-artifacts-$ENVIRONMENT"

（手动选项）为管理部署中的 AWS Supply Chain 集成流程做好准备。

要转到的terraform-deployment目录ASC-Integration-Flows，请运行以下命令：

cd ASC-Integration-Flows/terraform-deployment

要代入之前创建的 ARN 角色，请运行以下命令：

aws sts assume-role --role-arn <enter AWS user role ARN> --role-session-name <your-session-name>

要配置和导出环境变量，请运行以下命令：

# Export Environment variables
export REGION=<Enter deployment region>
export REPO_NAME=<Enter Current ASC Integration Flows dir name>
export ASC_DATASET_VARS_REPO=<Enter Current ASC Datasets dir name>  #Must be the same directory name used for ASC Datasets deployment
export PROJECT_NAME="asc-deployment-poc"
export ACCOUNT_ID=<Enter deployment Account ID>
export ENVIRONMENT="dev"
export LAMBDA_LAYER_TEMP_DIR_TERRAFORM="layerOutput"
export LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM="lambdaOutput"
export S3_TERRAFORM_ARTIFACTS_BUCKET_NAME="$PROJECT_NAME-$ACCOUNT_ID-$REGION-terraform-artifacts-$ENVIRONMENT"

复制该ASC-Datasets目录。

要将ASC-Datasets目录复制到新位置，请执行以下步骤：

设置ASC-Datasets目录。

要在组织中设置ASC-Datasets为独立存储库，请运行以下命令：

git init
git add .
git commit -m "Initial commit: ASC-Datasets standalone repository"
git remote add origin <INSERT_ASC_DATASETS_GITHUB_URL>
git branch -M dev

在.github 工作流程文件中配置分支名称。

在部署工作流文件中设置分支名称，如以下示例所示：

   on:
     workflow_dispatch:
     push:
       branches:
         - dev     #Change to any other branch preferred for deployment

设置 GitHub 环境并配置环境值。

要在 GitHub 组织中设置 GitHub 环境，请使用此模式存储库中的安装 GitHub 环境中的说明。

要在工作流文件中配置环境值，请使用此模式存储库中工作流程文件中的安装环境值中的说明。

触发工作流程。

要将更改推送到您的 GitHub 组织并触发部署工作流程，请运行以下命令：

git push -u origin dev

复制该ASC-Integration-Flows目录。

要将ASC-Integration-Flows目录复制到新位置，请执行以下步骤：

设置ASC-Integration-Flows目录。

要将该ASC-Integration-Flows目录设置为组织中的独立存储库，请运行以下命令：

git init
git add .
git commit -m "Initial commit: ASC-Integration-Flows standalone repository"
git remote add origin <INSERT_ASC_Integration_Flows_GITHUB_URL>
git branch -M dev

在.github 工作流程文件中配置分支名称。

在部署工作流文件中设置分支名称，如以下示例所示：

   on:
     workflow_dispatch:
     push:
       branches:
         - dev     #Change to any other branch preferred for deployment

设置 GitHub 环境并配置环境值。

要在 GitHub 组织中设置 GitHub 环境，请使用此模式存储库中的安装 GitHub 环境中的说明。

要在工作流文件中配置环境值，请使用此模式存储库中工作流程文件中的安装环境值中的说明。

触发工作流程。

要将更改推送到您的 GitHub 组织并触发部署工作流程，请运行以下命令：

git push -u origin dev

导航到 terraform-deployment 目录。

要转到的terraform-deployment目录ASC-Datasets，请运行以下命令：

cd ASC-Datasets/terraform-deployment

设置 Terraform 状态 Amazon S3 存储桶。

要设置 Terraform 状态 Amazon S3 存储桶，请使用以下脚本：

# Setup terraform bucket
chmod +x ../scripts/setup-terraform.sh
../scripts/setup-terraform.sh

设置 Terraform 工件 Amazon S3 存储桶。

要设置 Terraform 工件 Amazon S3 存储桶，请使用以下脚本：

# Setup terraform artifacts bucket
chmod +x ../scripts/setup-terraform-artifacts-bucket.sh
../scripts/setup-terraform-artifacts-bucket.sh

设置 Terraform 后端和提供者配置。

要设置 Terraform 后端和提供程序配置，请使用以下脚本：

# Setup terraform backend and providers config if they don't exist
chmod +x ../scripts/generate-terraform-config.sh
../scripts/generate-terraform-config.sh

生成部署计划。

要生成部署计划，请运行以下命令：

# Run terraform init and validate
terraform init
terraform validate

# Run terraform plan
terraform plan \
-var-file="tfInputs/$ENVIRONMENT.tfvars" \
-var="project_name=$PROJECT_NAME" \
-var="environment=$ENVIRONMENT" \
-var="user_role=$AWS_USER_ROLE" \
-var="lambda_temp_dir=$LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM" \
-var="layer_temp_dir=$LAMBDA_LAYER_TEMP_DIR_TERRAFORM" \
-parallelism=40 \
-out='tfplan.out'

部署配置。

要部署配置，请运行以下命令：

# Run terraform apply
terraform apply tfplan.out

更新其他配置并存储输出。

要更新 AWS KMS 密钥策略并将应用的配置输出存储在 Terraform 工件 Amazon S3 存储桶中，请运行以下命令：

# Update AWS Supply Chain KMS Key policy with the service's requirements
chmod +x ../scripts/update-asc-kms-policy.sh
../scripts/update-asc-kms-policy.sh

# Update AWS KMS Keys' policy with IAM roles
chmod +x ../scripts/update-kms-policy.sh
../scripts/update-kms-policy.sh

# Create terraform outputs file to be used as input variables
terraform output -json > raw_output.json
jq -r 'to_entries | map(
  if .value.type == "string" then
      "\(.key) = \"\(.value.value)\""
  else
      "\(.key) = \(.value.value | tojson)"
  end
) | .[]' raw_output.json > $REPO_NAME-outputs.tfvars

# Upload reformed outputs file to Amazon S3 terraform artifacts bucket (For retrieval from other repositories)
aws s3 cp $REPO_NAME-outputs.tfvars s3://$S3_TERRAFORM_ARTIFACTS_BUCKET_NAME/$REPO_NAME-outputs.tfvars
rm -f raw_output.json
rm -f $REPO_NAME-outputs.tfvars

导航到 terraform-deployment 目录。

要转到的terraform-deployment目录ASC-Integration-Flows，请运行以下命令：

cd ASC-Integration-Flows/terraform-deployment

设置 Terraform 后端和提供者配置。

要设置 Terraform 后端和提供程序配置，请使用以下脚本：

# Setup terraform backend and providers config if they don't exist
chmod +x ../scripts/generate-terraform-config.sh
../scripts/generate-terraform-config.sh

生成部署计划。

要生成部署计划，请运行以下命令。这些命令初始化您的 Terraform 环境，将配置变量ASC-Datasets与现有 Terraform 配置合并，并生成部署计划。

# Run terraform init and validate
terraform init
terraform validate

# Download and merge ASC DATASET tfvars
chmod +x ../scripts/download-vars-through-s3.sh
../scripts/download-vars-through-s3.sh $ASC_DATASET_VARS_REPO

# Run terraform plan
terraform plan \
-var-file="tfInputs/$ENVIRONMENT.tfvars" \
-var="project_name=$PROJECT_NAME" \
-var="environment=$ENVIRONMENT" \
-var="lambda_temp_dir=$LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM" \
-var="layer_temp_dir=$LAMBDA_LAYER_TEMP_DIR_TERRAFORM" \
-parallelism=40 \
-out='tfplan.out'

部署配置。

要部署配置，请运行以下命令：

# Run terraform apply
terraform apply tfplan.out

更新其他配置。

要更新 AWS KMS 密钥策略并将应用的配置输出存储在 Terraform 工件 Amazon S3 存储桶中，请运行以下命令：

# Update AWS KMS Keys' policy with IAM roles
chmod +x ../scripts/update-kms-policy-through-s3.sh
../scripts/update-kms-policy-through-s3.sh $ASC_DATASET_VARS_REPO

# Create terraform outputs file to be used as input variables
terraform output -json > raw_output.json
jq -r 'to_entries | map(
  if .value.type == "string" then
      "\(.key) = \"\(.value.value)\""
  else
      "\(.key) = \(.value.value | tojson)"
  end
) | .[]' raw_output.json > $REPO_NAME-outputs.tfvars

# Upload reformed outputs file to Amazon S3 terraform artifacts bucket (For retrieval from other repositories)
aws s3 cp $REPO_NAME-outputs.tfvars s3://$S3_TERRAFORM_ARTIFACTS_BUCKET_NAME/$REPO_NAME-outputs.tfvars
rm -f raw_output.json
rm -f $REPO_NAME-outputs.tfvars

上传示例 CSV 文件。

要上传数据集的示例 CSV 文件，请按以下步骤操作：

设置 AWS Supply Chain 访问权限。

要从中设置 AWS Supply Chain 访问权限 AWS 管理控制台，请按以下步骤操作：

触发集成流资源的销毁工作流程。

ASC-Integration-Flows从 GitHub 组织中的部署分支触发的销毁工作流程。

触发数据集资源的销毁工作流程。

ASC-Datasets从 GitHub 组织中的部署分支触发的销毁工作流程。

导航到 terraform-deployment 目录。

要转到的terraform-deployment目录ASC-Integration-Flows，请运行以下命令：

cd ASC-Integration-Flows/terraform-deployment

设置 Terraform 后端和提供者配置。

要设置 Terraform 后端和提供程序配置，请使用以下脚本：

# Setup terraform backend and providers config if they don't exist
chmod +x ../scripts/generate-terraform-config.sh
../scripts/generate-terraform-config.sh

制定基础设施销毁计划。

要通过生成详细的拆卸计划为有控制地销毁 AWS 基础设施做好准备，请运行以下命令。该过程初始化 Terraform，合并 AWS Supply Chain 数据集配置，并创建销毁计划，您可以在执行之前查看该计划。

# Run terraform init and validate
terraform init
terraform validate

# Download and merge ASC DATASET tfvars
chmod +x ../scripts/download-vars-through-s3.sh
../scripts/download-vars-through-s3.sh $ASC_DATASET_VARS_REPO

# Run terraform plan
terraform plan -destroy\
-var-file="tfInputs/$ENVIRONMENT.tfvars" \
-var="project_name=$PROJECT_NAME" \
-var="environment=$ENVIRONMENT" \
-var="lambda_temp_dir=$LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM" \
-var="layer_temp_dir=$LAMBDA_LAYER_TEMP_DIR_TERRAFORM" \
-parallelism=40 \
-out='tfplan.out'

执行基础设施销毁计划。

要按计划销毁您的基础架构，请运行以下命令：

# Run terraform apply
terraform apply tfplan.out

从 Amazon S3 存储桶中删除 Terraform 的输出。

要删除部署期间上传的输出文件ASC-Integration-Flows，请运行以下命令：

# Delete the outputs file
aws s3 rm s3://$S3_TERRAFORM_ARTIFACTS_BUCKET_NAME/$REPO_NAME-outputs.tfvars

导航到 terraform-deployment 目录。

要转到的terraform-deployment目录ASC-Datasets，请运行以下命令：

cd ASC-Datasets/terraform-deployment

设置 Terraform 后端和提供者配置。

要设置 Terraform 后端和提供程序配置，请使用以下脚本：

# Setup terraform backend and providers config if they don't exist
chmod +x ../scripts/generate-terraform-config.sh
../scripts/generate-terraform-config.sh

制定基础设施销毁计划。

要制定销毁 AWS Supply Chain 数据集资源的计划，请运行以下命令：

# Run terraform init and validate
terraform init
terraform validate

# Run terraform plan
terraform plan -destroy\
-var-file="tfInputs/$ENVIRONMENT.tfvars" \
-var="project_name=$PROJECT_NAME" \
-var="environment=$ENVIRONMENT" \
-var="user_role=$AWS_USER_ROLE" \
-var="lambda_temp_dir=$LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM" \
-var="layer_temp_dir=$LAMBDA_LAYER_TEMP_DIR_TERRAFORM" \
-parallelism=40 \
-out='tfplan.out'

清空 Amazon S3 存储桶。

要清空所有 Amazon S3 存储桶（配置为的服务器访问日志存储桶除外force-destroy），请使用以下脚本：

# Delete S3 buckets excluding server access logging bucket
chmod +x ../scripts/empty-s3-buckets.sh
../scripts/empty-s3-buckets.sh tfplan.out

执行基础设施销毁计划。

要使用生成的计划按计划销毁数据 AWS Supply Chain 集基础架构，请运行以下命令：

# Run terraform apply
terraform apply tfplan.out

从 Amazon S3 Terraform 工件存储桶中删除 Terraform 输出。

要完成清理过程，请运行以下命令删除部署期间上传ASC-Datasets的输出文件：

# Delete the outputs file
aws s3 rm s3://$S3_TERRAFORM_ARTIFACTS_BUCKET_NAME/$REPO_NAME-outputs.tfvars