GitHub Actions, Artifactory 및 Terraform을 사용하여 다중 리포지토리 설정에서 AWS Supply Chain 데이터 레이크 배포 자동화

리포지토리를 복제합니다.

이 패턴의 리포지토리를 복제하려면 로컬 워크스테이션에서 다음 명령을 실행합니다.

git clone https://github.com/aws-samples/sample-automate-aws-supply-chain-deployment.git
cd ASC-Deployment

(자동 옵션) 배포를 위한 사전 조건을 확인합니다.

자동 배포를 위한 사전 조건이 완료되었는지 확인합니다.

(수동 옵션) AWS Supply Chain 데이터 세트 배포를 준비합니다.

의 terraform-deployment 디렉터리로 이동하려면 다음 명령을 ASC-Datasets실행합니다.

cd ASC-Datasets/terraform-deployment

사전 조건에서 생성된 역할 ARN을 수임하려면 다음 명령을 실행합니다.

aws sts assume-role --role-arn <enter AWS user role ARN> --role-session-name <your-session-name>

환경 변수를 구성하고 내보내려면 다음 명령을 실행합니다.

# Export Environment variables
export REGION=<Enter deployment region>
export REPO_NAME=<Enter Current ASC Datasets dir name>
export PROJECT_NAME="asc-deployment-poc"
export ACCOUNT_ID=<Enter deployment Account ID>
export ENVIRONMENT="dev"
export LAMBDA_LAYER_TEMP_DIR_TERRAFORM="layerOutput"
export LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM="lambdaOutput"
export AWS_USER_ROLE=<Enter user role ARN for AWS Console access and deployment>
export S3_TERRAFORM_ARTIFACTS_BUCKET_NAME="$PROJECT_NAME-$ACCOUNT_ID-$REGION-terraform-artifacts-$ENVIRONMENT"

(수동 옵션) 배포에서 AWS Supply Chain 통합 흐름을 관리할 준비를 합니다.

의 terraform-deployment 디렉터리로 이동하려면 다음 명령을 ASC-Integration-Flows실행합니다.

cd ASC-Integration-Flows/terraform-deployment

이전에 생성된 역할 ARN을 수임하려면 다음 명령을 실행합니다.

aws sts assume-role --role-arn <enter AWS user role ARN> --role-session-name <your-session-name>

환경 변수를 구성하고 내보내려면 다음 명령을 실행합니다.

# Export Environment variables
export REGION=<Enter deployment region>
export REPO_NAME=<Enter Current ASC Integration Flows dir name>
export ASC_DATASET_VARS_REPO=<Enter Current ASC Datasets dir name>  #Must be the same directory name used for ASC Datasets deployment
export PROJECT_NAME="asc-deployment-poc"
export ACCOUNT_ID=<Enter deployment Account ID>
export ENVIRONMENT="dev"
export LAMBDA_LAYER_TEMP_DIR_TERRAFORM="layerOutput"
export LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM="lambdaOutput"
export S3_TERRAFORM_ARTIFACTS_BUCKET_NAME="$PROJECT_NAME-$ACCOUNT_ID-$REGION-terraform-artifacts-$ENVIRONMENT"

ASC-Datasets 디렉터리를 복사합니다.

ASC-Datasets 디렉터리를 새 위치에 복사하려면 다음 단계를 사용합니다.

ASC-Datasets 디렉터리를 설정합니다.

를 조직의 독립 실행형 리포지토리ASC-Datasets로 설정하려면 다음 명령을 실행합니다.

git init
git add .
git commit -m "Initial commit: ASC-Datasets standalone repository"
git remote add origin <INSERT_ASC_DATASETS_GITHUB_URL>
git branch -M dev

.github 워크플로 파일에서 브랜치 이름을 구성합니다.

다음 예제와 같이 배포 워크플로 파일에서 브랜치 이름을 설정합니다.

   on:
     workflow_dispatch:
     push:
       branches:
         - dev     #Change to any other branch preferred for deployment

GitHub 환경을 설정하고 환경 값을 구성합니다.

GitHub 조직에서 GitHub 환경을 설정하려면이 패턴의 리포지토리에 있는 GitHub 환경 설정의 지침을 사용합니다.

워크플로 파일에서 환경 값을 구성하려면이 패턴의 리포지토리에 있는 워크플로 파일의 환경 값 설정의 지침을 사용합니다.

워크플로를 트리거합니다.

변경 사항을 GitHub 조직에 푸시하고 배포 워크플로를 트리거하려면 다음 명령을 실행합니다.

git push -u origin dev

ASC-Integration-Flows 디렉터리를 복사합니다.

ASC-Integration-Flows 디렉터리를 새 위치에 복사하려면 다음 단계를 사용합니다.

ASC-Integration-Flows 디렉터리를 설정합니다.

ASC-Integration-Flows 디렉터리를 조직의 독립 실행형 리포지토리로 설정하려면 다음 명령을 실행합니다.

git init
git add .
git commit -m "Initial commit: ASC-Integration-Flows standalone repository"
git remote add origin <INSERT_ASC_Integration_Flows_GITHUB_URL>
git branch -M dev

.github 워크플로 파일에서 브랜치 이름을 구성합니다.

다음 예제와 같이 배포 워크플로 파일에서 브랜치 이름을 설정합니다.

   on:
     workflow_dispatch:
     push:
       branches:
         - dev     #Change to any other branch preferred for deployment

GitHub 환경을 설정하고 환경 값을 구성합니다.

GitHub 조직에서 GitHub 환경을 설정하려면이 패턴의 리포지토리에 있는 GitHub 환경 설정의 지침을 사용합니다.

워크플로 파일에서 환경 값을 구성하려면이 패턴의 리포지토리에 있는 워크플로 파일의 환경 값 설정의 지침을 사용합니다.

워크플로를 트리거합니다.

변경 사항을 GitHub 조직에 푸시하고 배포 워크플로를 트리거하려면 다음 명령을 실행합니다.

git push -u origin dev

terraform-deployment 디렉터리로 이동합니다.

의 terraform-deployment 디렉터리로 이동하려면 다음 명령을 ASC-Datasets실행합니다.

cd ASC-Datasets/terraform-deployment

Terraform 상태 Amazon S3 버킷을 설정합니다.

Terraform 상태 Amazon S3 버킷을 설정하려면 다음 스크립트를 사용합니다.

# Setup terraform bucket
chmod +x ../scripts/setup-terraform.sh
../scripts/setup-terraform.sh

Terraform 아티팩트 Amazon S3 버킷을 설정합니다.

Terraform 아티팩트 Amazon S3 버킷을 설정하려면 다음 스크립트를 사용합니다.

# Setup terraform artifacts bucket
chmod +x ../scripts/setup-terraform-artifacts-bucket.sh
../scripts/setup-terraform-artifacts-bucket.sh

Terraform 백엔드 및 공급자 구성을 설정합니다.

Terraform 백엔드 및 공급자 구성을 설정하려면 다음 스크립트를 사용합니다.

# Setup terraform backend and providers config if they don't exist
chmod +x ../scripts/generate-terraform-config.sh
../scripts/generate-terraform-config.sh

배포 계획을 생성합니다.

배포 계획을 생성하려면 다음 명령을 실행합니다.

# Run terraform init and validate
terraform init
terraform validate

# Run terraform plan
terraform plan \
-var-file="tfInputs/$ENVIRONMENT.tfvars" \
-var="project_name=$PROJECT_NAME" \
-var="environment=$ENVIRONMENT" \
-var="user_role=$AWS_USER_ROLE" \
-var="lambda_temp_dir=$LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM" \
-var="layer_temp_dir=$LAMBDA_LAYER_TEMP_DIR_TERRAFORM" \
-parallelism=40 \
-out='tfplan.out'

구성을 배포합니다.

구성을 배포하려면 다음 명령을 실행합니다.

# Run terraform apply
terraform apply tfplan.out

다른 구성을 업데이트하고 출력을 저장합니다.

AWS KMS 키 정책을 업데이트하고 적용된 구성 출력을 Terraform 아티팩트 Amazon S3 버킷에 저장하려면 다음 명령을 실행합니다.

# Update AWS Supply Chain KMS Key policy with the service's requirements
chmod +x ../scripts/update-asc-kms-policy.sh
../scripts/update-asc-kms-policy.sh

# Update AWS KMS Keys' policy with IAM roles
chmod +x ../scripts/update-kms-policy.sh
../scripts/update-kms-policy.sh

# Create terraform outputs file to be used as input variables
terraform output -json > raw_output.json
jq -r 'to_entries | map(
  if .value.type == "string" then
      "\(.key) = \"\(.value.value)\""
  else
      "\(.key) = \(.value.value | tojson)"
  end
) | .[]' raw_output.json > $REPO_NAME-outputs.tfvars

# Upload reformed outputs file to Amazon S3 terraform artifacts bucket (For retrieval from other repositories)
aws s3 cp $REPO_NAME-outputs.tfvars s3://$S3_TERRAFORM_ARTIFACTS_BUCKET_NAME/$REPO_NAME-outputs.tfvars
rm -f raw_output.json
rm -f $REPO_NAME-outputs.tfvars

terraform-deployment 디렉터리로 이동합니다.

의 terraform-deployment 디렉터리로 이동하려면 다음 명령을 ASC-Integration-Flows실행합니다.

cd ASC-Integration-Flows/terraform-deployment

Terraform 백엔드 및 공급자 구성을 설정합니다.

Terraform 백엔드 및 공급자 구성을 설정하려면 다음 스크립트를 사용합니다.

# Setup terraform backend and providers config if they don't exist
chmod +x ../scripts/generate-terraform-config.sh
../scripts/generate-terraform-config.sh

배포 계획을 생성합니다.

배포 계획을 생성하려면 다음 명령을 실행합니다. 이러한 명령은 Terraform 환경을 초기화하고,의 구성 변수를 기존 Terraform 구성ASC-Datasets과 병합하고, 배포 계획을 생성합니다.

# Run terraform init and validate
terraform init
terraform validate

# Download and merge ASC DATASET tfvars
chmod +x ../scripts/download-vars-through-s3.sh
../scripts/download-vars-through-s3.sh $ASC_DATASET_VARS_REPO

# Run terraform plan
terraform plan \
-var-file="tfInputs/$ENVIRONMENT.tfvars" \
-var="project_name=$PROJECT_NAME" \
-var="environment=$ENVIRONMENT" \
-var="lambda_temp_dir=$LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM" \
-var="layer_temp_dir=$LAMBDA_LAYER_TEMP_DIR_TERRAFORM" \
-parallelism=40 \
-out='tfplan.out'

구성을 배포합니다.

구성을 배포하려면 다음 명령을 실행합니다.

# Run terraform apply
terraform apply tfplan.out

다른 구성을 업데이트합니다.

AWS KMS 키 정책을 업데이트하고 적용된 구성 출력을 Terraform 아티팩트 Amazon S3 버킷에 저장하려면 다음 명령을 실행합니다.

# Update AWS KMS Keys' policy with IAM roles
chmod +x ../scripts/update-kms-policy-through-s3.sh
../scripts/update-kms-policy-through-s3.sh $ASC_DATASET_VARS_REPO

# Create terraform outputs file to be used as input variables
terraform output -json > raw_output.json
jq -r 'to_entries | map(
  if .value.type == "string" then
      "\(.key) = \"\(.value.value)\""
  else
      "\(.key) = \(.value.value | tojson)"
  end
) | .[]' raw_output.json > $REPO_NAME-outputs.tfvars

# Upload reformed outputs file to Amazon S3 terraform artifacts bucket (For retrieval from other repositories)
aws s3 cp $REPO_NAME-outputs.tfvars s3://$S3_TERRAFORM_ARTIFACTS_BUCKET_NAME/$REPO_NAME-outputs.tfvars
rm -f raw_output.json
rm -f $REPO_NAME-outputs.tfvars

샘플 CSV 파일을 업로드합니다.

데이터 세트에 대한 샘플 CSV 파일을 업로드하려면 다음 단계를 사용합니다.

AWS Supply Chain 액세스를 설정합니다.

에서 AWS Supply Chain 액세스를 설정하려면 다음 단계를 AWS Management Console사용합니다.

통합 흐름 리소스에 대한 삭제 워크플로를 트리거합니다.

GitHub 조직의 배포 브랜치ASC-Integration-Flows에서의 폐기 워크플로를 트리거합니다.

데이터 세트 리소스에 대한 삭제 워크플로를 트리거합니다.

GitHub 조직의 배포 브랜치ASC-Datasets에서의 폐기 워크플로를 트리거합니다.

terraform-deployment 디렉터리로 이동합니다.

의 terraform-deployment 디렉터리로 이동하려면 다음 명령을 ASC-Integration-Flows실행합니다.

cd ASC-Integration-Flows/terraform-deployment

Terraform 백엔드 및 공급자 구성을 설정합니다.

Terraform 백엔드 및 공급자 구성을 설정하려면 다음 스크립트를 사용합니다.

# Setup terraform backend and providers config if they don't exist
chmod +x ../scripts/generate-terraform-config.sh
../scripts/generate-terraform-config.sh

인프라 폐기 계획을 생성합니다.

세부 해체 계획을 생성하여 AWS 인프라의 제어된 파괴를 준비하려면 다음 명령을 실행합니다. 이 프로세스는 Terraform을 초기화하고, AWS Supply Chain 데이터 세트 구성을 통합하고, 실행 전에 검토할 수 있는 폐기 계획을 생성합니다.

# Run terraform init and validate
terraform init
terraform validate

# Download and merge ASC DATASET tfvars
chmod +x ../scripts/download-vars-through-s3.sh
../scripts/download-vars-through-s3.sh $ASC_DATASET_VARS_REPO

# Run terraform plan
terraform plan -destroy\
-var-file="tfInputs/$ENVIRONMENT.tfvars" \
-var="project_name=$PROJECT_NAME" \
-var="environment=$ENVIRONMENT" \
-var="lambda_temp_dir=$LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM" \
-var="layer_temp_dir=$LAMBDA_LAYER_TEMP_DIR_TERRAFORM" \
-parallelism=40 \
-out='tfplan.out'

인프라 폐기 계획을 실행합니다.

인프라의 계획된 폐기를 실행하려면 다음 명령을 실행합니다.

# Run terraform apply
terraform apply tfplan.out

Amazon S3 버킷에서 Terraform 출력을 제거합니다.

배포 중에 업로드된 출력 파일을 제거하려면 다음 명령을 ASC-Integration-Flows실행합니다.

# Delete the outputs file
aws s3 rm s3://$S3_TERRAFORM_ARTIFACTS_BUCKET_NAME/$REPO_NAME-outputs.tfvars

terraform-deployment 디렉터리로 이동합니다.

의 terraform-deployment 디렉터리로 이동하려면 다음 명령을 ASC-Datasets실행합니다.

cd ASC-Datasets/terraform-deployment

Terraform 백엔드 및 공급자 구성을 설정합니다.

Terraform 백엔드 및 공급자 구성을 설정하려면 다음 스크립트를 사용합니다.

# Setup terraform backend and providers config if they don't exist
chmod +x ../scripts/generate-terraform-config.sh
../scripts/generate-terraform-config.sh

인프라 폐기 계획을 생성합니다.

AWS Supply Chain 데이터 세트 리소스를 삭제하기 위한 계획을 생성하려면 다음 명령을 실행합니다.

# Run terraform init and validate
terraform init
terraform validate

# Run terraform plan
terraform plan -destroy\
-var-file="tfInputs/$ENVIRONMENT.tfvars" \
-var="project_name=$PROJECT_NAME" \
-var="environment=$ENVIRONMENT" \
-var="user_role=$AWS_USER_ROLE" \
-var="lambda_temp_dir=$LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM" \
-var="layer_temp_dir=$LAMBDA_LAYER_TEMP_DIR_TERRAFORM" \
-parallelism=40 \
-out='tfplan.out'

Amazon S3 버킷을 비웁니다.

모든 Amazon S3 버킷(에 대해 구성된 서버 액세스 로깅 버킷 제외force-destroy)을 비우려면 다음 스크립트를 사용합니다.

# Delete S3 buckets excluding server access logging bucket
chmod +x ../scripts/empty-s3-buckets.sh
../scripts/empty-s3-buckets.sh tfplan.out

인프라 폐기 계획을 실행합니다.

생성된 계획을 사용하여 AWS Supply Chain 데이터 세트 인프라의 계획된 폐기를 실행하려면 다음 명령을 실행합니다.

# Run terraform apply
terraform apply tfplan.out

Amazon S3 Terraform 아티팩트 버킷에서 Terraform 출력을 제거합니다.

정리 프로세스를 완료하려면 다음 명령을 실행ASC-Datasets하여 배포 중에 업로드된 출력 파일을 제거합니다.

# Delete the outputs file
aws s3 rm s3://$S3_TERRAFORM_ARTIFACTS_BUCKET_NAME/$REPO_NAME-outputs.tfvars