Automatize a implantação de Cadeia de Suprimentos AWS data lakes em uma configuração de vários repositórios usando GitHub Actions, Artifactory e Terraform

Clonar o repositório.

Para clonar o repositório correspondente a este padrão, execute o seguinte comando na estação de trabalho local:

git clone https://github.com/aws-samples/sample-automate-aws-supply-chain-deployment.git
cd ASC-Deployment

(Opção automatizada) Verifique os pré-requisitos para implantação.

Certifique-se de que os pré-requisitos estejam preenchidos para a implantação automatizada.

(Opção manual) Prepare-se para a implantação de Cadeia de Suprimentos AWS conjuntos de dados.

Para acessar o terraform-deployment diretório deASC-Datasets, execute o seguinte comando:

cd ASC-Datasets/terraform-deployment

Para assumir a função ARN que foi criada nos Pré-requisitos, execute o seguinte comando:

aws sts assume-role --role-arn <enter AWS user role ARN> --role-session-name <your-session-name>

Para configurar e exportar as variáveis de ambiente, execute os seguintes comandos:

# Export Environment variables
export REGION=<Enter deployment region>
export REPO_NAME=<Enter Current ASC Datasets dir name>
export PROJECT_NAME="asc-deployment-poc"
export ACCOUNT_ID=<Enter deployment Account ID>
export ENVIRONMENT="dev"
export LAMBDA_LAYER_TEMP_DIR_TERRAFORM="layerOutput"
export LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM="lambdaOutput"
export AWS_USER_ROLE=<Enter user role ARN for AWS Console access and deployment>
export S3_TERRAFORM_ARTIFACTS_BUCKET_NAME="$PROJECT_NAME-$ACCOUNT_ID-$REGION-terraform-artifacts-$ENVIRONMENT"

(Opção manual) Prepare-se para gerenciar fluxos de Cadeia de Suprimentos AWS integração na implantação.

Para acessar o terraform-deployment diretório deASC-Integration-Flows, execute o seguinte comando:

cd ASC-Integration-Flows/terraform-deployment

Para assumir a função ARN que foi criada anteriormente, execute o seguinte comando:

aws sts assume-role --role-arn <enter AWS user role ARN> --role-session-name <your-session-name>

Para configurar e exportar as variáveis de ambiente, execute os seguintes comandos:

# Export Environment variables
export REGION=<Enter deployment region>
export REPO_NAME=<Enter Current ASC Integration Flows dir name>
export ASC_DATASET_VARS_REPO=<Enter Current ASC Datasets dir name>  #Must be the same directory name used for ASC Datasets deployment
export PROJECT_NAME="asc-deployment-poc"
export ACCOUNT_ID=<Enter deployment Account ID>
export ENVIRONMENT="dev"
export LAMBDA_LAYER_TEMP_DIR_TERRAFORM="layerOutput"
export LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM="lambdaOutput"
export S3_TERRAFORM_ARTIFACTS_BUCKET_NAME="$PROJECT_NAME-$ACCOUNT_ID-$REGION-terraform-artifacts-$ENVIRONMENT"

Copie o ASC-Datasets diretório.

Para copiar o ASC-Datasets diretório para um novo local, use as seguintes etapas:

Configure o ASC-Datasets diretório.

Para configurar ASC-Datasets como um repositório independente em sua organização, execute os seguintes comandos:

git init
git add .
git commit -m "Initial commit: ASC-Datasets standalone repository"
git remote add origin <INSERT_ASC_DATASETS_GITHUB_URL>
git branch -M dev

Configure o nome da ramificação no arquivo de fluxo de trabalho .github.

Configure o nome da ramificação no arquivo do fluxo de trabalho de implantação, conforme mostrado no exemplo a seguir:

   on:
     workflow_dispatch:
     push:
       branches:
         - dev     #Change to any other branch preferred for deployment

Configure GitHub ambientes e configure os valores do ambiente.

Para configurar GitHub ambientes em sua GitHub organização, use as instruções em Configurar GitHub ambientes no repositório desse padrão.

Para configurar os valores do ambiente nos arquivos do fluxo de trabalho, use as instruções em Configurar valores do ambiente nos arquivos do fluxo de trabalho no repositório desse padrão.

Acione o fluxo de trabalho.

Para enviar suas alterações para sua GitHub organização e acionar o fluxo de trabalho de implantação, execute o seguinte comando:

git push -u origin dev

Copie o ASC-Integration-Flows diretório.

Para copiar o ASC-Integration-Flows diretório para um novo local, use as seguintes etapas:

Configure o ASC-Integration-Flows diretório.

Para configurar o ASC-Integration-Flows diretório como um repositório independente em sua organização, execute os seguintes comandos:

git init
git add .
git commit -m "Initial commit: ASC-Integration-Flows standalone repository"
git remote add origin <INSERT_ASC_Integration_Flows_GITHUB_URL>
git branch -M dev

Configure o nome da ramificação no arquivo de fluxo de trabalho .github.

Configure o nome da ramificação no arquivo do fluxo de trabalho de implantação, conforme mostrado no exemplo a seguir:

   on:
     workflow_dispatch:
     push:
       branches:
         - dev     #Change to any other branch preferred for deployment

Configure GitHub ambientes e configure os valores do ambiente.

Para configurar GitHub ambientes em sua GitHub organização, use as instruções em Configurar GitHub ambientes no repositório desse padrão.

Para configurar os valores do ambiente nos arquivos do fluxo de trabalho, use as instruções em Configurar valores do ambiente nos arquivos do fluxo de trabalho no repositório desse padrão.

Acione o fluxo de trabalho.

Para enviar suas alterações para sua GitHub organização e acionar o fluxo de trabalho de implantação, execute o seguinte comando:

git push -u origin dev

Navegue até o diretório terraform-deployment .

Para acessar o terraform-deployment diretório deASC-Datasets, execute o seguinte comando:

cd ASC-Datasets/terraform-deployment

Configure o bucket Amazon S3 do estado do Terraform.

Para configurar o bucket Amazon S3 do estado do Terraform, use o seguinte script:

# Setup terraform bucket
chmod +x ../scripts/setup-terraform.sh
../scripts/setup-terraform.sh

Configure o bucket Amazon S3 de artefatos do Terraform.

Para configurar o bucket Amazon S3 de artefatos do Terraform, use o seguinte script:

# Setup terraform artifacts bucket
chmod +x ../scripts/setup-terraform-artifacts-bucket.sh
../scripts/setup-terraform-artifacts-bucket.sh

Configure o back-end e a configuração dos provedores do Terraform.

Para configurar o back-end e os provedores do Terraform, use o seguinte script:

# Setup terraform backend and providers config if they don't exist
chmod +x ../scripts/generate-terraform-config.sh
../scripts/generate-terraform-config.sh

Gere um plano de implantação.

Para gerar um plano de implantação, execute os seguintes comandos:

# Run terraform init and validate
terraform init
terraform validate

# Run terraform plan
terraform plan \
-var-file="tfInputs/$ENVIRONMENT.tfvars" \
-var="project_name=$PROJECT_NAME" \
-var="environment=$ENVIRONMENT" \
-var="user_role=$AWS_USER_ROLE" \
-var="lambda_temp_dir=$LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM" \
-var="layer_temp_dir=$LAMBDA_LAYER_TEMP_DIR_TERRAFORM" \
-parallelism=40 \
-out='tfplan.out'

Implante as configurações.

Para implantar as configurações, execute o seguinte comando:

# Run terraform apply
terraform apply tfplan.out

Atualize outras configurações e armazene saídas.

Para atualizar as AWS KMS principais políticas e armazenar as saídas das configurações aplicadas no bucket Amazon S3 de artefatos do Terraform, execute os seguintes comandos:

# Update AWS Supply Chain KMS Key policy with the service's requirements
chmod +x ../scripts/update-asc-kms-policy.sh
../scripts/update-asc-kms-policy.sh

# Update AWS KMS Keys' policy with IAM roles
chmod +x ../scripts/update-kms-policy.sh
../scripts/update-kms-policy.sh

# Create terraform outputs file to be used as input variables
terraform output -json > raw_output.json
jq -r 'to_entries | map(
  if .value.type == "string" then
      "\(.key) = \"\(.value.value)\""
  else
      "\(.key) = \(.value.value | tojson)"
  end
) | .[]' raw_output.json > $REPO_NAME-outputs.tfvars

# Upload reformed outputs file to Amazon S3 terraform artifacts bucket (For retrieval from other repositories)
aws s3 cp $REPO_NAME-outputs.tfvars s3://$S3_TERRAFORM_ARTIFACTS_BUCKET_NAME/$REPO_NAME-outputs.tfvars
rm -f raw_output.json
rm -f $REPO_NAME-outputs.tfvars

Navegue até o diretório terraform-deployment.

Para acessar o terraform-deployment diretório deASC-Integration-Flows, execute o seguinte comando:

cd ASC-Integration-Flows/terraform-deployment

Configure o back-end e a configuração dos provedores do Terraform.

Para definir as configurações do back-end e do provedor do Terraform, use o seguinte script:

# Setup terraform backend and providers config if they don't exist
chmod +x ../scripts/generate-terraform-config.sh
../scripts/generate-terraform-config.sh

Gere um plano de implantação.

Para gerar um plano de implantação, execute os comandos a seguir. Esses comandos inicializam seu ambiente Terraform, mesclam variáveis de configuração ASC-Datasets com suas configurações existentes do Terraform e geram um plano de implantação.

# Run terraform init and validate
terraform init
terraform validate

# Download and merge ASC DATASET tfvars
chmod +x ../scripts/download-vars-through-s3.sh
../scripts/download-vars-through-s3.sh $ASC_DATASET_VARS_REPO

# Run terraform plan
terraform plan \
-var-file="tfInputs/$ENVIRONMENT.tfvars" \
-var="project_name=$PROJECT_NAME" \
-var="environment=$ENVIRONMENT" \
-var="lambda_temp_dir=$LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM" \
-var="layer_temp_dir=$LAMBDA_LAYER_TEMP_DIR_TERRAFORM" \
-parallelism=40 \
-out='tfplan.out'

Implante as configurações.

Para implantar as configurações, execute o seguinte comando:

# Run terraform apply
terraform apply tfplan.out

Atualize outras configurações.

Para atualizar as AWS KMS principais políticas e armazenar as saídas das configurações aplicadas no bucket Amazon S3 de artefatos do Terraform, execute os seguintes comandos:

# Update AWS KMS Keys' policy with IAM roles
chmod +x ../scripts/update-kms-policy-through-s3.sh
../scripts/update-kms-policy-through-s3.sh $ASC_DATASET_VARS_REPO

# Create terraform outputs file to be used as input variables
terraform output -json > raw_output.json
jq -r 'to_entries | map(
  if .value.type == "string" then
      "\(.key) = \"\(.value.value)\""
  else
      "\(.key) = \(.value.value | tojson)"
  end
) | .[]' raw_output.json > $REPO_NAME-outputs.tfvars

# Upload reformed outputs file to Amazon S3 terraform artifacts bucket (For retrieval from other repositories)
aws s3 cp $REPO_NAME-outputs.tfvars s3://$S3_TERRAFORM_ARTIFACTS_BUCKET_NAME/$REPO_NAME-outputs.tfvars
rm -f raw_output.json
rm -f $REPO_NAME-outputs.tfvars

Faça upload de arquivos CSV de amostra.

Para fazer upload de arquivos CSV de amostra para os conjuntos de dados, use as seguintes etapas:

Configure o Cadeia de Suprimentos AWS acesso.

Para configurar o Cadeia de Suprimentos AWS acesso a partir do Console de gerenciamento da AWS, use as seguintes etapas:

Acione o fluxo de trabalho de destruição para recursos de fluxos de integração.

Acione o fluxo de trabalho de destruição ASC-Integration-Flows de sua filial de implantação em sua GitHub organização.

Acione o fluxo de trabalho de destruição para recursos de conjuntos de dados.

Acione o fluxo de trabalho de destruição ASC-Datasets de sua filial de implantação em sua GitHub organização.

Navegue até o diretório terraform-deployment.

Para acessar o terraform-deployment diretório deASC-Integration-Flows, execute o seguinte comando:

cd ASC-Integration-Flows/terraform-deployment

Configure o back-end e a configuração dos provedores do Terraform.

Para configurar o back-end e os provedores do Terraform, use o seguinte script:

# Setup terraform backend and providers config if they don't exist
chmod +x ../scripts/generate-terraform-config.sh
../scripts/generate-terraform-config.sh

Gere um plano de destruição da infraestrutura.

Para se preparar para a destruição controlada de sua AWS infraestrutura gerando um plano detalhado de desmontagem, execute os comandos a seguir. O processo inicializa o Terraform, incorpora configurações do Cadeia de Suprimentos AWS conjunto de dados e cria um plano de destruição que você pode revisar antes de executar.

# Run terraform init and validate
terraform init
terraform validate

# Download and merge ASC DATASET tfvars
chmod +x ../scripts/download-vars-through-s3.sh
../scripts/download-vars-through-s3.sh $ASC_DATASET_VARS_REPO

# Run terraform plan
terraform plan -destroy\
-var-file="tfInputs/$ENVIRONMENT.tfvars" \
-var="project_name=$PROJECT_NAME" \
-var="environment=$ENVIRONMENT" \
-var="lambda_temp_dir=$LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM" \
-var="layer_temp_dir=$LAMBDA_LAYER_TEMP_DIR_TERRAFORM" \
-parallelism=40 \
-out='tfplan.out'

Execute o plano de destruição da infraestrutura.

Para executar a destruição planejada de sua infraestrutura, execute o seguinte comando:

# Run terraform apply
terraform apply tfplan.out

Remova as saídas do Terraform do bucket Amazon S3.

Para remover o arquivo de saída que foi carregado durante a implantação doASC-Integration-Flows, execute o seguinte comando:

# Delete the outputs file
aws s3 rm s3://$S3_TERRAFORM_ARTIFACTS_BUCKET_NAME/$REPO_NAME-outputs.tfvars

Navegue até o diretório terraform-deployment.

Para acessar o terraform-deployment diretório deASC-Datasets, execute o seguinte comando:

cd ASC-Datasets/terraform-deployment

Configure o back-end e a configuração dos provedores do Terraform.

Para configurar o back-end e os provedores do Terraform, use o seguinte script:

# Setup terraform backend and providers config if they don't exist
chmod +x ../scripts/generate-terraform-config.sh
../scripts/generate-terraform-config.sh

Gere um plano de destruição da infraestrutura.

Para criar um plano para destruir recursos do Cadeia de Suprimentos AWS conjunto de dados, execute os seguintes comandos:

# Run terraform init and validate
terraform init
terraform validate

# Run terraform plan
terraform plan -destroy\
-var-file="tfInputs/$ENVIRONMENT.tfvars" \
-var="project_name=$PROJECT_NAME" \
-var="environment=$ENVIRONMENT" \
-var="user_role=$AWS_USER_ROLE" \
-var="lambda_temp_dir=$LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM" \
-var="layer_temp_dir=$LAMBDA_LAYER_TEMP_DIR_TERRAFORM" \
-parallelism=40 \
-out='tfplan.out'

Esvazie os buckets do Amazon S3.

Para esvaziar todos os buckets do Amazon S3 (exceto o bucket de registro de acesso ao servidor, que está configurado paraforce-destroy), use o seguinte script:

# Delete S3 buckets excluding server access logging bucket
chmod +x ../scripts/empty-s3-buckets.sh
../scripts/empty-s3-buckets.sh tfplan.out

Execute o plano de destruição da infraestrutura.

Para executar a destruição planejada da sua infraestrutura de Cadeia de Suprimentos AWS conjunto de dados usando o plano gerado, execute o seguinte comando:

# Run terraform apply
terraform apply tfplan.out

Remova as saídas do Terraform do bucket de artefatos do Amazon S3 Terraform.

Para concluir o processo de limpeza, remova o arquivo de saída que foi carregado durante a implantação do ASC-Datasets executando o seguinte comando:

# Delete the outputs file
aws s3 rm s3://$S3_TERRAFORM_ARTIFACTS_BUCKET_NAME/$REPO_NAME-outputs.tfvars