Automatice el despliegue de lagos de AWS Supply Chain datos en una configuración de múltiples repositorios mediante GitHub Actions, Artifactory y Terraform

Clonar el repositorio.

Para clonar el repositorio de este patrón, ejecute el comando siguiente en la estación de trabajo local:

git clone https://github.com/aws-samples/sample-automate-aws-supply-chain-deployment.git
cd ASC-Deployment

(Opción automatizada) Verifique los requisitos previos para la implementación.

Asegúrese de que los requisitos previos estén completos para la implementación automática.

(Opción manual) Prepárese para la implementación de los AWS Supply Chain conjuntos de datos.

Para ir al terraform-deployment directorio deASC-Datasets, ejecute el siguiente comando:

cd ASC-Datasets/terraform-deployment

Para asumir el rol ARN que se creó en los requisitos previos, ejecute el siguiente comando:

aws sts assume-role --role-arn <enter AWS user role ARN> --role-session-name <your-session-name>

Para configurar y exportar las variables de entorno, ejecute los siguientes comandos:

# Export Environment variables
export REGION=<Enter deployment region>
export REPO_NAME=<Enter Current ASC Datasets dir name>
export PROJECT_NAME="asc-deployment-poc"
export ACCOUNT_ID=<Enter deployment Account ID>
export ENVIRONMENT="dev"
export LAMBDA_LAYER_TEMP_DIR_TERRAFORM="layerOutput"
export LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM="lambdaOutput"
export AWS_USER_ROLE=<Enter user role ARN for AWS Console access and deployment>
export S3_TERRAFORM_ARTIFACTS_BUCKET_NAME="$PROJECT_NAME-$ACCOUNT_ID-$REGION-terraform-artifacts-$ENVIRONMENT"

(Opción manual) Prepárese para gestionar los flujos de AWS Supply Chain integración durante la implementación.

Para ir al terraform-deployment directorio deASC-Integration-Flows, ejecute el siguiente comando:

cd ASC-Integration-Flows/terraform-deployment

Para asumir el rol ARN que se creó anteriormente, ejecute el siguiente comando:

aws sts assume-role --role-arn <enter AWS user role ARN> --role-session-name <your-session-name>

Para configurar y exportar las variables de entorno, ejecute los siguientes comandos:

# Export Environment variables
export REGION=<Enter deployment region>
export REPO_NAME=<Enter Current ASC Integration Flows dir name>
export ASC_DATASET_VARS_REPO=<Enter Current ASC Datasets dir name>  #Must be the same directory name used for ASC Datasets deployment
export PROJECT_NAME="asc-deployment-poc"
export ACCOUNT_ID=<Enter deployment Account ID>
export ENVIRONMENT="dev"
export LAMBDA_LAYER_TEMP_DIR_TERRAFORM="layerOutput"
export LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM="lambdaOutput"
export S3_TERRAFORM_ARTIFACTS_BUCKET_NAME="$PROJECT_NAME-$ACCOUNT_ID-$REGION-terraform-artifacts-$ENVIRONMENT"

Copia el ASC-Datasets directorio.

Para copiar el ASC-Datasets directorio a una nueva ubicación, siga estos pasos:

Configure el ASC-Datasets directorio.

Para configurarlo ASC-Datasets como un repositorio independiente en su organización, ejecute los siguientes comandos:

git init
git add .
git commit -m "Initial commit: ASC-Datasets standalone repository"
git remote add origin <INSERT_ASC_DATASETS_GITHUB_URL>
git branch -M dev

Configure el nombre de la rama en el archivo de flujo de trabajo .github.

Configura el nombre de la rama en el archivo de flujo de trabajo de implementación, como se muestra en el siguiente ejemplo:

   on:
     workflow_dispatch:
     push:
       branches:
         - dev     #Change to any other branch preferred for deployment

Configure GitHub los entornos y configure los valores del entorno.

Para configurar GitHub los entornos de su GitHub organización, siga las instrucciones de Configuración de GitHub los entornos del repositorio de este patrón.

Para configurar los valores del entorno en los archivos de flujo de trabajo, siga las instrucciones de Configurar los valores del entorno en los archivos de flujo de trabajo del repositorio de este patrón.

Activa el flujo de trabajo.

Para introducir los cambios en su GitHub organización y activar el flujo de trabajo de implementación, ejecute el siguiente comando:

git push -u origin dev

Copia el ASC-Integration-Flows directorio.

Para copiar el ASC-Integration-Flows directorio a una nueva ubicación, siga estos pasos:

Configure el ASC-Integration-Flows directorio.

Para configurar el ASC-Integration-Flows directorio como un repositorio independiente en su organización, ejecute los siguientes comandos:

git init
git add .
git commit -m "Initial commit: ASC-Integration-Flows standalone repository"
git remote add origin <INSERT_ASC_Integration_Flows_GITHUB_URL>
git branch -M dev

Configure el nombre de la rama en el archivo de flujo de trabajo .github.

Configura el nombre de la rama en el archivo de flujo de trabajo de implementación, como se muestra en el siguiente ejemplo:

   on:
     workflow_dispatch:
     push:
       branches:
         - dev     #Change to any other branch preferred for deployment

Configure GitHub los entornos y configure los valores del entorno.

Para configurar GitHub los entornos de su GitHub organización, siga las instrucciones de Configuración de GitHub los entornos del repositorio de este patrón.

Para configurar los valores del entorno en los archivos de flujo de trabajo, siga las instrucciones de Configurar los valores del entorno en los archivos de flujo de trabajo del repositorio de este patrón.

Activa el flujo de trabajo.

Para introducir los cambios en su GitHub organización y activar el flujo de trabajo de implementación, ejecute el siguiente comando:

git push -u origin dev

Vaya al directorio terraform-deployment .

Para ir al terraform-deployment directorio deASC-Datasets, ejecute el siguiente comando:

cd ASC-Datasets/terraform-deployment

Configure el bucket Amazon S3 del estado de Terraform.

Para configurar el bucket Amazon S3 del estado de Terraform, utilice el siguiente script:

# Setup terraform bucket
chmod +x ../scripts/setup-terraform.sh
../scripts/setup-terraform.sh

Configure el bucket Amazon S3 de Terraform Artifacts.

Para configurar el bucket Amazon S3 de Terraform Artifacts, utilice el siguiente script:

# Setup terraform artifacts bucket
chmod +x ../scripts/setup-terraform-artifacts-bucket.sh
../scripts/setup-terraform-artifacts-bucket.sh

Configure el backend y la configuración de los proveedores de Terraform.

Para configurar el backend y los proveedores de Terraform, utilice el siguiente script:

# Setup terraform backend and providers config if they don't exist
chmod +x ../scripts/generate-terraform-config.sh
../scripts/generate-terraform-config.sh

Genere un plan de despliegue.

Para generar un plan de despliegue, ejecute los siguientes comandos:

# Run terraform init and validate
terraform init
terraform validate

# Run terraform plan
terraform plan \
-var-file="tfInputs/$ENVIRONMENT.tfvars" \
-var="project_name=$PROJECT_NAME" \
-var="environment=$ENVIRONMENT" \
-var="user_role=$AWS_USER_ROLE" \
-var="lambda_temp_dir=$LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM" \
-var="layer_temp_dir=$LAMBDA_LAYER_TEMP_DIR_TERRAFORM" \
-parallelism=40 \
-out='tfplan.out'

Implemente las configuraciones.

Para implementar las configuraciones, ejecute el siguiente comando:

# Run terraform apply
terraform apply tfplan.out

Actualice otras configuraciones y almacene los resultados.

Para actualizar las políticas AWS KMS clave y almacenar los resultados de las configuraciones aplicadas en el bucket Amazon S3 de Terraform Artifacts, ejecute los siguientes comandos:

# Update AWS Supply Chain KMS Key policy with the service's requirements
chmod +x ../scripts/update-asc-kms-policy.sh
../scripts/update-asc-kms-policy.sh

# Update AWS KMS Keys' policy with IAM roles
chmod +x ../scripts/update-kms-policy.sh
../scripts/update-kms-policy.sh

# Create terraform outputs file to be used as input variables
terraform output -json > raw_output.json
jq -r 'to_entries | map(
  if .value.type == "string" then
      "\(.key) = \"\(.value.value)\""
  else
      "\(.key) = \(.value.value | tojson)"
  end
) | .[]' raw_output.json > $REPO_NAME-outputs.tfvars

# Upload reformed outputs file to Amazon S3 terraform artifacts bucket (For retrieval from other repositories)
aws s3 cp $REPO_NAME-outputs.tfvars s3://$S3_TERRAFORM_ARTIFACTS_BUCKET_NAME/$REPO_NAME-outputs.tfvars
rm -f raw_output.json
rm -f $REPO_NAME-outputs.tfvars

Vaya al directorio terraform-deployment.

Para ir al terraform-deployment directorio deASC-Integration-Flows, ejecute el siguiente comando:

cd ASC-Integration-Flows/terraform-deployment

Configure el backend y la configuración de los proveedores de Terraform.

Para configurar las configuraciones del backend y del proveedor de Terraform, utilice el siguiente script:

# Setup terraform backend and providers config if they don't exist
chmod +x ../scripts/generate-terraform-config.sh
../scripts/generate-terraform-config.sh

Genere un plan de despliegue.

Para generar un plan de despliegue, ejecute los siguientes comandos. Estos comandos inicializan el entorno de Terraform, combinan las variables de configuración ASC-Datasets con las configuraciones de Terraform existentes y generan un plan de despliegue.

# Run terraform init and validate
terraform init
terraform validate

# Download and merge ASC DATASET tfvars
chmod +x ../scripts/download-vars-through-s3.sh
../scripts/download-vars-through-s3.sh $ASC_DATASET_VARS_REPO

# Run terraform plan
terraform plan \
-var-file="tfInputs/$ENVIRONMENT.tfvars" \
-var="project_name=$PROJECT_NAME" \
-var="environment=$ENVIRONMENT" \
-var="lambda_temp_dir=$LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM" \
-var="layer_temp_dir=$LAMBDA_LAYER_TEMP_DIR_TERRAFORM" \
-parallelism=40 \
-out='tfplan.out'

Implemente las configuraciones.

Para implementar las configuraciones, ejecute el siguiente comando:

# Run terraform apply
terraform apply tfplan.out

Actualice otras configuraciones.

Para actualizar las políticas AWS KMS clave y almacenar los resultados de las configuraciones aplicadas en el bucket Amazon S3 de Terraform Artifacts, ejecute los siguientes comandos:

# Update AWS KMS Keys' policy with IAM roles
chmod +x ../scripts/update-kms-policy-through-s3.sh
../scripts/update-kms-policy-through-s3.sh $ASC_DATASET_VARS_REPO

# Create terraform outputs file to be used as input variables
terraform output -json > raw_output.json
jq -r 'to_entries | map(
  if .value.type == "string" then
      "\(.key) = \"\(.value.value)\""
  else
      "\(.key) = \(.value.value | tojson)"
  end
) | .[]' raw_output.json > $REPO_NAME-outputs.tfvars

# Upload reformed outputs file to Amazon S3 terraform artifacts bucket (For retrieval from other repositories)
aws s3 cp $REPO_NAME-outputs.tfvars s3://$S3_TERRAFORM_ARTIFACTS_BUCKET_NAME/$REPO_NAME-outputs.tfvars
rm -f raw_output.json
rm -f $REPO_NAME-outputs.tfvars

Cargue archivos CSV de muestra.

Para cargar archivos CSV de muestra para los conjuntos de datos, siga los siguientes pasos:

Configura el AWS Supply Chain acceso.

Para configurar el AWS Supply Chain acceso desde Consola de administración de AWS, siga los siguientes pasos:

Active el flujo de trabajo de destrucción de los recursos de los flujos de integración.

Active el flujo de trabajo de destrucción ASC-Integration-Flows desde la rama de despliegue de su GitHub organización.

Active el flujo de trabajo de destrucción de los recursos de conjuntos de datos.

Active el flujo de trabajo de destrucción ASC-Datasets desde la rama de despliegue de su GitHub organización.

Vaya al directorio terraform-deployment.

Para ir al terraform-deployment directorio deASC-Integration-Flows, ejecute el siguiente comando:

cd ASC-Integration-Flows/terraform-deployment

Configure el backend y la configuración de los proveedores de Terraform.

Para configurar el backend y los proveedores de Terraform, utilice el siguiente script:

# Setup terraform backend and providers config if they don't exist
chmod +x ../scripts/generate-terraform-config.sh
../scripts/generate-terraform-config.sh

Genere un plan de destrucción de infraestructura.

Para prepararse para la destrucción controlada de su AWS infraestructura mediante la generación de un plan de desmontaje detallado, ejecute los siguientes comandos. El proceso inicializa Terraform, incorpora configuraciones de AWS Supply Chain conjuntos de datos y crea un plan de destrucción que puede revisar antes de ejecutarlo.

# Run terraform init and validate
terraform init
terraform validate

# Download and merge ASC DATASET tfvars
chmod +x ../scripts/download-vars-through-s3.sh
../scripts/download-vars-through-s3.sh $ASC_DATASET_VARS_REPO

# Run terraform plan
terraform plan -destroy\
-var-file="tfInputs/$ENVIRONMENT.tfvars" \
-var="project_name=$PROJECT_NAME" \
-var="environment=$ENVIRONMENT" \
-var="lambda_temp_dir=$LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM" \
-var="layer_temp_dir=$LAMBDA_LAYER_TEMP_DIR_TERRAFORM" \
-parallelism=40 \
-out='tfplan.out'

Ejecute un plan de destrucción de la infraestructura.

Para ejecutar la destrucción planificada de su infraestructura, ejecute el siguiente comando:

# Run terraform apply
terraform apply tfplan.out

Elimine las salidas de Terraform del bucket de Amazon S3.

Para eliminar el archivo de resultados que se cargó durante la implementación deASC-Integration-Flows, ejecute el siguiente comando:

# Delete the outputs file
aws s3 rm s3://$S3_TERRAFORM_ARTIFACTS_BUCKET_NAME/$REPO_NAME-outputs.tfvars

Vaya al directorio terraform-deployment.

Para ir al terraform-deployment directorio deASC-Datasets, ejecute el siguiente comando:

cd ASC-Datasets/terraform-deployment

Configure el backend y la configuración de los proveedores de Terraform.

Para configurar el backend y los proveedores de Terraform, utilice el siguiente script:

# Setup terraform backend and providers config if they don't exist
chmod +x ../scripts/generate-terraform-config.sh
../scripts/generate-terraform-config.sh

Genere un plan de destrucción de infraestructura.

Para crear un plan para destruir los recursos del AWS Supply Chain conjunto de datos, ejecute los siguientes comandos:

# Run terraform init and validate
terraform init
terraform validate

# Run terraform plan
terraform plan -destroy\
-var-file="tfInputs/$ENVIRONMENT.tfvars" \
-var="project_name=$PROJECT_NAME" \
-var="environment=$ENVIRONMENT" \
-var="user_role=$AWS_USER_ROLE" \
-var="lambda_temp_dir=$LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM" \
-var="layer_temp_dir=$LAMBDA_LAYER_TEMP_DIR_TERRAFORM" \
-parallelism=40 \
-out='tfplan.out'

Depósitos de Amazon S3 vacíos.

Para vaciar todos los depósitos de Amazon S3 (excepto el depósito de registro de acceso al servidor, para el que está configuradoforce-destroy), utilice el siguiente script:

# Delete S3 buckets excluding server access logging bucket
chmod +x ../scripts/empty-s3-buckets.sh
../scripts/empty-s3-buckets.sh tfplan.out

Ejecute un plan de destrucción de la infraestructura.

Para ejecutar la destrucción planificada de la infraestructura de su AWS Supply Chain conjunto de datos mediante el plan generado, ejecute el siguiente comando:

# Run terraform apply
terraform apply tfplan.out

Elimine las salidas de Terraform del depósito de artefactos de Terraform de Amazon S3.

Para completar el proceso de limpieza, elimine el archivo de resultados que se cargó durante la implementación de ASC-Datasets ejecutando el siguiente comando:

# Delete the outputs file
aws s3 rm s3://$S3_TERRAFORM_ARTIFACTS_BUCKET_NAME/$REPO_NAME-outputs.tfvars