Automatisez le déploiement de lacs de AWS Supply Chain données dans une configuration multi-référentiels à l'aide d' GitHub Actions, Artifactory et Terraform

Pour cloner le référentiel.

Pour cloner le dépôt de ce modèle, exécutez la commande suivante sur votre station de travail locale :

git clone https://github.com/aws-samples/sample-automate-aws-supply-chain-deployment.git
cd ASC-Deployment

(Option automatique) Vérifiez les conditions préalables au déploiement.

Assurez-vous que les conditions préalables sont remplies pour le déploiement automatique.

(Option manuelle) Préparez le déploiement des AWS Supply Chain ensembles de données.

Pour accéder au terraform-deployment répertoire deASC-Datasets, exécutez la commande suivante :

cd ASC-Datasets/terraform-deployment

Pour assumer le rôle ARN créé dans les prérequis, exécutez la commande suivante :

aws sts assume-role --role-arn <enter AWS user role ARN> --role-session-name <your-session-name>

Pour configurer et exporter les variables d'environnement, exécutez les commandes suivantes :

# Export Environment variables
export REGION=<Enter deployment region>
export REPO_NAME=<Enter Current ASC Datasets dir name>
export PROJECT_NAME="asc-deployment-poc"
export ACCOUNT_ID=<Enter deployment Account ID>
export ENVIRONMENT="dev"
export LAMBDA_LAYER_TEMP_DIR_TERRAFORM="layerOutput"
export LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM="lambdaOutput"
export AWS_USER_ROLE=<Enter user role ARN for AWS Console access and deployment>
export S3_TERRAFORM_ARTIFACTS_BUCKET_NAME="$PROJECT_NAME-$ACCOUNT_ID-$REGION-terraform-artifacts-$ENVIRONMENT"

(Option manuelle) Préparez-vous à gérer les flux AWS Supply Chain d'intégration lors du déploiement.

Pour accéder au terraform-deployment répertoire deASC-Integration-Flows, exécutez la commande suivante :

cd ASC-Integration-Flows/terraform-deployment

Pour assumer le rôle ARN créé précédemment, exécutez la commande suivante :

aws sts assume-role --role-arn <enter AWS user role ARN> --role-session-name <your-session-name>

Pour configurer et exporter les variables d'environnement, exécutez les commandes suivantes :

# Export Environment variables
export REGION=<Enter deployment region>
export REPO_NAME=<Enter Current ASC Integration Flows dir name>
export ASC_DATASET_VARS_REPO=<Enter Current ASC Datasets dir name>  #Must be the same directory name used for ASC Datasets deployment
export PROJECT_NAME="asc-deployment-poc"
export ACCOUNT_ID=<Enter deployment Account ID>
export ENVIRONMENT="dev"
export LAMBDA_LAYER_TEMP_DIR_TERRAFORM="layerOutput"
export LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM="lambdaOutput"
export S3_TERRAFORM_ARTIFACTS_BUCKET_NAME="$PROJECT_NAME-$ACCOUNT_ID-$REGION-terraform-artifacts-$ENVIRONMENT"

Copiez le ASC-Datasets répertoire.

Pour copier le ASC-Datasets répertoire vers un nouvel emplacement, procédez comme suit :

Configurez le ASC-Datasets répertoire.

Pour le configurer ASC-Datasets en tant que référentiel autonome dans votre organisation, exécutez les commandes suivantes :

git init
git add .
git commit -m "Initial commit: ASC-Datasets standalone repository"
git remote add origin <INSERT_ASC_DATASETS_GITHUB_URL>
git branch -M dev

Configurez le nom de la branche dans le fichier de flux de travail .github.

Configurez le nom de la branche dans le fichier du flux de travail de déploiement comme indiqué dans l'exemple suivant :

   on:
     workflow_dispatch:
     push:
       branches:
         - dev     #Change to any other branch preferred for deployment

Configurez GitHub des environnements et configurez les valeurs d'environnement.

Pour configurer GitHub des environnements dans votre GitHub organisation, suivez les instructions de la section Configuration GitHub des environnements dans le référentiel de ce modèle.

Pour configurer les valeurs d'environnement dans les fichiers de flux de travail, suivez les instructions de la section Configuration des valeurs d'environnement dans les fichiers de flux de travail du référentiel de ce modèle.

Déclenchez le flux de travail.

Pour appliquer vos modifications à votre GitHub organisation et déclencher le flux de travail de déploiement, exécutez la commande suivante :

git push -u origin dev

Copiez le ASC-Integration-Flows répertoire.

Pour copier le ASC-Integration-Flows répertoire vers un nouvel emplacement, procédez comme suit :

Configurez le ASC-Integration-Flows répertoire.

Pour configurer le ASC-Integration-Flows répertoire en tant que référentiel autonome dans votre organisation, exécutez les commandes suivantes :

git init
git add .
git commit -m "Initial commit: ASC-Integration-Flows standalone repository"
git remote add origin <INSERT_ASC_Integration_Flows_GITHUB_URL>
git branch -M dev

Configurez le nom de la branche dans le fichier de flux de travail .github.

Configurez le nom de la branche dans le fichier du flux de travail de déploiement comme indiqué dans l'exemple suivant :

   on:
     workflow_dispatch:
     push:
       branches:
         - dev     #Change to any other branch preferred for deployment

Configurez GitHub des environnements et configurez les valeurs d'environnement.

Pour configurer GitHub des environnements dans votre GitHub organisation, suivez les instructions de la section Configuration GitHub des environnements dans le référentiel de ce modèle.

Pour configurer les valeurs d'environnement dans les fichiers de flux de travail, suivez les instructions de la section Configuration des valeurs d'environnement dans les fichiers de flux de travail du référentiel de ce modèle.

Déclenchez le flux de travail.

Pour appliquer vos modifications à votre GitHub organisation et déclencher le flux de travail de déploiement, exécutez la commande suivante :

git push -u origin dev

Accédez au répertoire terraform-deployment .

Pour accéder au terraform-deployment répertoire deASC-Datasets, exécutez la commande suivante :

cd ASC-Datasets/terraform-deployment

Configurez le compartiment Amazon S3 d'état Terraform.

Pour configurer le compartiment Amazon S3 d'état Terraform, utilisez le script suivant :

# Setup terraform bucket
chmod +x ../scripts/setup-terraform.sh
../scripts/setup-terraform.sh

Configurez le compartiment Amazon S3 des artefacts Terraform.

Pour configurer le compartiment Amazon S3 des artefacts Terraform, utilisez le script suivant :

# Setup terraform artifacts bucket
chmod +x ../scripts/setup-terraform-artifacts-bucket.sh
../scripts/setup-terraform-artifacts-bucket.sh

Configurez le backend Terraform et la configuration des fournisseurs.

Pour configurer le backend Terraform et la configuration des fournisseurs, utilisez le script suivant :

# Setup terraform backend and providers config if they don't exist
chmod +x ../scripts/generate-terraform-config.sh
../scripts/generate-terraform-config.sh

Générez un plan de déploiement.

Pour générer un plan de déploiement, exécutez les commandes suivantes :

# Run terraform init and validate
terraform init
terraform validate

# Run terraform plan
terraform plan \
-var-file="tfInputs/$ENVIRONMENT.tfvars" \
-var="project_name=$PROJECT_NAME" \
-var="environment=$ENVIRONMENT" \
-var="user_role=$AWS_USER_ROLE" \
-var="lambda_temp_dir=$LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM" \
-var="layer_temp_dir=$LAMBDA_LAYER_TEMP_DIR_TERRAFORM" \
-parallelism=40 \
-out='tfplan.out'

Déployez les configurations.

Pour déployer les configurations, exécutez la commande suivante :

# Run terraform apply
terraform apply tfplan.out

Mettez à jour les autres configurations et stockez les sorties.

Pour mettre à jour les politiques AWS KMS clés et stocker les sorties de configuration appliquées dans le compartiment Amazon S3 des artefacts Terraform, exécutez les commandes suivantes :

# Update AWS Supply Chain KMS Key policy with the service's requirements
chmod +x ../scripts/update-asc-kms-policy.sh
../scripts/update-asc-kms-policy.sh

# Update AWS KMS Keys' policy with IAM roles
chmod +x ../scripts/update-kms-policy.sh
../scripts/update-kms-policy.sh

# Create terraform outputs file to be used as input variables
terraform output -json > raw_output.json
jq -r 'to_entries | map(
  if .value.type == "string" then
      "\(.key) = \"\(.value.value)\""
  else
      "\(.key) = \(.value.value | tojson)"
  end
) | .[]' raw_output.json > $REPO_NAME-outputs.tfvars

# Upload reformed outputs file to Amazon S3 terraform artifacts bucket (For retrieval from other repositories)
aws s3 cp $REPO_NAME-outputs.tfvars s3://$S3_TERRAFORM_ARTIFACTS_BUCKET_NAME/$REPO_NAME-outputs.tfvars
rm -f raw_output.json
rm -f $REPO_NAME-outputs.tfvars

Accédez au répertoire terraform-deployment.

Pour accéder au terraform-deployment répertoire deASC-Integration-Flows, exécutez la commande suivante :

cd ASC-Integration-Flows/terraform-deployment

Configurez le backend Terraform et la configuration des fournisseurs.

Pour configurer les configurations du backend et du fournisseur Terraform, utilisez le script suivant :

# Setup terraform backend and providers config if they don't exist
chmod +x ../scripts/generate-terraform-config.sh
../scripts/generate-terraform-config.sh

Générez un plan de déploiement.

Pour générer un plan de déploiement, exécutez les commandes suivantes. Ces commandes initialisent votre environnement Terraform, fusionnent les variables de configuration ASC-Datasets avec vos configurations Terraform existantes et génèrent un plan de déploiement.

# Run terraform init and validate
terraform init
terraform validate

# Download and merge ASC DATASET tfvars
chmod +x ../scripts/download-vars-through-s3.sh
../scripts/download-vars-through-s3.sh $ASC_DATASET_VARS_REPO

# Run terraform plan
terraform plan \
-var-file="tfInputs/$ENVIRONMENT.tfvars" \
-var="project_name=$PROJECT_NAME" \
-var="environment=$ENVIRONMENT" \
-var="lambda_temp_dir=$LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM" \
-var="layer_temp_dir=$LAMBDA_LAYER_TEMP_DIR_TERRAFORM" \
-parallelism=40 \
-out='tfplan.out'

Déployez les configurations.

Pour déployer les configurations, exécutez la commande suivante :

# Run terraform apply
terraform apply tfplan.out

Mettez à jour les autres configurations.

Pour mettre à jour les politiques AWS KMS clés et stocker les sorties de configuration appliquées dans le compartiment Amazon S3 des artefacts Terraform, exécutez les commandes suivantes :

# Update AWS KMS Keys' policy with IAM roles
chmod +x ../scripts/update-kms-policy-through-s3.sh
../scripts/update-kms-policy-through-s3.sh $ASC_DATASET_VARS_REPO

# Create terraform outputs file to be used as input variables
terraform output -json > raw_output.json
jq -r 'to_entries | map(
  if .value.type == "string" then
      "\(.key) = \"\(.value.value)\""
  else
      "\(.key) = \(.value.value | tojson)"
  end
) | .[]' raw_output.json > $REPO_NAME-outputs.tfvars

# Upload reformed outputs file to Amazon S3 terraform artifacts bucket (For retrieval from other repositories)
aws s3 cp $REPO_NAME-outputs.tfvars s3://$S3_TERRAFORM_ARTIFACTS_BUCKET_NAME/$REPO_NAME-outputs.tfvars
rm -f raw_output.json
rm -f $REPO_NAME-outputs.tfvars

Téléchargez des exemples de fichiers CSV.

Pour télécharger des exemples de fichiers CSV pour les ensembles de données, procédez comme suit :

Configurez AWS Supply Chain l'accès.

Pour configurer AWS Supply Chain l'accès depuis le AWS Management Console, procédez comme suit :

Déclenchez le flux de travail de destruction des ressources des flux d'intégration.

Déclenchez le flux de travail de destruction ASC-Integration-Flows depuis la succursale de déploiement de votre GitHub organisation.

Déclenchez le flux de travail de destruction des ressources des ensembles de données.

Déclenchez le flux de travail de destruction ASC-Datasets depuis la succursale de déploiement de votre GitHub organisation.

Accédez au répertoire terraform-deployment.

Pour accéder au terraform-deployment répertoire deASC-Integration-Flows, exécutez la commande suivante :

cd ASC-Integration-Flows/terraform-deployment

Configurez le backend Terraform et la configuration des fournisseurs.

Pour configurer le backend Terraform et la configuration des fournisseurs, utilisez le script suivant :

# Setup terraform backend and providers config if they don't exist
chmod +x ../scripts/generate-terraform-config.sh
../scripts/generate-terraform-config.sh

Générez un plan de destruction de l'infrastructure.

Pour préparer la destruction contrôlée de votre AWS infrastructure en générant un plan de démontage détaillé, exécutez les commandes suivantes. Le processus initialise Terraform, intègre les configurations de AWS Supply Chain jeux de données et crée un plan de destruction que vous pouvez consulter avant de l'exécuter.

# Run terraform init and validate
terraform init
terraform validate

# Download and merge ASC DATASET tfvars
chmod +x ../scripts/download-vars-through-s3.sh
../scripts/download-vars-through-s3.sh $ASC_DATASET_VARS_REPO

# Run terraform plan
terraform plan -destroy\
-var-file="tfInputs/$ENVIRONMENT.tfvars" \
-var="project_name=$PROJECT_NAME" \
-var="environment=$ENVIRONMENT" \
-var="lambda_temp_dir=$LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM" \
-var="layer_temp_dir=$LAMBDA_LAYER_TEMP_DIR_TERRAFORM" \
-parallelism=40 \
-out='tfplan.out'

Exécutez le plan de destruction de l'infrastructure.

Pour exécuter la destruction planifiée de votre infrastructure, exécutez la commande suivante :

# Run terraform apply
terraform apply tfplan.out

Supprimez les sorties Terraform du compartiment Amazon S3.

Pour supprimer le fichier de sortie qui a été chargé lors du déploiement deASC-Integration-Flows, exécutez la commande suivante :

# Delete the outputs file
aws s3 rm s3://$S3_TERRAFORM_ARTIFACTS_BUCKET_NAME/$REPO_NAME-outputs.tfvars

Accédez au répertoire terraform-deployment.

Pour accéder au terraform-deployment répertoire deASC-Datasets, exécutez la commande suivante :

cd ASC-Datasets/terraform-deployment

Configurez le backend Terraform et la configuration des fournisseurs.

Pour configurer le backend Terraform et la configuration des fournisseurs, utilisez le script suivant :

# Setup terraform backend and providers config if they don't exist
chmod +x ../scripts/generate-terraform-config.sh
../scripts/generate-terraform-config.sh

Générez un plan de destruction de l'infrastructure.

Pour créer un plan de destruction des ressources du AWS Supply Chain jeu de données, exécutez les commandes suivantes :

# Run terraform init and validate
terraform init
terraform validate

# Run terraform plan
terraform plan -destroy\
-var-file="tfInputs/$ENVIRONMENT.tfvars" \
-var="project_name=$PROJECT_NAME" \
-var="environment=$ENVIRONMENT" \
-var="user_role=$AWS_USER_ROLE" \
-var="lambda_temp_dir=$LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM" \
-var="layer_temp_dir=$LAMBDA_LAYER_TEMP_DIR_TERRAFORM" \
-parallelism=40 \
-out='tfplan.out'

Compartiments Amazon S3 vides.

Pour vider tous les compartiments Amazon S3 (à l'exception du compartiment de journalisation des accès au serveur, qui est configuré pourforce-destroy), utilisez le script suivant :

# Delete S3 buckets excluding server access logging bucket
chmod +x ../scripts/empty-s3-buckets.sh
../scripts/empty-s3-buckets.sh tfplan.out

Exécutez le plan de destruction de l'infrastructure.

Pour exécuter la destruction planifiée de votre infrastructure de jeux de AWS Supply Chain données à l'aide du plan généré, exécutez la commande suivante :

# Run terraform apply
terraform apply tfplan.out

Supprimez les sorties Terraform du compartiment d'artefacts Amazon S3 Terraform.

Pour terminer le processus de nettoyage, supprimez le fichier de sortie qui a été chargé lors du déploiement de ASC-Datasets en exécutant la commande suivante :

# Delete the outputs file
aws s3 rm s3://$S3_TERRAFORM_ARTIFACTS_BUCKET_NAME/$REPO_NAME-outputs.tfvars