Automatizza l'implementazione dei Catena di approvvigionamento di AWS data lake in una configurazione multi-repository utilizzando GitHub Actions, Artifactory e Terraform

Clonare il repository.

Per clonare il repository di questo pattern, esegui il seguente comando nella tua workstation locale:

git clone https://github.com/aws-samples/sample-automate-aws-supply-chain-deployment.git
cd ASC-Deployment

(Opzione automatizzata) Verifica i prerequisiti per la distribuzione.

Assicurati che i prerequisiti per la distribuzione automatizzata siano completi.

(Opzione manuale) Preparati per la distribuzione dei Catena di approvvigionamento di AWS set di dati.

Per accedere alla terraform-deployment directory diASC-Datasets, esegui il seguente comando:

cd ASC-Datasets/terraform-deployment

Per assumere il ruolo ARN creato nei Prerequisiti, esegui il comando seguente:

aws sts assume-role --role-arn <enter AWS user role ARN> --role-session-name <your-session-name>

Per configurare ed esportare le variabili di ambiente, esegui i seguenti comandi:

# Export Environment variables
export REGION=<Enter deployment region>
export REPO_NAME=<Enter Current ASC Datasets dir name>
export PROJECT_NAME="asc-deployment-poc"
export ACCOUNT_ID=<Enter deployment Account ID>
export ENVIRONMENT="dev"
export LAMBDA_LAYER_TEMP_DIR_TERRAFORM="layerOutput"
export LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM="lambdaOutput"
export AWS_USER_ROLE=<Enter user role ARN for AWS Console access and deployment>
export S3_TERRAFORM_ARTIFACTS_BUCKET_NAME="$PROJECT_NAME-$ACCOUNT_ID-$REGION-terraform-artifacts-$ENVIRONMENT"

(Opzione manuale) Preparati a gestire i flussi di Catena di approvvigionamento di AWS integrazione durante la distribuzione.

Per accedere alla terraform-deployment directory diASC-Integration-Flows, esegui il seguente comando:

cd ASC-Integration-Flows/terraform-deployment

Per assumere il ruolo ARN creato in precedenza, esegui il seguente comando:

aws sts assume-role --role-arn <enter AWS user role ARN> --role-session-name <your-session-name>

Per configurare ed esportare le variabili di ambiente, esegui i seguenti comandi:

# Export Environment variables
export REGION=<Enter deployment region>
export REPO_NAME=<Enter Current ASC Integration Flows dir name>
export ASC_DATASET_VARS_REPO=<Enter Current ASC Datasets dir name>  #Must be the same directory name used for ASC Datasets deployment
export PROJECT_NAME="asc-deployment-poc"
export ACCOUNT_ID=<Enter deployment Account ID>
export ENVIRONMENT="dev"
export LAMBDA_LAYER_TEMP_DIR_TERRAFORM="layerOutput"
export LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM="lambdaOutput"
export S3_TERRAFORM_ARTIFACTS_BUCKET_NAME="$PROJECT_NAME-$ACCOUNT_ID-$REGION-terraform-artifacts-$ENVIRONMENT"

Copia la ASC-Datasets cartella.

Per copiare la ASC-Datasets directory in una nuova posizione, procedi nel seguente modo:

Configura la ASC-Datasets directory.

Per configurarlo ASC-Datasets come repository autonomo nell'organizzazione, esegui i seguenti comandi:

git init
git add .
git commit -m "Initial commit: ASC-Datasets standalone repository"
git remote add origin <INSERT_ASC_DATASETS_GITHUB_URL>
git branch -M dev

Configura il nome del ramo nel file di workflow .github.

Imposta il nome del ramo nel file del flusso di lavoro di distribuzione come mostrato nell'esempio seguente:

   on:
     workflow_dispatch:
     push:
       branches:
         - dev     #Change to any other branch preferred for deployment

Configura GitHub gli ambienti e configura i valori dell'ambiente.

Per configurare GitHub gli ambienti nella propria GitHub organizzazione, utilizzare le istruzioni in Configurazione GitHub degli ambienti nell'archivio di questo modello.

Per configurare i valori di ambiente nei file del flusso di lavoro, utilizzate le istruzioni in Configurazione dei valori di ambiente nei file di flusso di lavoro nel repository di questo pattern.

Attiva il flusso di lavoro.

Per inviare le modifiche all' GitHub organizzazione e attivare il flusso di lavoro di distribuzione, esegui il comando seguente:

git push -u origin dev

Copia la ASC-Integration-Flows cartella.

Per copiare la ASC-Integration-Flows directory in una nuova posizione, procedi nel seguente modo:

Configura la ASC-Integration-Flows directory.

Per configurare la ASC-Integration-Flows directory come archivio autonomo nell'organizzazione, esegui i seguenti comandi:

git init
git add .
git commit -m "Initial commit: ASC-Integration-Flows standalone repository"
git remote add origin <INSERT_ASC_Integration_Flows_GITHUB_URL>
git branch -M dev

Configura il nome del ramo nel file di workflow .github.

Imposta il nome del ramo nel file del flusso di lavoro di distribuzione come mostrato nell'esempio seguente:

   on:
     workflow_dispatch:
     push:
       branches:
         - dev     #Change to any other branch preferred for deployment

Configura GitHub gli ambienti e configura i valori dell'ambiente.

Per configurare GitHub gli ambienti nella propria GitHub organizzazione, utilizzare le istruzioni in Configurazione GitHub degli ambienti nell'archivio di questo modello.

Per configurare i valori di ambiente nei file del flusso di lavoro, utilizzate le istruzioni in Configurazione dei valori di ambiente nei file di flusso di lavoro nel repository di questo pattern.

Attiva il flusso di lavoro.

Per inviare le modifiche all' GitHub organizzazione e attivare il flusso di lavoro di distribuzione, esegui il comando seguente:

git push -u origin dev

Passa alla directory terraform-deployment .

Per accedere alla terraform-deployment directory diASC-Datasets, esegui il seguente comando:

cd ASC-Datasets/terraform-deployment

Configura il bucket Amazon S3 dello stato Terraform.

Per configurare il bucket Amazon S3 dello stato Terraform, usa lo script seguente:

# Setup terraform bucket
chmod +x ../scripts/setup-terraform.sh
../scripts/setup-terraform.sh

Configura il bucket Terraform Artifacts Amazon S3.

Per configurare il bucket Terraform Artifacts Amazon S3, usa lo script seguente:

# Setup terraform artifacts bucket
chmod +x ../scripts/setup-terraform-artifacts-bucket.sh
../scripts/setup-terraform-artifacts-bucket.sh

Configura il backend Terraform e la configurazione dei provider.

Per configurare il backend Terraform e la configurazione dei provider, utilizza il seguente script:

# Setup terraform backend and providers config if they don't exist
chmod +x ../scripts/generate-terraform-config.sh
../scripts/generate-terraform-config.sh

Genera un piano di distribuzione.

Per generare un piano di distribuzione, esegui i seguenti comandi:

# Run terraform init and validate
terraform init
terraform validate

# Run terraform plan
terraform plan \
-var-file="tfInputs/$ENVIRONMENT.tfvars" \
-var="project_name=$PROJECT_NAME" \
-var="environment=$ENVIRONMENT" \
-var="user_role=$AWS_USER_ROLE" \
-var="lambda_temp_dir=$LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM" \
-var="layer_temp_dir=$LAMBDA_LAYER_TEMP_DIR_TERRAFORM" \
-parallelism=40 \
-out='tfplan.out'

Implementa le configurazioni.

Per distribuire le configurazioni, esegui il comando seguente:

# Run terraform apply
terraform apply tfplan.out

Aggiorna altre configurazioni e archivia gli output.

Per aggiornare le politiche AWS KMS chiave e archiviare gli output delle configurazioni applicate nel bucket Terraform Artifacts Amazon S3, esegui i seguenti comandi:

# Update AWS Supply Chain KMS Key policy with the service's requirements
chmod +x ../scripts/update-asc-kms-policy.sh
../scripts/update-asc-kms-policy.sh

# Update AWS KMS Keys' policy with IAM roles
chmod +x ../scripts/update-kms-policy.sh
../scripts/update-kms-policy.sh

# Create terraform outputs file to be used as input variables
terraform output -json > raw_output.json
jq -r 'to_entries | map(
  if .value.type == "string" then
      "\(.key) = \"\(.value.value)\""
  else
      "\(.key) = \(.value.value | tojson)"
  end
) | .[]' raw_output.json > $REPO_NAME-outputs.tfvars

# Upload reformed outputs file to Amazon S3 terraform artifacts bucket (For retrieval from other repositories)
aws s3 cp $REPO_NAME-outputs.tfvars s3://$S3_TERRAFORM_ARTIFACTS_BUCKET_NAME/$REPO_NAME-outputs.tfvars
rm -f raw_output.json
rm -f $REPO_NAME-outputs.tfvars

Passa alla directory terraform-deployment.

Per accedere alla terraform-deployment directory diASC-Integration-Flows, esegui il seguente comando:

cd ASC-Integration-Flows/terraform-deployment

Configura il backend Terraform e la configurazione dei provider.

Per configurare il backend Terraform e le configurazioni del provider, utilizza il seguente script:

# Setup terraform backend and providers config if they don't exist
chmod +x ../scripts/generate-terraform-config.sh
../scripts/generate-terraform-config.sh

Genera un piano di distribuzione.

Per generare un piano di distribuzione, esegui i comandi seguenti. Questi comandi inizializzano l'ambiente Terraform, uniscono le variabili di configurazione ASC-Datasets con le configurazioni Terraform esistenti e generano un piano di implementazione.

# Run terraform init and validate
terraform init
terraform validate

# Download and merge ASC DATASET tfvars
chmod +x ../scripts/download-vars-through-s3.sh
../scripts/download-vars-through-s3.sh $ASC_DATASET_VARS_REPO

# Run terraform plan
terraform plan \
-var-file="tfInputs/$ENVIRONMENT.tfvars" \
-var="project_name=$PROJECT_NAME" \
-var="environment=$ENVIRONMENT" \
-var="lambda_temp_dir=$LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM" \
-var="layer_temp_dir=$LAMBDA_LAYER_TEMP_DIR_TERRAFORM" \
-parallelism=40 \
-out='tfplan.out'

Implementa le configurazioni.

Per distribuire le configurazioni, esegui il comando seguente:

# Run terraform apply
terraform apply tfplan.out

Aggiorna altre configurazioni.

Per aggiornare le politiche AWS KMS chiave e archiviare gli output delle configurazioni applicate nel bucket Terraform Artifacts Amazon S3, esegui i seguenti comandi:

# Update AWS KMS Keys' policy with IAM roles
chmod +x ../scripts/update-kms-policy-through-s3.sh
../scripts/update-kms-policy-through-s3.sh $ASC_DATASET_VARS_REPO

# Create terraform outputs file to be used as input variables
terraform output -json > raw_output.json
jq -r 'to_entries | map(
  if .value.type == "string" then
      "\(.key) = \"\(.value.value)\""
  else
      "\(.key) = \(.value.value | tojson)"
  end
) | .[]' raw_output.json > $REPO_NAME-outputs.tfvars

# Upload reformed outputs file to Amazon S3 terraform artifacts bucket (For retrieval from other repositories)
aws s3 cp $REPO_NAME-outputs.tfvars s3://$S3_TERRAFORM_ARTIFACTS_BUCKET_NAME/$REPO_NAME-outputs.tfvars
rm -f raw_output.json
rm -f $REPO_NAME-outputs.tfvars

Carica file CSV di esempio.

Per caricare file CSV di esempio per i set di dati, procedi nel seguente modo:

Configura Catena di approvvigionamento di AWS l'accesso.

Per configurare Catena di approvvigionamento di AWS l'accesso da Console di gestione AWS, procedi nel seguente modo:

Attiva il flusso di lavoro Destroy per le risorse dei flussi di integrazione.

Attiva il flusso di lavoro di distruzione ASC-Integration-Flows dal tuo ramo di distribuzione GitHub all'interno dell'organizzazione.

Attiva il flusso di lavoro di distruzione delle risorse dei set di dati.

Attiva il flusso di lavoro di distruzione ASC-Datasets dal tuo ramo di distribuzione all'interno GitHub dell'organizzazione.

Passa alla directory terraform-deployment.

Per accedere alla terraform-deployment directory diASC-Integration-Flows, esegui il seguente comando:

cd ASC-Integration-Flows/terraform-deployment

Configura il backend Terraform e la configurazione dei provider.

Per configurare il backend Terraform e la configurazione dei provider, utilizza il seguente script:

# Setup terraform backend and providers config if they don't exist
chmod +x ../scripts/generate-terraform-config.sh
../scripts/generate-terraform-config.sh

Genera un piano di distruzione dell'infrastruttura.

Per prepararti alla distruzione controllata dell' AWS infrastruttura generando un piano di smontaggio dettagliato, esegui i seguenti comandi. Il processo inizializza Terraform, incorpora le configurazioni Catena di approvvigionamento di AWS dei set di dati e crea un piano di distruzione che è possibile esaminare prima dell'esecuzione.

# Run terraform init and validate
terraform init
terraform validate

# Download and merge ASC DATASET tfvars
chmod +x ../scripts/download-vars-through-s3.sh
../scripts/download-vars-through-s3.sh $ASC_DATASET_VARS_REPO

# Run terraform plan
terraform plan -destroy\
-var-file="tfInputs/$ENVIRONMENT.tfvars" \
-var="project_name=$PROJECT_NAME" \
-var="environment=$ENVIRONMENT" \
-var="lambda_temp_dir=$LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM" \
-var="layer_temp_dir=$LAMBDA_LAYER_TEMP_DIR_TERRAFORM" \
-parallelism=40 \
-out='tfplan.out'

Esegui un piano di distruzione dell'infrastruttura.

Per eseguire la distruzione pianificata dell'infrastruttura, esegui il seguente comando:

# Run terraform apply
terraform apply tfplan.out

Rimuovi gli output Terraform dal bucket Amazon S3.

Per rimuovere il file di output che è stato caricato durante la distribuzione diASC-Integration-Flows, esegui il seguente comando:

# Delete the outputs file
aws s3 rm s3://$S3_TERRAFORM_ARTIFACTS_BUCKET_NAME/$REPO_NAME-outputs.tfvars

Passa alla directory terraform-deployment.

Per accedere alla terraform-deployment directory diASC-Datasets, esegui il seguente comando:

cd ASC-Datasets/terraform-deployment

Configura il backend Terraform e la configurazione dei provider.

Per configurare il backend Terraform e la configurazione dei provider, utilizza il seguente script:

# Setup terraform backend and providers config if they don't exist
chmod +x ../scripts/generate-terraform-config.sh
../scripts/generate-terraform-config.sh

Genera un piano di distruzione dell'infrastruttura.

Per creare un piano per la distruzione delle risorse del Catena di approvvigionamento di AWS set di dati, esegui i seguenti comandi:

# Run terraform init and validate
terraform init
terraform validate

# Run terraform plan
terraform plan -destroy\
-var-file="tfInputs/$ENVIRONMENT.tfvars" \
-var="project_name=$PROJECT_NAME" \
-var="environment=$ENVIRONMENT" \
-var="user_role=$AWS_USER_ROLE" \
-var="lambda_temp_dir=$LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM" \
-var="layer_temp_dir=$LAMBDA_LAYER_TEMP_DIR_TERRAFORM" \
-parallelism=40 \
-out='tfplan.out'

Bucket Amazon S3 vuoti.

Per svuotare tutti i bucket Amazon S3 (tranne il bucket di registrazione degli accessi al server, che è configurato perforce-destroy), usa lo script seguente:

# Delete S3 buckets excluding server access logging bucket
chmod +x ../scripts/empty-s3-buckets.sh
../scripts/empty-s3-buckets.sh tfplan.out

Esegui un piano di distruzione dell'infrastruttura.

Per eseguire la distruzione pianificata dell'infrastruttura del Catena di approvvigionamento di AWS set di dati utilizzando il piano generato, esegui il comando seguente:

# Run terraform apply
terraform apply tfplan.out

Rimuovi gli output Terraform dal bucket di artefatti Terraform di Amazon S3.

Per completare il processo di pulizia, rimuovi il file di output che è stato caricato durante la distribuzione di eseguendo il comando seguente: ASC-Datasets

# Delete the outputs file
aws s3 rm s3://$S3_TERRAFORM_ARTIFACTS_BUCKET_NAME/$REPO_NAME-outputs.tfvars