Automatisieren Sie die Bereitstellung von AWS Supply Chain Data Lakes in einem Multi-Repository-Setup mithilfe von GitHub Actions, Artifactory und Terraform

Klonen Sie das Repository

Um das Repository dieses Musters zu klonen, führen Sie den folgenden Befehl auf Ihrer lokalen Workstation aus:

git clone https://github.com/aws-samples/sample-automate-aws-supply-chain-deployment.git
cd ASC-Deployment

(Automatisierte Option) Überprüfen Sie die Voraussetzungen für die Bereitstellung.

Stellen Sie sicher, dass die Voraussetzungen für die automatisierte Bereitstellung erfüllt sind.

(Manuelle Option) Bereiten Sie die Bereitstellung von AWS Supply Chain Datensätzen vor.

Führen Sie den folgenden Befehl ausASC-Datasets, um zum terraform-deployment Verzeichnis von zu wechseln:

cd ASC-Datasets/terraform-deployment

Führen Sie den folgenden Befehl aus, um die Rolle ARN anzunehmen, die in den Voraussetzungen erstellt wurde:

aws sts assume-role --role-arn <enter AWS user role ARN> --role-session-name <your-session-name>

Führen Sie die folgenden Befehle aus, um die Umgebungsvariablen zu konfigurieren und zu exportieren:

# Export Environment variables
export REGION=<Enter deployment region>
export REPO_NAME=<Enter Current ASC Datasets dir name>
export PROJECT_NAME="asc-deployment-poc"
export ACCOUNT_ID=<Enter deployment Account ID>
export ENVIRONMENT="dev"
export LAMBDA_LAYER_TEMP_DIR_TERRAFORM="layerOutput"
export LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM="lambdaOutput"
export AWS_USER_ROLE=<Enter user role ARN for AWS Console access and deployment>
export S3_TERRAFORM_ARTIFACTS_BUCKET_NAME="$PROJECT_NAME-$ACCOUNT_ID-$REGION-terraform-artifacts-$ENVIRONMENT"

(Manuelle Option) Bereiten Sie sich auf die Verwaltung der AWS Supply Chain Integrationsabläufe während der Bereitstellung vor.

Führen Sie den folgenden Befehl ausASC-Integration-Flows, um zum terraform-deployment Verzeichnis von zu wechseln:

cd ASC-Integration-Flows/terraform-deployment

Führen Sie den folgenden Befehl aus, um die Rolle ARN anzunehmen, die zuvor erstellt wurde:

aws sts assume-role --role-arn <enter AWS user role ARN> --role-session-name <your-session-name>

Führen Sie die folgenden Befehle aus, um die Umgebungsvariablen zu konfigurieren und zu exportieren:

# Export Environment variables
export REGION=<Enter deployment region>
export REPO_NAME=<Enter Current ASC Integration Flows dir name>
export ASC_DATASET_VARS_REPO=<Enter Current ASC Datasets dir name>  #Must be the same directory name used for ASC Datasets deployment
export PROJECT_NAME="asc-deployment-poc"
export ACCOUNT_ID=<Enter deployment Account ID>
export ENVIRONMENT="dev"
export LAMBDA_LAYER_TEMP_DIR_TERRAFORM="layerOutput"
export LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM="lambdaOutput"
export S3_TERRAFORM_ARTIFACTS_BUCKET_NAME="$PROJECT_NAME-$ACCOUNT_ID-$REGION-terraform-artifacts-$ENVIRONMENT"

Kopieren Sie das ASC-Datasets Verzeichnis.

Gehen Sie wie folgt vor, um das ASC-Datasets Verzeichnis an einen neuen Speicherort zu kopieren:

Richten Sie das ASC-Datasets Verzeichnis ein.

Führen Sie die folgenden Befehle aus, um es ASC-Datasets als eigenständiges Repository in Ihrer Organisation einzurichten:

git init
git add .
git commit -m "Initial commit: ASC-Datasets standalone repository"
git remote add origin <INSERT_ASC_DATASETS_GITHUB_URL>
git branch -M dev

Konfigurieren Sie den Zweignamen in der Workflow-Datei .github.

Richten Sie den Zweignamen in der Deployment-Workflow-Datei ein, wie im folgenden Beispiel gezeigt:

   on:
     workflow_dispatch:
     push:
       branches:
         - dev     #Change to any other branch preferred for deployment

Richten Sie GitHub Umgebungen ein und konfigurieren Sie Umgebungswerte.

Um GitHub Umgebungen in Ihrer GitHub Organisation einzurichten, folgen Sie den Anweisungen unter GitHub Umgebungen einrichten im Repository dieses Musters.

Um Umgebungswerte in den Workflow-Dateien zu konfigurieren, folgen Sie den Anweisungen unter Umgebungswerte einrichten in den Workflow-Dateien im Repository dieses Musters.

Den Workflow auslösen.

Führen Sie den folgenden Befehl aus, um Ihre Änderungen an Ihre GitHub Organisation weiterzuleiten und den Bereitstellungs-Workflow auszulösen:

git push -u origin dev

Kopieren Sie das ASC-Integration-Flows Verzeichnis.

Gehen Sie wie folgt vor, um das ASC-Integration-Flows Verzeichnis an einen neuen Speicherort zu kopieren:

Richten Sie das ASC-Integration-Flows Verzeichnis ein.

Führen Sie die folgenden Befehle aus, um das ASC-Integration-Flows Verzeichnis als eigenständiges Repository in Ihrer Organisation einzurichten:

git init
git add .
git commit -m "Initial commit: ASC-Integration-Flows standalone repository"
git remote add origin <INSERT_ASC_Integration_Flows_GITHUB_URL>
git branch -M dev

Konfigurieren Sie den Zweignamen in der Workflow-Datei .github.

Richten Sie den Zweignamen in der Deployment-Workflow-Datei ein, wie im folgenden Beispiel gezeigt:

   on:
     workflow_dispatch:
     push:
       branches:
         - dev     #Change to any other branch preferred for deployment

Richten Sie GitHub Umgebungen ein und konfigurieren Sie Umgebungswerte.

Um GitHub Umgebungen in Ihrer GitHub Organisation einzurichten, folgen Sie den Anweisungen unter GitHub Umgebungen einrichten im Repository dieses Musters.

Um Umgebungswerte in den Workflow-Dateien zu konfigurieren, folgen Sie den Anweisungen unter Umgebungswerte einrichten in den Workflow-Dateien im Repository dieses Musters.

Den Workflow auslösen.

Führen Sie den folgenden Befehl aus, um Ihre Änderungen an Ihre GitHub Organisation weiterzuleiten und den Bereitstellungs-Workflow auszulösen:

git push -u origin dev

Navigieren Sie zum terraform-deployment Verzeichnis .

Führen Sie den folgenden Befehl ausASC-Datasets, um zum terraform-deployment Verzeichnis von zu wechseln:

cd ASC-Datasets/terraform-deployment

Richten Sie den Amazon S3 S3-Bucket Terraform State ein.

Verwenden Sie das folgende Skript, um den Amazon S3 S3-Bucket Terraform State einzurichten:

# Setup terraform bucket
chmod +x ../scripts/setup-terraform.sh
../scripts/setup-terraform.sh

Richten Sie den Amazon S3-Bucket für Terraform-Artefakte ein.

Verwenden Sie das folgende Skript, um den Amazon S3 S3-Bucket für Terraform-Artefakte einzurichten:

# Setup terraform artifacts bucket
chmod +x ../scripts/setup-terraform-artifacts-bucket.sh
../scripts/setup-terraform-artifacts-bucket.sh

Richten Sie das Terraform-Backend und die Provider-Konfiguration ein.

Verwenden Sie das folgende Skript, um das Terraform-Backend und die Provider-Konfiguration einzurichten:

# Setup terraform backend and providers config if they don't exist
chmod +x ../scripts/generate-terraform-config.sh
../scripts/generate-terraform-config.sh

Generieren Sie einen Bereitstellungsplan.

Führen Sie die folgenden Befehle aus, um einen Bereitstellungsplan zu generieren:

# Run terraform init and validate
terraform init
terraform validate

# Run terraform plan
terraform plan \
-var-file="tfInputs/$ENVIRONMENT.tfvars" \
-var="project_name=$PROJECT_NAME" \
-var="environment=$ENVIRONMENT" \
-var="user_role=$AWS_USER_ROLE" \
-var="lambda_temp_dir=$LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM" \
-var="layer_temp_dir=$LAMBDA_LAYER_TEMP_DIR_TERRAFORM" \
-parallelism=40 \
-out='tfplan.out'

Stellen Sie die Konfigurationen bereit.

Führen Sie den folgenden Befehl aus, um die Konfigurationen bereitzustellen:

# Run terraform apply
terraform apply tfplan.out

Aktualisieren Sie andere Konfigurationen und speichern Sie Ausgaben.

Führen Sie die folgenden Befehle aus, um AWS KMS wichtige Richtlinien zu aktualisieren und die angewendeten Konfigurationsausgaben im Amazon S3 S3-Bucket für Terraform-Artefakte zu speichern:

# Update AWS Supply Chain KMS Key policy with the service's requirements
chmod +x ../scripts/update-asc-kms-policy.sh
../scripts/update-asc-kms-policy.sh

# Update AWS KMS Keys' policy with IAM roles
chmod +x ../scripts/update-kms-policy.sh
../scripts/update-kms-policy.sh

# Create terraform outputs file to be used as input variables
terraform output -json > raw_output.json
jq -r 'to_entries | map(
  if .value.type == "string" then
      "\(.key) = \"\(.value.value)\""
  else
      "\(.key) = \(.value.value | tojson)"
  end
) | .[]' raw_output.json > $REPO_NAME-outputs.tfvars

# Upload reformed outputs file to Amazon S3 terraform artifacts bucket (For retrieval from other repositories)
aws s3 cp $REPO_NAME-outputs.tfvars s3://$S3_TERRAFORM_ARTIFACTS_BUCKET_NAME/$REPO_NAME-outputs.tfvars
rm -f raw_output.json
rm -f $REPO_NAME-outputs.tfvars

Navigieren Sie zum terraform-deployment Verzeichnis .

Führen Sie den folgenden Befehl ausASC-Integration-Flows, um zum terraform-deployment Verzeichnis von zu wechseln:

cd ASC-Integration-Flows/terraform-deployment

Richten Sie das Terraform-Backend und die Provider-Konfiguration ein.

Verwenden Sie das folgende Skript, um das Terraform-Backend und die Provider-Konfigurationen einzurichten:

# Setup terraform backend and providers config if they don't exist
chmod +x ../scripts/generate-terraform-config.sh
../scripts/generate-terraform-config.sh

Generieren Sie einen Bereitstellungsplan.

Führen Sie die folgenden Befehle aus, um einen Bereitstellungsplan zu generieren. Diese Befehle initialisieren Ihre Terraform-Umgebung, führen Konfigurationsvariablen ASC-Datasets mit Ihren vorhandenen Terraform-Konfigurationen zusammen und generieren einen Bereitstellungsplan.

# Run terraform init and validate
terraform init
terraform validate

# Download and merge ASC DATASET tfvars
chmod +x ../scripts/download-vars-through-s3.sh
../scripts/download-vars-through-s3.sh $ASC_DATASET_VARS_REPO

# Run terraform plan
terraform plan \
-var-file="tfInputs/$ENVIRONMENT.tfvars" \
-var="project_name=$PROJECT_NAME" \
-var="environment=$ENVIRONMENT" \
-var="lambda_temp_dir=$LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM" \
-var="layer_temp_dir=$LAMBDA_LAYER_TEMP_DIR_TERRAFORM" \
-parallelism=40 \
-out='tfplan.out'

Stellen Sie die Konfigurationen bereit.

Führen Sie den folgenden Befehl aus, um die Konfigurationen bereitzustellen:

# Run terraform apply
terraform apply tfplan.out

Aktualisieren Sie andere Konfigurationen.

Führen Sie die folgenden Befehle aus, um AWS KMS wichtige Richtlinien zu aktualisieren und die angewendeten Konfigurationsausgaben im Amazon S3 S3-Bucket für Terraform-Artefakte zu speichern:

# Update AWS KMS Keys' policy with IAM roles
chmod +x ../scripts/update-kms-policy-through-s3.sh
../scripts/update-kms-policy-through-s3.sh $ASC_DATASET_VARS_REPO

# Create terraform outputs file to be used as input variables
terraform output -json > raw_output.json
jq -r 'to_entries | map(
  if .value.type == "string" then
      "\(.key) = \"\(.value.value)\""
  else
      "\(.key) = \(.value.value | tojson)"
  end
) | .[]' raw_output.json > $REPO_NAME-outputs.tfvars

# Upload reformed outputs file to Amazon S3 terraform artifacts bucket (For retrieval from other repositories)
aws s3 cp $REPO_NAME-outputs.tfvars s3://$S3_TERRAFORM_ARTIFACTS_BUCKET_NAME/$REPO_NAME-outputs.tfvars
rm -f raw_output.json
rm -f $REPO_NAME-outputs.tfvars

Laden Sie CSV-Beispieldateien hoch.

Gehen Sie wie folgt vor, um CSV-Beispieldateien für die Datensätze hochzuladen:

AWS Supply Chain Zugriff einrichten.

Gehen Sie wie folgt vor AWS-Managementkonsole, um den AWS Supply Chain Zugriff von der aus einzurichten:

Löst den Workflow zur Zerstörung von Ressourcen für Integrationsflüsse aus.

Lösen Sie den Zerstörungsworkflow ASC-Integration-Flows von Ihrer Deployment-Abteilung in Ihrer GitHub Organisation aus.

Löst den Workflow zur Zerstörung von Datensatz-Ressourcen aus.

Lösen Sie den Löschen-Workflow ASC-Datasets von Ihrer Deployment-Abteilung in Ihrer GitHub Organisation aus.

Navigieren Sie zum terraform-deployment Verzeichnis .

Führen Sie den folgenden Befehl ausASC-Integration-Flows, um zum terraform-deployment Verzeichnis von zu wechseln:

cd ASC-Integration-Flows/terraform-deployment

Richten Sie das Terraform-Backend und die Provider-Konfiguration ein.

Verwenden Sie das folgende Skript, um das Terraform-Backend und die Provider-Konfiguration einzurichten:

# Setup terraform backend and providers config if they don't exist
chmod +x ../scripts/generate-terraform-config.sh
../scripts/generate-terraform-config.sh

Generieren Sie einen Plan zur Zerstörung der Infrastruktur.

Führen Sie die folgenden Befehle aus, um sich auf die kontrollierte Zerstörung Ihrer AWS Infrastruktur vorzubereiten, indem Sie einen detaillierten Plan zum Abbau Ihrer Infrastruktur erstellen. Der Prozess initialisiert Terraform, integriert AWS Supply Chain Datensatzkonfigurationen und erstellt einen Zerstörungsplan, den Sie vor der Ausführung überprüfen können.

# Run terraform init and validate
terraform init
terraform validate

# Download and merge ASC DATASET tfvars
chmod +x ../scripts/download-vars-through-s3.sh
../scripts/download-vars-through-s3.sh $ASC_DATASET_VARS_REPO

# Run terraform plan
terraform plan -destroy\
-var-file="tfInputs/$ENVIRONMENT.tfvars" \
-var="project_name=$PROJECT_NAME" \
-var="environment=$ENVIRONMENT" \
-var="lambda_temp_dir=$LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM" \
-var="layer_temp_dir=$LAMBDA_LAYER_TEMP_DIR_TERRAFORM" \
-parallelism=40 \
-out='tfplan.out'

Führen Sie den Plan zur Zerstörung der Infrastruktur aus.

Führen Sie den folgenden Befehl aus, um die geplante Zerstörung Ihrer Infrastruktur auszuführen:

# Run terraform apply
terraform apply tfplan.out

Entfernen Sie Terraform-Ausgaben aus dem Amazon S3 S3-Bucket.

Führen Sie den folgenden Befehl aus, um die Ausgabedatei zu entfernenASC-Integration-Flows, die während der Bereitstellung von hochgeladen wurde:

# Delete the outputs file
aws s3 rm s3://$S3_TERRAFORM_ARTIFACTS_BUCKET_NAME/$REPO_NAME-outputs.tfvars

Navigieren Sie zum terraform-deployment Verzeichnis .

Führen Sie den folgenden Befehl ausASC-Datasets, um zum terraform-deployment Verzeichnis von zu wechseln:

cd ASC-Datasets/terraform-deployment

Richten Sie das Terraform-Backend und die Provider-Konfiguration ein.

Verwenden Sie das folgende Skript, um das Terraform-Backend und die Provider-Konfiguration einzurichten:

# Setup terraform backend and providers config if they don't exist
chmod +x ../scripts/generate-terraform-config.sh
../scripts/generate-terraform-config.sh

Generieren Sie einen Plan zur Zerstörung der Infrastruktur.

Führen Sie die folgenden Befehle aus, um einen Plan für die Zerstörung von AWS Supply Chain Datensatzressourcen zu erstellen:

# Run terraform init and validate
terraform init
terraform validate

# Run terraform plan
terraform plan -destroy\
-var-file="tfInputs/$ENVIRONMENT.tfvars" \
-var="project_name=$PROJECT_NAME" \
-var="environment=$ENVIRONMENT" \
-var="user_role=$AWS_USER_ROLE" \
-var="lambda_temp_dir=$LAMBDA_FUNCTION_TEMP_DIR_TERRAFORM" \
-var="layer_temp_dir=$LAMBDA_LAYER_TEMP_DIR_TERRAFORM" \
-parallelism=40 \
-out='tfplan.out'

Leere Amazon S3 S3-Buckets.

Verwenden Sie das folgende Skript, um alle Amazon S3 S3-Buckets zu leeren (mit Ausnahme des Serverzugriffs-Logging-Buckets, für den konfiguriert istforce-destroy):

# Delete S3 buckets excluding server access logging bucket
chmod +x ../scripts/empty-s3-buckets.sh
../scripts/empty-s3-buckets.sh tfplan.out

Führen Sie den Plan zur Zerstörung der Infrastruktur aus.

Führen Sie den folgenden Befehl aus, um die geplante Zerstörung Ihrer AWS Supply Chain Datensatz-Infrastruktur mithilfe des generierten Plans auszuführen:

# Run terraform apply
terraform apply tfplan.out

Entfernen Sie Terraform-Ausgaben aus dem Amazon S3 S3-Bucket für Terraform-Artefakte.

Um den Bereinigungsprozess abzuschließen, entfernen Sie die Ausgabedatei, die während der Bereitstellung von hochgeladen wurde, ASC-Datasets indem Sie den folgenden Befehl ausführen:

# Delete the outputs file
aws s3 rm s3://$S3_TERRAFORM_ARTIFACTS_BUCKET_NAME/$REPO_NAME-outputs.tfvars