Detecta automáticamente los cambios e inicia diferentes CodePipeline canalizaciones para un monorepo en CodeCommit - Recomendaciones de AWS
ResumenRequisitos previos y limitacionesArquitecturaTools (Herramientas)Prácticas recomendadasEpicsResolución de problemasRecursos relacionados

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Detecta automáticamente los cambios e inicia diferentes CodePipeline canalizaciones para un monorepo en CodeCommit

Helton Ribeiro, Petrus Batalha y Ricardo Morais, Amazon Web Services

Resumen

Aviso: ya no AWS Cloud9 está disponible para nuevos clientes. Los clientes actuales de AWS Cloud9 pueden seguir utilizando el servicio con normalidad. Más información

Este patrón le ayuda a detectar automáticamente los cambios en el código fuente de una aplicación basada en monorepo AWS CodeCommit y, a continuación, a iniciar una canalización AWS CodePipeline que ejecute la integración continua y la entrega continuas (CI/CD) automation for each microservice. This approach means that each microservice in your monorepo-based application can have a dedicated CI/CDcanalización), lo que garantiza una mejor visibilidad, un intercambio más sencillo del código y una mejor colaboración, estandarización y capacidad de descubrimiento.

La solución descrita en este patrón no realiza ningún análisis de dependencia entre los microservicios del monorepo. Solo detecta los cambios en el código fuente e inicia la canalización correspondiente. CI/CD

El patrón AWS Cloud9 se utiliza como entorno de desarrollo integrado (IDE) y AWS Cloud Development Kit (AWS CDK) para definir una infraestructura mediante dos CloudFormation pilas: MonoRepoStack y. PipelinesStack La MonoRepoStack pila crea la entrada monorepo AWS CodeCommit y la AWS Lambda función que inicia las canalizaciones. CI/CD La pila PipelinesStack define su infraestructura de canalizaciones.

importante

El flujo de trabajo de este patrón es una prueba de concepto (PoC). Le recomendamos que utilice esta opción solo en un entorno de prueba. Si desea utilizar el enfoque de este patrón en un entorno de producción, consulte las prácticas recomendadas de seguridad en IAM en la documentación AWS Identity and Access Management (IAM) y realice los cambios necesarios en sus funciones de IAM y. Servicios de AWS 

Requisitos previos y limitaciones

Requisitos previos 

Arquitectura

El siguiente diagrama muestra cómo usar el AWS CDK para definir una infraestructura con dos AWS CloudFormation pilas: y. MonoRepoStack PipelinesStack

Flujo de trabajo para usar la AWS CDK para definir una infraestructura con dos CloudFormation pilas.

En el diagrama, se muestra el siguiente flujo de trabajo:

  1. El proceso de arranque utiliza el AWS CDK para crear las AWS CloudFormation pilas y. MonoRepoStack PipelinesStack

  2. La MonoRepoStack pila crea el CodeCommit repositorio para la aplicación y la función monorepo-event-handler Lambda que se inicia después de cada confirmación.

  3. La PipelinesStack pila crea las canalizaciones CodePipeline iniciadas por la función Lambda. Cada microservicio debe tener una canalización de infraestructura definida.

  4. La canalización para microservice-n la inicia la función Lambda e inicia sus CI/CD etapas aisladas que se basan en el código fuente de. CodeCommit

  5. La canalización para microservice-1 la inicia la función Lambda e inicia sus CI/CD etapas aisladas que se basan en el código fuente de. CodeCommit

El siguiente diagrama muestra el despliegue de las AWS CloudFormation pilas MonoRepoStack y PipelinesStack en una cuenta.

Implementación de las CloudFormation pilas MonoRepoStack y PipelinesStack en una cuenta de AWS.

  1. Un usuario cambia el código de uno de los microservicios de la aplicación.

  2. El usuario envía los cambios de un repositorio local a un CodeCommit repositorio.

  3. La actividad de envío inicia la función Lambda que recibe todos los envíos al repositorio. CodeCommit

  4. La función de Lambda lee un parámetro en el Almacén de parámetros, una capacidad de AWS Systems Manager, para recuperar el ID de confirmación más reciente. El parámetro tiene el formato de denominación:. /MonoRepoTrigger/{repository}/{branch_name}/LastCommit Si no se encuentra el parámetro, la función Lambda lee el último ID de confirmación del CodeCommit repositorio y guarda el valor devuelto en el almacén de parámetros.

  5. Tras identificar el ID de confirmación y los archivos modificados, la función Lambda identifica las canalizaciones de cada directorio de microservicios e inicia la canalización requerida. CodePipeline

Tools (Herramientas)

  • AWS Cloud Development Kit (AWS CDK)es un marco de desarrollo de software para definir la infraestructura de nube en código y aprovisionarla mediante ella. CloudFormation

  • Python es un lenguaje de programación que le permite trabajar rápidamente e integrar sistemas de manera más eficaz.

Código

El código fuente y las plantillas de este patrón están disponibles en el GitHub AWS CodeCommit repositorio multipipeline triggers de monorepo.

Prácticas recomendadas

Epics

TareaDescripciónHabilidades requeridas

Cree un entorno virtual de Python.

En su AWS Cloud9 IDE, cree un entorno virtual de Python e instale las dependencias necesarias ejecutando el siguiente comando:

make install

Desarrollador

Arranca el Cuenta de AWS y Región de AWS para. AWS CDK

Inicie la región Cuenta de AWS y requerida ejecutando el siguiente comando:

make bootstrap account-id=<your-AWS-account-ID> region=<required-region>

Desarrollador
TareaDescripciónHabilidades requeridas

Añada su código de muestra al directorio de su aplicación.

Añada el directorio que contiene el código de la aplicación de muestra al monorepo-sample directorio del repositorio clonado de GitHub AWS CodeCommit monorepo multi-pipeline triggers.

Desarrollador

Edite el archivo monorepo-main.json.

Añada el nombre del directorio del código de la aplicación y el nombre de la canalización al archivo monorepo-main.json del repositorio clonado .

Desarrollador

Cree la canalización.

En el directorio Pipelines del repositorio , añada la canalización class de su aplicación. El directorio contiene dos archivos de ejemplo, pipeline_hotsite.py y pipeline_demo.py. Cada archivo tiene tres etapas: código fuente, compilación e implementación.

Puede copiar uno de los archivos y modificarlo según los requisitos de su aplicación. 

Desarrollador

Edite el archivo monorepo_config.py.

En service_map, añada el nombre del directorio de su aplicación y la clase que creó para la canalización.

Por ejemplo, en el siguiente código, se muestra una definición de canalización en el directorio Pipelines que usa un archivo llamado pipeline_mysample.py con una clase MySamplePipeline:

...
# Pipeline definition imports
from pipelines.pipeline_demo import DemoPipeline
from pipelines.pipeline_hotsite import HotsitePipeline
from pipelines.pipeline_mysample import MySamplePipeline

### Add your pipeline configuration here
service_map: Dict[str, ServicePipeline]  = {
    # folder-name -> pipeline-class
    'demo': DemoPipeline(),
    'hotsite': HotsitePipeline(),
    'mysample': MySamplePipeline()
}
Desarrollador
TareaDescripciónHabilidades requeridas

Despliegue la AWS CloudFormation pila.

Ejecute el make deploy-core comando para implementar la AWS CloudFormation MonoRepoStack pila con los valores de los parámetros predeterminados en el directorio raíz del repositorio clonado.

Puede cambiar el nombre del repositorio si ejecuta el comando make deploy-core monorepo-name=<repo_name>.

nota

Puede implementar ambas canalizaciones simultáneamente mediante el comando make deploy monorepo-name=<repo_name>.

Desarrollador

Valide el CodeCommit repositorio.

Valide si sus recursos se crearon mediante la ejecución del comando aws codecommit get-repository --repository-name <repo_name>.

importante

Como la CloudFormation pila crea el CodeCommit repositorio en el que se almacena el monorepo, no ejecute el cdk destroy MonoRepoStack  comando si ha empezado a introducir modificaciones en él.

Desarrollador

Valide los resultados de la CloudFormation pila.

Valide que la CloudFormation MonoRepoStack pila se haya creado y configurado correctamente ejecutando el siguiente comando:

aws cloudformation list-stacks --stack-status-filter CREATE_COMPLETE --query 'StackSummaries[?StackName == 'MonoRepoStack']'
Desarrollador
TareaDescripciónHabilidades requeridas

Despliegue la CloudFormation pila.

La AWS CloudFormation PipelinesStack pila debe desplegarse después de MonoRepoStack desplegarla. La pila aumenta de tamaño cuando se añaden nuevos microservicios al código base del monorepo y se vuelve a implementar cuando se incorpora un nuevo microservicio.

Implemente la PipelinesStack pila ejecutando el make deploy-pipelines comando.

nota

También puede ejecutar el comando make deploy monorepo-name=<repo_name> para implementar simultáneamente ambas canalizaciones.

El siguiente ejemplo de resultado muestra cómo la PipelinesStacks implementación imprime URLs los microservicios al final de la implementación:

Outputs:
PipelinesStack.demourl = .cloudfront.net
PipelinesStack.hotsiteurl = .cloudfront.net
Desarrollador

Valide los resultados de la AWS CloudFormation pila.

Valide que la AWS CloudFormation PipelinesStacks pila se haya creado y configurado correctamente ejecutando el siguiente comando:

aws cloudformation list-stacks --stack-status-filter CREATE_COMPLETE UPDATE_COMPLETE --query 'StackSummaries[?StackName == 'PipelinesStack']'
Desarrollador
TareaDescripciónHabilidades requeridas

Elimina tus AWS CloudFormation pilas.

Ejecute el comando make destroy.

Desarrollador

Elimine los buckets de S3 para sus canalizaciones.

  1. Inicie sesión en la Consola de administración de AWS y abra la consola de Amazon Simple Storage Service (Amazon S3).

  2. Elimine los buckets de S3 asociados a sus canalizaciones y que tengan el siguiente nombre: pipelinesstack-codepipeline*.

Desarrollador

Resolución de problemas

ProblemaSolución

He encontrado AWS CDK problemas.

Consulte Solución de AWS CDK problemas comunes en la documentación de AWS CDK.

Inserté mi código de microservicio, pero la canalización de microservicios no funcionó.

Validación de la configuración

Verifique la configuración de la rama:

  • Asegúrese de que envía su código a la rama correcta. Esta canalización está configurada para que se ejecute solo cuando se realicen cambios en la rama de main. Los envíos a otras ramas no inician la canalización a menos que estén configurados específicamente para ello.

  • Después de insertar el código, compruebe si la confirmación está visible AWS CodeCommit para asegurarse de que la inserción se ha realizado correctamente y de que la conexión entre su entorno local y el repositorio está intacta. Actualice sus credenciales si hay problemas al insertar el código.

Valide los archivos de configuración:

  • Confirme que la variable service_map en monorepo_config.py refleja con precisión la estructura de directorios actual de sus microservicios. Esta variable desempeña un papel crucial a la hora de asignar la inserción del código en la canalización correspondiente.

  • Asegúrese de que monorepo-main.json esté actualizado para incluir la nueva asignación en su microservicio. Este archivo es esencial para que la canalización reconozca y gestione correctamente los cambios en el microservicio.

Solución de problemas en la consola

AWS CodePipeline comprueba:

  • En el Consola de administración de AWS, confirma que estás en el Región de AWS lugar donde está alojada tu canalización. Abre la CodePipeline consola y comprueba si se ha iniciado la canalización correspondiente a tu microservicio.

    Análisis de errores: si la canalización se inició pero falló, revise los mensajes de error o los registros proporcionados por usted CodePipeline para saber qué ha fallado.

AWS Lambda solución de problemas:

  • En la consola de AWS Lambda, abra la función de Lambda monorepo-event-handler. Compruebe que la función se haya iniciado en respuesta a la inserción del código.

    Análisis de registros: examine los registros de la función de Lambda para detectar cualquier problema. Los registros pueden proporcionar información detallada sobre lo que ocurrió cuando se ejecutó la función y lo ayudarán a identificar si la función procesó el evento según lo esperado.

Necesito volver a implementar todos mis microservicios.

Existen dos métodos para volver a implementar todos los microservicios. Seleccione la opción que mejor se adapte a sus necesidades.

Método 1: Eliminar un parámetro del almacén de parámetros

Este método implica eliminar un parámetro específico del almacén de parámetros de Systems Manager que rastrea el último ID de confirmaciónq que se usó para la implementación. Al eliminar este parámetro, el sistema se ve obligado a volver a implementar todos los microservicios en el siguiente desencadenador, ya que lo percibe como un estado nuevo.

Pasos:

  1. Busque la entrada específica del almacén de parámetros que contiene el ID de confirmación o un marcador de implementación relacionado con el monorepo. El formato del nombre del parámetro es el siguiente: "/MonoRepoTrigger/{repository}/{branch_name}/LastCommit".

  2. Puede hacer una copia de seguridad del valor del parámetro si es indispensable o si desea mantener un registro del estado de la implementación antes de restablecerlo.

  3. Utilice las Consola de administración de AWS teclas AWS CLI, o SDKs para eliminar el parámetro identificado. Esta acción restablece el marcador de implementación.

  4. Tras la eliminación, la siguiente inserción en el repositorio debería provocar que el sistema implemente todos los microservicios, ya que buscará la última confirmación que indique la implementación.

Ventajas:

  • Esto es sencillo y rápido de implementar con unos pasos mínimos.

  • No es necesario realizar cambios arbitrarios en el código para iniciar las implementaciones.

Desventajas:

  • Control menos detallado sobre el proceso de implementación.

  • Potencialmente arriesgado si el almacén de parámetros se utiliza para gestionar otras configuraciones críticas.

Método 2: Insertar una confirmación en cada subcarpeta de monorepo

Este método implica realizar un cambio menor e insertarlo en cada subcarpeta de microservicios del monorepo para iniciar sus canalizaciones individuales.

Pasos:

  1. Enumere todos los microservicios del monorepo que necesitan ser redistribuidos.

  2. En cada microservicio, realice un cambio mínimo y que no afecte a la subcarpeta. Esto puede consistir en actualizar un archivo README, añadir un comentario en un archivo de configuración o realizar cualquier cambio que no afecte a la funcionalidad del servicio.

  3. Confirme estos cambios con un mensaje claro (como “Iniciar la nueva implementación de los microservicios”) y envíelos al repositorio. Asegúrese de enviar los cambios a la rama que inicia la implementación.

  4. Supervise las canalizaciones de cada microservicio para confirmar que se han iniciado y completado correctamente.

Ventajas:

  • Proporciona un control detallado sobre los microservicios que se vuelven a implementar.

  • Es más seguro porque no implica eliminar los parámetros de configuración que podrían usarse para otros fines.

Desventajas:

  • Consume más tiempo, especialmente si se trabaja con una gran cantidad de microservicios.

  • Requiere realizar cambios de código innecesarios que podrían saturar el historial de confirmaciones.

Recursos relacionados