Reparación automática de la GPU para instancias administradas de Amazon ECS

Amazon ECS supervisa el estado de la GPU de NVIDIA en las instancias administradas de Amazon ECS que utilizan el hardware de la GPU. Cuando Amazon ECS detecta un fallo en el hardware de la GPU, puede sustituir automáticamente la instancia deteriorada. La reparación automática de la GPU está habilitada de forma predeterminada en las instancias administradas de Amazon ECS.

Funcionamiento

Amazon ECS utiliza el administrador de GPU para centros de datos (DCGM) de NVIDIA para supervisar el estado de la GPU de NVIDIA en instancias administradas que tienen hardware de la GPU. Cuando el DCGM informa un fallo crítico de la GPU, Amazon ECS marca la instancia como deteriorada.

Cuando la reparación automática de la GPU está habilitada, Amazon ECS sustituye la instancia deteriorada mediante un flujo de trabajo de inicio antes de la detención:

Amazon ECS limita la velocidad de las acciones de reparación para evitar los reemplazos en cascada. No se pueden vaciar más del 20 % de las instancias que pertenecen al proveedor de capacidad a la vez. Si hay menos de 9 instancias en el proveedor de capacidad, se vacía como máximo una instancia a la vez.

Supervisión del estado de la GPU

Puede usar la API de DescribeContainerInstances para comprobar el estado de la GPU. Para obtener más información, consulte Supervisión del estado de la instancia de contenedor de Amazon ECS. También puede supervisar los cambios en el estado de la GPU a través de Eventos de cambio de estado de la instancia de contenedor de Amazon ECS.

Códigos de error XID supervisados

Amazon ECS supervisa los siguientes códigos de error Xid de NVIDIA. Si Amazon ECS detecta alguno de estos errores, marca la instancia como deteriorada y la reemplaza.

Para obtener más información sobre los errores de XID, consulte Errores de Xid en la documentación sobre la implementación y administración de las GPU de NVIDIA. Para obtener más información sobre los mensajes XID individuales, consulte Comprensión de los mensajes Xid en la documentación sobre implementación y administración de GPU de NVIDIA.

Deshabilitación de la reparación automática

La reparación automática de la GPU está habilitada de forma predeterminada en las instancias administradas de Amazon ECS. Para deshabilitar la reparación automática de la GPU, configure el actionsStatus como DISABLED en autoRepairConfiguration cuando cree o actualice un proveedor de capacidad. También puede deshabilitar la reparación automática de la GPU en la consola de Amazon ECS cuando cree o actualice un proveedor de capacidad.

Cuando la reparación automática de la GPU está deshabilitada, Amazon ECS sigue supervisando el estado de la GPU, pero no reemplaza automáticamente las instancias deterioradas.

Cómo deshabilitar la reparación automática de la GPU

aws ecs update-capacity-provider \
    --name my-gpu-capacity-provider \
    --managed-instances-provider '{
        "infrastructureRoleArn": "arn:aws:iam::111122223333:role/ecsInfrastructureRole",
        "instanceLaunchTemplate": {
            "ec2InstanceProfileArn": "arn:aws:iam::111122223333:instance-profile/ecsInstanceRole",
            "networkConfiguration": {
                "subnets": ["subnet-0123456789abcdef0"],
                "securityGroups": ["sg-0123456789abcdef0"]
            }
        },
        "autoRepairConfiguration": {
            "actionsStatus": "DISABLED"
        }
    }'

Cómo habilitar la reparación automática de la GPU

aws ecs update-capacity-provider \
    --name my-gpu-capacity-provider \
    --managed-instances-provider '{
        "infrastructureRoleArn": "arn:aws:iam::111122223333:role/ecsInfrastructureRole",
        "instanceLaunchTemplate": {
            "ec2InstanceProfileArn": "arn:aws:iam::111122223333:instance-profile/ecsInstanceRole",
            "networkConfiguration": {
                "subnets": ["subnet-0123456789abcdef0"],
                "securityGroups": ["sg-0123456789abcdef0"]
            }
        },
        "autoRepairConfiguration": {
            "actionsStatus": "ENABLED"
        }
    }'

Cómo verificar la configuración

aws ecs describe-capacity-providers \
    --capacity-providers my-gpu-capacity-provider