View a markdown version of this page

SageMaker HyperPod Eventos do cluster Slurm - SageMaker IA da Amazon
Pré-requisitosTipos de eventosVisualizando eventos no consoleListando eventos usando o AWS CLIDescrever um evento específicoAutomatizando respostas com a Amazon EventBridgeTópicos relacionados

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

SageMaker HyperPod Eventos do cluster Slurm

A Amazon SageMaker HyperPod emite eventos de cluster estruturados que fornecem visibilidade das mudanças operacionais no nível do cluster, do grupo de instâncias e da instância. Você pode usar esses eventos para monitorar a atividade de provisionamento, rastrear operações de escalabilidade, detectar falhas e criar canais de alerta automatizados.

Os eventos de cluster estão disponíveis para clusters do HyperPod Slurm com NodeProvisioningMode definido como. Continuous Os eventos podem ser acessados por meio das DescribeClusterEvent APIs ListClusterEvents e, do console de SageMaker IA e da Amazon EventBridge.

Para obter o esquema completo do evento, os níveis de gravidade, o catálogo completo de eventos e os detalhes da EventBridge integração, consulteSageMaker HyperPod referência de eventos de cluster.

Pré-requisitos

  • Seu cluster HyperPod Slurm deve ter sido NodeProvisioningMode configurado como. Continuous Os clusters que usam o modo de provisionamento legado não emitem eventos estruturados.

  • Para usar a API, você precisa sagemaker:ListClusterEvents de sagemaker:DescribeClusterEvent permissões em sua política do IAM.

Tipos de eventos

HyperPod emite duas categorias de eventos para clusters do Slurm em provisionamento contínuo: eventos comuns que se aplicam a todos os orquestradores e eventos. Slurm-specific

Eventos comuns abrangem as principais operações de infraestrutura, como provisionamento e encerramento de instâncias, escalabilidade de grupos de instâncias, tratamento de reservas de capacidade, execução de scripts de ciclo de vida, gerenciamento de ENI, ciclo de vida do sistema de arquivos FSx e fluxos de trabalho de patches. Para ver a lista completa, consulte Eventos comuns (EKS e Slurm) na referência de eventos do HyperPod cluster.

Slurm-specific os eventos abrangem operações específicas do orquestrador, como validação de parâmetros de provisionamento, criação de chaves munge, detecção de desvios na configuração do Slurm, reconfiguração do Slurm e reversão do cluster. Esses eventos fornecem visibilidade dos estágios Slurm-specific do ciclo de vida que antes só eram observáveis por meio de registros. CloudWatch Para ver a lista completa, consulte Slurm-specific eventos na referência de eventos do HyperPod cluster.

Visualizando eventos no console

  1. Abra o console de SageMaker IA.

  2. No painel de navegação esquerdo, escolha HyperPodclusters.

  3. Escolha o nome do seu cluster.

  4. Escolha a guia Eventos.

A guia Eventos exibe uma lista paginada de eventos com colunas para nível do evento, ID do evento, nome do recurso, tipo de recurso, descrição e horário do evento. Você pode filtrar eventos por atributo usando a caixa de pesquisa, classificar por horário do evento e escolher uma ID do evento para ver os detalhes completos do evento, incluindo os metadados do evento e o registro completo do evento.

Listando eventos usando o AWS CLI

Use o list-cluster-events comando para recuperar eventos para seu cluster:

aws sagemaker list-cluster-events \
    --cluster-name my-slurm-cluster \
    --sort-by EventTime \
    --sort-order Descending \
    --max-results 20

Você pode restringir os resultados usando os seguintes filtros:

  • --resource-type— filtrar por ClusterInstanceGroup, ouInstance.

  • --instance-group-name— filtre os eventos de um grupo de instâncias específico.

  • --node-id— filtre os eventos de uma instância específica do EC2.

  • --event-time-aftere --event-time-before — filtre para uma janela de tempo específica.

Por exemplo, para ver somente eventos em nível de grupo de instâncias para um grupo de instâncias específico:

aws sagemaker list-cluster-events \
    --cluster-name my-slurm-cluster \
    --resource-type InstanceGroup \
    --instance-group-name gpu-workers

Descrever um evento específico

Use o describe-cluster-event comando com um ID de evento da saída da lista para recuperar detalhes completos do evento, incluindoEventLevel,Description, eEventMetadata:

aws sagemaker describe-cluster-event \
    --cluster-name my-slurm-cluster \
    --event-id 83ea0bb5-be77-45e8-a458-0a87f778a205

Para ver a estrutura do registro de eventos retornado e uma descrição de cada campo, consulte Registro de eventos de cluster na referência de eventos do HyperPod cluster.

Automatizando respostas com a Amazon EventBridge

HyperPod os eventos de cluster são enviados automaticamente para a Amazon EventBridge sob o tipo de detalheSageMaker HyperPod Cluster Event, permitindo que você roteie eventos para destinos como Lambda, Amazon SNS, Step Functions ou Amazon SQS. Você pode filtrar no EventLevel campo para acionar alertas somente para Error eventos ou filtrar por ARN do cluster para definir as regras de escopo para um cluster específico.

Para padrões de EventBridge eventos, exemplos de carga útil e os tipos relacionados SageMaker HyperPod Cluster State Change e SageMaker HyperPod Cluster Node Health Event detalhados, consulte a referência EventBridge integração de eventos de HyperPod cluster.