As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Governança de tarefas para implantação de modelos em HyperPod

Esta seção aborda como otimizar seus clusters compartilhados do Amazon SageMaker HyperPod EKS para cargas de trabalho de inferência em tempo real. Você aprenderá a configurar os recursos de governança de tarefas do Kueue, como gerenciamento de cotas, agendamento prioritário e políticas de compartilhamento de recursos, para garantir que suas workloads de inferência recebam os recursos de GPU de que precisam durante picos de tráfego, mantendo uma alocação justa nas atividades de treinamento, avaliação e teste de suas equipes. Para ter mais informações gerais sobre governança de tarefas, consulte SageMaker HyperPod governança de tarefas.

Como funciona o gerenciamento de workloads de inferência

Para gerenciar com eficácia os picos de tráfego de inferência em tempo real em clusters HyperPod EKS compartilhados, implemente as seguintes estratégias de governança de tarefas usando os recursos existentes da Kueue.

Configuração de classes prioritárias

Defina classes prioritárias dedicadas a workloads de inferência com pesos altos (como 100) para garantir que os pods de inferência sejam admitidos e programados antes de outros tipos de tarefa. Essa configuração permite que as workloads de inferência impeçam trabalhos de menor prioridade durante a carga do cluster, o que é essencial para manter os requisitos de baixa latência durante picos de tráfego.

Dimensionamento e alocação de cotas

Reserve recursos de GPU suficientes na ClusterQueue de sua equipe para lidar com os picos de inferência esperados. Durante períodos de baixo tráfego de inferência, os recursos com cota não utilizada podem ser alocados temporariamente a tarefas de outras equipes. Quando a demanda de inferência aumenta, esses recursos tomados emprestados podem ser recuperados para priorizar os pods de inferência pendentes. Para ter mais informações, consulte Cluster Queue.

Estratégias de compartilhamento de recursos

Escolha entre duas abordagens de compartilhamento de cotas com base em seus requisitos:

Intra-Team Preempção

Habilite a preempção dentro da equipe ao executar workloads mistas (avaliação, treinamento e inferência) sob a mesma cota. Isso permite que a Kueue antecipe trabalhos de baixa prioridade em sua equipe para acomodar pods de inferência de alta prioridade, garantindo que a inferência em tempo real possa ser executada sem depender do empréstimo de cotas externas. Para ter mais informações, consulte Preempção.

Exemplo de configuração de workload de inferência

O exemplo a seguir mostra como a Kueue gerencia os recursos de GPU em um cluster compartilhado da Amazon. SageMaker HyperPod

Configuração de clusters e configuração de políticas

Seu cluster tem a seguinte configuração:

O grupo compartilhado de GPU usa esta política de prioridade:

O Kueue impõe cotas de equipe e classes prioritárias, com as opções de preempção e tomada de cotas emprestadas habilitadas.

Estado inicial: utilização normal do cluster

Em operações normais:

Aumento de inferência: a Equipe B precisa de mais GPUs.

Quando a Equipe B experimenta um pico de tráfego, os pods de inferência adicionais exigem mais 5 GPUs P4. O Kueue detecta que os novos pods:

O processo de resposta do Kueue escolhe entre duas opções:

Opção 1 (tomar cotas emprestadas): se a Equipe A usar apenas seis de suas dez P4s, o Kueue poderá admitir os pods da Equipe B usando as quatro P4s ociosas. No entanto, esses recursos tomados emprestados podem sofrer preempção. Se a Equipe A enviar trabalhos para atingir sua cota total, o Kueue removerá os pods de inferência tomados emprestados pela Equipe B.

Opção 2: Self-preemption (Recomendado) - A equipe B executa trabalhos de avaliação de baixa prioridade (prioridade 50). Quando os pods de inferência de alta prioridade estão aguardando, o Kueue impede os trabalhos de avaliação dentro da cota da Equipe B e admite os pods de inferência. Essa abordagem oferece uma alocação segura de recursos sem risco de remoção externa.

O Kueue segue um processo de três etapas para alocar recursos:

Configurando a governança de tarefas para cargas de trabalho de inferência

Para integrar suas cargas de trabalho de inferência com o Kueue, adicione rótulos de governança de tarefas ao seu CRD ou ao seu CRD. InferenceEndpointConfig JumpStartModel Esses rótulos determinam quem LocalQueue recebe a carga de trabalho para o gerenciamento de cotas e definem a prioridade de agendamento usada nas decisões de preempção. As seções a seguir abordam os pré-requisitos, o escopo dos recursos, a configuração de rótulos e as etapas de verificação.

Pré-requisitos

Antes de configurar a governança de tarefas para cargas de trabalho de inferência, verifique se os seguintes recursos existem em seu cluster: HyperPod

Para verificar se esses recursos estão disponíveis, execute os seguintes comandos:

# Verify Kueue is installed
kubectl get crd | grep kueue

# List available PriorityClasses
kubectl get priorityclass

# List ClusterQueues
kubectl get clusterqueue

# List LocalQueues in your namespace
kubectl get localqueue -n <your-namespace>

Entendendo o escopo dos recursos

Os recursos de governança de tarefas têm escopos diferentes que afetam a forma como você configura seus rótulos de implantação de inferência.

O kueue.x-k8s.io/queue-name rótulo deve fazer referência a um LocalQueue que exista no mesmo namespace que seu InferenceEndpointConfig ou. JumpStartModel Se nenhuma correspondência LocalQueue for encontrada nesse namespace, a carga de trabalho não será admitida pela Kueue.

ClusterQueue, ResourceFlavor, e PriorityClass têm escopo de cluster e podem ser acessados a partir de qualquer namespace.

Para verificar o escopo dos recursos em seu cluster:

kubectl api-resources | grep kueue

Adicionar rótulos de governança de tarefas

Para habilitar a governança de tarefas para sua implantação de inferência, adicione os seguintes rótulos à metadata seção do seu InferenceEndpointConfig ou do JumpStartModel CRD:

metadata:
  name: <your-deployment-name>
  namespace: <your-namespace>
  labels:
    kueue.x-k8s.io/queue-name: <your-localqueue-name>
    kueue.x-k8s.io/priority-class: <your-priority-class>

Descrições da etiqueta:

Verificando a configuração da governança de tarefas

Depois de aplicar seu InferenceEndpointConfig ou JumpStartModel com rótulos de governança de tarefas, verifique se Kueue admitiu que a carga de trabalho e se os pods estão sendo programados corretamente.

Se os pods permanecerem no Pending estado, determine se o problema está no nível de admissão do Kueue (mostra a carga de trabalhoAdmitted: False) ou no nível do agendador do Kubernetes (carga de trabalho admitida, mas o pod não programável).