As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
# SageMaker HyperPod Operações de cluster do Slurm
Esta seção fornece orientação sobre como gerenciar SageMaker HyperPod por meio da interface do usuário do console de SageMaker IA ou da AWS Command Line Interface (CLI). Você aprenderá a realizar várias tarefas relacionadas a SageMaker HyperPod, independentemente de preferir uma interface visual ou trabalhar com comandos.
**Topics**
+ [Gerenciando clusters do SageMaker HyperPod Slurm usando o console SageMaker](sagemaker-hyperpod-operate-slurm-console-ui.md)
+ [Gerenciando clusters SageMaker HyperPod do Slurm usando o AWS CLI](sagemaker-hyperpod-operate-slurm-cli-command.md)
# Gerenciando clusters do SageMaker HyperPod Slurm usando o console SageMaker
Os tópicos a seguir fornecem orientação sobre como gerenciar SageMaker HyperPod por meio da interface do usuário do console.
**Topics**
+ [Crie um SageMaker HyperPod cluster](#sagemaker-hyperpod-operate-slurm-console-ui-create-cluster)
+ [Navegue pelos seus SageMaker HyperPod clusters](#sagemaker-hyperpod-operate-slurm-console-ui-browse-clusters)
+ [Veja os detalhes de cada SageMaker HyperPod cluster](#sagemaker-hyperpod-operate-slurm-console-ui-view-details-of-clusters)
+ [Editar um SageMaker HyperPod cluster](#sagemaker-hyperpod-operate-slurm-console-ui-edit-clusters)
+ [Excluir um SageMaker HyperPod cluster](#sagemaker-hyperpod-operate-slurm-console-ui-delete-cluster)
## Crie um SageMaker HyperPod cluster
Veja as instruções em [Começando a SageMaker HyperPod usar o console de SageMaker IA](smcluster-getting-started-slurm-console.md) para criar um novo SageMaker HyperPod cluster por meio da interface do usuário do SageMaker HyperPod console.
## Navegue pelos seus SageMaker HyperPod clusters
Em **Clusters** no painel principal do SageMaker HyperPod console na página principal do SageMaker HyperPod console, todos os clusters criados devem aparecer listados na seção **Clusters**, que fornece uma visão resumida dos clusters ARNs, seus status e horário de criação.
## Veja os detalhes de cada SageMaker HyperPod cluster
Em **Clusters** na página principal do console, os **nomes dos clusters** são ativados como links. Escolha o link do nome do cluster para ver os detalhes de cada cluster.
## Editar um SageMaker HyperPod cluster
1. Em **Clusters** no painel principal do SageMaker HyperPod console, escolha o cluster que você deseja atualizar.
1. Selecione o cluster e escolha **Editar**.
1. Na página **Editar **, você pode editar as configurações dos grupos de instâncias existentes, adicionar ou excluir grupos de instâncias, bem como alterar as tags do cluster. Depois de fazer suas alterações, escolha **Avançar**.
1. Na seção **Configurar grupos de instâncias**, você pode adicionar grupos de instâncias escolhendo **Criar grupo de instâncias**.
1. Na seção **Configurar grupos de instâncias**, você pode escolher **Editar** para alterar sua configuração ou **Excluir** para remover o grupo de instâncias permanentemente.
**Importante**
Ao excluir um grupo de instâncias, considere os seguintes pontos:
Seu SageMaker HyperPod cluster deve sempre manter pelo menos um grupo de instâncias.
Garanta que todos os dados essenciais sejam copiados antes da remoção.
O processo de remoção não pode ser desfeito.
**nota**
A exclusão de um grupo de instâncias encerrará todos os recursos de computação associados a esse grupo.
1. Na seção **Marcações**, você pode atualizar as marcações do cluster.
## Excluir um SageMaker HyperPod cluster
1. Em **Clusters** no painel principal do SageMaker HyperPod console, escolha o cluster que você deseja excluir.
1. Selecione o cluster e escolha **Excluir**.
1. Na janela pop-up para exclusão do cluster, revise cuidadosamente as informações do cluster para confirmar se você escolheu o cluster certo para excluir.
1. Depois de analisar as informações do cluster, escolha **Sim, excluir cluster**.
1. Insira **delete** no campo de texto para confirmar a exclusão.
1. Escolha **Excluir** no canto inferior direito da janela pop-up para concluir o envio da solicitação de exclusão do cluster.
# Gerenciando clusters SageMaker HyperPod do Slurm usando o AWS CLI
Os tópicos a seguir fornecem orientação sobre como escrever arquivos de solicitação de SageMaker HyperPod API no formato JSON e executá-los usando os AWS CLI comandos.
**Topics**
+ [Criar um novo cluster](#sagemaker-hyperpod-operate-slurm-cli-command-create-cluster)
+ [Descrever um cluster](#sagemaker-hyperpod-operate-slurm-cli-command-describe-cluster)
+ [Listar detalhes dos nós do cluster](#sagemaker-hyperpod-operate-slurm-cli-command-list-cluster-nodes)
+ [Descrever detalhes de um nó de cluster](#sagemaker-hyperpod-operate-slurm-cli-command-describe-cluster-node)
+ [Listar clusters](#sagemaker-hyperpod-operate-slurm-cli-command-list-clusters)
+ [Atualizar a configuração do cluster](#sagemaker-hyperpod-operate-slurm-cli-command-update-cluster)
+ [Atualizar o software da SageMaker HyperPod plataforma de um cluster](#sagemaker-hyperpod-operate-slurm-cli-command-update-cluster-software)
+ [Reduzir a escala verticalmente do cluster](#sagemaker-hyperpod-operate-slurm-cli-command-scale-down)
+ [Excluir um cluster](#sagemaker-hyperpod-operate-slurm-cli-command-delete-cluster)
## Criar um novo cluster
1. Prepare scripts de configuração de ciclo de vida e faça upload deles em um bucket do S3, como `s3://sagemaker-amzn-s3-demo-bucket/lifecycle-script-directory/src/`. A etapa 2 a seguir pressupõe que há um script de ponto de entrada nomeado `on_create.sh` no bucket do S3 especificado.
**Importante**
Defina o caminho do S3 para começar com `s3://sagemaker-`. O [Função do IAM para SageMaker HyperPod](sagemaker-hyperpod-prerequisites-iam.md#sagemaker-hyperpod-prerequisites-iam-role-for-hyperpod) tem o gerenciado [https://docs.aws.amazon.com/sagemaker/latest/dg/security-iam-awsmanpol-cluster.html](https://docs.aws.amazon.com/sagemaker/latest/dg/security-iam-awsmanpol-cluster.html) anexado, que permite o acesso aos buckets do S3 com o prefixo específico `sagemaker-`.
1. Prepare um arquivo de solicitação de [CreateCluster](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateCluster.html)API no formato JSON. Você deve configurar grupos de instâncias para que correspondam ao cluster Slurm projetado no `provisioning_parameters.json` arquivo que será usado durante a criação do cluster como parte da execução de um conjunto de scripts de ciclo de vida. Para saber mais, consulte [Personalização de SageMaker HyperPod clusters usando scripts de ciclo de vida](sagemaker-hyperpod-lifecycle-best-practices-slurm.md). O seguinte modelo tem dois grupos de instâncias para atender ao requisito mínimo de um cluster Slurm: um nó controlador (principal) e um nó de computação (processamento). Para `ExecutionRole`, forneça o ARN do perfil do IAM que você criou com o `AmazonSageMakerClusterInstanceRolePolicy` gerenciado da seção [Função do IAM para SageMaker HyperPod](sagemaker-hyperpod-prerequisites-iam.md#sagemaker-hyperpod-prerequisites-iam-role-for-hyperpod).
```
// create_cluster.json
{
"ClusterName": "your-hyperpod-cluster",
"InstanceGroups": [
{
"InstanceGroupName": "controller-group",
"InstanceType": "ml.m5.xlarge",
"InstanceCount": 1,
"LifeCycleConfig": {
"SourceS3Uri": "s3://amzn-s3-demo-bucket-sagemaker/lifecycle-script-directory/src/",
"OnCreate": "on_create.sh"
},
"ExecutionRole": "arn:aws:iam::111122223333:role/iam-role-for-cluster",
// Optional: Configure an additional storage per instance group.
"InstanceStorageConfigs": [
{
// Attach an additional EBS volume to each instance within the instance group.
// The default mount path for the additional EBS volume is /opt/sagemaker.
"EbsVolumeConfig":{
// Specify an integer between 1 and 16384 in gigabytes (GB).
"VolumeSizeInGB": integer,
}
}
]
},
{
"InstanceGroupName": "worker-group-1",
"InstanceType": "ml.p4d.xlarge",
"InstanceCount": 1,
"LifeCycleConfig": {
"SourceS3Uri": "s3://amzn-s3-demo-bucket-sagemaker/lifecycle-script-directory/src/",
"OnCreate": "on_create.sh"
},
"ExecutionRole": "arn:aws:iam::111122223333:role/iam-role-for-cluster"
}
],
// Optional
"Tags": [
{
"Key": "string",
"Value": "string"
}
],
// Optional
"VpcConfig": {
"SecurityGroupIds": [ "string" ],
"Subnets": [ "string" ]
}
}
```
Dependendo de como você projeta a estrutura do cluster por meio de seus scripts de ciclo de vida, é possível configurar até 20 grupos de instâncias sob o parâmetro `InstanceGroups`.
Para o parâmetro de `Tags` solicitação, você pode adicionar tags personalizadas para gerenciar o SageMaker HyperPod cluster como um AWS recurso. Você pode adicionar tags ao seu cluster da mesma forma que as adiciona em outros AWS serviços que oferecem suporte à marcação. Para saber mais sobre a marcação de AWS recursos em geral, consulte o Guia [do usuário de AWS recursos de marcação](https://docs.aws.amazon.com/tag-editor/latest/userguide/tagging.html).
Para o parâmetro de solicitação `VpcConfig`, especifique as informações de uma VPC que deseja usar. Para obter mais informações, consulte [Configuração SageMaker HyperPod com uma Amazon VPC personalizada](sagemaker-hyperpod-prerequisites.md#sagemaker-hyperpod-prerequisites-optional-vpc).
1. Execute o comando [create-cluster](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/create-cluster.html) da seguinte maneira:
```
aws sagemaker create-cluster \
--cli-input-json file://complete/path/to/create_cluster.json
```
Isso deve retornar o ARN do novo cluster.
## Descrever um cluster
Execute [describe-cluster](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/describe-cluster.html) para verificar o status do cluster. Você pode especificar o nome ou o ARN do cluster.
```
aws sagemaker describe-cluster --cluster-name your-hyperpod-cluster
```
Depois que o status do cluster for alterado para **InService**, avance para a próxima etapa. Usando essa API, você também pode recuperar mensagens de falha da execução de outras operações de HyperPod API.
## Listar detalhes dos nós do cluster
Execute [list-cluster-nodes](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/list-cluster-nodes.html)para verificar as principais informações dos nós do cluster.
```
aws sagemaker list-cluster-nodes --cluster-name your-hyperpod-cluster
```
Isso retorna uma resposta e `InstanceId` é o que você precisa usar para fazer login (usar`aws ssm`) nelas.
## Descrever detalhes de um nó de cluster
Execute [describe-cluster-node](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/describe-cluster-node.html)para recuperar detalhes de um nó do cluster. Você pode obter o ID do nó do cluster na list-cluster-nodes saída. Você pode especificar o nome ou o ARN do cluster.
```
aws sagemaker describe-cluster-node \
--cluster-name your-hyperpod-cluster \
--node-id i-111222333444555aa
```
## Listar clusters
Execute [list-clusters](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/list-clusters.html) para listar todos os clusters em sua conta.
```
aws sagemaker list-clusters
```
Você também pode adicionar sinalizadores adicionais para filtrar a lista de clusters. Para saber mais sobre o que esse comando executa em baixo nível e sinalizadores adicionais para filtragem, consulte a referência da [ListClusters](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ListClusters.html)API.
## Atualizar a configuração do cluster
Execute [update-cluster](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/update-cluster.html) para atualizar a configuração de um cluster.
**nota**
Você pode usar a `UpdateCluster` API para reduzir ou remover grupos inteiros de instâncias do seu SageMaker HyperPod cluster. Para obter instruções adicionais sobre como reduzir a escala verticalmente de grupos de instâncias ou excluí-las, consulte [Reduzir a escala verticalmente do cluster](#sagemaker-hyperpod-operate-slurm-cli-command-scale-down).
1. Cria um arquivo de `UpdateCluster` solicitação no formato JSON. Certifique-se de especificar o nome correto do cluster e do grupo de instâncias a serem atualizados. Você pode alterar o tipo de instância, o número de instâncias, o script do ponto de entrada da configuração do ciclo de vida e o caminho para o script.
1. Para `ClusterName`, escolha o nome do cluster que deseja atualizar.
1. Para `InstanceGroupName`
1. Para atualizar um grupo de instâncias existente, especifique o nome do grupo de instâncias que você quer atualizar.
1. Para adicionar um novo grupo de instâncias, especifique um novo nome que não existe no seu cluster.
1. Para `InstanceType`
1. Para atualizar um grupo de instâncias existente, você precisa corresponder ao grupo o tipo de instância especificado inicialmente.
1. Para adicionar um novo grupo de instâncias, especifique o tipo de instância com o qual você quer configurar o grupo.
1. Para `InstanceCount`
1. Para atualizar um grupo de instâncias existente, especifique um número inteiro que corresponda ao número desejado de instâncias. Você pode fornecer um valor maior ou menor (até 0) para aumentar ou reduzir a escala verticalmente do grupo de instâncias.
1. Para adicionar um novo grupo de instâncias, especifique um número inteiro maior ou igual a 1.
1. Para `LifeCycleConfig`, você pode alterar os valores `SourceS3Uri` e `OnCreate`e os valores conforme quiser para atualizar o grupo de instâncias.
1. Para `ExecutionRole`
1. Para atualizar um grupo de instâncias existente, continue usando a mesmo perfil do IAM que você anexou durante a criação do cluster.
1. Para adicionar um novo grupo de instâncias, especifique um perfil do IAM que você deseja anexar.
1. Para `ThreadsPerCore`
1. Para atualizar um grupo de instâncias existente, continue usando o mesmo valor especificado durante a criação do cluster.
1. Para adicionar um novo grupo de instâncias, você pode escolher qualquer valor entre as opções permitidas por tipo de instância. Para obter mais informações, pesquise o tipo de instância e consulte a coluna **Threads válidos por núcleo** na tabela de referência em [núcleos de CPU e segmentos por núcleo de CPU por tipo de instância](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/cpu-options-supported-instances-values.html) no *Guia do usuário do Amazon EC2*.
O trecho de código a seguir é um modelo de arquivo de solicitação JSON que você pode usar. Para obter mais informações sobre a sintaxe e os parâmetros da solicitação dessa API, consulte a referência da [UpdateCluster](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateCluster.html)API.
```
// update_cluster.json
{
// Required
"ClusterName": "name-of-cluster-to-update",
// Required
"InstanceGroups": [
{
"InstanceGroupName": "name-of-instance-group-to-update",
"InstanceType": "ml.m5.xlarge",
"InstanceCount": 1,
"LifeCycleConfig": {
"SourceS3Uri": "s3://amzn-s3-demo-bucket-sagemaker/lifecycle-script-directory/src/",
"OnCreate": "on_create.sh"
},
"ExecutionRole": "arn:aws:iam::111122223333:role/iam-role-for-cluster",
// Optional: Configure an additional storage per instance group.
"InstanceStorageConfigs": [
{
// Attach an additional EBS volume to each instance within the instance group.
// The default mount path for the additional EBS volume is /opt/sagemaker.
"EbsVolumeConfig":{
// Specify an integer between 1 and 16384 in gigabytes (GB).
"VolumeSizeInGB": integer,
}
}
]
},
// add more blocks of instance groups as needed
{ ... }
]
}
```
1. Execute o comando `update-cluster` a seguir para obter o ARN do stream.
```
aws sagemaker update-cluster \
--cli-input-json file://complete/path/to/update_cluster.json
```
## Atualizar o software da SageMaker HyperPod plataforma de um cluster
Execute [update-cluster-software](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/update-cluster-software.html)para atualizar os clusters existentes com os patches de software e segurança fornecidos pelo SageMaker HyperPod serviço. Para `--cluster-name`, especifique o nome ou o ARN do cluster a ser atualizado.
**Importante**
Observe que você deve fazer backup do seu trabalho antes de executar essa API. O processo de aplicação de patches substitui o volume raiz pela AMI atualizada, o que significa que seus dados anteriores armazenados no volume raiz da instância serão perdidos. Certifique-se de fazer backup dos dados do volume raiz da instância no Amazon S3 ou no Amazon FSx for Lustre. Para obter mais informações, consulte [Use o script de backup fornecido pelo SageMaker HyperPod](#sagemaker-hyperpod-operate-slurm-cli-command-update-cluster-software-backup).
```
aws sagemaker update-cluster-software --cluster-name your-hyperpod-cluster
```
Esse comando chama a [UpdateClusterSoftware](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateClusterSoftware.html)API. Após a chamada da API, SageMaker HyperPod verifica se há uma nova DLAMI disponível para as instâncias do cluster. Se uma atualização do DLAMI for necessária SageMaker HyperPod , atualizará as instâncias do cluster para usar as [SageMaker HyperPod DLAMI](sagemaker-hyperpod-ref.md#sagemaker-hyperpod-ref-hyperpod-ami) mais recentes e executará seus scripts de ciclo de vida no bucket do Amazon S3 que você especificou durante a criação ou atualização do cluster. Se o cluster já estiver usando a DLAMI mais recente SageMaker HyperPod , não fará nenhuma alteração no cluster nem executará os scripts de ciclo de vida novamente. A equipe SageMaker HyperPod de serviço lança regularmente novos [SageMaker HyperPod DLAMI](sagemaker-hyperpod-ref.md#sagemaker-hyperpod-ref-hyperpod-ami) s para aprimorar a segurança e melhorar a experiência do usuário. Recomendamos que você sempre continue atualizando para o SageMaker HyperPod DLAMI mais recente. Para futuras atualizações SageMaker HyperPod do DLAMI para patches de segurança, entre em contato com. [Notas SageMaker HyperPod de lançamento da Amazon](sagemaker-hyperpod-release-notes.md)
**dica**
Se o patch de segurança falhar, você poderá recuperar as mensagens de falha executando a API [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeCluster.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeCluster.html) conforme as instruções em [Descrever um cluster](#sagemaker-hyperpod-operate-slurm-cli-command-describe-cluster).
**nota**
Você só pode executar essa API de forma programática. A funcionalidade de correção não está implementada na interface do usuário do SageMaker HyperPod console.
### Use o script de backup fornecido pelo SageMaker HyperPod
SageMaker HyperPod fornece um script para fazer backup e restaurar seus dados [https://github.com/aws-samples/awsome-distributed-training/blob/main/1.architectures/5.sagemaker-hyperpod/patching-backup.sh](https://github.com/aws-samples/awsome-distributed-training/blob/main/1.architectures/5.sagemaker-hyperpod/patching-backup.sh)no * GitHub repositório do Awsome Distributed Training*. A extensão fornece as duas funções a seguir.
**Fazer backup de dados em um bucket do S3 antes de aplicar o patch**
```
sudo bash patching-backup.sh --create
```
Depois que você executar o comando, o script verificará `squeue` se houver trabalhos em fila, interromperá o Slurm se não houver nenhum trabalho na fila, fará backup do `mariadb` e copiará itens locais no disco definido em `LOCAL_ITEMS`. Você pode adicionar mais arquivos e diretórios a `LOCAL_ITEMS`.
```
# Define files and directories to back up.
LOCAL_ITEMS=(
"/var/spool/slurmd"
"/var/spool/slurmctld"
"/etc/systemd/system/slurmctld.service"
"/home/ubuntu/backup_slurm_acct_db.sql"
# ... Add more items as needed
)
```
Além disso, você pode adicionar código personalizado ao script fornecido para fazer backup de qualquer aplicação para seu caso de uso.
**Para restaurar dados de um bucket S3 após a aplicação de patches**
```
sudo bash patching-backup.sh --restore
```
## Reduzir a escala verticalmente do cluster
Você pode reduzir o número de instâncias ou excluir grupos de instâncias em seu SageMaker HyperPod cluster para otimizar a alocação de recursos ou reduzir custos.
Para reduzir a escala verticalmente, use a operação de API `UpdateCluster` para encerrar aleatoriamente as instâncias do seu grupo de instâncias até um número especificado ou encerre instâncias específicas usando a operação de API `BatchDeleteClusterNodes`. Também é possível remover completamente grupos de instâncias inteiros usando a API `UpdateCluster`. Para ter mais informações sobre como reduzir a escala verticalmente usando esses métodos, consulte [Reduzindo a escala de um cluster SageMaker HyperPod](smcluster-scale-down.md).
**nota**
Não é possível remover instâncias configuradas como nós controladores do Slurm. A tentativa de excluir um nó controlador do Slurm resulta em um erro de validação com o código `NODE_ID_IN_USE`.
## Excluir um cluster
Execute [delete-cluster](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/delete-cluster.html) para excluir um cluster. Você pode especificar o nome ou o ARN do cluster.
```
aws sagemaker delete-cluster --cluster-name your-hyperpod-cluster
```