Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
# SageMaker HyperPod Opérations du cluster Slurm
Cette section fournit des conseils sur la gestion SageMaker HyperPod via l'interface utilisateur ou la AWS Command Line Interface (CLI) de la console SageMaker AI. Vous apprendrez à effectuer diverses tâches connexes SageMaker HyperPod, que vous préfériez une interface visuelle ou que vous utilisiez des commandes.
**Topics**
+ [Gestion des clusters SageMaker HyperPod Slurm à l'aide de la console SageMaker](sagemaker-hyperpod-operate-slurm-console-ui.md)
+ [Gestion des clusters SageMaker HyperPod Slurm à l'aide du AWS CLI](sagemaker-hyperpod-operate-slurm-cli-command.md)
# Gestion des clusters SageMaker HyperPod Slurm à l'aide de la console SageMaker
Les rubriques suivantes fournissent des conseils sur la manière de gérer SageMaker HyperPod via l'interface utilisateur de la console.
**Topics**
+ [Création d'un SageMaker HyperPod cluster](#sagemaker-hyperpod-operate-slurm-console-ui-create-cluster)
+ [Parcourez vos SageMaker HyperPod clusters](#sagemaker-hyperpod-operate-slurm-console-ui-browse-clusters)
+ [Afficher les détails de chaque SageMaker HyperPod cluster](#sagemaker-hyperpod-operate-slurm-console-ui-view-details-of-clusters)
+ [Modifier un SageMaker HyperPod cluster](#sagemaker-hyperpod-operate-slurm-console-ui-edit-clusters)
+ [Supprimer un SageMaker HyperPod cluster](#sagemaker-hyperpod-operate-slurm-console-ui-delete-cluster)
## Création d'un SageMaker HyperPod cluster
Consultez les instructions ci-dessous [Commencer à SageMaker HyperPod utiliser la console SageMaker AI](smcluster-getting-started-slurm-console.md) pour créer un nouveau SageMaker HyperPod cluster via l'interface utilisateur de la SageMaker HyperPod console.
## Parcourez vos SageMaker HyperPod clusters
Sous **Clusters** dans le volet principal de la SageMaker HyperPod console sur la page principale de la SageMaker HyperPod console, tous les clusters créés doivent apparaître dans la section **Clusters**, qui fournit une vue récapitulative des clusters, de leur ARNs statut et de leur date de création.
## Afficher les détails de chaque SageMaker HyperPod cluster
Sous **Clusters** sur la page principale de la console, les **noms** des clusters sont activés sous forme de liens. Cliquez sur le lien du nom du cluster pour voir les détails de chaque cluster.
## Modifier un SageMaker HyperPod cluster
1. Sous **Clusters** dans le volet principal de la SageMaker HyperPod console, choisissez le cluster que vous souhaitez mettre à jour.
1. Sélectionnez votre cluster, puis choisissez **Modifier**.
1. Sur la page **Modifier **, vous pouvez modifier les configurations des groupes d’instances existants, ajouter d’autres groupes d’instances, supprimer des groupes d’instances et modifier les balises du cluster. Après avoir apporté des modifications, choisissez **Soumettre**.
1. Dans la section **Configurer les groupes d’instances**, vous pouvez ajouter d’autres groupes d’instances en choisissant **Créer un groupe d’instances**.
1. Dans la section **Configurer les groupes d’instances**, vous pouvez choisir **Modifier** pour modifier sa configuration ou **Supprimer** pour supprimer définitivement le groupe d’instances.
**Important**
Lorsque vous supprimez un groupe d’instance, tenez compte des points suivants :
Votre SageMaker HyperPod cluster doit toujours gérer au moins un groupe d'instances.
Assurez-vous que toutes les données critiques sont sauvegardées avant leur suppression.
Le processus de suppression ne peut pas être annulé.
**Note**
La suppression d’un groupe d’instances résilie toutes les ressources de calcul associées à ce groupe.
1. Dans la section **Balises**, vous pouvez mettre à jour les balises du cluster.
## Supprimer un SageMaker HyperPod cluster
1. Sous **Clusters** dans le volet principal de la SageMaker HyperPod console, choisissez le cluster que vous souhaitez supprimer.
1. Sélectionnez votre cluster, puis choisissez **Supprimer**.
1. Dans la fenêtre contextuelle de suppression du cluster, examinez attentivement les informations du cluster pour confirmer que vous avez choisi le bon cluster à supprimer.
1. Après avoir examiné les informations du cluster, choisissez **Oui, supprimer le cluster**.
1. Dans le champ textuel pour confirmer la suppression, saisissez **delete**.
1. Choisissez **Supprimer** dans le coin inférieur droit de la fenêtre contextuelle pour terminer l’envoi de la demande de suppression du cluster.
# Gestion des clusters SageMaker HyperPod Slurm à l'aide du AWS CLI
Les rubriques suivantes fournissent des conseils sur l'écriture de fichiers de requêtes d' SageMaker HyperPod API au format JSON et leur exécution à l'aide des AWS CLI commandes.
**Topics**
+ [Création d’un nouveau cluster](#sagemaker-hyperpod-operate-slurm-cli-command-create-cluster)
+ [Description d’un cluster](#sagemaker-hyperpod-operate-slurm-cli-command-describe-cluster)
+ [Liste des détails des nœuds du cluster](#sagemaker-hyperpod-operate-slurm-cli-command-list-cluster-nodes)
+ [Description des détails d’un nœud de cluster](#sagemaker-hyperpod-operate-slurm-cli-command-describe-cluster-node)
+ [Liste des clusters](#sagemaker-hyperpod-operate-slurm-cli-command-list-clusters)
+ [Mise à jour de la configuration du cluster](#sagemaker-hyperpod-operate-slurm-cli-command-update-cluster)
+ [Mettre à jour le logiciel de SageMaker HyperPod plate-forme d'un cluster](#sagemaker-hyperpod-operate-slurm-cli-command-update-cluster-software)
+ [Réduction verticale d’un cluster](#sagemaker-hyperpod-operate-slurm-cli-command-scale-down)
+ [Supprimer un cluster](#sagemaker-hyperpod-operate-slurm-cli-command-delete-cluster)
## Création d’un nouveau cluster
1. Préparez des scripts de configuration de cycle de vie et chargez-les sur un compartiment S3, tel que `s3://sagemaker-amzn-s3-demo-bucket/lifecycle-script-directory/src/`. L’étape 2 suivante suppose qu’il existe un script de point d’entrée nommé `on_create.sh` dans le compartiment S3 spécifié.
**Important**
Vérifiez que vous avez défini le chemin S3 pour qu’il commence par `s3://sagemaker-`. Le [Rôle IAM pour SageMaker HyperPod](sagemaker-hyperpod-prerequisites-iam.md#sagemaker-hyperpod-prerequisites-iam-role-for-hyperpod) dispose de la politique [https://docs.aws.amazon.com/sagemaker/latest/dg/security-iam-awsmanpol-cluster.html](https://docs.aws.amazon.com/sagemaker/latest/dg/security-iam-awsmanpol-cluster.html) gérée attachée, qui permet d’accéder aux compartiments S3 avec le préfixe `sagemaker-` spécifique.
1. Préparez un fichier de demande d'[CreateCluster](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateCluster.html)API au format JSON. Vous devez configurer les groupes d’instances pour qu’ils correspondent au cluster Slurm que vous concevez dans le fichier `provisioning_parameters.json`, qui sera utilisé lors de la création du cluster dans le cadre de l’exécution d’un ensemble de scripts de cycle de vie. Pour en savoir plus, consultez [Personnalisation des SageMaker HyperPod clusters à l'aide de scripts de cycle de vie](sagemaker-hyperpod-lifecycle-best-practices-slurm.md). Le modèle suivant comporte deux groupes d’instances répondant aux exigences minimales d’un cluster Slurm : un nœud de contrôleur (principal) et un nœud de calcul (composant master). Pour `ExecutionRole`, fournissez l’ARN du rôle IAM que vous avez créé avec la politique `AmazonSageMakerClusterInstanceRolePolicy` gérée à partir de la section [Rôle IAM pour SageMaker HyperPod](sagemaker-hyperpod-prerequisites-iam.md#sagemaker-hyperpod-prerequisites-iam-role-for-hyperpod).
```
// create_cluster.json
{
"ClusterName": "your-hyperpod-cluster",
"InstanceGroups": [
{
"InstanceGroupName": "controller-group",
"InstanceType": "ml.m5.xlarge",
"InstanceCount": 1,
"LifeCycleConfig": {
"SourceS3Uri": "s3://amzn-s3-demo-bucket-sagemaker/lifecycle-script-directory/src/",
"OnCreate": "on_create.sh"
},
"ExecutionRole": "arn:aws:iam::111122223333:role/iam-role-for-cluster",
// Optional: Configure an additional storage per instance group.
"InstanceStorageConfigs": [
{
// Attach an additional EBS volume to each instance within the instance group.
// The default mount path for the additional EBS volume is /opt/sagemaker.
"EbsVolumeConfig":{
// Specify an integer between 1 and 16384 in gigabytes (GB).
"VolumeSizeInGB": integer,
}
}
]
},
{
"InstanceGroupName": "worker-group-1",
"InstanceType": "ml.p4d.xlarge",
"InstanceCount": 1,
"LifeCycleConfig": {
"SourceS3Uri": "s3://amzn-s3-demo-bucket-sagemaker/lifecycle-script-directory/src/",
"OnCreate": "on_create.sh"
},
"ExecutionRole": "arn:aws:iam::111122223333:role/iam-role-for-cluster"
}
],
// Optional
"Tags": [
{
"Key": "string",
"Value": "string"
}
],
// Optional
"VpcConfig": {
"SecurityGroupIds": [ "string" ],
"Subnets": [ "string" ]
}
}
```
Selon la façon dont vous concevez la structure du cluster par le biais de vos scripts de cycle de vie, vous pouvez configurer jusqu’à 20 groupes d’instances sous le paramètre `InstanceGroups`.
Pour le paramètre de `Tags` requête, vous pouvez ajouter des balises personnalisées pour gérer le SageMaker HyperPod cluster en tant que AWS ressource. Vous pouvez ajouter des balises à votre cluster de la même manière que vous les ajoutez dans d'autres AWS services qui prennent en charge le balisage. Pour en savoir plus sur le balisage AWS des ressources en général, consultez le Guide de l'[utilisateur AWS des ressources de balisage](https://docs.aws.amazon.com/tag-editor/latest/userguide/tagging.html).
Pour le paramètre de demande `VpcConfig`, spécifiez les informations d’un VPC que vous souhaitez utiliser. Pour de plus amples informations, veuillez consulter [Configuration SageMaker HyperPod avec un Amazon VPC personnalisé](sagemaker-hyperpod-prerequisites.md#sagemaker-hyperpod-prerequisites-optional-vpc).
1. Exécutez la commande [create-cluster](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/create-cluster.html) comme suit.
```
aws sagemaker create-cluster \
--cli-input-json file://complete/path/to/create_cluster.json
```
L’ARN du nouveau cluster devrait être renvoyé.
## Description d’un cluster
Exécutez [describe-cluster](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/describe-cluster.html) pour vérifier le statut du cluster. Vous pouvez spécifier le nom ou l’ARN du cluster.
```
aws sagemaker describe-cluster --cluster-name your-hyperpod-cluster
```
Une fois que le statut du cluster passe à **InService**, passez à l’étape suivante. À l'aide de cette API, vous pouvez également récupérer les messages d'échec liés à l'exécution d'autres opérations d' HyperPod API.
## Liste des détails des nœuds du cluster
Exécutez [list-cluster-nodes](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/list-cluster-nodes.html)pour vérifier les informations clés des nœuds du cluster.
```
aws sagemaker list-cluster-nodes --cluster-name your-hyperpod-cluster
```
Cela renvoie une réponse et `InstanceId` correspond à ce dont vous avez besoin pour vous y connecter (en utilisant `aws ssm`).
## Description des détails d’un nœud de cluster
Exécutez [describe-cluster-node](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/describe-cluster-node.html)pour récupérer les détails d'un nœud de cluster. Vous pouvez obtenir l'ID du nœud du cluster à partir de la list-cluster-nodes sortie. Vous pouvez spécifier le nom ou l’ARN du cluster.
```
aws sagemaker describe-cluster-node \
--cluster-name your-hyperpod-cluster \
--node-id i-111222333444555aa
```
## Liste des clusters
Exécutez [list-clusters](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/list-clusters.html) pour répertorier tous les clusters figurant dans votre compte.
```
aws sagemaker list-clusters
```
Vous pouvez également ajouter des indicateurs supplémentaires pour filtrer la liste des clusters. Pour en savoir plus sur le fonctionnement de cette commande à bas niveau et sur les indicateurs supplémentaires pour le filtrage, consultez la référence de l'[ListClusters](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ListClusters.html)API.
## Mise à jour de la configuration du cluster
Exécutez [update-cluster](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/update-cluster.html) pour mettre à jour la configuration d’un cluster.
**Note**
Vous pouvez utiliser l'`UpdateCluster`API pour réduire ou supprimer des groupes d'instances entiers de votre SageMaker HyperPod cluster. Pour obtenir des instructions supplémentaires sur la manière de réduire verticalement ou de supprimer les groupes d’instances, consultez [Réduction verticale d’un cluster](#sagemaker-hyperpod-operate-slurm-cli-command-scale-down).
1. Créez un fichier de demande `UpdateCluster` au format JSON. Assurez-vous de spécifier le nom du cluster et le nom du groupe d’instances appropriés à mettre à jour. Vous pouvez modifier le type d’instance, le nombre d’instances, le script de point d’entrée de configuration de cycle de vie et le chemin vers ce script.
1. Pour `ClusterName`, spécifiez le nom du cluster que vous voulez mettre à jour.
1. Pour `InstanceGroupName`
1. Pour mettre à jour un groupe d’instances existant, spécifiez le nom du groupe d’instances que vous souhaitez mettre à jour.
1. Pour ajouter un nouveau groupe d’instances, spécifiez un nouveau nom qui n’existe pas dans votre cluster.
1. Pour `InstanceType`
1. Pour mettre à jour un groupe d’instances existant, vous devez mettre en correspondance le type d’instance que vous avez initialement spécifié avec ce groupe.
1. Pour ajouter un nouveau groupe d’instances, spécifiez un type d’instance avec lequel vous souhaitez configurer le groupe.
1. Pour `InstanceCount`
1. Pour mettre à jour un groupe d’instances existant, spécifiez un entier correspondant au nombre d’instances que vous souhaitez. Vous pouvez fournir une valeur supérieure ou inférieure (jusqu’à 0) pour augmenter ou réduire verticalement le groupe d’instances.
1. Pour ajouter un nouveau groupe d’instances, spécifiez un entier supérieur ou égal à 1.
1. Pour `LifeCycleConfig`, vous pouvez modifier à la fois les valeurs `SourceS3Uri` et `OnCreate` comme vous le souhaitez pour mettre à jour le groupe d’instances.
1. Pour `ExecutionRole`
1. Pour mettre à jour un groupe d’instances existant, continuez à utiliser le même rôle IAM que celui que vous avez attaché lors de la création du cluster.
1. Pour ajouter un nouveau groupe d’instances, spécifiez un rôle IAM que vous souhaitez attacher.
1. Pour `ThreadsPerCore`
1. Pour mettre à jour un groupe d’instances existant, continuez à utiliser la même valeur que vous avez spécifiée lors de la création du cluster.
1. Pour ajouter un nouveau groupe d’instances, vous pouvez choisir n’importe quelle valeur parmi les options autorisées par type d’instance. Pour plus d’informations, recherchez le type d’instance et consultez la colonne **Threads valides par cœur** dans le tableau de référence dans [Cœurs de CPU et threads par cœur de CPU par type d’instance](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/cpu-options-supported-instances-values.html) dans le *Guide de l’utilisateur Amazon EC2*.
L’extrait de code suivant est un modèle de fichier de demande JSON que vous pouvez utiliser. Pour plus d'informations sur la syntaxe des demandes et les paramètres de cette API, consultez la référence de l'[UpdateCluster](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateCluster.html)API.
```
// update_cluster.json
{
// Required
"ClusterName": "name-of-cluster-to-update",
// Required
"InstanceGroups": [
{
"InstanceGroupName": "name-of-instance-group-to-update",
"InstanceType": "ml.m5.xlarge",
"InstanceCount": 1,
"LifeCycleConfig": {
"SourceS3Uri": "s3://amzn-s3-demo-bucket-sagemaker/lifecycle-script-directory/src/",
"OnCreate": "on_create.sh"
},
"ExecutionRole": "arn:aws:iam::111122223333:role/iam-role-for-cluster",
// Optional: Configure an additional storage per instance group.
"InstanceStorageConfigs": [
{
// Attach an additional EBS volume to each instance within the instance group.
// The default mount path for the additional EBS volume is /opt/sagemaker.
"EbsVolumeConfig":{
// Specify an integer between 1 and 16384 in gigabytes (GB).
"VolumeSizeInGB": integer,
}
}
]
},
// add more blocks of instance groups as needed
{ ... }
]
}
```
1. Exécutez la commande `update-cluster` suivante pour soumettre la demande.
```
aws sagemaker update-cluster \
--cli-input-json file://complete/path/to/update_cluster.json
```
## Mettre à jour le logiciel de SageMaker HyperPod plate-forme d'un cluster
Exécutez [update-cluster-software](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/update-cluster-software.html)pour mettre à jour les clusters existants avec les logiciels et les correctifs de sécurité fournis par le SageMaker HyperPod service. Pour `--cluster-name`, spécifiez le nom ou l’ARN du cluster à mettre à jour.
**Important**
Notez que vous devez sauvegarder votre travail avant d’exécuter cette API. Le processus d’application de correctifs remplace le volume racine par l’AMI mise à jour, ce qui signifie que les données précédemment stockées dans le volume racine de l’instance seront perdues. Assurez-vous de sauvegarder vos données depuis le volume racine de l'instance vers Amazon S3 ou Amazon FSx for Lustre. Pour de plus amples informations, veuillez consulter [Utilisez le script de sauvegarde fourni par SageMaker HyperPod](#sagemaker-hyperpod-operate-slurm-cli-command-update-cluster-software-backup).
```
aws sagemaker update-cluster-software --cluster-name your-hyperpod-cluster
```
Cette commande appelle l'[UpdateClusterSoftware](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateClusterSoftware.html)API. Après l'appel d'API, SageMaker HyperPod vérifie si un DLAMI plus récent est disponible pour les instances du cluster. Si une mise à jour du DLAMI est requise SageMaker HyperPod , les instances de cluster seront mises à jour pour utiliser les [SageMaker HyperPod DLAMI](sagemaker-hyperpod-ref.md#sagemaker-hyperpod-ref-hyperpod-ami) dernières versions et exécuteront vos scripts de cycle de vie dans le compartiment Amazon S3 que vous avez spécifié lors de la création ou de la mise à jour du cluster. Si le cluster utilise déjà le DLAMI le plus récent SageMaker HyperPod , il n'apportera aucune modification au cluster et ne réexécutera pas les scripts de cycle de vie. L'équipe SageMaker HyperPod de service déploie régulièrement de nouvelles [SageMaker HyperPod DLAMI](sagemaker-hyperpod-ref.md#sagemaker-hyperpod-ref-hyperpod-ami) solutions pour renforcer la sécurité et améliorer l'expérience utilisateur. Nous vous recommandons de toujours mettre à jour le DLAMI le plus récent SageMaker HyperPod . Pour les futures SageMaker HyperPod mises à jour du DLAMI relatives aux correctifs de sécurité, contactez. [Notes de SageMaker HyperPod publication d'Amazon](sagemaker-hyperpod-release-notes.md)
**Astuce**
Si l’application du correctif de sécurité échoue, vous pouvez extraire les messages d’échec en exécutant l’API [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeCluster.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeCluster.html) comme indiqué dans [Description d’un cluster](#sagemaker-hyperpod-operate-slurm-cli-command-describe-cluster).
**Note**
Vous pouvez exécuter cette API uniquement par programmation. La fonctionnalité d'application de correctifs n'est pas implémentée dans l'interface utilisateur de la SageMaker HyperPod console.
### Utilisez le script de sauvegarde fourni par SageMaker HyperPod
SageMaker HyperPod fournit un script pour sauvegarder et restaurer vos données [https://github.com/aws-samples/awsome-distributed-training/blob/main/1.architectures/5.sagemaker-hyperpod/patching-backup.sh](https://github.com/aws-samples/awsome-distributed-training/blob/main/1.architectures/5.sagemaker-hyperpod/patching-backup.sh)dans le * GitHub référentiel Awsome Distributed Training*. Le script fournit les deux fonctions suivantes.
**Pour sauvegarder les données dans un compartiment S3 avant d’appliquer des correctifs**
```
sudo bash patching-backup.sh --create
```
Après avoir exécuté la commande, le script vérifie `squeue` s’il existe des tâches en file d’attente, arrête Slurm s’il n’y a aucune tâche dans la file d’attente, sauvegarde `mariadb` et copie les éléments locaux sur le disque défini sous `LOCAL_ITEMS`. Vous pouvez ajouter d’autres fichiers et répertoires dans `LOCAL_ITEMS`.
```
# Define files and directories to back up.
LOCAL_ITEMS=(
"/var/spool/slurmd"
"/var/spool/slurmctld"
"/etc/systemd/system/slurmctld.service"
"/home/ubuntu/backup_slurm_acct_db.sql"
# ... Add more items as needed
)
```
Vous pouvez également ajouter du code personnalisé au script fourni pour sauvegarder toutes les applications adaptées à votre cas d’utilisation.
**Pour restaurer des données à partir d’un compartiment S3 après avoir appliqué des correctifs**
```
sudo bash patching-backup.sh --restore
```
## Réduction verticale d’un cluster
Vous pouvez réduire le nombre d'instances ou supprimer des groupes d'instances dans votre SageMaker HyperPod cluster afin d'optimiser l'allocation des ressources ou de réduire les coûts.
Pour réduire verticalement, vous pouvez utiliser l’opération d’API `UpdateCluster` pour résilier de manière aléatoire des instances de votre groupe d’instances jusqu’à un nombre spécifié, ou résilier des instances spécifiques à l’aide de l’opération d’API `BatchDeleteClusterNodes`. Vous pouvez également supprimer complètement des groupes d’instances entiers à l’aide de l’API `UpdateCluster`. Pour plus d’informations sur la réduction verticale à l’aide de ces méthodes, consultez [Réduction de la taille d'un SageMaker HyperPod cluster](smcluster-scale-down.md).
**Note**
Vous ne pouvez pas supprimer des instances configurées en tant que nœuds de contrôleur Slurm. Toute tentative de suppression d’un nœud de contrôleur Slurm entraîne une erreur de validation avec le code d’erreur `NODE_ID_IN_USE`.
## Supprimer un cluster
Exécutez [delete-cluster](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/delete-cluster.html) pour supprimer un cluster. Vous pouvez spécifier le nom ou l’ARN du cluster.
```
aws sagemaker delete-cluster --cluster-name your-hyperpod-cluster
```