翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
# SageMaker HyperPod Slurm クラスターオペレーション
このセクションでは、SageMaker AI コンソール UI または AWS Command Line Interface (CLI) を使用して SageMaker HyperPod を管理するためのガイダンスを提供します。ビジュアルインターフェイスを使用するかコマンドを使用するかにかかわらず、SageMaker HyperPod に関連するさまざまなタスクを実行する方法について説明します。
**Topics**
+ [SageMaker コンソールを使用した SageMaker HyperPod Slurm クラスターの管理](sagemaker-hyperpod-operate-slurm-console-ui.md)
+ [を使用した SageMaker HyperPod Slurm クラスターの管理 AWS CLI](sagemaker-hyperpod-operate-slurm-cli-command.md)
# SageMaker コンソールを使用した SageMaker HyperPod Slurm クラスターの管理
以下のトピックでは、コンソール UI を使用して SageMaker HyperPod を管理する方法に関するガイダンスを提供します。
**Topics**
+ [SageMaker HyperPod クラスターを作成する](#sagemaker-hyperpod-operate-slurm-console-ui-create-cluster)
+ [SageMaker HyperPod クラスターを参照する](#sagemaker-hyperpod-operate-slurm-console-ui-browse-clusters)
+ [各 SageMaker HyperPod クラスターの詳細を表示する](#sagemaker-hyperpod-operate-slurm-console-ui-view-details-of-clusters)
+ [SageMaker HyperPod クラスターを編集する](#sagemaker-hyperpod-operate-slurm-console-ui-edit-clusters)
+ [SageMaker HyperPod クラスターを削除する](#sagemaker-hyperpod-operate-slurm-console-ui-delete-cluster)
## SageMaker HyperPod クラスターを作成する
SageMaker HyperPod コンソール UI を使用して新しい SageMaker HyperPod クラスターを作成する方法については、「[SageMaker AI コンソールを使用した SageMaker HyperPod の開始方法](smcluster-getting-started-slurm-console.md)」の手順を参照してください。
## SageMaker HyperPod クラスターを参照する
SageMaker HyperPod コンソールのメインページにある、メインペインの **[クラスター]** の下にある **[クラスター]** セクションに、作成されたすべてのクラスターがリストされ、クラスター、クラスターの ARN、ステータス、作成時刻の概要ビューが表示されます。
## 各 SageMaker HyperPod クラスターの詳細を表示する
コンソールのメインページの **[クラスター]** では、クラスターの **[名前]** がリンクとしてアクティブ化されます。クラスター名リンクを選択すると、各クラスターの詳細が表示されます。
## SageMaker HyperPod クラスターを編集する
1. SageMaker HyperPod コンソールのメインペインの **[クラスター]** で、更新するクラスターを選択します。
1. クラスターを選択し、**[編集]** を選択します。
1. **[ の編集]** ページで、既存のインスタンスグループの設定を編集したり、インスタンスグループを追加したり、クラスターのタグを変更したりできます。変更を加えたら、**[次へ]** を選択します。
1. **[インスタンスグループを設定]** セクションで、**[インスタンスグループを作成]** をクリックして、インスタンスグループを追加できます。
1. **[インスタンスグループを設定]** セクションで、**[編集]** をクリックして設定を変更するか、**[削除]** をクリックしてインスタンスグループを完全に削除できます。
**重要**
インスタンスグループを削除する際は、次の点を考慮する必要があります。
SageMaker HyperPod クラスターは、常に少なくとも 1 つのインスタンスグループを維持する必要があります。
削除する前に、すべての重要なデータがバックアップ済みであることを確認します。
削除プロセスは元に戻せません。
**注記**
インスタンスグループを削除すると、そのグループに関連付けられているすべてのコンピューティングリソースが終了します。
1. **[タグ]** セクションでは、クラスターのタグを更新できます。
## SageMaker HyperPod クラスターを削除する
1. SageMaker HyperPod コンソールのメインペインの **[クラスター]** で、削除するクラスターを選択します。
1. クラスターを選択し、**[削除]** をクリックします。
1. クラスター削除のポップアップウィンドウで、クラスター情報をよく確認し、削除する適切なクラスターが選択されていることを確認します。
1. クラスター情報を確認したら、**[はい、クラスターを削除します]** を選択します。
1. この削除を確認するテキストフィールドに、「**delete**」と入力します。
1. ポップアップウィンドウの右下隅にある **[削除]** を選択して、クラスター削除リクエストの送信を完了します。
# を使用した SageMaker HyperPod Slurm クラスターの管理 AWS CLI
以下のトピックでは、SageMaker HyperPod API リクエストファイルを JSON 形式で記述し、 AWS CLI コマンドを使用して実行するためのガイダンスを提供します。
**Topics**
+ [新しいクラスターを作成する](#sagemaker-hyperpod-operate-slurm-cli-command-create-cluster)
+ [クラスターを記述する](#sagemaker-hyperpod-operate-slurm-cli-command-describe-cluster)
+ [クラスターノードの詳細を一覧表示する](#sagemaker-hyperpod-operate-slurm-cli-command-list-cluster-nodes)
+ [クラスターノードの詳細を記述する](#sagemaker-hyperpod-operate-slurm-cli-command-describe-cluster-node)
+ [クラスターを一覧表示する](#sagemaker-hyperpod-operate-slurm-cli-command-list-clusters)
+ [クラスター設定を更新する](#sagemaker-hyperpod-operate-slurm-cli-command-update-cluster)
+ [クラスターの SageMaker HyperPod プラットフォームソフトウェアを更新する](#sagemaker-hyperpod-operate-slurm-cli-command-update-cluster-software)
+ [クラスターをスケールダウンする](#sagemaker-hyperpod-operate-slurm-cli-command-scale-down)
+ [クラスターを削除](#sagemaker-hyperpod-operate-slurm-cli-command-delete-cluster)
## 新しいクラスターを作成する
1. ライフサイクル設定スクリプトを準備し、`s3://sagemaker-amzn-s3-demo-bucket/lifecycle-script-directory/src/` などの S3 バケットにアップロードします。次のステップ 2 では、指定された S3 バケットに `on_create.sh` という名前のエントリポイントスクリプトがあることを前提としています。
**重要**
先頭が `s3://sagemaker-` となるよう S3 パスを設定してください。[SageMaker HyperPod の IAM ロール](sagemaker-hyperpod-prerequisites-iam.md#sagemaker-hyperpod-prerequisites-iam-role-for-hyperpod) にはマネージド [https://docs.aws.amazon.com/sagemaker/latest/dg/security-iam-awsmanpol-cluster.html](https://docs.aws.amazon.com/sagemaker/latest/dg/security-iam-awsmanpol-cluster.html) がアタッチされており、特定のプレフィックス `sagemaker-` を持つ S3 バケットへのアクセスが可能になります。
1. [CreateCluster](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateCluster.html) API リクエストファイルを JSON 形式で準備します。一連のライフサイクルスクリプトの実行の一環としてクラスターの作成時に使用される `provisioning_parameters.json` ファイルで設計する Slurm クラスターと一致するようにインスタンスグループを設定する必要があります。詳細については[ライフサイクルスクリプトを使用して SageMaker HyperPod クラスターをカスタマイズする](sagemaker-hyperpod-lifecycle-best-practices-slurm.md)を参照してください。次のテンプレートには、Slurm クラスターの最小要件を満たすための 2 つのインスタンスグループがあります。つまり、1 つのコントローラー (ヘッド) ノードと 1 つのコンピューティング (ワーカー) ノードです。`ExecutionRole` には、セクション [SageMaker HyperPod の IAM ロール](sagemaker-hyperpod-prerequisites-iam.md#sagemaker-hyperpod-prerequisites-iam-role-for-hyperpod) から マネージド `AmazonSageMakerClusterInstanceRolePolicy` で作成した IAM ロールの ARN を指定します。
```
// create_cluster.json
{
"ClusterName": "your-hyperpod-cluster",
"InstanceGroups": [
{
"InstanceGroupName": "controller-group",
"InstanceType": "ml.m5.xlarge",
"InstanceCount": 1,
"LifeCycleConfig": {
"SourceS3Uri": "s3://amzn-s3-demo-bucket-sagemaker/lifecycle-script-directory/src/",
"OnCreate": "on_create.sh"
},
"ExecutionRole": "arn:aws:iam::111122223333:role/iam-role-for-cluster",
// Optional: Configure an additional storage per instance group.
"InstanceStorageConfigs": [
{
// Attach an additional EBS volume to each instance within the instance group.
// The default mount path for the additional EBS volume is /opt/sagemaker.
"EbsVolumeConfig":{
// Specify an integer between 1 and 16384 in gigabytes (GB).
"VolumeSizeInGB": integer,
}
}
]
},
{
"InstanceGroupName": "worker-group-1",
"InstanceType": "ml.p4d.xlarge",
"InstanceCount": 1,
"LifeCycleConfig": {
"SourceS3Uri": "s3://amzn-s3-demo-bucket-sagemaker/lifecycle-script-directory/src/",
"OnCreate": "on_create.sh"
},
"ExecutionRole": "arn:aws:iam::111122223333:role/iam-role-for-cluster"
}
],
// Optional
"Tags": [
{
"Key": "string",
"Value": "string"
}
],
// Optional
"VpcConfig": {
"SecurityGroupIds": [ "string" ],
"Subnets": [ "string" ]
}
}
```
ライフサイクルスクリプトを使用してクラスター構造を設計する方法に応じて、`InstanceGroups` パラメータで最大 20 個のインスタンスグループを設定できます。
`Tags` リクエストパラメータには、SageMaker HyperPod クラスターを AWS リソースとして管理するためのカスタムタグを追加できます。タグ付けをサポートする他の AWS サービスでタグを追加するのと同じ方法で、クラスターにタグを追加できます。 AWS 一般的なリソースのタグ付けの詳細については、[AWS 「リソースのタグ付けユーザーガイド](https://docs.aws.amazon.com/tag-editor/latest/userguide/tagging.html)」を参照してください。
`VpcConfig` リクエストパラメータでは、使用する VPC の情報を指定します。詳細については、「[カスタム Amazon VPC で SageMaker HyperPod を設定する](sagemaker-hyperpod-prerequisites.md#sagemaker-hyperpod-prerequisites-optional-vpc)」を参照してください。
1. 次のように [create-cluster](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/create-cluster.html) コマンドを実行します。
```
aws sagemaker create-cluster \
--cli-input-json file://complete/path/to/create_cluster.json
```
これにより、新しいクラスターの ARN が返されます。
## クラスターを記述する
[describe-cluster](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/describe-cluster.html) を実行して、クラスターのステータスを確認します。クラスターの名前または ARN を指定できます。
```
aws sagemaker describe-cluster --cluster-name your-hyperpod-cluster
```
クラスターのステータスが **InService** になったら、次のステップに進みます。この API を使用すると、他の HyperPod API オペレーションの実行から失敗メッセージを取得することもできます。
## クラスターノードの詳細を一覧表示する
[list-cluster-nodes](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/list-cluster-nodes.html) を実行して、クラスターノードのキー情報を確認します。
```
aws sagemaker list-cluster-nodes --cluster-name your-hyperpod-cluster
```
これによりレスポンスが返されます。ログ記録 (`aws ssm` を使用) するには、`InstanceId` を使用する必要があります。
## クラスターノードの詳細を記述する
[describe-cluster-node](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/describe-cluster-node.html) を実行して、クラスターノードの詳細を取得します。list-cluster-nodes 出力からクラスターノード ID を取得できます。クラスターの名前または ARN を指定できます。
```
aws sagemaker describe-cluster-node \
--cluster-name your-hyperpod-cluster \
--node-id i-111222333444555aa
```
## クラスターを一覧表示する
[list-clusters](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/list-clusters.html) を実行して、アカウント内のすべてのクラスターを一覧表示します。
```
aws sagemaker list-clusters
```
クラスターのリストをフィルタリングするためのフラグを追加することもできます。このコマンドが低レベルで実行される方法とフィルタリング用の追加のフラグの詳細については、[ListClusters](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ListClusters.html) API リファレンスを参照してください。
## クラスター設定を更新する
[update-cluster](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/update-cluster.html) を実行して、クラスターの設定を更新します。
**注記**
`UpdateCluster` API を使用して、SageMaker HyperPod クラスターからインスタンスグループ全体をスケールダウンしたり削除したりできます。インスタンスグループをスケールダウンまたは削除する方法の詳細については、「[クラスターをスケールダウンする](#sagemaker-hyperpod-operate-slurm-cli-command-scale-down)」を参照してください。
1. JSON 形式で `UpdateCluster` リクエストファイルを作成します。更新する適切なクラスター名とインスタンスグループ名を指定していることを確認してください。インスタンスタイプ、インスタンス数、ライフサイクル設定エントリポイントスクリプト、スクリプトへのパスを変更できます。
1. `ClusterName` で、更新するクラスターの名前を選択します。
1. `InstanceGroupName` 用
1. 既存のインスタンスグループを更新するには、更新するインスタンスグループの名前を指定します。
1. 新しいインスタンスグループを追加するには、クラスターに存在しない新しい名前を指定します。
1. `InstanceType` 用
1. 既存のインスタンスグループを更新するには、最初に指定したインスタンスタイプをグループに一致させる必要があります。
1. 新しいインスタンスグループを追加するには、グループを設定するインスタンスタイプを指定します。
1. `InstanceCount` 用
1. 既存のインスタンスグループを更新するには、必要なインスタンス数に対応する整数を指定します。インスタンスグループをスケールアップまたはスケールダウンするには、高い値または低い値 (最低は 0) を指定できます。
1. 新しいインスタンスグループを追加するには、1 以上の整数を指定します。
1. `LifeCycleConfig` では、インスタンスグループを更新するときに、`SourceS3Uri` と `OnCreate` の両方の値を変更できます。
1. `ExecutionRole` 用
1. 既存のインスタンスグループを更新するには、クラスターの作成時にアタッチしたのと同じ IAM ロールを引き続き使用します。
1. 新しいインスタンスグループを追加するには、アタッチする IAM ロールを指定します。
1. `ThreadsPerCore` 用
1. 既存のインスタンスグループを更新するには、クラスターの作成時に指定した値と同じ値を使用し続けます。
1. 新しいインスタンスグループを追加するには、インスタンスタイプごとに許可されるオプションから任意の値を選択できます。詳細については、インスタンスタイプを検索し、「*Amazon EC2 ユーザーガイド*」にある[インスタンスタイプごとの CPU コア数と CPU コアあたりのスレッド数](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/cpu-options-supported-instances-values.html)のリファレンステーブルの「**コアあたりの有効なスレッド**」列を参照してください。
次のコードスニペットは、使用できる JSON リクエストファイルテンプレートです。この API のリクエスト構文とパラメータの詳細については、[UpdateCluster](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateCluster.html) API リファレンスを参照してください。
```
// update_cluster.json
{
// Required
"ClusterName": "name-of-cluster-to-update",
// Required
"InstanceGroups": [
{
"InstanceGroupName": "name-of-instance-group-to-update",
"InstanceType": "ml.m5.xlarge",
"InstanceCount": 1,
"LifeCycleConfig": {
"SourceS3Uri": "s3://amzn-s3-demo-bucket-sagemaker/lifecycle-script-directory/src/",
"OnCreate": "on_create.sh"
},
"ExecutionRole": "arn:aws:iam::111122223333:role/iam-role-for-cluster",
// Optional: Configure an additional storage per instance group.
"InstanceStorageConfigs": [
{
// Attach an additional EBS volume to each instance within the instance group.
// The default mount path for the additional EBS volume is /opt/sagemaker.
"EbsVolumeConfig":{
// Specify an integer between 1 and 16384 in gigabytes (GB).
"VolumeSizeInGB": integer,
}
}
]
},
// add more blocks of instance groups as needed
{ ... }
]
}
```
1. 次の `update-cluster` コマンドを実行して、リクエストを送信します。
```
aws sagemaker update-cluster \
--cli-input-json file://complete/path/to/update_cluster.json
```
## クラスターの SageMaker HyperPod プラットフォームソフトウェアを更新する
[update-cluster-software](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/update-cluster-software.html) を実行して、SageMaker HyperPod サービスが提供するソフトウェアとセキュリティパッチを使用して既存のクラスターを更新します。`--cluster-name` では、更新するクラスターの名前または ARN を指定します。
**重要**
この API を実行する前に、作業内容をバックアップする必要がある点に注意してください。パッチ適用プロセスでは、ルートボリュームが更新された AMI に置き換えられます。つまり、インスタンスのルートボリュームに保存されていた以前のデータは失われます。必ず、インスタンスルートボリュームから Amazon S3 または Amazon FSx for Lustre にデータをバックアップしてください。詳細については、「[SageMaker HyperPod が提供するバックアップスクリプトを使用する](#sagemaker-hyperpod-operate-slurm-cli-command-update-cluster-software-backup)」を参照してください。
```
aws sagemaker update-cluster-software --cluster-name your-hyperpod-cluster
```
このコマンドは [UpdateClusterSoftware](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateClusterSoftware.html) API を呼び出します。API コール実行後、SageMaker HyperPod はクラスターインスタンスで使用できる新しい DLAMI があるかどうかをチェックします。DLAMI の更新が必要な場合、SageMaker HyperPod は最新の [SageMaker HyperPod DLAMI](sagemaker-hyperpod-ref.md#sagemaker-hyperpod-ref-hyperpod-ami) を使用するようにクラスターインスタンスを更新し、クラスターの作成または更新中に指定した Amazon S3 バケット内のライフサイクルスクリプトを実行します。クラスターがすでに最新の DLAMI を使用している場合、SageMaker HyperPod はクラスターを変更したり、ライフサイクルスクリプトを再度実行したりすることはありません。SageMaker HyperPod サービスチームは、セキュリティを強化し、ユーザーエクスペリエンスを向上させるため、新しい [SageMaker HyperPod DLAMI](sagemaker-hyperpod-ref.md#sagemaker-hyperpod-ref-hyperpod-ami) を定期的にロールアウトします。常に最新の SageMaker HyperPod DLAMI に更新することをお勧めします。セキュリティパッチ適用に関する今後の SageMaker HyperPod DLAMI の更新については、「[Amazon SageMaker HyperPod リリースノート](sagemaker-hyperpod-release-notes.md)」の情報を今後も確認してください。
**ヒント**
セキュリティパッチが失敗した場合、「[クラスターを記述する](#sagemaker-hyperpod-operate-slurm-cli-command-describe-cluster)」の指示に従って [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeCluster.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeCluster.html) API を実行することにより失敗メッセージを取得できます。
**注記**
この API はプログラムでのみ実行できます。パッチ適用機能は、SageMaker HyperPod コンソール UI には実装されません。
### SageMaker HyperPod が提供するバックアップスクリプトを使用する
SageMaker HyperPod は、*Awsome Distributed Training GitHub リポジトリ*の [https://github.com/aws-samples/awsome-distributed-training/blob/main/1.architectures/5.sagemaker-hyperpod/patching-backup.sh](https://github.com/aws-samples/awsome-distributed-training/blob/main/1.architectures/5.sagemaker-hyperpod/patching-backup.sh) にデータをバックアップおよび復元するためのスクリプトを用意しています。このスクリプトには、以下の 2 つの関数が用意されています。
**パッチを適用する前に S3 バケットにデータをバックアップするには**
```
sudo bash patching-backup.sh --create
```
このコマンドを実行すると、スクリプトはキューに入れられたジョブがあるかどうかを `squeue` で確認します。キューにジョブがない場合は Slurm を停止し、`mariadb` をバックアップして、`LOCAL_ITEMS` で定義されたディスクにローカル項目をコピーします。`LOCAL_ITEMS` には、ファイルとディレクトリをさらに追加できます。
```
# Define files and directories to back up.
LOCAL_ITEMS=(
"/var/spool/slurmd"
"/var/spool/slurmctld"
"/etc/systemd/system/slurmctld.service"
"/home/ubuntu/backup_slurm_acct_db.sql"
# ... Add more items as needed
)
```
また、提供されたスクリプトにカスタムコードを追加し、ユースケースのアプリケーションをバックアップすることもできます。
**パッチ適用後に S3 バケットからデータを復元するには**
```
sudo bash patching-backup.sh --restore
```
## クラスターをスケールダウンする
SageMaker HyperPod クラスター内のインスタンス数をスケールダウンしたり、インスタンスグループを削除したりして、リソースの割り当てを最適化したり、コストを削減したりできます。
`UpdateCluster` API オペレーションを使用してインスタンスグループからインスタンスを指定した数にランダムに終了するか、`BatchDeleteClusterNodes` API オペレーションを使用して特定のインスタンスを終了することでスケールダウンできます。`UpdateCluster` API を使用してインスタンスグループ全体を完全に削除することもできます。これらのメソッドを使用してスケールダウンする方法の詳細については、「[SageMaker HyperPod クラスターのスケールダウン](smcluster-scale-down.md)」を参照してください。
**注記**
Slurm コントローラーノードとして設定されたインスタンスを削除することはできません。Slurm コントローラーノードを削除しようとすると、エラーコード `NODE_ID_IN_USE` の検証エラーが発生します。
## クラスターを削除
[delete-cluster](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/delete-cluster.html) を実行してクラスターを削除します。クラスターの名前または ARN を指定できます。
```
aws sagemaker delete-cluster --cluster-name your-hyperpod-cluster
```