ライフサイクルスクリプトを使用して SageMaker HyperPod クラスターをカスタマイズする

HyperPod クラスターに Slurm ノードを作成する方法を計画します。例えば、2 つの Slurm ノードを設定する場合、HyperPod クラスターに 2 つのインスタンスグループを設定する必要があります。

Slurm 設定を準備します。次のいずれかのアプローチを選択します。

一連のライフサイクルスクリプトを準備して、ソフトウェアパッケージをインストールし、ユースケース用にクラスターに環境をセットアップするよう HyperPod で Slurm を設定します。ライフサイクルスクリプトを中央の Python スクリプト (lifecycle_script.py) でまとめて実行されるように構成し、エントリポイントシェルスクリプト (on_create.sh) を記述して Python スクリプトを実行する必要があります。エントリポイントシェルスクリプトは、ステップ 5 の後半で HyperPod クラスター作成リクエストに提供する必要があります。

さらに、クラスターの作成時に HyperPod によって生成される resource_config.json を期待するスクリプトも記述する必要がある点に注意してください。resource_config.json には、IP アドレス、インスタンスタイプ、ARN などの HyperPod クラスターリソース情報が含まれており、Slurm の設定に使用する必要があります。

前のステップのすべてのファイルをフォルダに集めます。フォルダ構造は、ステップ 2 で選択した設定アプローチによって異なります。

オプション A (API 駆動型設定) を選択した場合:

フォルダに必要なのは、カスタムセットアップタスクのライフサイクルスクリプトのみです。Slurm 設定と FSx マウントは、API ペイロードに基づいて HyperPod によって自動的に処理されます。

└── lifecycle_files // your local folder

    ├── on_create.sh
    ├── lifecycle_script.py
    └── ... // more setup scripts to be fed into lifecycle_script.py

オプション B (レガシー設定) を選択した場合:

フォルダには、 provisioning_parameters.jsonとライフサイクルスクリプトの完全なセットが含まれている必要があります。

└── lifecycle_files // your local folder

    ├── provisioning_parameters.json
    ├── on_create.sh
    ├── lifecycle_script.py
    └── ... // more setup scrips to be fed into lifecycle_script.py

すべてのファイルを S3 バケットにアップロードします。S3 バケットパスをコピーして保持します。sagemaker- で始まる S3 バケットパスを作成する必要がある点に注意してください。プレフィックス sagemaker- で始まる S3 バケットパスのみを許可する、AmazonSageMakerClusterInstanceRolePolicy でアタッチされた SageMaker HyperPod の IAM ロール を選択する必要があります。次のコマンドは、すべてのファイルを S3 バケットにアップロードするコマンドの例です。

aws s3 cp --recursive ./lifecycle_files s3://sagemaker-hyperpod-lifecycle/src

HyperPod クラスター作成リクエストを準備します。

この段階では、ステップ 1 と 2 で計画したのと同じ構造でインスタンスグループを作成してください。さらに、リクエストフォームでステップ 5 の S3 バケットを指定していることも確認してください。

クラスター作成リクエストを送信します。HyperPod はリクエストに基づいてクラスターをプロビジョニングした後、HyperPod クラスターインスタンスで resource_config.json ファイルを作成し、ライフサイクルスクリプトを実行しているクラスターで Slurm を設定します。