翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Slurm を使用した拡張クラスターオペレーションの継続的なプロビジョニング

Slurm オーケストレーションを使用して作成された Amazon SageMaker HyperPod クラスターは、継続的なプロビジョニングをサポートするようになりました。これは、大規模な AI/ML ワークロードを実行する際の柔軟性と効率を高める機能です。継続的プロビジョニングにより、トレーニングを迅速に開始し、シームレスにスケールして、オペレーションを中断することなくメンテナンスを実行し、クラスターオペレーションをきめ細かく可視化できます。

仕組み

継続的プロビジョニングシステムは、従来のall-or-nothingスケーリングモデルを置き換える、望ましい状態のアーキテクチャを導入します。前のモデルでは、インスタンスグループを完全にプロビジョニングできなかった場合、クラスターの作成または更新オペレーション全体が失敗し、ロールバックされました。継続的プロビジョニングでは、システムは部分容量を受け入れ、残りのインスタンスを非同期的にプロビジョニングし続けます。

継続的プロビジョニングシステム:

継続的プロビジョニングはデフォルトで無効になっています。この機能を使用するには、CreateClusterリクエストContinuousで NodeProvisioningModeを に設定します。

継続的プロビジョニングを有効にすると、以前のオペレーションが完了するのを待つ必要なく、複数のスケーリングオペレーションを同時に開始できます。これにより、同じクラスター内の異なるインスタンスグループを同時にスケールし、同じインスタンスグループに複数のスケーリングリクエストを送信できます。

優先度ベースのプロビジョニング

Slurm クラスターでは、ワーカーノードがジョブを登録して受け入れる前に、コントローラーノードを動作させる必要があります。継続的プロビジョニングは、優先度ベースのプロビジョニングを通じてこれを自動的に処理します。

コントローラーの障害処理

クラスターの作成中にコントローラーノードのプロビジョニングに失敗した場合の動作は、エラーが再試行可能か再試行不可能かによって異なります。

再試行可能なエラー (異常なインスタンスや一時的な障害など）。

再試行不可能なエラー (コントローラーインスタンスタイプに使用可能な容量がない、ライフサイクルスクリプトの障害など）。

前提条件

継続的プロビジョニングでは、各インスタンスグループの SlurmConfigフィールドの API ペイロードを介して Slurm プロビジョニングパラメータ (ノードタイプ、パーティション名) を指定する必要があります。Amazon S3 のレガシーprovisioning_parameters.jsonファイルに依存するクラスターは、継続的プロビジョニングと互換性がありません。

使用状況の計測

継続的プロビジョニングを有効にした HyperPod クラスターは、インスタンスレベルの計測を使用して、実際のリソース使用量を反映する正確な請求情報を提供できます。この計測アプローチは、各インスタンスを個別に追跡する点で、従来のクラスターレベルの請求とは異なります。

インスタンスレベルの請求

継続的プロビジョニングでは、請求はクラスターレベルの状態の変化を待つのではなく、個々のインスタンスレベルで開始され、停止します。これには次の利点があります。

請求ライフサイクル

HyperPod クラスター内の各インスタンスは、この請求ライフサイクルに従います。

継続的プロビジョニングを有効にしてクラスターを作成する

API CreateClusterリクエストファイルを JSON 形式で準備します。NodeProvisioningMode を に設定Continuousし、各インスタンスグループの SlurmConfigフィールドに Slurm トポロジ情報を指定します。

// create_cluster.json
{
    "ClusterName": "my-training-cluster",
    "NodeProvisioningMode": "Continuous",
    "Orchestrator": {
        "Slurm": {}
    },
    "InstanceGroups": [
        {
            "InstanceGroupName": "controller-group",
            "InstanceType": "ml.m5.xlarge",
            "InstanceCount": 1,
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://amzn-s3-demo-bucket/lifecycle-scripts/src/",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/iam-role-for-cluster",
            "SlurmConfig": {
                "NodeType": "Controller"
            }
        },
        {
            "InstanceGroupName": "login-group",
            "InstanceType": "ml.m5.xlarge",
            "InstanceCount": 1,
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://amzn-s3-demo-bucket/lifecycle-scripts/src/",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/iam-role-for-cluster",
            "SlurmConfig": {
                "NodeType": "Login"
            }
        },
        {
            "InstanceGroupName": "worker-gpu-a",
            "InstanceType": "ml.p5.48xlarge",
            "InstanceCount": 16,
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://amzn-s3-demo-bucket/lifecycle-scripts/src/",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/iam-role-for-cluster",
            "SlurmConfig": {
                "NodeType": "Compute",
                "PartitionNames": ["gpu-training"]
            }
        }
    ],
    "VpcConfig": {
        "SecurityGroupIds": ["sg-12345678"],
        "Subnets": ["subnet-12345678"]
    }
}

create-cluster コマンドを実行してリクエストを送信します。

aws sagemaker create-cluster \
    --cli-input-json file://complete/path/to/create_cluster.json

これにより、新しいクラスターの ARN が返されます。

{
    "ClusterArn": "arn:aws:sagemaker:us-west-2:111122223333:cluster/abcde12345"
}

Slurm 設定管理

継続的プロビジョニングは、slurm.confパーティション管理のためにマージモードでのみ動作します。マージモードでは、HyperPod はパーティション設定の変更を、 で変更したものに加えて追加で適用しますslurm.conf。HyperPod は のパーティション関連のセクション slurm.conf (パーティション名やノード名エントリなど) のみを更新します。他の Slurm 設定パラメータは変更されません。つまり、次のようになります。

SlurmConfigStrategy パラメータ (Managed、Merge、Overwrite) は、継続的プロビジョニングではサポートされていません。SlurmConfigStrategy 値を渡すと、API エラーが発生します。