翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Slurm を使用したクラスターオペレーションの強化のための継続的なプロビジョニング

Slurm オーケストレーションで作成された Amazon SageMaker HyperPod クラスターは、継続的なプロビジョニングをサポートするようになりました。これは、大規模な AI/ML ワークロードを実行する際の柔軟性と効率を高める機能です。継続的プロビジョニングにより、トレーニングを迅速に開始し、シームレスにスケールして、オペレーションを中断することなくメンテナンスを実行し、クラスターオペレーションをきめ細かく可視化できます。

仕組み

継続的プロビジョニングシステムは、従来のall-or-nothingスケーリングモデルを置き換える、望ましい状態のアーキテクチャを導入します。前のモデルでは、インスタンスグループを完全にプロビジョニングできなかった場合、クラスターの作成または更新オペレーション全体が失敗し、ロールバックされました。継続的プロビジョニングでは、システムは部分容量を受け入れ、残りのインスタンスを非同期的にプロビジョニングし続けます。

継続的プロビジョニングシステム:

継続的プロビジョニングはデフォルトで無効になっています。この機能を使用するには、CreateClusterリクエストContinuousで NodeProvisioningModeを に設定します。

継続的プロビジョニングを有効にすると、以前のオペレーションが完了するのを待つ必要なく、複数のスケーリングオペレーションを同時に開始できます。これにより、同じクラスター内の異なるインスタンスグループを同時にスケールし、同じインスタンスグループに複数のスケーリングリクエストを送信できます。

優先度ベースのプロビジョニング

Slurm クラスターでは、ワーカーノードがジョブを登録して受け入れる前に、コントローラーノードが動作している必要があります。継続的プロビジョニングは、優先度ベースのプロビジョニングを通じてこれを自動的に処理します。

コントローラーの障害処理

クラスターの作成中にコントローラーノードのプロビジョニングに失敗した場合の動作は、エラーが再試行可能か再試行不可能かによって異なります。

再試行可能なエラー (異常なインスタンスや一時的な障害など):

再試行不可能なエラー (コントローラーインスタンスタイプに使用可能な容量がない、ライフサイクルスクリプトの障害など）。

前提条件

継続的プロビジョニングでは、各インスタンスグループの SlurmConfigフィールドの API ペイロードを介して Slurm プロビジョニングパラメータ (ノードタイプ、パーティション名) を指定する必要があります。Amazon S3 のレガシーprovisioning_parameters.jsonファイルに依存するクラスターは、継続的プロビジョニングと互換性がありません。

使用状況の計測

継続的プロビジョニングを有効にした HyperPod クラスターは、インスタンスレベルの計測を使用して、実際のリソース使用量を反映する正確な請求情報を提供できます。この計測アプローチは、各インスタンスを個別に追跡する点で、従来のクラスターレベルの請求とは異なります。

インスタンスレベルの請求

継続的プロビジョニングでは、請求はクラスターレベルの状態の変化を待つのではなく、個々のインスタンスレベルで開始され、停止します。これには次の利点があります。

請求ライフサイクル

HyperPod クラスター内の各インスタンスは、この請求ライフサイクルに従います。

継続的プロビジョニングを有効にしてクラスターを作成する

API CreateClusterリクエストファイルを JSON 形式で準備します。NodeProvisioningMode を に設定Continuousし、各インスタンスグループの SlurmConfigフィールドに Slurm トポロジ情報を指定します。

// create_cluster.json
{
    "ClusterName": "my-training-cluster",
    "NodeProvisioningMode": "Continuous",
    "Orchestrator": {
        "Slurm": {}
    },
    "InstanceGroups": [
        {
            "InstanceGroupName": "controller-group",
            "InstanceType": "ml.m5.xlarge",
            "InstanceCount": 1,
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://amzn-s3-demo-bucket/lifecycle-scripts/src/",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/iam-role-for-cluster",
            "SlurmConfig": {
                "NodeType": "Controller"
            }
        },
        {
            "InstanceGroupName": "login-group",
            "InstanceType": "ml.m5.xlarge",
            "InstanceCount": 1,
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://amzn-s3-demo-bucket/lifecycle-scripts/src/",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/iam-role-for-cluster",
            "SlurmConfig": {
                "NodeType": "Login"
            }
        },
        {
            "InstanceGroupName": "worker-gpu-a",
            "InstanceType": "ml.p5.48xlarge",
            "InstanceCount": 16,
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://amzn-s3-demo-bucket/lifecycle-scripts/src/",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/iam-role-for-cluster",
            "SlurmConfig": {
                "NodeType": "Compute",
                "PartitionNames": ["gpu-training"]
            }
        }
    ],
    "VpcConfig": {
        "SecurityGroupIds": ["sg-12345678"],
        "Subnets": ["subnet-12345678"]
    }
}

create-cluster コマンドを実行してリクエストを送信します。

aws sagemaker create-cluster \
    --cli-input-json file://complete/path/to/create_cluster.json

これにより、新しいクラスターの ARN が返されます。

{
    "ClusterArn": "arn:aws:sagemaker:us-west-2:111122223333:cluster/abcde12345"
}

Slurm 設定管理

継続的プロビジョニングは、slurm.confパーティション管理のためにマージモードでのみ動作します。マージモードでは、HyperPod はパーティション設定の変更を、 で変更したものに加えて追加で適用しますslurm.conf。HyperPod は のパーティション関連のセクション slurm.conf (パーティション名やノード名エントリなど) のみを更新します。他の Slurm 設定パラメータは変更されません。つまり、次のようになります。

SlurmConfigStrategy パラメータ (Managed、Merge、Overwrite) は、継続的プロビジョニングではサポートされていません。SlurmConfigStrategy 値を渡すと、API エラーが発生します。

最小容量要件 (MinCount)

MinCount 機能を使用すると、インスタンスグループが InServiceステータスに移行する前に正常にプロビジョニングする必要があるインスタンスの最小数を指定できます。この機能は、スケーリングオペレーションをより適切に制御し、部分的にプロビジョニングされたインスタンスグループをトレーニングワークロードに効果的に使用できないシナリオを防ぐのに役立ちます。

MinCount の仕組み

MinCount を有効にしてインスタンスグループを作成または更新すると、次の動作が発生します。

MinCount オペレーション中のインスタンスグループのステータス

MinCount が設定されたインスタンスグループは、次のステータス動作を示します。

Creating または Updatingステータスの間は、次の制限が適用されます。

自動ロールバック動作

インスタンスグループが 3 時間以内に MinCount に到達できない場合、システムは無期限の待機を防ぐために自動的にロールバックを開始します。

MinCount が更新されるたびに 3 時間のタイムアウトがリセットされます。例えば、MinCount を複数回更新すると、タイムアウト期間は最新の更新から更新されます。

MinCount イベント

システムは、MinCount オペレーションの追跡に役立つ特定のイベントを発行します。

ListClusterEvents を使用してこれらのイベントをモニタリングし、MinCount オペレーションの進行状況を追跡できます。

API の使用

MinCount は、インスタンスグループ設定の MinInstanceCountパラメータを使用して指定します。

aws sagemaker create-cluster \
--cluster-name $HP_CLUSTER_NAME \
--instance-groups '[
    {
      "InstanceGroupName": "controller-machine",
      "InstanceType": "ml.c5.xlarge",
      "InstanceCount": 1,
      "SlurmConfig": {"NodeType": "Controller"},
      "LifeCycleConfig": {
        "SourceS3Uri": "s3://'$BUCKET_NAME'",
        "OnCreate": "on_create.sh"
      },
      "ExecutionRole": "'$EXECUTION_ROLE'",
      "ThreadsPerCore": 2
    },
    {
      "InstanceGroupName": "my-login-group",
      "InstanceType": "ml.c5.xlarge",
      "InstanceCount": 1,
      "SlurmConfig": {"NodeType": "Login"},
      "LifeCycleConfig": {
        "SourceS3Uri": "s3://'$BUCKET_NAME'",
        "OnCreate": "on_create.sh"
      },
      "ExecutionRole": "'$EXECUTION_ROLE'",
      "ThreadsPerCore": 1
    },
    {
      "InstanceGroupName": "worker-group-1",
      "InstanceType": "ml.c5.xlarge",
      "MinInstanceCount": 1,
      "InstanceCount": 2,
      "SlurmConfig": {
        "NodeType": "Compute",
        "PartitionNames": ["p1"]
      },
      "LifeCycleConfig": {
        "SourceS3Uri": "s3://'$BUCKET_NAME'",
        "OnCreate": "on_create.sh"
      },
      "ExecutionRole": "'$EXECUTION_ROLE'",
      "ThreadsPerCore": 1
    }
  ]' \
  --vpc-config '{
    "SecurityGroupIds": ["'$SECURITY_GROUP'"],
    "Subnets": ["'$SUBNET'"]
  }' \
  --node-provisioning-mode Continuous

MinCount の使用に関する主な考慮事項: