本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

使用 Slurm 持續佈建增強型叢集操作

使用 Slurm 協同運作建立的 Amazon SageMaker HyperPod 叢集現在支援持續佈建，這項功能可在執行大規模 AI/ML 工作負載時提供更大的彈性和效率。持續佈建可讓您快速開始訓練、無縫擴展、在不中斷操作的情況下執行維護，以及具有叢集操作的精細可見性。

運作方式

持續佈建系統引入了所需狀態架構，取代了傳統的all-or-nothing擴展模型。在先前的模型中，如果任何執行個體群組無法完全佈建，整個叢集建立或更新操作會失敗並復原。透過持續佈建，系統會接受部分容量，並繼續以非同步方式佈建剩餘的執行個體。

持續佈建系統：

持續佈建預設為停用。若要使用此功能，請在CreateCluster請求Continuous中NodeProvisioningMode將 設定為 。

啟用持續佈建後，您可以同時啟動多個擴展操作，而無需等待先前的操作完成。這可讓您同時擴展相同叢集中的不同執行個體群組，並將多個擴展請求提交至相同的執行個體群組。

優先順序型佈建

Slurm 叢集需要控制器節點可運作，工作者節點才能註冊和接受任務。持續佈建會透過優先順序型佈建自動處理此問題：

控制器故障處理

在叢集建立期間，如果控制器節點無法佈建，則行為取決於錯誤是可重試還是不可重試。

可重試的錯誤 （例如運作狀態不佳的執行個體或暫時性故障）：

無法重試的錯誤 （例如，控制器執行個體類型或生命週期指令碼失敗沒有可用的容量）：

先決條件

持續佈建需要透過每個執行個體群組SlurmConfig欄位中的 API 承載提供 Slurm 佈建參數 （節點類型、分割區名稱）。在 Amazon S3 中依賴舊版provisioning_parameters.json檔案的叢集與連續佈建不相容。

用量計量

具有持續佈建的 HyperPod 叢集會使用執行個體層級計量，以提供反映實際資源用量的準確計費。這種計量方法與傳統的叢集層級計費不同，因為其獨立追蹤每個執行個體。

執行個體層級計費

透過持續佈建，計費會在個別執行個體層級開始和停止，而不是等待叢集層級狀態變更。此方法提供下列優勢：

計費生命週期

HyperPod 叢集中的每個執行個體都遵循此計費生命週期：

建立已啟用持續佈建的叢集

準備 JSON 格式的 CreateCluster API 請求檔案。將 NodeProvisioningMode設定為 ，Continuous並在每個執行個體群組的 SlurmConfig 欄位中提供 Slurm 拓撲資訊。

// create_cluster.json
{
    "ClusterName": "my-training-cluster",
    "NodeProvisioningMode": "Continuous",
    "Orchestrator": {
        "Slurm": {}
    },
    "InstanceGroups": [
        {
            "InstanceGroupName": "controller-group",
            "InstanceType": "ml.m5.xlarge",
            "InstanceCount": 1,
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://amzn-s3-demo-bucket/lifecycle-scripts/src/",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/iam-role-for-cluster",
            "SlurmConfig": {
                "NodeType": "Controller"
            }
        },
        {
            "InstanceGroupName": "login-group",
            "InstanceType": "ml.m5.xlarge",
            "InstanceCount": 1,
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://amzn-s3-demo-bucket/lifecycle-scripts/src/",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/iam-role-for-cluster",
            "SlurmConfig": {
                "NodeType": "Login"
            }
        },
        {
            "InstanceGroupName": "worker-gpu-a",
            "InstanceType": "ml.p5.48xlarge",
            "InstanceCount": 16,
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://amzn-s3-demo-bucket/lifecycle-scripts/src/",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/iam-role-for-cluster",
            "SlurmConfig": {
                "NodeType": "Compute",
                "PartitionNames": ["gpu-training"]
            }
        }
    ],
    "VpcConfig": {
        "SecurityGroupIds": ["sg-12345678"],
        "Subnets": ["subnet-12345678"]
    }
}

執行 create-cluster命令以提交請求。

aws sagemaker create-cluster \
    --cli-input-json file://complete/path/to/create_cluster.json

這會傳回新叢集的 ARN。

{
    "ClusterArn": "arn:aws:sagemaker:us-west-2:111122223333:cluster/abcde12345"
}

Slurm 組態管理

持續佈建僅以合併模式運作，以進行slurm.conf分割區管理。在合併模式中，HyperPod 會附加套用其分割區組態變更到您在 中修改的任何內容slurm.conf。HyperPod 只會更新 的分割區相關區段 slurm.conf（例如分割區名稱和節點名稱項目）；不會修改其他 Slurm 組態參數。這表示：

連續佈建不支援 SlurmConfigStrategy 參數 (Managed、Merge、Overwrite)。傳遞任何SlurmConfigStrategy值會導致 API 錯誤。

最小容量需求 (MinCount)

MinCount 功能可讓您指定執行個體群組轉換為 InService 狀態之前，必須成功佈建的執行個體數量下限。此功能可更好地控制擴展操作，並有助於防止部分佈建的執行個體群組無法有效地用於訓練工作負載的情況。

MinCount 的運作方式

當您建立或更新已啟用 MinCount 的執行個體群組時，會發生下列行為：

MinCount 操作期間的執行個體群組狀態

已設定 MinCount 的執行個體群組會顯示下列狀態行為：

在 Creating或 Updating 狀態期間，適用下列限制：

自動轉返行為

如果執行個體群組無法在 3 小時內達到其 MinCount，系統會自動啟動轉返，以防止無限期等待：

每次更新 MinCount 時，3 小時逾時都會重設。例如，如果您多次更新 MinCount，逾時期間會從最近的更新開始。

MinCount 事件

系統會發出特定事件，協助您追蹤 MinCount 操作：

您可以使用 ListClusterEvents 監控這些事件，以追蹤 MinCount 操作的進度。

API 用量

MinCount 是在執行個體群組組態中使用 MinInstanceCount 參數指定：

aws sagemaker create-cluster \
--cluster-name $HP_CLUSTER_NAME \
--instance-groups '[
    {
      "InstanceGroupName": "controller-machine",
      "InstanceType": "ml.c5.xlarge",
      "InstanceCount": 1,
      "SlurmConfig": {"NodeType": "Controller"},
      "LifeCycleConfig": {
        "SourceS3Uri": "s3://'$BUCKET_NAME'",
        "OnCreate": "on_create.sh"
      },
      "ExecutionRole": "'$EXECUTION_ROLE'",
      "ThreadsPerCore": 2
    },
    {
      "InstanceGroupName": "my-login-group",
      "InstanceType": "ml.c5.xlarge",
      "InstanceCount": 1,
      "SlurmConfig": {"NodeType": "Login"},
      "LifeCycleConfig": {
        "SourceS3Uri": "s3://'$BUCKET_NAME'",
        "OnCreate": "on_create.sh"
      },
      "ExecutionRole": "'$EXECUTION_ROLE'",
      "ThreadsPerCore": 1
    },
    {
      "InstanceGroupName": "worker-group-1",
      "InstanceType": "ml.c5.xlarge",
      "MinInstanceCount": 1,
      "InstanceCount": 2,
      "SlurmConfig": {
        "NodeType": "Compute",
        "PartitionNames": ["p1"]
      },
      "LifeCycleConfig": {
        "SourceS3Uri": "s3://'$BUCKET_NAME'",
        "OnCreate": "on_create.sh"
      },
      "ExecutionRole": "'$EXECUTION_ROLE'",
      "ThreadsPerCore": 1
    }
  ]' \
  --vpc-config '{
    "SecurityGroupIds": ["'$SECURITY_GROUP'"],
    "Subnets": ["'$SUBNET'"]
  }' \
  --node-provisioning-mode Continuous

MinCount 用量的主要考量事項：