本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

使用 Slurm 持續佈建增強型叢集操作

使用 Slurm 協同運作建立的 Amazon SageMaker HyperPod 叢集現在支援持續佈建，這項功能可在執行大規模 AI/ML 工作負載時提供更大的彈性和效率。持續佈建可讓您快速開始訓練、無縫擴展、在不中斷操作的情況下執行維護，以及具有叢集操作的精細可見性。

運作方式

持續佈建系統引入了所需狀態架構，取代了傳統的all-or-nothing擴展模型。在先前的模型中，如果任何執行個體群組無法完全佈建，整個叢集建立或更新操作會失敗並復原。透過持續佈建，系統會接受部分容量，並繼續以非同步方式佈建剩餘的執行個體。

持續佈建系統：

持續佈建預設為停用。若要使用此功能，請在CreateCluster請求Continuous中NodeProvisioningMode將 設定為 。

啟用持續佈建後，您可以同時啟動多個擴展操作，而無需等待先前的操作完成。這可讓您同時擴展相同叢集中的不同執行個體群組，並將多個擴展請求提交至相同的執行個體群組。

優先順序型佈建

Slurm 叢集需要控制器節點可運作，工作者節點才能註冊和接受任務。持續佈建會透過優先順序型佈建自動處理此問題：

控制器故障處理

在叢集建立期間，如果控制器節點無法佈建，則行為取決於錯誤是可重試還是不可重試。

可重試的錯誤 （例如運作狀態不佳的執行個體或暫時性故障）：

無法重試的錯誤 （例如，控制器執行個體類型或生命週期指令碼失敗沒有可用的容量）：

先決條件

持續佈建需要透過每個執行個體群組 SlurmConfig 欄位中的 API 承載提供 Slurm 佈建參數 （節點類型、分割區名稱）。在 Amazon S3 中依賴舊版provisioning_parameters.json檔案的叢集與連續佈建不相容。

用量計量

具有持續佈建的 HyperPod 叢集會使用執行個體層級計量，以提供反映實際資源用量的準確計費。這種計量方法與傳統的叢集層級計費不同，因為其獨立追蹤每個執行個體。

執行個體層級計費

透過持續佈建，計費會在個別執行個體層級開始和停止，而不是等待叢集層級狀態變更。此方法提供下列優勢：

計費生命週期

HyperPod 叢集中的每個執行個體都遵循此計費生命週期：

建立已啟用持續佈建的叢集

準備 JSON 格式的 CreateCluster API 請求檔案。將 NodeProvisioningMode設定為 ，Continuous並在每個執行個體群組的 SlurmConfig 欄位中提供 Slurm 拓撲資訊。

// create_cluster.json
{
    "ClusterName": "my-training-cluster",
    "NodeProvisioningMode": "Continuous",
    "Orchestrator": {
        "Slurm": {}
    },
    "InstanceGroups": [
        {
            "InstanceGroupName": "controller-group",
            "InstanceType": "ml.m5.xlarge",
            "InstanceCount": 1,
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://amzn-s3-demo-bucket/lifecycle-scripts/src/",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/iam-role-for-cluster",
            "SlurmConfig": {
                "NodeType": "Controller"
            }
        },
        {
            "InstanceGroupName": "login-group",
            "InstanceType": "ml.m5.xlarge",
            "InstanceCount": 1,
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://amzn-s3-demo-bucket/lifecycle-scripts/src/",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/iam-role-for-cluster",
            "SlurmConfig": {
                "NodeType": "Login"
            }
        },
        {
            "InstanceGroupName": "worker-gpu-a",
            "InstanceType": "ml.p5.48xlarge",
            "InstanceCount": 16,
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://amzn-s3-demo-bucket/lifecycle-scripts/src/",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/iam-role-for-cluster",
            "SlurmConfig": {
                "NodeType": "Compute",
                "PartitionNames": ["gpu-training"]
            }
        }
    ],
    "VpcConfig": {
        "SecurityGroupIds": ["sg-12345678"],
        "Subnets": ["subnet-12345678"]
    }
}

執行 create-cluster命令以提交請求。

aws sagemaker create-cluster \
    --cli-input-json file://complete/path/to/create_cluster.json

這會傳回新叢集的 ARN。

{
    "ClusterArn": "arn:aws:sagemaker:us-west-2:111122223333:cluster/abcde12345"
}

Slurm 組態管理

持續佈建僅以合併模式運作，以進行slurm.conf分割區管理。在合併模式中，HyperPod 會在您在 中修改的任何內容上附加套用其分割區組態變更slurm.conf。HyperPod 只會更新 的分割區相關區段 slurm.conf（例如分割區名稱和節點名稱項目）；不會修改其他 Slurm 組態參數。這表示：

連續佈建不支援 SlurmConfigStrategy 參數 (Managed、Merge、Overwrite)。傳遞任何SlurmConfigStrategy值會導致 API 錯誤。