本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

使用 Slurm 持续配置以增强集群操作

使用 Slurm 编排创建的 Amazon SageMaker HyperPod 集群现在支持持续配置，该功能可在运行大规模工作负载时提高灵活性和效率。 AI/ML 持续预调配功能可让您快速启动训练、无缝扩展、在不中断操作的情况下执行维护，并对集群操作拥有精细可见性。

工作原理

持续配置系统引入了理想状态架构，取代了传统的 all-or-nothing扩展模型。在之前的模型中，如果无法完全配置任何实例组，则整个集群的创建或更新操作将失败并回滚。通过持续配置，系统会接受部分容量，并继续异步配置剩余的实例。

持续预调配系统：

默认情况下，持续预调配功能处于禁用状态。要使用此功能，请在NodeProvisioningModeCreateCluster请求Continuous中设置为。

启用持续预调配功能后，您可以同时启动多个扩展操作，无需等待之前的操作完成。这使您能够同时扩展同一个集群中不同的实例组，并向同一个实例组提交多个扩展请求。

基于优先级的配置

Slurm 集群需要控制器节点才能运行，然后工作节点才能注册和接受作业。持续资源调配通过基于优先级的资源调配自动处理此问题：

控制器故障处理

在创建集群期间，如果控制器节点无法配置，则行为取决于错误是可重试还是不可重试。

可重试的错误（例如，不健康的实例或暂时性故障）：

不可重试的错误（例如，控制器实例类型没有可用容量或生命周期脚本失败）：

先决条件

持续配置要求通过每个实例组字段中的 API 负载提供 Slurm 配置参数（节点类型、分区名称）。SlurmConfig依赖于 Amazon S3 中旧provisioning_parameters.json文件的集群与持续配置不兼容。

使用计量

HyperPod 具有持续预配功能的集群使用实例级计量来提供反映实际资源使用情况的准确账单。这种计量方法不同于传统的集群级别计费，它会对每个实例进行独立跟踪。

实例级别计费

利用持续预调配功能，计费将在单个实例级别开始和停止，而不是等待集群级别的状态变化。此方法具有以下优势：

计费生命周期

HyperPod 集群中的每个实例都遵循以下账单生命周期：

创建一个已启用持续预调配的集群

准备一个 JSON 格式的 CreateCluster API 请求文件。设置NodeProvisioningMode为Continuous并在每个实例组的字段中提供 Slurm 拓扑信息。SlurmConfig

// create_cluster.json
{
    "ClusterName": "my-training-cluster",
    "NodeProvisioningMode": "Continuous",
    "Orchestrator": {
        "Slurm": {}
    },
    "InstanceGroups": [
        {
            "InstanceGroupName": "controller-group",
            "InstanceType": "ml.m5.xlarge",
            "InstanceCount": 1,
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://amzn-s3-demo-bucket/lifecycle-scripts/src/",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/iam-role-for-cluster",
            "SlurmConfig": {
                "NodeType": "Controller"
            }
        },
        {
            "InstanceGroupName": "login-group",
            "InstanceType": "ml.m5.xlarge",
            "InstanceCount": 1,
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://amzn-s3-demo-bucket/lifecycle-scripts/src/",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/iam-role-for-cluster",
            "SlurmConfig": {
                "NodeType": "Login"
            }
        },
        {
            "InstanceGroupName": "worker-gpu-a",
            "InstanceType": "ml.p5.48xlarge",
            "InstanceCount": 16,
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://amzn-s3-demo-bucket/lifecycle-scripts/src/",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/iam-role-for-cluster",
            "SlurmConfig": {
                "NodeType": "Compute",
                "PartitionNames": ["gpu-training"]
            }
        }
    ],
    "VpcConfig": {
        "SecurityGroupIds": ["sg-12345678"],
        "Subnets": ["subnet-12345678"]
    }
}

运行create-cluster命令提交请求。

aws sagemaker create-cluster \
    --cli-input-json file://complete/path/to/create_cluster.json

这将返回新集群的 ARN。

{
    "ClusterArn": "arn:aws:sagemaker:us-west-2:111122223333:cluster/abcde12345"
}

Slurm 配置管理

持续资源调配仅在合并模式下运行，用于slurm.conf分区管理。在合并模式下 HyperPod，将其分区配置更改添加到您所修改的内容之上。slurm.conf HyperPod 仅更新与分区相关的部分slurm.conf（例如分区名称和节点名称条目）；其他 Slurm 配置参数不会被修改。这意味着：

持续配置不支持SlurmConfigStrategy参数 (ManagedMerge,,Overwrite)。传递任何SlurmConfigStrategy值都会导致 API 错误。