本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

使用 Slurm 持续配置以增强集群操作

使用 Slurm 编排创建的 Amazon SageMaker HyperPod 集群现在支持持续配置，该功能可在运行大规模工作负载时提高灵活性和效率。 AI/ML 持续预调配功能可让您快速启动训练、无缝扩展、在不中断操作的情况下执行维护，并对集群操作拥有精细可见性。

工作原理

持续配置系统引入了理想状态架构，取代了传统的 “要么全有要么全无” 扩展模型。在之前的模型中，如果无法完全配置任何实例组，则整个集群的创建或更新操作将失败并回滚。通过持续配置，系统会接受部分容量，并继续异步配置剩余的实例。

持续预调配系统：

默认情况下，持续预调配功能处于禁用状态。要使用此功能，请在NodeProvisioningModeCreateCluster请求Continuous中设置为。

启用持续预调配功能后，您可以同时启动多个扩展操作，无需等待之前的操作完成。这使您能够同时扩展同一个集群中不同的实例组，并向同一个实例组提交多个扩展请求。

Priority-based 配置

Slurm 集群需要控制器节点才能运行，然后工作节点才能注册和接受作业。持续资源调配通过基于优先级的资源调配自动处理此问题：

控制器故障处理

在创建集群期间，如果控制器节点无法配置，则行为取决于错误是可重试还是不可重试。

可重试的错误（例如，不健康的实例或暂时性故障）：

Non-retryable 错误（例如，控制器实例类型没有可用容量或生命周期脚本故障）：

先决条件

持续配置要求通过每个实例组字段中的 API 负载提供 Slurm 配置参数（节点类型、分区名称）。SlurmConfig依赖于 Amazon S3 中旧provisioning_parameters.json文件的集群与持续配置不兼容。

使用计量

HyperPod 具有持续预配功能的集群使用实例级计量来提供反映实际资源使用情况的准确账单。这种计量方法不同于传统的集群级别计费，它会对每个实例进行独立跟踪。

Instance-level 计费

利用持续预调配功能，计费将在单个实例级别开始和停止，而不是等待集群级别的状态变化。此方法具有以下优势：

计费生命周期

HyperPod 集群中的每个实例都遵循以下账单生命周期：

创建一个已启用持续预调配的集群

准备一个 JSON 格式的 CreateCluster API 请求文件。设置NodeProvisioningMode为Continuous并在每个实例组的字段中提供 Slurm 拓扑信息。SlurmConfig

// create_cluster.json
{
    "ClusterName": "my-training-cluster",
    "NodeProvisioningMode": "Continuous",
    "Orchestrator": {
        "Slurm": {}
    },
    "InstanceGroups": [
        {
            "InstanceGroupName": "controller-group",
            "InstanceType": "ml.m5.xlarge",
            "InstanceCount": 1,
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://amzn-s3-demo-bucket/lifecycle-scripts/src/",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/iam-role-for-cluster",
            "SlurmConfig": {
                "NodeType": "Controller"
            }
        },
        {
            "InstanceGroupName": "login-group",
            "InstanceType": "ml.m5.xlarge",
            "InstanceCount": 1,
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://amzn-s3-demo-bucket/lifecycle-scripts/src/",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/iam-role-for-cluster",
            "SlurmConfig": {
                "NodeType": "Login"
            }
        },
        {
            "InstanceGroupName": "worker-gpu-a",
            "InstanceType": "ml.p5.48xlarge",
            "InstanceCount": 16,
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://amzn-s3-demo-bucket/lifecycle-scripts/src/",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/iam-role-for-cluster",
            "SlurmConfig": {
                "NodeType": "Compute",
                "PartitionNames": ["gpu-training"]
            }
        }
    ],
    "VpcConfig": {
        "SecurityGroupIds": ["sg-12345678"],
        "Subnets": ["subnet-12345678"]
    }
}

运行create-cluster命令提交请求。

aws sagemaker create-cluster \
    --cli-input-json file://complete/path/to/create_cluster.json

这将返回新集群的 ARN。

{
    "ClusterArn": "arn:aws:sagemaker:us-west-2:111122223333:cluster/abcde12345"
}

Slurm 配置管理

持续资源调配仅在合并模式下运行，用于slurm.conf分区管理。在合并模式下 HyperPod，将其分区配置更改添加到您所修改的内容之上。slurm.conf HyperPod 仅更新与分区相关的部分slurm.conf（例如分区名称和节点名称条目）；其他 Slurm 配置参数不会被修改。这意味着：

持续配置不支持SlurmConfigStrategy参数 (ManagedMerge,,Overwrite)。传递任何SlurmConfigStrategy值都会导致 API 错误。

最低容量要求 (MinCount)

该 MinCount 功能允许您指定在实例组转换为InService状态之前必须成功配置的最小实例数量。此功能可以更好地控制扩展操作，并有助于防止出现部分预配置的实例组无法有效用于训练工作负载的情况。

如何 MinCount 运作

当您创建或更新 MinCount 启用状态的实例组时，会发生以下行为：

MinCount 操作期间的实例组状态

MinCount 已配置的实例组表现出以下状态行为：

在Creating或Updating状态期间，以下限制适用：

自动回滚行为

如果某个实例组无法 MinCount 在 3 小时内到达其状态，则系统会自动启动回滚以防止无限期等待：

每次更新时，3 小时的超时 MinCount 都会重置。例如，如果您 MinCount 多次更新，则超时时间将从最近一次更新重新开始。

MinCount 事件

系统会发出特定事件来帮助您跟踪 MinCount 操作：

您可以使用监控这些事件ListClusterEvents来跟踪 MinCount 操作进度。

API 使用

MinCount 使用实例组配置中的MinInstanceCount参数指定：

aws sagemaker create-cluster \
--cluster-name $HP_CLUSTER_NAME \
--instance-groups '[
    {
      "InstanceGroupName": "controller-machine",
      "InstanceType": "ml.c5.xlarge",
      "InstanceCount": 1,
      "SlurmConfig": {"NodeType": "Controller"},
      "LifeCycleConfig": {
        "SourceS3Uri": "s3://'$BUCKET_NAME'",
        "OnCreate": "on_create.sh"
      },
      "ExecutionRole": "'$EXECUTION_ROLE'",
      "ThreadsPerCore": 2
    },
    {
      "InstanceGroupName": "my-login-group",
      "InstanceType": "ml.c5.xlarge",
      "InstanceCount": 1,
      "SlurmConfig": {"NodeType": "Login"},
      "LifeCycleConfig": {
        "SourceS3Uri": "s3://'$BUCKET_NAME'",
        "OnCreate": "on_create.sh"
      },
      "ExecutionRole": "'$EXECUTION_ROLE'",
      "ThreadsPerCore": 1
    },
    {
      "InstanceGroupName": "worker-group-1",
      "InstanceType": "ml.c5.xlarge",
      "MinInstanceCount": 1,
      "InstanceCount": 2,
      "SlurmConfig": {
        "NodeType": "Compute",
        "PartitionNames": ["p1"]
      },
      "LifeCycleConfig": {
        "SourceS3Uri": "s3://'$BUCKET_NAME'",
        "OnCreate": "on_create.sh"
      },
      "ExecutionRole": "'$EXECUTION_ROLE'",
      "ThreadsPerCore": 1
    }
  ]' \
  --vpc-config '{
    "SecurityGroupIds": ["'$SECURITY_GROUP'"],
    "Subnets": ["'$SUBNET'"]
  }' \
  --node-provisioning-mode Continuous

MinCount 使用时的关键注意事项：