本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

深度运行状况检查

SageMaker HyperPod 对 Slurm-orchestrated集群实例执行深度运行状况检查，以确保底层硬件和基础设施的可靠性和稳定性。在创建实例或将实例添加到集群（启动时）时，可以自动运行深度运行状况检查，也可以使用 StartClusterHealthCheckAPI 随时手动触发深度运行状况检查（按需）。这种主动方法有助于识别和缓解整个集群生命周期中的潜在问题。

在深度运行状况检查期间，受影响的节点会被置于 Slurm 维护预留中，以防止在其上调度作业。所有检查通过后，节点将从预留中释放并可用于工作负载。

深度健康检查类型

SageMaker HyperPod 支持 Slurm 集群的两类深度运行状况检查：

由以下人员完成的深度运行状况检查清单 SageMaker HyperPod

SageMaker HyperPod 运行以下深度运行状况检查。

Instance-level 深度运行状况检查 (InstanceStress)

Cluster-level 深度运行状况检查 (InstanceConnectivity)

On-start 深度健康检查

On-start 在首次配置实例时（集群创建期间或通过UpdateCluster添加新实例时），深度运行状况检查会自动运行。这样可以确保每个节点在接受工作负载之前都通过硬件验证。

启用启动时的深度运行状况检查

要启用启动时的深度运行状况检查，请在创建或更新集群时在实例组配置中指定OnStartDeepHealthChecks参数。

示例：创建具有启动时深度运行状况检查的集群

aws sagemaker create-cluster \
  --cluster-name my-slurm-cluster \
  --instance-groups '[
    {
      "InstanceGroupName": "controller-group",
      "InstanceType": "ml.m5.xlarge",
      "InstanceCount": 1,
      "LifeCycleConfig": {
        "SourceS3Uri": "s3://my-bucket/lifecycle-scripts/",
        "OnCreate": "on_create.sh"
      },
      "ExecutionRole": "arn:aws:iam::111122223333:role/my-role",
      "ThreadsPerCore": 1
    },
    {
      "InstanceGroupName": "worker-group",
      "InstanceType": "ml.p4d.24xlarge",
      "InstanceCount": 4,
      "LifeCycleConfig": {
        "SourceS3Uri": "s3://my-bucket/lifecycle-scripts/",
        "OnCreate": "on_create.sh"
      },
      "ExecutionRole": "arn:aws:iam::111122223333:role/my-role",
      "ThreadsPerCore": 1,
      "OnStartDeepHealthChecks": ["InstanceStress", "InstanceConnectivity"]
    }
  ]' \
  --vpc-config '{"SecurityGroupIds":["sg-12345678"],"Subnets":["subnet-12345678"]}'

启动时的深度运行状况检查期间会发生什么

启用启动时深度运行状况检查后，将发生以下过程：

集群会过渡到控制器节点至少运行InService一次。工作节点在测试期间显示DeepHealthCheckInProgress状态，并在通过Running后过渡到。

监控启动时的深度运行状况检查

您可以使用 Amazon AI AP SageMaker I 或 Slurm 命令监控启动时深度运行状况检查的状态。

使用检查节点状态 AWS Command Line Interface

aws sagemaker list-cluster-nodes \
  --cluster-name my-slurm-cluster

正在接受深度运行状况检查的节点显示InstanceStatus.Status为DeepHealthCheckInProgress。

通过控制器节点上的 SSM 检查 Slurm 状态

# View node states
sinfo -a -N -l

# View maintenance reservation
scontrol show reservations

# View running DHC jobs
squeue -a

接受深度运行状况检查的节点显示在hyperpod-deep-health-check预留和hyperpod-system-maintenance分区中。

向启用启动时深度运行状况检查的集群添加节点

当您向上扩展已OnStartDeepHealthChecks配置的集群时，新节点在接受工作负载之前会自动进行深度运行状况检查。现有节点和正在运行的作业不受影响。

aws sagemaker update-cluster \
  --cluster-name my-slurm-cluster \
  --instance-groups '[
    {
      "InstanceGroupName": "controller-group",
      "InstanceType": "ml.m5.xlarge",
      "InstanceCount": 1,
      "LifeCycleConfig": {
        "SourceS3Uri": "s3://my-bucket/lifecycle-scripts/",
        "OnCreate": "on_create.sh"
      },
      "ExecutionRole": "arn:aws:iam::111122223333:role/my-role",
      "ThreadsPerCore": 1
    },
    {
      "InstanceGroupName": "worker-group",
      "InstanceType": "ml.p4d.24xlarge",
      "InstanceCount": 8,
      "LifeCycleConfig": {
        "SourceS3Uri": "s3://my-bucket/lifecycle-scripts/",
        "OnCreate": "on_create.sh"
      },
      "ExecutionRole": "arn:aws:iam::111122223333:role/my-role",
      "ThreadsPerCore": 1,
      "OnStartDeepHealthChecks": ["InstanceStress", "InstanceConnectivity"]
    }
  ]'

运行深度运行状况检查时，新节点在维护预留中处于隔离状态。需要新节点提供额外容量的任务要等到这些节点通过深度运行状况检查并变为可用。现有可用节点可以满足的任务不受影响。

On-demand 深度健康检查

On-demand 深度运行状况检查允许您随时使用 StartClusterHealthCheckAPI 在现有集群节点上触发硬件验证。这对于定期进行运行状况验证或在出现疑似硬件问题之后非常有用。

从控制台按需运行深度运行状况检查

您可以直接从 SageMaker AI 控制台对 HyperPod 集群实例进行深度运行状况检查。

成功横幅确认检查已启动。在检查期间，实例不可用于工作负载，这可能需要一个多小时。在 Instances 表中监控实例状态 — 它显示运行时正在进行的深度运行状况检查。发现问题并启用自动恢复后， SageMaker HyperPod会自动重启或替换故障实例。

使用触发按需深度运行状况检查 AWS Command Line Interface

您可以指定要运行哪些实例组和哪些检查。每个集群一次只能激活一个按需深度运行状况检查请求。

aws sagemaker start-cluster-health-check \
  --cluster-name my-slurm-cluster \
  --deep-health-check-configurations '[
    {
      "InstanceGroupName": "worker-group",
      "DeepHealthChecks": ["InstanceStress", "InstanceConnectivity"]
    }
  ]'

正在运行的工作负载时的行为

在运行作业的节点上触发按需深度运行状况检查时：

深度运行状况检查日志

以下是 SageMaker HyperPod 深度运行状况检查的示例日志。

Cluster-level logs

集群级别的深度运行状况检查日志存储在您的 CloudWatch 日志组中，网址为。/aws/sagemaker/Clusters/<cluster_name>/<cluster_id>

日志流记录在 DeepHealthCheckResults/<log_stream_id> 中。

Instance-level logs

在每个节点上，深度运行状况检查日志存储在/var/log/aws/clusters/sagemaker-deep-health-check.log。

您可以通过 SSM 访问日志：

aws ssm start-session \
  --target "sagemaker-cluster:<cluster_id>_<instance_group>-<instance_id>"

然后查看日志：

cat /var/log/aws/clusters/sagemaker-deep-health-check.log

硬件检查输出示例

2026-03-29T18:03:14Z  info  Executing Hardware stress check with command: stress-ng
2026-03-29T18:04:20Z  info  stress-ng success
2026-03-29T18:04:20Z  info  GpuPci Count check success

DCGM 输出示例

2026-03-29T18:35:02Z  info  DCGM diagnostic health summary: dcgmCheckLevel: 4
  dcgmVersion: 3.3.7 gpuDriverVersion: 535.183.01
  gpuDeviceIds: [2237] replacementRequired: false rebootRequired: false

EFA 输出示例

2026-03-29T18:36:28Z  info  EFA Loopback check passed for device: rdmap0s29
  MaxBw: 58.59, AvgBw: 32.42, MaxTypicalLat: 30.87, AvgLat: 21.63

深度运行状况检查失败输出示例

{
    "level": "error",
    "ts": "2026-03-29T19:15:22Z",
    "msg": "Encountered FaultyInstance. Replace the Instance. Region: us-west-2, InstanceType: ml.g5.8xlarge. ERROR: Bandwidth has less than threshold: Expected minimum threshold: 80, NCCL Test output Bw: 30"
}

Auto-resume 深度运行状况检查时的行为

如果不启用深度运行状况检查，则在自动恢复期间替换节点时，替换节点会立即添加到集群中，并且可以立即在集群上安排自动恢复的作业。

启用深度运行状况检查后，替换节点必须通过所有配置的深度运行状况检查才能可用。但是，自动恢复的作业不必等待替换节点，可以将其安排在群集中的任何其他可用节点上。只有在没有其他节点可用时，作业才会等待。

其他注意事项