本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

深層運作狀態檢查

SageMaker HyperPod 會對 Slurm 協調叢集執行個體執行深度運作狀態檢查，以確保基礎硬體和基礎設施的可靠性和穩定性。建立執行個體或將執行個體新增至叢集時 （啟動時），可以自動執行深層運作狀態檢查，或者您可以隨時使用 StartClusterHealthCheck API 手動觸發它們 (隨需)。這種主動方法有助於在整個叢集生命週期中識別和緩解潛在問題。

在深度運作狀態檢查期間，受影響的節點會放置在 Slurm 維護保留中，以防止任務在其上排程。一旦所有檢查通過，節點就會從保留中釋出，並可供工作負載使用。

深層運作狀態檢查類型

SageMaker HyperPod 支援兩種類別的 Slurm 叢集深層運作狀態檢查：

SageMaker HyperPod 執行的深層運作狀態檢查清單

SageMaker HyperPod 會執行下列深層運作狀態檢查。

執行個體層級深層運作狀態檢查 (InstanceStress)

叢集層級深層運作狀態檢查 (InstanceConnectivity)

啟動時的深度運作狀態檢查

當第一次佈建執行個體時，即會在叢集建立期間或透過 UpdateCluster 新增執行個體時，自動執行啟動時的深度運作狀態檢查。這可確保每個節點在接受工作負載之前通過硬體驗證。

啟用啟動時的深度運作狀態檢查

若要啟用啟動時深層運作狀態檢查，請在建立或更新叢集時，在執行個體群組組態中指定 OnStartDeepHealthChecks 參數。

範例：建立具有啟動時深度運作狀態檢查的叢集

aws sagemaker create-cluster \
  --cluster-name my-slurm-cluster \
  --instance-groups '[
    {
      "InstanceGroupName": "controller-group",
      "InstanceType": "ml.m5.xlarge",
      "InstanceCount": 1,
      "LifeCycleConfig": {
        "SourceS3Uri": "s3://my-bucket/lifecycle-scripts/",
        "OnCreate": "on_create.sh"
      },
      "ExecutionRole": "arn:aws:iam::111122223333:role/my-role",
      "ThreadsPerCore": 1
    },
    {
      "InstanceGroupName": "worker-group",
      "InstanceType": "ml.p4d.24xlarge",
      "InstanceCount": 4,
      "LifeCycleConfig": {
        "SourceS3Uri": "s3://my-bucket/lifecycle-scripts/",
        "OnCreate": "on_create.sh"
      },
      "ExecutionRole": "arn:aws:iam::111122223333:role/my-role",
      "ThreadsPerCore": 1,
      "OnStartDeepHealthChecks": ["InstanceStress", "InstanceConnectivity"]
    }
  ]' \
  --vpc-config '{"SecurityGroupIds":["sg-12345678"],"Subnets":["subnet-12345678"]}'

啟動時的深度運作狀態檢查期間會發生什麼情況

啟用啟動時的深度運作狀態檢查時，會發生下列程序：

叢集至少InService會在控制器節點執行時轉換為 。工作者節點會在測試期間顯示DeepHealthCheckInProgress狀態，並在通過Running之後轉換為 。

監控啟動時的深度運作狀態檢查

您可以使用 Amazon SageMaker AI API 或 Slurm 命令監控啟動時深層運作狀態檢查的狀態。

使用 檢查節點狀態 AWS Command Line Interface

aws sagemaker list-cluster-nodes \
  --cluster-name my-slurm-cluster

進行深度運作狀態檢查的節點會顯示InstanceStatus.Status為 DeepHealthCheckInProgress。

透過控制器節點上的 SSM 檢查 Slurm 狀態

# View node states
sinfo -a -N -l

# View maintenance reservation
scontrol show reservations

# View running DHC jobs
squeue -a

深層運作狀態檢查下的節點會出現在hyperpod-deep-health-check保留和hyperpod-system-maintenance分割區中。

將節點新增至已啟用入門深度運作狀態檢查的叢集

當您擴展已OnStartDeepHealthChecks設定的叢集時，新節點會在接受工作負載之前自動執行深層運作狀態檢查。現有的節點和執行中的任務不會受到影響。

aws sagemaker update-cluster \
  --cluster-name my-slurm-cluster \
  --instance-groups '[
    {
      "InstanceGroupName": "controller-group",
      "InstanceType": "ml.m5.xlarge",
      "InstanceCount": 1,
      "LifeCycleConfig": {
        "SourceS3Uri": "s3://my-bucket/lifecycle-scripts/",
        "OnCreate": "on_create.sh"
      },
      "ExecutionRole": "arn:aws:iam::111122223333:role/my-role",
      "ThreadsPerCore": 1
    },
    {
      "InstanceGroupName": "worker-group",
      "InstanceType": "ml.p4d.24xlarge",
      "InstanceCount": 8,
      "LifeCycleConfig": {
        "SourceS3Uri": "s3://my-bucket/lifecycle-scripts/",
        "OnCreate": "on_create.sh"
      },
      "ExecutionRole": "arn:aws:iam::111122223333:role/my-role",
      "ThreadsPerCore": 1,
      "OnStartDeepHealthChecks": ["InstanceStress", "InstanceConnectivity"]
    }
  ]'

執行深層運作狀態檢查時，新的節點會在維護保留中隔離。需要新節點額外容量的任務會等待這些節點通過深度運作狀態檢查並可供使用。現有可用節點可滿足的任務不會受到影響。

隨需深層運作狀態檢查

隨需深層運作狀態檢查可讓您隨時使用 StartClusterHealthCheck API 觸發現有叢集節點的硬體驗證。這對於定期運作狀態驗證或在可疑的硬體問題之後非常有用。

從主控台執行隨需深層運作狀態檢查

您可以直接從 SageMaker AI 主控台在 HyperPod 叢集執行個體上執行深度運作狀態檢查。

成功橫幅會確認檢查已啟動。執行個體在檢查期間不適用於工作負載，這可能需要一小時的時間。在執行個體資料表中監控執行個體狀態 — 它顯示執行時正在進行的深層運作狀態檢查。發現問題並啟用自動復原時，SageMaker HyperPod 會自動重新啟動或取代故障的執行個體。

使用 觸發隨需深層運作狀態檢查 AWS Command Line Interface

您可以指定要執行的執行個體群組和檢查。每個叢集一次只能啟用一個隨需深層運作狀態檢查請求。

aws sagemaker start-cluster-health-check \
  --cluster-name my-slurm-cluster \
  --deep-health-check-configurations '[
    {
      "InstanceGroupName": "worker-group",
      "DeepHealthChecks": ["InstanceStress", "InstanceConnectivity"]
    }
  ]'

執行中工作負載的行為

在執行任務的節點上觸發隨需深層運作狀態檢查時：

來自深層運作狀態檢查的日誌

以下是來自 SageMaker HyperPod 深層運作狀態檢查的範例日誌。

叢集層級日誌

叢集層級的深度運作狀態檢查日誌會存放在 的 CloudWatch 日誌群組中/aws/sagemaker/Clusters/<cluster_name>/<cluster_id>。

日誌串流會記錄在 DeepHealthCheckResults/<log_stream_id>。

執行個體層級日誌

在每個節點上，深度運作狀態檢查日誌會存放在 /var/log/aws/clusters/sagemaker-deep-health-check.log。

您可以透過 SSM 存取日誌：

aws ssm start-session \
  --target "sagemaker-cluster:<cluster_id>_<instance_group>-<instance_id>"

然後檢視日誌：

cat /var/log/aws/clusters/sagemaker-deep-health-check.log

範例 HARDWARE_CHECK 輸出

2026-03-29T18:03:14Z  info  Executing Hardware stress check with command: stress-ng
2026-03-29T18:04:20Z  info  stress-ng success
2026-03-29T18:04:20Z  info  GpuPci Count check success

DCGM 輸出範例

2026-03-29T18:35:02Z  info  DCGM diagnostic health summary: dcgmCheckLevel: 4
  dcgmVersion: 3.3.7 gpuDriverVersion: 535.183.01
  gpuDeviceIds: [2237] replacementRequired: false rebootRequired: false

EFA 輸出範例

2026-03-29T18:36:28Z  info  EFA Loopback check passed for device: rdmap0s29
  MaxBw: 58.59, AvgBw: 32.42, MaxTypicalLat: 30.87, AvgLat: 21.63

深層運作狀態檢查失敗輸出範例

{
    "level": "error",
    "ts": "2026-03-29T19:15:22Z",
    "msg": "Encountered FaultyInstance. Replace the Instance. Region: us-west-2, InstanceType: ml.g5.8xlarge. ERROR: Bandwidth has less than threshold: Expected minimum threshold: 80, NCCL Test output Bw: 30"
}

使用深度運作狀態檢查自動恢復行為

如果未啟用深度運作狀態檢查，則在自動恢復期間取代節點時，取代節點會立即新增至叢集，而且可以立即排程自動恢復的任務。

啟用深層運作狀態檢查後，取代節點必須通過所有設定的深層運作狀態檢查，之後才能使用。不過，自動恢復的任務不需要等待取代節點，它可以在叢集中的任何其他可用節點上排程。任務只會在沒有其他節點可用時等待。

其他考量