기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

심층 상태 확인

SageMaker HyperPod는 Slurm 오케스트레이션 클러스터 인스턴스에 대한 심층 상태 확인을 수행하여 기본 하드웨어 및 인프라의 신뢰성과 안정성을 보장합니다. 심층 상태 확인은 인스턴스가 생성되거나 클러스터에 추가될 때 자동으로 실행되거나(시작 시) StartClusterHealthCheck API를 사용하여 언제든지(온디맨드 시) 수동으로 트리거할 수 있습니다. 이 선제적 접근 방식은 클러스터 수명 주기 전반에 걸쳐 잠재적 문제를 식별하고 완화하는 데 도움이 됩니다.

심층 상태 확인 중에 영향을 받는 노드는 Slurm 유지 관리 예약에 배치되어 작업이 예약되지 않도록 합니다. 모든 검사가 통과되면 노드가 예약에서 해제되고 워크로드에 사용할 수 있게 됩니다.

심층 상태 확인 유형

SageMaker HyperPod는 Slurm 클러스터에 대해 두 가지 범주의 심층 상태 확인을 지원합니다.

SageMaker HyperPod에서 수행한 심층 상태 확인 목록

SageMaker HyperPod는 다음과 같은 심층 상태 확인을 실행합니다.

인스턴스 수준 심층 상태 확인(InstanceStress)

클러스터 수준 심층 상태 확인(InstanceConnectivity)

시작 시 심층 상태 확인

인스턴스가 처음 프로비저닝될 때, 즉 클러스터 생성 중에 또는 UpdateCluster를 통해 새 인스턴스가 추가될 때 시작 시 심층 상태 확인이 자동으로 실행됩니다. 이렇게 하면 워크로드를 수락하기 전에 모든 노드가 하드웨어 검증을 통과할 수 있습니다.

시작 시 심층 상태 확인 활성화

시작 시 심층 상태 확인을 활성화하려면 클러스터를 생성하거나 업데이트할 때 인스턴스 그룹 구성에 OnStartDeepHealthChecks 파라미터를 지정합니다.

예: 시작 시 심층 상태 확인을 사용하여 클러스터 생성

aws sagemaker create-cluster \
  --cluster-name my-slurm-cluster \
  --instance-groups '[
    {
      "InstanceGroupName": "controller-group",
      "InstanceType": "ml.m5.xlarge",
      "InstanceCount": 1,
      "LifeCycleConfig": {
        "SourceS3Uri": "s3://my-bucket/lifecycle-scripts/",
        "OnCreate": "on_create.sh"
      },
      "ExecutionRole": "arn:aws:iam::111122223333:role/my-role",
      "ThreadsPerCore": 1
    },
    {
      "InstanceGroupName": "worker-group",
      "InstanceType": "ml.p4d.24xlarge",
      "InstanceCount": 4,
      "LifeCycleConfig": {
        "SourceS3Uri": "s3://my-bucket/lifecycle-scripts/",
        "OnCreate": "on_create.sh"
      },
      "ExecutionRole": "arn:aws:iam::111122223333:role/my-role",
      "ThreadsPerCore": 1,
      "OnStartDeepHealthChecks": ["InstanceStress", "InstanceConnectivity"]
    }
  ]' \
  --vpc-config '{"SecurityGroupIds":["sg-12345678"],"Subnets":["subnet-12345678"]}'

시작 시 심층 상태 확인 중에 발생하는 일

시작 시 심층 상태 확인이 활성화되면 다음 프로세스가 발생합니다.

클러스터는 적어도 컨트롤러 노드가 실행 중InService이면 로 전환됩니다. 작업자 노드는 테스트 중에 DeepHealthCheckInProgress 상태를 표시하고 전달 Running 후 로 전환합니다.

시작 시 심층 상태 확인 모니터링

Amazon SageMaker AI API 또는 Slurm 명령을 사용하여 시작 시 심층 상태 확인의 상태를 모니터링할 수 있습니다.

를 사용하여 노드 상태 확인 AWS Command Line Interface

aws sagemaker list-cluster-nodes \
  --cluster-name my-slurm-cluster

심층 상태 확인을 수행하는 노드는 InstanceStatus.Status로 표시됩니다DeepHealthCheckInProgress.

컨트롤러 노드의 SSM을 통해 Slurm 상태 확인

# View node states
sinfo -a -N -l

# View maintenance reservation
scontrol show reservations

# View running DHC jobs
squeue -a

심층 상태 확인 노드는 hyperpod-deep-health-check 예약 및 hyperpod-system-maintenance 파티션에 표시됩니다.

시작 시 심층 상태 확인이 활성화된 클러스터에 노드 추가

OnStartDeepHealthChecks 구성된 클러스터를 스케일 업하면 워크로드를 수락하기 전에 새 노드가 자동으로 심층 상태 확인을 거칩니다. 기존 노드와 실행 중인 작업은 영향을 받지 않습니다.

aws sagemaker update-cluster \
  --cluster-name my-slurm-cluster \
  --instance-groups '[
    {
      "InstanceGroupName": "controller-group",
      "InstanceType": "ml.m5.xlarge",
      "InstanceCount": 1,
      "LifeCycleConfig": {
        "SourceS3Uri": "s3://my-bucket/lifecycle-scripts/",
        "OnCreate": "on_create.sh"
      },
      "ExecutionRole": "arn:aws:iam::111122223333:role/my-role",
      "ThreadsPerCore": 1
    },
    {
      "InstanceGroupName": "worker-group",
      "InstanceType": "ml.p4d.24xlarge",
      "InstanceCount": 8,
      "LifeCycleConfig": {
        "SourceS3Uri": "s3://my-bucket/lifecycle-scripts/",
        "OnCreate": "on_create.sh"
      },
      "ExecutionRole": "arn:aws:iam::111122223333:role/my-role",
      "ThreadsPerCore": 1,
      "OnStartDeepHealthChecks": ["InstanceStress", "InstanceConnectivity"]
    }
  ]'

심층 상태 확인이 실행되는 동안 유지 관리 예약에서 새 노드가 격리됩니다. 새 노드의 추가 용량이 필요한 작업은 해당 노드가 심층 상태 확인을 통과하여 사용할 수 있게 될 때까지 대기합니다. 사용 가능한 기존 노드에서 충족할 수 있는 작업은 영향을 받지 않습니다.

온디맨드 심층 상태 확인

온디맨드 심층 상태 확인을 사용하면 StartClusterHealthCheck API를 사용하여 언제든지 기존 클러스터 노드에서 하드웨어 검증을 트리거할 수 있습니다. 이는 정기적인 상태 확인 또는 하드웨어 문제가 의심되는 경우에 유용합니다.

콘솔에서 온디맨드 심층 상태 확인 실행

SageMaker AI 콘솔에서 직접 HyperPod 클러스터 인스턴스에 대한 심층 상태 확인을 실행할 수 있습니다.

성공 배너는 검사가 시작되었음을 확인합니다. 검사 중에는 워크로드에 인스턴스를 사용할 수 없으며,이 작업은 1시간 이상 걸릴 수 있습니다. 인스턴스 테이블의 인스턴스 상태 모니터링 - 실행 중에 진행 중인 심층 상태 확인을 표시합니다. 문제가 발견되고 자동 복구가 활성화되면 SageMaker HyperPod는 자동으로 재부팅되거나 결함이 있는 인스턴스를 교체합니다.

를 사용하여 온디맨드 심층 상태 확인 트리거 AWS Command Line Interface

실행할 인스턴스 그룹과 검사를 지정할 수 있습니다. 클러스터당 한 번에 하나의 온디맨드 심층 상태 확인 요청만 활성화할 수 있습니다.

aws sagemaker start-cluster-health-check \
  --cluster-name my-slurm-cluster \
  --deep-health-check-configurations '[
    {
      "InstanceGroupName": "worker-group",
      "DeepHealthChecks": ["InstanceStress", "InstanceConnectivity"]
    }
  ]'

실행 중인 워크로드에 대한 동작

작업을 실행 중인 노드에서 온디맨드 심층 상태 확인이 트리거되는 경우:

심층 상태 확인의 로그

다음은 SageMaker HyperPod 심층 상태 확인의 로그 예제입니다.

클러스터 수준 로그

클러스터 수준 심층 상태 확인 로그는의 CloudWatch 로그 그룹에 저장됩니다/aws/sagemaker/Clusters/<cluster_name>/<cluster_id>.

로그 스트림은 DeepHealthCheckResults/<log_stream_id>에 기록됩니다.

인스턴스 수준 로그

각 노드에서 심층 상태 확인 로그는에 저장됩니다/var/log/aws/clusters/sagemaker-deep-health-check.log.

SSM을 통해 로그에 액세스할 수 있습니다.

aws ssm start-session \
  --target "sagemaker-cluster:<cluster_id>_<instance_group>-<instance_id>"

그런 다음 로그를 봅니다.

cat /var/log/aws/clusters/sagemaker-deep-health-check.log

HARDWARE_CHECK 출력 예제

2026-03-29T18:03:14Z  info  Executing Hardware stress check with command: stress-ng
2026-03-29T18:04:20Z  info  stress-ng success
2026-03-29T18:04:20Z  info  GpuPci Count check success

DCGM 출력 예제

2026-03-29T18:35:02Z  info  DCGM diagnostic health summary: dcgmCheckLevel: 4
  dcgmVersion: 3.3.7 gpuDriverVersion: 535.183.01
  gpuDeviceIds: [2237] replacementRequired: false rebootRequired: false

예제 EFA 출력

2026-03-29T18:36:28Z  info  EFA Loopback check passed for device: rdmap0s29
  MaxBw: 58.59, AvgBw: 32.42, MaxTypicalLat: 30.87, AvgLat: 21.63

심층 상태 확인 실패 출력의 예

{
    "level": "error",
    "ts": "2026-03-29T19:15:22Z",
    "msg": "Encountered FaultyInstance. Replace the Instance. Region: us-west-2, InstanceType: ml.g5.8xlarge. ERROR: Bandwidth has less than threshold: Expected minimum threshold: 80, NCCL Test output Bw: 30"
}

심층 상태 확인을 사용하여 동작 자동 재개

심층 상태 확인을 활성화하지 않으면 자동 재개 중에 노드가 교체되면 교체 노드가 클러스터에 즉시 추가되고 자동 재개된 작업이 클러스터에 즉시 예약될 수 있습니다.

심층 상태 확인이 활성화된 경우 대체 노드는 구성된 모든 심층 상태 확인을 통과해야 사용할 수 있습니다. 그러나 자동 재개된 작업은 대체 노드를 기다릴 필요가 없습니다. 클러스터의 사용 가능한 다른 노드에서 예약할 수 있습니다. 작업은 사용 가능한 다른 노드가 없는 경우에만 대기합니다.

추가 고려 사항