Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Pemeriksaan kesehatan yang mendalam

SageMaker HyperPod melakukan pemeriksaan kesehatan mendalam pada instance Slurm-orchestrated cluster untuk memastikan keandalan dan stabilitas perangkat keras dan infrastruktur yang mendasarinya. Pemeriksaan kesehatan mendalam dapat berjalan secara otomatis saat instance dibuat atau ditambahkan ke klaster (saat mulai), atau Anda dapat memicunya secara manual kapan saja (sesuai permintaan) menggunakan API. StartClusterHealthCheck Pendekatan proaktif ini membantu mengidentifikasi dan mengurangi potensi masalah di seluruh siklus hidup klaster.

Selama pemeriksaan kesehatan mendalam, node yang terkena dampak ditempatkan di reservasi pemeliharaan Slurm untuk mencegah pekerjaan dijadwalkan pada mereka. Setelah semua pemeriksaan lulus, node dilepaskan dari reservasi dan menjadi tersedia untuk beban kerja.

Jenis pemeriksaan kesehatan yang mendalam

SageMaker HyperPod mendukung dua kategori pemeriksaan kesehatan mendalam untuk cluster Slurm:

Daftar pemeriksaan kesehatan mendalam yang dilakukan oleh SageMaker HyperPod

SageMaker HyperPod menjalankan pemeriksaan kesehatan mendalam berikut.

Instance-level pemeriksaan kesehatan mendalam (InstanceStress)

Cluster-level pemeriksaan kesehatan mendalam (InstanceConnectivity)

On-start pemeriksaan kesehatan yang mendalam

On-start pemeriksaan kesehatan mendalam berjalan secara otomatis saat instance pertama kali disediakan — selama pembuatan klaster atau saat instance baru ditambahkan melalui. UpdateCluster Ini memastikan setiap node melewati validasi perangkat keras sebelum menerima beban kerja.

Mengaktifkan pemeriksaan kesehatan mendalam saat memulai

Untuk mengaktifkan pemeriksaan kesehatan mendalam saat memulai, tentukan OnStartDeepHealthChecks parameter dalam konfigurasi grup instans saat membuat atau memperbarui klaster.

Contoh: Buat cluster dengan pemeriksaan kesehatan mendalam saat dimulai

aws sagemaker create-cluster \
  --cluster-name my-slurm-cluster \
  --instance-groups '[
    {
      "InstanceGroupName": "controller-group",
      "InstanceType": "ml.m5.xlarge",
      "InstanceCount": 1,
      "LifeCycleConfig": {
        "SourceS3Uri": "s3://my-bucket/lifecycle-scripts/",
        "OnCreate": "on_create.sh"
      },
      "ExecutionRole": "arn:aws:iam::111122223333:role/my-role",
      "ThreadsPerCore": 1
    },
    {
      "InstanceGroupName": "worker-group",
      "InstanceType": "ml.p4d.24xlarge",
      "InstanceCount": 4,
      "LifeCycleConfig": {
        "SourceS3Uri": "s3://my-bucket/lifecycle-scripts/",
        "OnCreate": "on_create.sh"
      },
      "ExecutionRole": "arn:aws:iam::111122223333:role/my-role",
      "ThreadsPerCore": 1,
      "OnStartDeepHealthChecks": ["InstanceStress", "InstanceConnectivity"]
    }
  ]' \
  --vpc-config '{"SecurityGroupIds":["sg-12345678"],"Subnets":["subnet-12345678"]}'

Apa yang terjadi selama pemeriksaan kesehatan mendalam saat memulai

Ketika pemeriksaan kesehatan mendalam on-start diaktifkan, proses berikut terjadi:

Cluster bertransisi ke setidaknya InService sekali node pengontrol sedang berjalan. Node pekerja menunjukkan DeepHealthCheckInProgress status selama pengujian dan transisi ke Running setelah lulus.

Memantau pemeriksaan kesehatan mendalam saat memulai

Anda dapat memantau status pemeriksaan kesehatan mendalam saat memulai menggunakan Amazon SageMaker AI API atau perintah Slurm.

Periksa status node menggunakan AWS Command Line Interface

aws sagemaker list-cluster-nodes \
  --cluster-name my-slurm-cluster

Node yang menjalani pemeriksaan kesehatan mendalam menunjukkan InstanceStatus.Status sebagaiDeepHealthCheckInProgress.

Periksa status Slurm melalui SSM pada node pengontrol

# View node states
sinfo -a -N -l

# View maintenance reservation
scontrol show reservations

# View running DHC jobs
squeue -a

Node di bawah pemeriksaan kesehatan mendalam muncul di hyperpod-deep-health-check reservasi dan hyperpod-system-maintenance partisi.

Menambahkan node ke cluster dengan pemeriksaan kesehatan mendalam saat dimulai diaktifkan

Saat Anda meningkatkan skala klaster yang telah OnStartDeepHealthChecks dikonfigurasi, node baru secara otomatis akan melalui pemeriksaan kesehatan mendalam sebelum menerima beban kerja. Node yang ada dan pekerjaan yang sedang berjalan tidak terpengaruh.

aws sagemaker update-cluster \
  --cluster-name my-slurm-cluster \
  --instance-groups '[
    {
      "InstanceGroupName": "controller-group",
      "InstanceType": "ml.m5.xlarge",
      "InstanceCount": 1,
      "LifeCycleConfig": {
        "SourceS3Uri": "s3://my-bucket/lifecycle-scripts/",
        "OnCreate": "on_create.sh"
      },
      "ExecutionRole": "arn:aws:iam::111122223333:role/my-role",
      "ThreadsPerCore": 1
    },
    {
      "InstanceGroupName": "worker-group",
      "InstanceType": "ml.p4d.24xlarge",
      "InstanceCount": 8,
      "LifeCycleConfig": {
        "SourceS3Uri": "s3://my-bucket/lifecycle-scripts/",
        "OnCreate": "on_create.sh"
      },
      "ExecutionRole": "arn:aws:iam::111122223333:role/my-role",
      "ThreadsPerCore": 1,
      "OnStartDeepHealthChecks": ["InstanceStress", "InstanceConnectivity"]
    }
  ]'

Node baru diisolasi dalam reservasi pemeliharaan sementara pemeriksaan kesehatan mendalam dijalankan. Pekerjaan yang membutuhkan kapasitas tambahan dari node baru menunggu sampai node tersebut lulus pemeriksaan kesehatan mendalam dan tersedia. Pekerjaan yang dapat dipenuhi oleh node yang tersedia tidak terpengaruh.

On-demand pemeriksaan kesehatan yang mendalam

On-demand pemeriksaan kesehatan mendalam memungkinkan Anda memicu validasi perangkat keras pada node cluster yang ada kapan saja menggunakan StartClusterHealthCheckAPI. Ini berguna untuk validasi kesehatan berkala atau setelah dugaan masalah perangkat keras.

Menjalankan pemeriksaan kesehatan mendalam sesuai permintaan dari konsol

Anda dapat menjalankan pemeriksaan kesehatan mendalam pada instance HyperPod cluster langsung dari konsol SageMaker AI.

Spanduk sukses menegaskan bahwa cek dimulai. Instans tidak tersedia untuk beban kerja selama pemeriksaan, yang mungkin memakan waktu lebih dari satu jam. Pantau status instans di tabel Instances — ini menunjukkan pemeriksaan kesehatan mendalam sedang berlangsung saat berjalan. Ketika masalah ditemukan dan pemulihan otomatis diaktifkan, SageMaker HyperPod secara otomatis reboot atau mengganti instance yang salah.

Memicu pemeriksaan kesehatan mendalam sesuai permintaan menggunakan AWS Command Line Interface

Anda dapat menentukan grup instance mana dan pemeriksaan mana yang akan dijalankan. Hanya satu permintaan pemeriksaan kesehatan mendalam sesuai permintaan yang dapat aktif per cluster sekaligus.

aws sagemaker start-cluster-health-check \
  --cluster-name my-slurm-cluster \
  --deep-health-check-configurations '[
    {
      "InstanceGroupName": "worker-group",
      "DeepHealthChecks": ["InstanceStress", "InstanceConnectivity"]
    }
  ]'

Perilaku dengan menjalankan beban kerja

Ketika pemeriksaan kesehatan mendalam sesuai permintaan dipicu pada node yang menjalankan pekerjaan:

Log dari pemeriksaan kesehatan yang mendalam

Berikut ini adalah contoh log dari pemeriksaan kesehatan SageMaker HyperPod mendalam.

Cluster-level log

Log pemeriksaan kesehatan mendalam tingkat cluster disimpan di grup CloudWatch log Anda di. /aws/sagemaker/Clusters/<cluster_name>/<cluster_id>

Aliran log dicatat diDeepHealthCheckResults/<log_stream_id>.

Instance-level log

Pada setiap node, log pemeriksaan kesehatan mendalam disimpan di/var/log/aws/clusters/sagemaker-deep-health-check.log.

Anda dapat mengakses log melalui SSM:

aws ssm start-session \
  --target "sagemaker-cluster:<cluster_id>_<instance_group>-<instance_id>"

Kemudian lihat log:

cat /var/log/aws/clusters/sagemaker-deep-health-check.log

Contoh keluaran HARDWARE_CHECK

2026-03-29T18:03:14Z  info  Executing Hardware stress check with command: stress-ng
2026-03-29T18:04:20Z  info  stress-ng success
2026-03-29T18:04:20Z  info  GpuPci Count check success

Contoh keluaran DCGM

2026-03-29T18:35:02Z  info  DCGM diagnostic health summary: dcgmCheckLevel: 4
  dcgmVersion: 3.3.7 gpuDriverVersion: 535.183.01
  gpuDeviceIds: [2237] replacementRequired: false rebootRequired: false

Contoh keluaran EFA

2026-03-29T18:36:28Z  info  EFA Loopback check passed for device: rdmap0s29
  MaxBw: 58.59, AvgBw: 32.42, MaxTypicalLat: 30.87, AvgLat: 21.63

Contoh keluaran kegagalan pemeriksaan kesehatan yang mendalam

{
    "level": "error",
    "ts": "2026-03-29T19:15:22Z",
    "msg": "Encountered FaultyInstance. Replace the Instance. Region: us-west-2, InstanceType: ml.g5.8xlarge. ERROR: Bandwidth has less than threshold: Expected minimum threshold: 80, NCCL Test output Bw: 30"
}

Auto-resume perilaku dengan pemeriksaan kesehatan yang mendalam

Tanpa pemeriksaan kesehatan mendalam diaktifkan, ketika sebuah node diganti selama auto-resume, node pengganti segera ditambahkan ke cluster dan pekerjaan yang dilanjutkan secara otomatis dapat segera dijadwalkan di dalamnya.

Dengan pemeriksaan kesehatan mendalam diaktifkan, node pengganti harus lulus semua pemeriksaan kesehatan mendalam yang dikonfigurasi sebelum tersedia. Namun, pekerjaan yang dilanjutkan secara otomatis tidak harus menunggu node pengganti — ini dapat dijadwalkan pada node lain yang tersedia di cluster. Pekerjaan hanya menunggu jika tidak ada node lain yang tersedia.

Pertimbangan tambahan