Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Controlli dell’integrità approfonditi

SageMaker HyperPod esegue controlli approfonditi sullo stato delle istanze del Slurm-orchestrated cluster per garantire l'affidabilità e la stabilità dell'hardware e dell'infrastruttura sottostanti. I controlli approfonditi dello stato possono essere eseguiti automaticamente quando le istanze vengono create o aggiunte a un cluster (all'avvio), oppure è possibile attivarli manualmente in qualsiasi momento (su richiesta) utilizzando l'API. StartClusterHealthCheck Questo approccio proattivo aiuta a identificare e mitigare potenziali problemi durante l'intero ciclo di vita del cluster.

Durante i controlli di integrità approfonditi, i nodi interessati vengono inseriti in una riserva di manutenzione Slurm per evitare che vengano pianificati lavori su di essi. Una volta superati tutti i controlli, i nodi vengono liberati dalla prenotazione e diventano disponibili per i carichi di lavoro.

Tipi di controlli sanitari approfonditi

SageMaker HyperPod supporta due categorie di controlli di integrità approfonditi per i cluster Slurm:

Elenco dei controlli sanitari approfonditi effettuati da SageMaker HyperPod

SageMaker HyperPod esegue i seguenti controlli sanitari approfonditi.

Instance-level controlli sanitari approfonditi (InstanceStress)

Cluster-level controlli sanitari approfonditi () InstanceConnectivity

On-start controlli sanitari approfonditi

On-start i controlli di integrità approfonditi vengono eseguiti automaticamente quando le istanze vengono fornite per la prima volta, durante la creazione del cluster o quando vengono aggiunte nuove istanze tramite. UpdateCluster Ciò garantisce che ogni nodo superi la convalida hardware prima di accettare carichi di lavoro.

Abilitazione di controlli sanitari approfonditi all'avvio

Per abilitare i controlli di integrità approfonditi all'avvio, specifica il OnStartDeepHealthChecks parametro nella configurazione del gruppo di istanze durante la creazione o l'aggiornamento di un cluster.

Esempio: crea un cluster con controlli di integrità approfonditi all'avvio

aws sagemaker create-cluster \
  --cluster-name my-slurm-cluster \
  --instance-groups '[
    {
      "InstanceGroupName": "controller-group",
      "InstanceType": "ml.m5.xlarge",
      "InstanceCount": 1,
      "LifeCycleConfig": {
        "SourceS3Uri": "s3://my-bucket/lifecycle-scripts/",
        "OnCreate": "on_create.sh"
      },
      "ExecutionRole": "arn:aws:iam::111122223333:role/my-role",
      "ThreadsPerCore": 1
    },
    {
      "InstanceGroupName": "worker-group",
      "InstanceType": "ml.p4d.24xlarge",
      "InstanceCount": 4,
      "LifeCycleConfig": {
        "SourceS3Uri": "s3://my-bucket/lifecycle-scripts/",
        "OnCreate": "on_create.sh"
      },
      "ExecutionRole": "arn:aws:iam::111122223333:role/my-role",
      "ThreadsPerCore": 1,
      "OnStartDeepHealthChecks": ["InstanceStress", "InstanceConnectivity"]
    }
  ]' \
  --vpc-config '{"SecurityGroupIds":["sg-12345678"],"Subnets":["subnet-12345678"]}'

Cosa succede durante i controlli sanitari approfonditi all'avvio

Quando i controlli sanitari approfonditi all'avvio sono abilitati, si verifica il seguente processo:

Il cluster passa almeno InService una volta al nodo del controller. I nodi di lavoro mostrano DeepHealthCheckInProgress lo stato durante il test e la transizione a Running dopo il superamento.

Monitoraggio dei controlli sanitari approfonditi all'avvio

Puoi monitorare lo stato dei controlli sanitari approfonditi all'avvio utilizzando l'API Amazon SageMaker AI o i comandi Slurm.

Controlla lo stato del nodo utilizzando il AWS Command Line Interface

aws sagemaker list-cluster-nodes \
  --cluster-name my-slurm-cluster

I nodi sottoposti a controlli di integrità approfonditi vengono visualizzati InstanceStatus.Status comeDeepHealthCheckInProgress.

Controlla lo stato di Slurm tramite SSM sul nodo controller

# View node states
sinfo -a -N -l

# View maintenance reservation
scontrol show reservations

# View running DHC jobs
squeue -a

I nodi sottoposti a un controllo approfondito dello stato vengono visualizzati nella hyperpod-deep-health-check prenotazione e nella partizione. hyperpod-system-maintenance

Aggiungere nodi a un cluster con controlli di integrità approfonditi all'avvio abilitati

Quando si amplia un cluster già OnStartDeepHealthChecks configurato, i nuovi nodi vengono automaticamente sottoposti a controlli di integrità approfonditi prima di accettare i carichi di lavoro. I nodi esistenti e i processi in esecuzione non sono interessati.

aws sagemaker update-cluster \
  --cluster-name my-slurm-cluster \
  --instance-groups '[
    {
      "InstanceGroupName": "controller-group",
      "InstanceType": "ml.m5.xlarge",
      "InstanceCount": 1,
      "LifeCycleConfig": {
        "SourceS3Uri": "s3://my-bucket/lifecycle-scripts/",
        "OnCreate": "on_create.sh"
      },
      "ExecutionRole": "arn:aws:iam::111122223333:role/my-role",
      "ThreadsPerCore": 1
    },
    {
      "InstanceGroupName": "worker-group",
      "InstanceType": "ml.p4d.24xlarge",
      "InstanceCount": 8,
      "LifeCycleConfig": {
        "SourceS3Uri": "s3://my-bucket/lifecycle-scripts/",
        "OnCreate": "on_create.sh"
      },
      "ExecutionRole": "arn:aws:iam::111122223333:role/my-role",
      "ThreadsPerCore": 1,
      "OnStartDeepHealthChecks": ["InstanceStress", "InstanceConnectivity"]
    }
  ]'

I nuovi nodi sono isolati nella riserva di manutenzione durante l'esecuzione di controlli di integrità approfonditi. I lavori che richiedono la capacità aggiuntiva dei nuovi nodi attendono che tali nodi superino i controlli di integrità approfonditi e diventino disponibili. I lavori che possono essere soddisfatti dai nodi disponibili esistenti non sono interessati.

On-demand controlli sanitari approfonditi

On-demand i controlli di integrità approfonditi consentono di attivare la convalida dell'hardware sui nodi del cluster esistenti in qualsiasi momento utilizzando l'StartClusterHealthCheckAPI. Ciò è utile per la convalida periodica dello stato o in caso di sospetti problemi hardware.

Esecuzione di controlli di integrità approfonditi su richiesta dalla console

Puoi eseguire controlli approfonditi sullo stato delle istanze HyperPod del cluster direttamente dalla console SageMaker AI.

Un banner di successo conferma che i controlli sono stati avviati. Le istanze non sono disponibili per i carichi di lavoro durante i controlli, che possono richiedere più di un'ora. Monitora lo stato dell'istanza nella tabella Istanze: mostra il Deep Health Check in corso durante l'esecuzione. Quando vengono rilevati problemi e il ripristino automatico è abilitato, riavvia o sostituisce SageMaker HyperPod automaticamente le istanze difettose.

Attivazione di controlli sanitari approfonditi su richiesta utilizzando il AWS Command Line Interface

È possibile specificare quali gruppi di istanze e quali controlli eseguire. Può essere attiva solo una richiesta di controllo approfondito dello stato su richiesta per cluster alla volta.

aws sagemaker start-cluster-health-check \
  --cluster-name my-slurm-cluster \
  --deep-health-check-configurations '[
    {
      "InstanceGroupName": "worker-group",
      "DeepHealthChecks": ["InstanceStress", "InstanceConnectivity"]
    }
  ]'

Comportamento con i carichi di lavoro in esecuzione

Quando vengono attivati controlli di integrità approfonditi su richiesta sui nodi che eseguono processi:

Log dei controlli dell’integrità approfonditi

Di seguito sono riportati alcuni esempi di log tratti dai controlli sanitari SageMaker HyperPod approfonditi.

Cluster-level logs

I log dei controlli sanitari approfonditi a livello di cluster sono archiviati nel gruppo di log in. CloudWatch /aws/sagemaker/Clusters/<cluster_name>/<cluster_id>

I flussi di log vengono registrati in DeepHealthCheckResults/<log_stream_id>.

Instance-level logs

Su ogni nodo, i log dei controlli sanitari approfonditi sono archiviati in. /var/log/aws/clusters/sagemaker-deep-health-check.log

È possibile accedere al registro tramite SSM:

aws ssm start-session \
  --target "sagemaker-cluster:<cluster_id>_<instance_group>-<instance_id>"

Quindi visualizza il registro:

cat /var/log/aws/clusters/sagemaker-deep-health-check.log

Esempio di output HARDWARE_CHECK

2026-03-29T18:03:14Z  info  Executing Hardware stress check with command: stress-ng
2026-03-29T18:04:20Z  info  stress-ng success
2026-03-29T18:04:20Z  info  GpuPci Count check success

Esempio di uscita DCGM

2026-03-29T18:35:02Z  info  DCGM diagnostic health summary: dcgmCheckLevel: 4
  dcgmVersion: 3.3.7 gpuDriverVersion: 535.183.01
  gpuDeviceIds: [2237] replacementRequired: false rebootRequired: false

Esempio di output EFA

2026-03-29T18:36:28Z  info  EFA Loopback check passed for device: rdmap0s29
  MaxBw: 58.59, AvgBw: 32.42, MaxTypicalLat: 30.87, AvgLat: 21.63

Esempio di risultato di un controllo approfondito dello stato di salute

{
    "level": "error",
    "ts": "2026-03-29T19:15:22Z",
    "msg": "Encountered FaultyInstance. Replace the Instance. Region: us-west-2, InstanceType: ml.g5.8xlarge. ERROR: Bandwidth has less than threshold: Expected minimum threshold: 80, NCCL Test output Bw: 30"
}

Auto-resume comportamento con controlli sanitari approfonditi

Se non sono abilitati controlli di integrità approfonditi, quando un nodo viene sostituito durante la ripresa automatica, il nodo sostitutivo viene immediatamente aggiunto al cluster e il processo ripreso automaticamente può essere pianificato immediatamente su di esso.

Con i controlli di integrità approfonditi abilitati, il nodo sostitutivo deve superare tutti i controlli di integrità approfonditi configurati prima di diventare disponibile. Tuttavia, il processo ripreso automaticamente non deve attendere il nodo sostitutivo: può essere pianificato su qualsiasi altro nodo disponibile nel cluster. Il processo attende solo se non sono disponibili altri nodi.

Ulteriori considerazioni