Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Utilizzo delle partizioni GPU in Amazon SageMaker HyperPod
Gli amministratori dei cluster possono scegliere come massimizzare l'utilizzo della GPU all'interno dell'organizzazione. Puoi abilitare il partizionamento della GPU con la tecnologia NVIDIA GPU (MIG) per partizionare le Multi-Instance risorse GPU in istanze più piccole e isolate per un migliore utilizzo delle risorse. Questa funzionalità offre la possibilità di eseguire più attività di piccole dimensioni contemporaneamente su una singola GPU anziché dedicare l'intero hardware a un'unica attività spesso sottoutilizzata. Ciò elimina lo spreco di potenza di elaborazione e memoria.
Il partizionamento GPU con tecnologia MIG supporta le GPU e consente di partizionare una singola GPU supportata in un massimo di sette partizioni GPU separate. Ogni partizione GPU dispone di risorse di memoria, cache e calcolo dedicate, che garantiscono un isolamento prevedibile.
Vantaggi
-
Utilizzo migliorato della GPU: massimizza l'efficienza di elaborazione partizionando le GPU in base ai requisiti di calcolo e memoria
-
Isolamento delle attività: ogni partizione GPU funziona in modo indipendente con risorse di memoria, cache e calcolo dedicate
-
Flessibilità delle attività: supporta una combinazione di attività su un'unica GPU fisica, tutte in esecuzione in parallelo
-
Gestione flessibile della configurazione: supporta sia le configurazioni Kubernetes Do-it-yourself (fai-da-te) utilizzando il client a riga di comando Kubernetes
kubectl, sia una soluzione gestita con etichette personalizzate per configurare e applicare facilmente le etichette associate alle partizioni GPU
Importante
Il partizionamento GPU con MIG non è supportato con gruppi di istanze flessibili (gruppi di istanze che utilizzano). InstanceRequirements Per utilizzare MIG, create un gruppo di istanze con una singola. InstanceType
Tipi di istanze supportati
Il partizionamento GPU con tecnologia MIG è supportato sui seguenti tipi di istanze: HyperPod
Istanze GPU A100 - https://aws.amazon.com/ec2/instance-types/p4/
-
ml.p4d.24xlarge - 8 GPU NVIDIA A100 (HBM2e da 80 GB per GPU)
-
ml.p4de.24xlarge - 8 GPU NVIDIA A100 (HBM2e da 80 GB per GPU)
Istanze GPU H100 - https://aws.amazon.com/ec2/instance-types/p5/
-
ml.p5.48xlarge - 8 GPU NVIDIA H100 (HBM3 da 80 GB per GPU)
Istanze GPU H200 - https://aws.amazon.com/ec2/instance-types/p5/
-
ml.p5e.48xlarge - 8 GPU NVIDIA H200 (HBM3e da 141 GB per GPU)
-
ml.p5en.48xlarge - 8 GPU NVIDIA H200 (HBM3e da 141 GB per GPU)
Istanze GPU B200 - https://aws.amazon.com/ec2/instance-types/p6/
-
ml.p6b.48xlarge - 8 GPU NVIDIA B200
partizioni GPU
I profili NVIDIA MIG definiscono il modo in cui le GPU vengono partizionate. Ogni profilo specifica l'allocazione di calcolo e memoria per istanza MIG. Di seguito sono riportati i profili MIG associati a ciascun tipo di GPU:
GPU A100 (ml.p4d.24xlarge)
| Profilo | Memoria (GB) | Istanze per GPU | Totale per ml.p4d.24xlarge |
|---|---|---|---|
|
5 |
7 |
56 |
|
10 |
3 |
24 |
|
20 |
2 |
16 |
|
20 |
1 |
8 |
|
40 |
1 |
8 |
GPU H100 (ml.p5.48xlarge)
| Profilo | Memoria (GB) | Istanze per GPU | Totale per ml.p5,48xlarge |
|---|---|---|---|
|
10 |
7 |
56 |
|
20 |
4 |
32 |
|
20 |
3 |
24 |
|
40 |
2 |
16 |
|
40 |
1 |
8 |
|
80 |
1 |
8 |
GPU H200 (ml.p5e.48xlarge e ml.p5en.48xlarge)
| Profilo | Memoria (GB) | Istanze per GPU | Totale per ml.p5en.48xlarge |
|---|---|---|---|
|
18 |
7 |
56 |
|
35 |
4 |
32 |
|
35 |
3 |
24 |
|
71 |
2 |
16 |
|
71 |
1 |
8 |
|
141 |
1 |
8 |
Argomenti
