Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

# Compatibilità con la libreria SMDDP ottimizzata per l'infrastruttura AWS
<a name="model-parallel-core-features-v2-smddp-allgather"></a>

È possibile utilizzare la SageMaker model parallelism library v2 (SMP v2) insieme alla libreria [SageMaker Distributed Data Parallelism (SMDDP](data-parallel.md)) che offre operazioni di comunicazione collettiva ottimizzate per l'infrastruttura. `AllGather` AWS Nell’addestramento distribuito, le operazioni di comunicazione collettiva sono progettate per la sincronizzazione di più worker GPU e lo scambio di informazioni tra di loro. `AllGather` è una delle principali operazioni di comunicazione collettiva tipicamente utilizzate nella parallelizzazione dei dati sottoposti a sharding. Per ulteriori informazioni sul funzionamento SMDDP, vedere L'[Operazione collettiva `AllGather` SMDDP](data-parallel-intro.md#data-parallel-allgather)ottimizzazione di tali `AllGather` operazioni di comunicazione collettiva contribuirebbe direttamente a una formazione più rapida senza effetti collaterali sulla convergenza. end-to-end

**Nota**  
La libreria SMDDP supporta le istanze P4 e P4de (vedi anche [Framework e tipi di Regioni AWS istanze supportati](distributed-data-parallel-support.md) nella libreria SMDDP).

[La libreria SMDDP si integra nativamente con il livello del gruppo di processi. PyTorch ](https://pytorch.org/docs/stable/distributed.html) Per utilizzare la libreria SMDDP, è sufficiente aggiungere due righe di codice allo script di addestramento. Supporta qualsiasi framework di formazione come SageMaker Model Parallelism Library, FSDP e. PyTorch DeepSpeed

Per attivare SMDDP e utilizzarne l’operazione `AllGather`, è necessario aggiungere due righe di codice allo script di addestramento nell’ambito di [Fase 1: Adatta lo script di formazione FSDP PyTorch](model-parallel-use-api-v2.md#model-parallel-adapt-pytorch-script-v2). Tieni presente che devi prima inizializzare PyTorch Distributed with the SMDDP backend, quindi eseguire l'inizializzazione SMP.

```
import torch.distributed as dist

# Initialize with SMDDP
import smdistributed.dataparallel.torch.torch_smddp
dist.init_process_group(backend="smddp") # Replacing "nccl"

 # Initialize with SMP
import torch.sagemaker as tsm
tsm.init()
```

[SageMaker I Framework Containers](https://github.com/aws/deep-learning-containers/blob/master/available_images.md#sagemaker-framework-containers-sm-support-only) for PyTorch (vedi anche [Framework supportati e Regioni AWS](distributed-model-parallel-support-v2.md) di SMP v2 e della libreria SMDDP) sono [Framework e tipi di Regioni AWS istanze supportati](distributed-data-parallel-support.md) preconfezionati con il binario SMP e il binario SMDDP. Per ulteriori informazioni sulla libreria SMDDP, vedi [Esegui corsi di formazione distribuiti con la libreria di parallelismo dei dati distribuiti basata sull' SageMaker intelligenza artificiale](data-parallel.md).