Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Elastic Fabric Adapter per AI/ML carichi di lavoro HPC su Amazon EC2
Elastic Fabric Adapter (EFA) è un dispositivo di rete che è possibile collegare all'istanza Amazon EC2 per accelerare le applicazioni di intelligenza artificiale (IA), machine learning (ML) e calcolo ad alte prestazioni (HPC). EFA consente di ottenere le prestazioni applicative di un cluster locale AI/ML o HPC, con la scalabilità, la flessibilità e l'elasticità fornite dal cloud. AWS
EFA garantisce valori di latenza più bassi e coerenti e un throughput più elevato rispetto al trasporto TCP generalmente utilizzato nei sistemi HPC basati su cloud. Migliora le prestazioni della comunicazione tra istanze, fondamentale per la scalabilità e le applicazioni HPC. AI/ML È ottimizzato per funzionare sull'infrastruttura di AWS rete esistente e può essere scalato in base ai requisiti dell'applicazione.
EFA si integra con Libfabric e supporta Nvidia Collective Communications Library (NCCL) e NVIDIA Inference Xfer Library (NIXL) per applicazioni AI e ML e Open MPI 4.1 e versioni successive e Intel MPI 2019 Update 5 e versioni successive per applicazioni HPC. NCCL e MPI si integrano con Libfabric 1.7.0 e versioni successive. NIXL si integra con Libfabric 1.21.0 e versioni successive.
EFA supporta la scrittura RDMA (accesso diretto alla memoria remota) sulla maggior parte dei tipi di istanze supportati con Nitro versione 4 e successive. La lettura RDMA è supportata su tutte le istanze con Nitro versione 4 e successive. Per ulteriori informazioni, consulta Tipi di istanze supportati.
Indice
Nozioni di base su EFA
Un dispositivo EFA può essere collegato a un'istanza EC2 in due modi:
-
Tramite un'interfaccia EFA tradizionale, chiamata anche EFA con ENA, che crea sia un dispositivo EFA che un dispositivo ENA.
-
Utilizzando un' EFA-only interfaccia, che crea solo il dispositivo EFA.
Il dispositivo EFA offre funzionalità come il controllo integrato OS-bypass e la congestione tramite il protocollo Scalable Reliable Datagram (SRD). Le funzionalità del dispositivo EFA offrono una capacità di trasporto affidabile e a bassa latenza che consente all'interfaccia EFA di fornire migliori prestazioni applicative per le applicazioni HPC e ML su Amazon EC2. Il dispositivo ENA, invece, offre una rete IP tradizionale.
Tradizionalmente, AI/ML le applicazioni utilizzano NCCL e NIXL (per l'inferenza disaggregata). Le applicazioni HPC utilizzano la Message Passing Interface (MPI) per interfacciarsi con il trasporto di rete del sistema. Nel AWS cloud, ciò significa che le applicazioni si interfacciano con NCCL, NIXL o MPI, che quindi utilizza lo TCP/IP stack del sistema operativo e il driver del dispositivo ENA per abilitare la comunicazione di rete tra le istanze.
Con un'interfaccia EFA (EFA con ENA) o un' EFA-only interfaccia tradizionale, le AI/ML applicazioni utilizzano NCCL e NIXL (per l'inferenza disaggregata). Le applicazioni HPC utilizzano MPI per interfacciarsi direttamente con l'API Libfabric. L'API di Libfabric bypassa il kernel del sistema operativo e comunica direttamente con il dispositivo EFA per immettere in rete i pacchetti. Ciò riduce il sovraccarico AI/ML e consente alle applicazioni HPC di funzionare in modo più efficiente.
Nota
Libfabric è un componente fondamentale del framework OpenFabrics Interfaces (OFI), che definisce ed esporta l'API dello spazio utente di OFI. Per ulteriori informazioni, consulta il sito Web Libfabric. OpenFabrics
Differenze tra ENA, EFA e EFA-only interfacce di rete
Amazon EC2 offre due tipi di interfacce di rete:
-
Le interfacce ENA offrono tutte le tradizionali funzionalità di rete e routing IP necessarie per supportare la rete IP per un VPC. Per ulteriori informazioni, consulta Abilitazione delle reti avanzate con ENA su istanze EC2.
-
Le interfacce EFA (EFA con ENA) offrono sia il dispositivo ENA per le reti IP sia il dispositivo EFA per le comunicazioni a bassa latenza e a throughput elevato.
-
EFA-onlyle interfacce supportano solo le funzionalità dei dispositivi EFA, senza il dispositivo ENA per le reti IP tradizionali.
La tabella seguente fornisce un confronto tra ENA, EFA e EFA-only interfacce di rete.
| ENA | EFA (EFA con ENA) | EFA-only | |
|---|---|---|---|
| Supporto della funzionalità di rete IP | Sì | Sì | No |
| Possibilità di assegnare indirizzi IPv4 e IPv6 | Sì | Sì | No |
| Possibilità di utilizzo come interfaccia di rete principale per un'istanza | Sì | Sì | No |
| Conta per il limite di collegamento ENI dell’istanza | Sì | Sì | Sì |
| Supporto dei tipi di istanze | Supportato su tutti i tipi di istanze Nitro-based | Tipi di istanze supportati | Tipi di istanze supportati |
| Denominazione dei parametri nelle API EC2 | interface |
efa |
efa-only |
| Denominazione dei campi nella console EC2 | Nessuna selezione | EFA con ENA | EFA-only |
Librerie e interfacce supportate
Gli EFA supportano le seguenti interfacce e librerie:
-
Apri MPI 4.1 e versioni successive
-
Intel MPI 2019 aggiornamento 5 e successivi
-
NVIDIA Collective Communications Library (NCCL) 2.4.2 e versioni successive
-
NVIDIA Inference Xfer Library (NIXL) 1.0.0 e versioni successive
-
AWS Neuron SDK versione 2.3 e successive
Tipi di istanze supportati
Tutti i seguenti tipi di istanza supportano EFA. Inoltre, le tabelle indicano il supporto per la lettura RDMA e la scrittura RDMA per i tipi di istanza.
Per visualizzare i tipi di istanza disponibili che supportano gli EFA in una regione specifica
I tipi di istanza disponibili variano in base alla regione. Per visualizzare i tipi di istanza disponibili che supportano gli EFA in una regione, utilizza il comando describe-instance-types con il parametro --region. Includi il parametro --filters per assegnare i risultati ai tipi di istanza che supportano EFA e il parametro --query per assegnare l'output al valore di InstanceType.
aws ec2 describe-instance-types \ --regionus-east-1\ --filters Name=network-info.efa-supported,Values=true \ --query "InstanceTypes[*].[InstanceType]" \ --output text | sort
Sistemi operativi supportati
Il supporto per i sistemi operativi cambia a seconda del tipo di processore. Nella tabella seguente sono indicati i sistemi operativi supportati.
| Sistema operativo | Intel/AMD () tipi di istanza x86_64 |
AWS tipi di istanze Graviton (arm64) |
|---|---|---|
| Amazon Linux 2023 | ✓ | ✓ |
| Amazon Linux 2 | ✓ | ✓ |
| RHEL 8, 9 e 10 | ✓ | ✓ |
| Debian 11, 12 e 13 | ✓ | ✓ |
| Rocky Linux 8 e 9 | ✓ | ✓ |
| Ubuntu 22.04 e 24.04 | ✓ | ✓ |
| SUSE Linux Enterprise 15 SP2 e versioni successive | ✓ | ✓ |
| OpenSUSE Leap 15.5 e versioni successive | ✓ |
Nota
Alcuni dei sistemi operativi elencati potrebbero non essere supportati da Intel MPI. Se utilizzi Intel MPI, fai riferimento alla documentazione Intel MPI
Limitazioni di EFA
Gli EFA hanno le seguenti limitazioni:
-
La scrittura RDMA non è supportata con tutti i tipi di istanze. Per ulteriori informazioni, consulta Tipi di istanze supportati.
-
Il traffico EFA 1 tra istanze e altri tipi di istanze non è attualmente supportato. P4d/P4de/DL1
-
I tipi di istanza che supportano più schede di rete possono essere configurati con un EFA per scheda di rete. Tutti gli altri tipi di istanza supportati supportano solo un EFA per istanza.
-
Le istanze dedicate
c7g.16xlarge,m7g.16xlargeer7g.16xlarge, e gli host dedicati non sono supportati quando è collegato un EFA. -
Il traffico EFA1 non può attraversare zone di disponibilità o VPC. Questo non si applica al normale traffico IP dal dispositivo ENA di un'interfaccia EFA.
-
Il traffico EFA1 non è instradabile. Al contrario, è possibile instradare il normale traffico IP dal dispositivo ENA di un'interfaccia EFA.
-
EFA non è supportato su. AWS Outposts
-
Il dispositivo EFA con interfaccia EFA (EFA con ENA) è supportato sulle istanze Windows solo per le applicazioni basate su AWS Cloud Digital Interface Software Development Kit (AWS CDI SDK). Se si collega un'interfaccia EFA (ovvero EFA con ENA) a un'istanza Windows per applicazioni non basate su CDI SDK, questa funziona come interfaccia ENA, senza le funzionalità aggiuntive del dispositivo EFA. L' EFA-only interfaccia non è supportata dalle applicazioni AWS CDI basate su Windows o Linux. Per ulteriori informazioni, consulta la Guida per l'utente del AWS Cloud Digital Interface Software Development Kit (AWS CDI SDK).
1 Il traffico EFA si riferisce al traffico trasmesso attraverso il dispositivo EFA di un EFA (EFA con ENA) o di un'interfaccia. EFA-only
Prezzi EFA
EFA è disponibile come funzionalità di rete Amazon EC2 opzionale che puoi abilitare su qualsiasi istanza supportata senza costi aggiuntivi.
