Gestisci i dispositivi EFA su Amazon EKS

Elastic Fabric Adapter (EFA) è un dispositivo di rete per istanze Amazon EC2 che consente comunicazioni tra nodi ad alte prestazioni e RDMA (Remote Direct Memory Access) per carichi di lavoro di intelligenza artificiale, machine learning e High Performance Computing (HPC). Amazon EKS supporta due meccanismi per la gestione dei dispositivi EFA nei cluster EKS: il driver EFA Dynamic Resource Allocation (DRA) (DRANET) e il plug-in per dispositivi EFA.

Si consiglia di utilizzare il driver EFA DRA (DRANET) per nuove implementazioni su cluster EKS che eseguono Kubernetes versione 1.34 o successiva con gruppi di nodi gestiti EKS o gruppi di nodi autogestiti. Il driver EFA DRA consente di configurare un'allocazione basata sulla topologia che associa le interfacce EFA alle GPU topologicamente locali o ai dispositivi Neuron e supporta la condivisione dei dispositivi tra i Pod.

Il driver EFA DRA non è supportato con Karpenter o EKS Auto Mode. Utilizza il plug-in del dispositivo EFA con Karpenter ed EKS Auto Mode. Il plug-in del dispositivo EFA rimane supportato anche per i gruppi di nodi gestiti da EKS e i nodi autogestiti.

Driver EFA DRA e plug-in per dispositivi EFA

Creazione di nodi EKS con interfacce EFA

Quando si creano nodi EKS con interfacce EFA, le interfacce EFA vengono collegate all'istanza durante il provisioning dell'istanza. È possibile personalizzare la configurazione EFA per dispositivo e utilizzare i gruppi di collocamento con Karpenter, i gruppi di nodi gestiti da EKS o i gruppi di nodi autogestiti da EKS. Con Karpenter, puoi passare la configurazione per ogni interfaccia di rete tramite. NodeClass Con i gruppi di nodi gestiti da EKS o i nodi autogestiti, è possibile passare la configurazione per ogni interfaccia di rete con modelli di avvio. Il supporto EKS Auto Mode per i gruppi di configurazione e posizionamento EFA per dispositivo sarà presto disponibile.

Quando viene utilizzato eksctlper il provisioning dei nodi EKS con l'efaEnabledimpostazione, tutte le interfacce sono configurate in base al tipo di interfacciaEFA, viene creato un gruppo di EFA-specific sicurezza e il plug-in del dispositivo EFA viene installato sul cluster. Se è necessario personalizzare la configurazione EFA per dispositivo durante l'utilizzoeksctl, si consiglia di utilizzare il supporto di `eksctl per i modelli di avvio.

Gli esempi seguenti mostrano come configurare NodeClass e lanciare modelli con interfacce EFA. Ciò è utile per personalizzare le interfacce utilizzate per il traffico EFA rispetto a quelle standard. IP-based Per informazioni sul numero di interfacce EFA supportate da ciascun tipo di istanza e su come configurarle per la massima larghezza di banda di rete, consulta Massimizza la larghezza di banda di rete per i tipi di EFA-enabled istanza nella Guida per l'utente di Amazon EC2.

Karpenter

Ogni voce specifica un, e. networkInterfaces networkCardIndex deviceIndex interfaceType interfaceTypePossono essere interfacce interface di rete standard o interfacce EFA efa-only dedicate al traffico RDMA e a cui non sono assegnati indirizzi IP. Una volta networkInterfaces configurata, le istanze avviate dal NodePool referenziamento NodeClass utilizzano questa configurazione indipendentemente dal fatto che i Pod richiedano risorse. vpc.amazonaws.com/efa

Quando usi Karpenter senza specificare networkInterfaces nel tuoNodeClass, le istanze create per la richiesta vpc.amazonaws.com/efa dei Pods hanno tutte le interfacce configurate con il tipo di interfaccia. EFA

La networkInterfaces configurazione per è stata aggiunta in Karpenter v1.11. EC2NodeClass L'esempio seguente mostra una EC2NodeClass configurazione per un' P6-B200 istanza con 1 interfaccia ENA e 8 interfacce. EFA-only

apiVersion: karpenter.k8s.aws/v1
kind: EC2NodeClass
metadata:
  name: efa-node-class
spec:
  networkInterfaces:
  - networkCardIndex: 0
    deviceIndex: 0
    interfaceType: interface
  - networkCardIndex: 0
    deviceIndex: 1
    interfaceType: efa-only
  - networkCardIndex: 1
    deviceIndex: 0
    interfaceType: efa-only
  - networkCardIndex: 2
    deviceIndex: 0
    interfaceType: efa-only
  - networkCardIndex: 3
    deviceIndex: 0
    interfaceType: efa-only
  - networkCardIndex: 4
    deviceIndex: 0
    interfaceType: efa-only
  - networkCardIndex: 5
    deviceIndex: 0
    interfaceType: efa-only
  - networkCardIndex: 6
    deviceIndex: 0
    interfaceType: efa-only
  - networkCardIndex: 7
    deviceIndex: 0
    interfaceType: efa-only

Gruppi di nodi gestiti da EKS e nodi autogestiti

Con i gruppi di nodi gestiti o i nodi autogestiti EKS, è possibile passare la configurazione per ogni interfaccia di rete con modelli di avvio.

L'esempio seguente mostra un modello di lancio configurato per un' P6-B200 istanza con 1 interfaccia ENA e 8 EFA-only interfacce. L'interfaccia di rete principale (scheda di rete 0, indice del dispositivo 0) utilizza un interface tipo standard per il traffico IP, mentre le interfacce aggiuntive lo utilizzano efa-only per il traffico RDMA dedicato. Regola il numero di efa-only interfacce in base al tipo di istanza. Per il numero di interfacce EFA supportate da ogni tipo di istanza, consulta Massimizza la larghezza di banda di rete per i tipi di EFA-enabled istanza nella Guida per l'utente di Amazon EC2.

{
  "LaunchTemplateName": "efa-launch-template",
  "LaunchTemplateData": {
    "InstanceType": "p6-b200.48xlarge",
    "NetworkInterfaces": [
      {
        "NetworkCardIndex": 0,
        "DeviceIndex": 0,
        "InterfaceType": "interface",
        "Groups": ["security-group-id"]
      },
      {
        "NetworkCardIndex": 0,
        "DeviceIndex": 1,
        "InterfaceType": "efa-only",
        "Groups": ["security-group-id"]
      },
      {
        "NetworkCardIndex": 1,
        "DeviceIndex": 0,
        "InterfaceType": "efa-only",
        "Groups": ["security-group-id"]
      },
      {
        "NetworkCardIndex": 2,
        "DeviceIndex": 0,
        "InterfaceType": "efa-only",
        "Groups": ["security-group-id"]
      },
      {
        "NetworkCardIndex": 3,
        "DeviceIndex": 0,
        "InterfaceType": "efa-only",
        "Groups": ["security-group-id"]
      },
      {
        "NetworkCardIndex": 4,
        "DeviceIndex": 0,
        "InterfaceType": "efa-only",
        "Groups": ["security-group-id"]
      },
      {
        "NetworkCardIndex": 5,
        "DeviceIndex": 0,
        "InterfaceType": "efa-only",
        "Groups": ["security-group-id"]
      },
      {
        "NetworkCardIndex": 6,
        "DeviceIndex": 0,
        "InterfaceType": "efa-only",
        "Groups": ["security-group-id"]
      },
      {
        "NetworkCardIndex": 7,
        "DeviceIndex": 0,
        "InterfaceType": "efa-only",
        "Groups": ["security-group-id"]
      }
    ]
  }
}

Utilizzo delle AMI con EFA EKS-optimized

Le AMI accelerate EKS-optimized AL2023 (NVIDIA e Neuron) e tutte le AMI Bottlerocket includono i componenti a livello di host necessari per utilizzare EFA, in particolare i componenti installati dall'aws-efa-installer. Le AMI EKS AL2023 e Bottlerocket non includono il driver EFA DRA o il plug-in del dispositivo EFA e devono essere installate separatamente sul cluster prima di distribuire i carichi di lavoro.

Conservazione dell'allocazione degli indirizzi IP

EFA-enabled istanze come p5.48xlarge e p6-b200.48xlarge supportano molte interfacce di rete. Per impostazione predefinita, il CNI di Amazon VPC alloca gli indirizzi IP tra tutti gli ENI IP-enabled collegati, il che può consumare un gran numero di indirizzi IP dalla sottorete anche quando tali indirizzi non vengono utilizzati attivamente dai Pod. Nelle istanze con dozzine di interfacce di rete, ciò può esaurire rapidamente lo spazio IP disponibile della sottorete.

Per ridurre il consumo di indirizzi IP sui EFA-enabled nodi, configura le interfacce di rete in modo che vengano utilizzate efa-only per tutte le interfacce tranne quella principale. EFA-only le interfacce sono dedicate al traffico RDMA e non hanno indirizzi IP assegnati, quindi non utilizzano indirizzi dalla sottorete. Per esempio configurazioni, vedere e. Karpenter Gruppi di nodi gestiti da EKS e nodi autogestiti Per il layout di interfaccia consigliato per ogni tipo di istanza, consulta Massimizza la larghezza di banda di rete per i tipi di EFA-enabled istanza nella Amazon EC2 User Guide.

Oltre a utilizzare le efa-only interfacce, puoi configurare Amazon VPC CNI per limitare il numero di indirizzi IP ed ENI caldi (preallocati). Per impostazione predefinita, il VPC CNI prealloca un pool caldo di ENI e indirizzi IP per un avvio più rapido dei Pod, ma su istanze di grandi dimensioni può riservare centinaia di indirizzi IP inutilizzati. Imposta le variabili WARM_IP_TARGET e di WARM_ENI_TARGET ambiente aws-node DaemonSet per controllare il numero di indirizzi IP ed ENI di riserva gestiti dal CNI. Per ulteriori informazioni su queste impostazioni, consulta le best practice CNI di Amazon VPC.

Installa il driver EFA DRA (DRANET)

Il driver EFA DRA è integrato nel progetto UPstream DRANET, che fornisce una gestione dei dispositivi di rete basata sul cloud per Kubernetes DRA. Il driver EFA DRA e DRANET sono usati in modo intercambiabile in questa documentazione e fanno riferimento allo stesso strumento.

Il driver EFA DRA pubblicizza i dispositivi EFA come oggetti con il nome e il nome del driver. ResourceSlice dra.net DeviceClass efa.networking.k8s.aws Il driver EFA DRA viene eseguito come uno DaemonSet su ciascun nodo e rileva automaticamente i dispositivi EFA.

Prerequisiti

Procedura

Topology-aware EFA e GPU/Neuron allocazione dei dispositivi

Il driver EFA DRA supporta l'allocazione basata sulla topologia che associa le interfacce EFA alle GPU o ai dispositivi Neuron sulla stessa radice PCIe. Usa il vincolo per allineare le allocazioni dei dispositivi EFA e GPU matchAttribute o Neuron. Per utilizzare questa funzionalità, è necessario utilizzare anche i driver NVIDIA o Neuron DRA. Per ulteriori informazioni, consultare Gestisci i dispositivi GPU NVIDIA su Amazon EKS e Gestisci i dispositivi Neuron su Amazon EKS.

L'esempio seguente richiede 1 interfaccia EFA allineata con 1 GPU NVIDIA:

apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: aligned-efa-nvidia
spec:
  spec:
    devices:
      requests:
      - name: 1-efa
        exactly:
          deviceClassName: efa.networking.k8s.aws
          count: 1
      - name: 1-gpu
        exactly:
          deviceClassName: gpu.nvidia.com
          count: 1
      constraints:
      - requests: ["1-gpu", "1-efa"]
        matchAttribute: "resource.kubernetes.io/pcieRoot"

L'esempio seguente richiede 4 interfacce EFA allineate con 4 dispositivi Neuron:

apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: aligned-efa-neuron
spec:
  spec:
    devices:
      requests:
      - name: 4-neurons
        exactly:
          deviceClassName: neuron.aws.com
          count: 4
      - name: 4-efas
        exactly:
          deviceClassName: efa.networking.k8s.aws
          count: 4
      constraints:
      - requests: ["4-neurons", "4-efas"]
        matchAttribute: "resource.aws.com/devicegroup4_id"

Il numero nel nome dell'devicegroupattributo corrisponde al numero di dispositivi Neuron nel gruppo di topologia connesso. Ad esempio, resource.aws.com/devicegroup1_id identifica un singolo dispositivo Neuron, resource.aws.com/devicegroup4_id identifica un gruppo di 4 dispositivi connessi e resource.aws.com/devicegroup16_id identifica rispettivamente gruppi di 8 resource.aws.com/devicegroup8_id e 16 dispositivi connessi. Scegli matchAttribute quello che corrisponde al dispositivo nella tua richiesta count in modo che i dispositivi Neuron e le interfacce EFA allocati appartengano allo stesso gruppo di topologia connessa. Per ulteriori informazioni su questi attributi, consultate la documentazione del driver Neuron DRA.

È possibile utilizzarlo allocationMode per semplificare il modo in cui i dispositivi EFA vengono allocati alle GPU allineate o agli acceleratori Neuron. Il allocationMode campo supporta due valori: ExactCount (impostazione predefinita) richiede un numero specifico di dispositivi specificato da e All richiede tutti i dispositivi count corrispondenti in un pool. Ad esempio, p5.48xlarge nelle istanze ci sono quattro dispositivi EFA che condividono la stessa radice PCIe con una GPU. Per assegnare a questi gruppi di dispositivi EFA GPU allineate, anche se non conoscete la mappatura esatta dei dispositivi e il numero di EFA-GPU dispositivi EFA allineati, potete configurare la configurazione per i dispositivi EFA. ResourceClaimTemplate allocationMode: All

apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: aligned-all-efa-one-nvidia
spec:
  spec:
    devices:
      requests:
      - name: all-efas
        exactly:
          deviceClassName: efa.networking.k8s.aws
          allocationMode: All
      - name: one-gpu
        exactly:
          deviceClassName: gpu.nvidia.com
          allocationMode: ExactCount
          count: 1
      constraints:
      - requests: ["all-efas", "one-gpu"]
        matchAttribute: "resource.kubernetes.io/pcieRoot"

Condividi i dispositivi EFA tra più Pod

Il driver EFA DRA supporta la condivisione di dispositivi EFA tra più Pod utilizzando un. ResourceClaim A differenza di aResourceClaimTemplate, che genera un claim separato per ogni Pod, a ResourceClaim è un oggetto con nome creato indipendentemente e a cui si fa riferimento da più Pod. Tutti i Pod che fanno riferimento allo stesso dispositivo ResourceClaim condividono l'accesso agli stessi dispositivi EFA assegnati e sono programmati sullo stesso nodo in cui tali dispositivi sono disponibili.

Per condividere i dispositivi EFA tra i Pod, crea un messaggio ResourceClaim che richieda i dispositivi EFA, quindi fai riferimento a tale affermazione per nome nel campo di ciascun Pod utilizzando. resourceClaims resourceClaimName ResourceClaimDeve esistere nel cluster prima che i Pod che vi fanno riferimento vengano creati. Se un oggetto referenziato ResourceClaim non esiste, i Pod rimangono in sospeso fino alla creazione del reclamo.

L'esempio seguente crea un messaggio ResourceClaim che richiede 4 dispositivi EFA e due Pod che condividono l'accesso a tali dispositivi.

Entrambi i Pod fanno riferimento allo stesso shared-efa ResourceClaim e sono programmati per il nodo in cui sono allocati i dispositivi EFA. Il ResourceClaim ciclo di vita è indipendente dai Pod: persiste finché non lo elimini, anche se tutti i Pod a cui fa riferimento vengono rimossi.

Installa il plug-in per dispositivi EFA Kubernetes

Il plug-in per dispositivi EFA Kubernetes pubblicizza i dispositivi EFA come risorse estese. vpc.amazonaws.com/efa Richiedete i dispositivi EFA nelle richieste e nei limiti delle risorse del contenitore. Per una procedura dettagliata sulla configurazione di EFA con carichi di lavoro di formazione, consulta. Esecuzione dei corsi di machine learning su Amazon EKS con Elastic Fabric Adapter

Prerequisiti

Procedura