EFA-Geräte auf Amazon EKS verwalten

Elastic Fabric Adapter (EFA) ist ein Netzwerkgerät für Amazon EC2 EC2-Instances, das leistungsstarke Kommunikation zwischen Knoten und RDMA (Remote Direct Memory Access) für künstliche Intelligenz, maschinelles Lernen und High Performance Computing (HPC) -Workloads ermöglicht. Amazon EKS unterstützt zwei Mechanismen für die Verwaltung von EFA-Geräten in EKS-Clustern: den EFA Dynamic Resource Allocation (DRA) -Treiber (DRANET) und das EFA-Geräte-Plugin.

Es wird empfohlen, den EFA-DRA-Treiber (DRANET) für neue Bereitstellungen auf EKS-Clustern zu verwenden, auf denen Kubernetes Version 1.34 oder höher mit von EKS verwalteten Knotengruppen oder selbstverwalteten Knotengruppen ausgeführt wird. Mit dem EFA-DRA-Treiber können Sie eine topologieorientierte Zuweisung konfigurieren, die EFA-Schnittstellen mit ihren topologisch-lokalen GPUs oder Neuron-Geräten verbindet und die gemeinsame Nutzung von Geräten zwischen Pods unterstützt.

Der EFA-DRA-Treiber wird im automatischen Modus von Karpenter oder EKS nicht unterstützt. Verwenden Sie das EFA-Geräte-Plugin mit Karpenter und EKS Auto Mode. Das EFA-Geräte-Plugin wird auch weiterhin für von EKS verwaltete Knotengruppen und selbstverwaltete Knoten unterstützt.

EFA-DRA-Treiber im Vergleich zum EFA-Geräte-Plugin

EKS-Knoten mit EFA-Schnittstellen erstellen

Wenn Sie EKS-Knoten mit EFA-Schnittstellen erstellen, werden die EFA-Schnittstellen während der Instanzbereitstellung an die Instanz angehängt. Sie können die EFA-Konfiguration pro Gerät anpassen und Platzierungsgruppen mit Karpenter, EKS-verwalteten Knotengruppen oder selbstverwalteten EKS-Knotengruppen verwenden. Mit Karpenter übergeben Sie die Konfiguration für jede Netzwerkschnittstelle über die. NodeClass Bei von EKS verwalteten Knotengruppen oder selbstverwalteten Knoten übergeben Sie die Konfiguration für jede Netzwerkschnittstelle mit Startvorlagen. Die Unterstützung des automatischen Modus von EKS für gerätespezifische EFA-Konfigurationen und Platzierungsgruppen ist in Kürze verfügbar.

Bei Verwendung dieser efaEnabled Einstellung eksctlfür die Bereitstellung von EKS-Knoten werden alle Schnittstellen mit dem Schnittstellentyp konfiguriertEFA, eine EFA-specific Sicherheitsgruppe wird erstellt und das EFA-Geräte-Plug-In wird auf dem Cluster installiert. Wenn Sie bei der Verwendung die EFA-Konfiguration pro Gerät anpassen müssen, wird empfohleneksctl, die Unterstützung von `eksctl für Startvorlagen zu verwenden.

Die folgenden Beispiele zeigen, wie Vorlagen mit EFA-Schnittstellen konfiguriert NodeClass und gestartet werden. Dies ist nützlich, um die Schnittstellen, die für EFA-Verkehr verwendet werden, im Vergleich zu IP-based Standarddatenverkehr anzupassen. Informationen zur Anzahl der von den einzelnen Instance-Typen unterstützten EFA-Schnittstellen und zur Konfiguration dieser Schnittstellen für maximale Netzwerkbandbreite finden Sie unter Maximieren der Netzwerkbandbreite für EFA-enabled Instance-Typen im Amazon EC2 EC2-Benutzerhandbuch.

Karpenter

Jeder Eintrag in networkInterfaces gibt ein networkCardIndexdeviceIndex, und an. interfaceType Dies interfaceType kann interface für Standard-Netzwerkschnittstellen oder efa-only für EFA-Schnittstellen sein, die für RDMA-Verkehr vorgesehen sind und denen keine IP-Adressen zugewiesen sind. Wenn networkInterfaces konfiguriert, NodeClass verwenden Instances, die von der NodePool referenzierenden Person gestartet wurden, diese Konfiguration unabhängig davon, ob Pods Ressourcen anfordern. vpc.amazonaws.com/efa

Wenn Sie Karpenter ohne Angabe networkInterfaces in Ihrem verwenden, werden für InstanzenNodeClass, die für Pods erstellt wurden, die Anfragen vpc.amazonaws.com/efa stellen, alle Schnittstellen mit dem Schnittstellentyp konfiguriert. EFA

Die networkInterfaces Konfiguration für EC2NodeClass wurde in Karpenter v1.11 hinzugefügt. Das folgende Beispiel zeigt eine EC2NodeClass Konfiguration für eine P6-B200 Instanz mit 1 ENA-Schnittstelle und 8 Schnittstellen. EFA-only

apiVersion: karpenter.k8s.aws/v1
kind: EC2NodeClass
metadata:
  name: efa-node-class
spec:
  networkInterfaces:
  - networkCardIndex: 0
    deviceIndex: 0
    interfaceType: interface
  - networkCardIndex: 0
    deviceIndex: 1
    interfaceType: efa-only
  - networkCardIndex: 1
    deviceIndex: 0
    interfaceType: efa-only
  - networkCardIndex: 2
    deviceIndex: 0
    interfaceType: efa-only
  - networkCardIndex: 3
    deviceIndex: 0
    interfaceType: efa-only
  - networkCardIndex: 4
    deviceIndex: 0
    interfaceType: efa-only
  - networkCardIndex: 5
    deviceIndex: 0
    interfaceType: efa-only
  - networkCardIndex: 6
    deviceIndex: 0
    interfaceType: efa-only
  - networkCardIndex: 7
    deviceIndex: 0
    interfaceType: efa-only

Von EKS verwaltete Knotengruppen und selbstverwaltete Knoten

Bei von EKS verwalteten Knotengruppen oder selbstverwalteten Knoten übergeben Sie die Konfiguration für jede Netzwerkschnittstelle mit Startvorlagen.

Das folgende Beispiel zeigt eine Startvorlage, die für eine P6-B200 Instance mit 1 ENA-Schnittstelle und 8 EFA-only Schnittstellen konfiguriert ist. Die primäre Netzwerkschnittstelle (Netzwerkkarte 0, Geräteindex 0) verwendet einen interface Standardtyp für IP-Verkehr, während zusätzliche Schnittstellen efa-only für dedizierten RDMA-Verkehr verwendet werden. Passen Sie die Anzahl der efa-only Schnittstellen an Ihren Instanztyp an. Die Anzahl der von den einzelnen Instance-Typen unterstützten EFA-Schnittstellen finden Sie unter Maximieren der Netzwerkbandbreite für EFA-enabled Instance-Typen im Amazon EC2 EC2-Benutzerhandbuch.

{
  "LaunchTemplateName": "efa-launch-template",
  "LaunchTemplateData": {
    "InstanceType": "p6-b200.48xlarge",
    "NetworkInterfaces": [
      {
        "NetworkCardIndex": 0,
        "DeviceIndex": 0,
        "InterfaceType": "interface",
        "Groups": ["security-group-id"]
      },
      {
        "NetworkCardIndex": 0,
        "DeviceIndex": 1,
        "InterfaceType": "efa-only",
        "Groups": ["security-group-id"]
      },
      {
        "NetworkCardIndex": 1,
        "DeviceIndex": 0,
        "InterfaceType": "efa-only",
        "Groups": ["security-group-id"]
      },
      {
        "NetworkCardIndex": 2,
        "DeviceIndex": 0,
        "InterfaceType": "efa-only",
        "Groups": ["security-group-id"]
      },
      {
        "NetworkCardIndex": 3,
        "DeviceIndex": 0,
        "InterfaceType": "efa-only",
        "Groups": ["security-group-id"]
      },
      {
        "NetworkCardIndex": 4,
        "DeviceIndex": 0,
        "InterfaceType": "efa-only",
        "Groups": ["security-group-id"]
      },
      {
        "NetworkCardIndex": 5,
        "DeviceIndex": 0,
        "InterfaceType": "efa-only",
        "Groups": ["security-group-id"]
      },
      {
        "NetworkCardIndex": 6,
        "DeviceIndex": 0,
        "InterfaceType": "efa-only",
        "Groups": ["security-group-id"]
      },
      {
        "NetworkCardIndex": 7,
        "DeviceIndex": 0,
        "InterfaceType": "efa-only",
        "Groups": ["security-group-id"]
      }
    ]
  }
}

Verwendung von AMIs mit EFA EKS-optimized

Die EKS-optimized AL203-beschleunigten AMIs (NVIDIA und Neuron) und alle Bottlerocket-AMIs enthalten die Komponenten auf Host-Ebene, die für die Verwendung von EFA erforderlich sind, insbesondere die Komponenten, die vom aws-efa-installer installiert wurden. Die AMIs EKS AL2023 und Bottlerocket enthalten weder den EFA-DRA-Treiber noch das EFA-Geräte-Plugin, und diese müssen vor der Bereitstellung von Workloads separat auf Ihrem Cluster installiert werden.

Beibehaltung der IP-Adresszuweisung

EFA-enabled Instanzen wie p5.48xlarge und p6-b200.48xlarge unterstützen viele Netzwerkschnittstellen. Standardmäßig weist das Amazon VPC CNI IP-Adressen allen IP-enabled angeschlossenen ENIs zu, wodurch eine große Anzahl von IP-Adressen aus Ihrem Subnetz verbraucht werden kann, auch wenn diese Adressen nicht aktiv von Pods verwendet werden. Bei Instances mit Dutzenden von Netzwerkschnittstellen kann dies den verfügbaren IP-Speicherplatz Ihres Subnetzes schnell erschöpfen.

Um den IP-Adressverbrauch auf EFA-enabled Knoten zu reduzieren, konfigurieren Sie Ihre Netzwerkschnittstellen so, dass sie efa-only für alle Schnittstellen außer der primären verwendet werden. EFA-only Schnittstellen sind für RDMA-Verkehr vorgesehen und ihnen sind keine IP-Adressen zugewiesen, sodass sie keine Adressen aus Ihrem Subnetz verwenden. Beispielkonfigurationen finden Sie unter Karpenter und. Von EKS verwaltete Knotengruppen und selbstverwaltete Knoten Das empfohlene Schnittstellenlayout für jeden Instance-Typ finden Sie unter Maximieren der Netzwerkbandbreite für EFA-enabled Instance-Typen im Amazon EC2 EC2-Benutzerhandbuch.

Zusätzlich zur Verwendung von efa-only Schnittstellen können Sie Amazon VPC CNI so konfigurieren, dass die Anzahl der warmen (vorab zugewiesenen) IP-Adressen und ENIs begrenzt wird. Standardmäßig weist das VPC-CNI vorab einen warmen Pool von ENIs und IP-Adressen zu, um den Pod-Start zu beschleunigen. Bei großen Instances können dadurch jedoch Hunderte ungenutzter IP-Adressen reserviert werden. Stellen Sie die Umgebungsvariablen WARM_IP_TARGET und die WARM_ENI_TARGET Umgebungsvariablen auf, aws-node DaemonSet um zu steuern, wie viele Ersatz-IP-Adressen und ENIs das CNI verwaltet. Weitere Informationen zu diesen Einstellungen finden Sie unter Amazon VPC CNI Best Practices.

Installieren Sie den EFA-DRA-Treiber (DRANET)

Der EFA-DRA-Treiber ist im Upstream-Projekt DRANET integriert, das eine cloudbasierte Netzwerkgeräteverwaltung für Kubernetes DRA ermöglicht. Der EFA-DRA-Treiber und DRANET werden in dieser Dokumentation synonym verwendet und beziehen sich auf dasselbe Tool.

Der EFA-DRA-Treiber bewirbt EFA-Geräte als ResourceSlice Objekte mit dem Treibernamen und dem Namen. dra.net DeviceClass efa.networking.k8s.aws Der EFA-DRA-Treiber wird DaemonSet auf jedem Knoten ausgeführt und erkennt automatisch EFA-Geräte.

Voraussetzungen

Verfahren

Topology-aware EFA und Gerätezuweisung GPU/Neuron

Der EFA-DRA-Treiber unterstützt eine topologieorientierte Zuweisung, bei der EFA-Schnittstellen mit GPUs oder Neuron-Geräten auf demselben PCIe-Root kombiniert werden. Verwenden Sie die matchAttribute Einschränkung, um die Zuordnungen von EFA- und GPU- oder Neuron-Geräten aufeinander abzustimmen. Um diese Funktion nutzen zu können, müssen Sie auch die NVIDIA- oder Neuron DRA-Treiber verwenden. Weitere Informationen erhalten Sie unter NVIDIA-GPU-Geräte auf Amazon EKS verwalten und Neuron-Geräte auf Amazon EKS verwalten.

Im folgenden Beispiel wird eine EFA-Schnittstelle angefordert, die auf eine NVIDIA-GPU abgestimmt ist:

apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: aligned-efa-nvidia
spec:
  spec:
    devices:
      requests:
      - name: 1-efa
        exactly:
          deviceClassName: efa.networking.k8s.aws
          count: 1
      - name: 1-gpu
        exactly:
          deviceClassName: gpu.nvidia.com
          count: 1
      constraints:
      - requests: ["1-gpu", "1-efa"]
        matchAttribute: "resource.kubernetes.io/pcieRoot"

Im folgenden Beispiel werden 4 EFA-Schnittstellen angefordert, die auf 4 Neuron-Geräte abgestimmt sind:

apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: aligned-efa-neuron
spec:
  spec:
    devices:
      requests:
      - name: 4-neurons
        exactly:
          deviceClassName: neuron.aws.com
          count: 4
      - name: 4-efas
        exactly:
          deviceClassName: efa.networking.k8s.aws
          count: 4
      constraints:
      - requests: ["4-neurons", "4-efas"]
        matchAttribute: "resource.aws.com/devicegroup4_id"

Die Zahl im devicegroup Attributnamen entspricht der Anzahl der Neuron-Geräte in der verbundenen Topologiegruppe. resource.aws.com/devicegroup1_idIdentifiziert beispielsweise ein einzelnes Neuron-Gerät, resource.aws.com/devicegroup4_id identifiziert eine Gruppe von 4 verbundenen Geräten resource.aws.com/devicegroup8_id und resource.aws.com/devicegroup16_id identifiziert Gruppen von 8 bzw. 16 verbundenen Geräten. Wählen Sie matchAttribute das Gerät aus, das dem Gerät count in Ihrer Anfrage entspricht, sodass die zugewiesenen Neuron-Geräte und EFA-Schnittstellen derselben verbundenen Topologiegruppe angehören. Weitere Informationen zu diesen Attributen finden Sie in der Neuron DRA-Treiberdokumentation.

Sie können allocationMode damit vereinfachen, wie EFA-Geräte ausgerichteten GPU- oder Neuron-Beschleunigern zugewiesen werden. Das allocationMode Feld unterstützt zwei Werte: ExactCount (Standard) fordert eine bestimmte Anzahl von Geräten an, die von angegeben sindcount, und All fordert alle passenden Geräte in einem Pool an. Auf p5.48xlarge Instances gibt es beispielsweise vier EFA-Geräte, die denselben PCIe-Root mit einer GPU teilen. Um diesen Gruppen von EFA-Geräten ausgerichtete GPUs zuzuweisen, können Sie Ihre ResourceClaimTemplate mit für die EFA-Geräte konfigurieren, auch wenn Sie die genaue EFA-GPU Gerätezuweisung und Anzahl der ausgerichteten EFA-Geräte nicht kennen. allocationMode: All

apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: aligned-all-efa-one-nvidia
spec:
  spec:
    devices:
      requests:
      - name: all-efas
        exactly:
          deviceClassName: efa.networking.k8s.aws
          allocationMode: All
      - name: one-gpu
        exactly:
          deviceClassName: gpu.nvidia.com
          allocationMode: ExactCount
          count: 1
      constraints:
      - requests: ["all-efas", "one-gpu"]
        matchAttribute: "resource.kubernetes.io/pcieRoot"

Teilen Sie EFA-Geräte auf mehrere Pods

Der EFA-DRA-Treiber unterstützt die gemeinsame Nutzung von EFA-Geräten zwischen mehreren Pods mithilfe von. ResourceClaim Im Gegensatz zu aResourceClaimTemplate, das für jeden Pod einen eigenen Anspruch generiert, ResourceClaim handelt es sich bei a um ein benanntes Objekt, das Sie unabhängig erstellen und auf das Sie von mehreren Pods aus verweisen. Alle Pods, die auf ResourceClaim denselben Pods verweisen, haben gemeinsamen Zugriff auf dieselben zugewiesenen EFA-Geräte und sind für denselben Knoten geplant, auf dem diese Geräte verfügbar sind.

Um EFA-Geräte von mehreren Pods gemeinsam zu nutzen, erstellen Sie einenResourceClaim, der die EFA-Geräte anfordert, und verweisen Sie dann mit dem Namen auf diesen Claim im Feld jedes Pods resourceClaims mit. resourceClaimName Der ResourceClaim muss im Cluster vorhanden sein, bevor die Pods erstellt werden, die darauf verweisen. Wenn ein Objekt, auf ResourceClaim das verwiesen wird, nicht existiert, verbleiben die Pods so lange im Status „Ausstehend“, bis der Anspruch erstellt wird.

Das folgende Beispiel erstellt einenResourceClaim, der 4 EFA-Geräte anfordert, und zwei Pods, die gemeinsam auf diese Geräte zugreifen.

Beide Pods verweisen auf dasselbe shared-efa ResourceClaim und sind für den Knoten geplant, dem diese EFA-Geräte zugewiesen sind. Der ResourceClaim Lebenszyklus ist unabhängig von den Pods — er bleibt bestehen, bis Sie ihn löschen, auch wenn alle Pods, die auf ihn verweisen, entfernt wurden.

Installieren Sie das EFA Kubernetes-Geräte-Plugin

Das EFA Kubernetes-Geräte-Plugin bewirbt EFA-Geräte als erweiterte Ressourcen. vpc.amazonaws.com/efa Sie fordern EFA-Geräte in Container-Ressourcenanfragen und -limits an. Eine vollständige Anleitung zur Einrichtung von EFA mit Trainings-Workloads finden Sie unter. Ausführung von Machine-Learning-Trainings in Amazon EKS mit Elastic Fabric Adapter

Voraussetzungen

Verfahren