View a markdown version of this page

Utilisation de systèmes EFA-enabled de fichiers - FSx pour Lustre

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Utilisation de systèmes EFA-enabled de fichiers

Si vous créez un système de fichiers avec une capacité de débit supérieure à 10 Gbit/s, nous vous recommandons d'activer Elastic Fabric Adapter (EFA) afin d'optimiser le débit par instance client. EFA est une interface réseau haute performance qui utilise une technique de contournement du système d'exploitation personnalisée et le protocole réseau AWS Scalable Reliable Datagram (SRD) pour améliorer les performances. Pour plus d'informations sur l'EFA, consultez la section Elastic Fabric Adapter for AI/ML and HPC workloads on Amazon EC2 dans le guide de l'utilisateur Amazon EC2.

EFA-enabled les systèmes de fichiers prennent en charge deux fonctionnalités de performance supplémentaires : GPUDirect Storage (GDS) et ENA Express. La prise en charge du GDS s'appuie sur l'EFA pour améliorer encore les performances en permettant le transfert direct de données entre le système de fichiers et la mémoire du GPU, en contournant le processeur. Ce chemin direct élimine le besoin de copies de mémoire redondantes et l'implication du processeur dans les opérations de transfert de données. Grâce à la prise en charge de l'EFA et du GDS, vous pouvez obtenir un débit plus élevé pour les instances EFA-enabled clientes individuelles. ENA Express fournit une communication réseau optimisée pour les instances Amazon EC2 à l'aide d'un algorithme de sélection de chemin avancé et d'un mécanisme de contrôle de congestion amélioré. Grâce à la prise en charge d'ENA Express, vous pouvez augmenter le débit des instances Express-enabled clientes ENA individuelles. Pour plus d'informations sur ENA Express, consultez la section Améliorer les performances du réseau entre les instances EC2 avec ENA Express dans le guide de l'utilisateur Amazon EC2.

Considérations relatives à l'utilisation de systèmes de EFA-enabled fichiers

Voici quelques points importants à prendre en compte lors de la création de systèmes de EFA-enabled fichiers :

  • Plusieurs options de connectivité : les systèmes de EFA-enabled fichiers peuvent communiquer avec les instances clientes via ENA, ENA Express et EFA.

  • Type de déploiement : EFA est pris en charge sur les systèmes de fichiers Persistent 2 avec une configuration de métadonnées spécifiée, y compris les systèmes de fichiers utilisant la classe Intelligent-Tiering de stockage.

  • Mise à jour du paramètre EFA : vous pouvez choisir d'activer EFA lorsque vous créez un nouveau système de fichiers, mais vous ne pouvez pas activer ou désactiver EFA sur un système de fichiers existant.

  • Adaptation du débit à la capacité de stockage : vous pouvez augmenter la capacité de stockage d'un système de EFA-enabled SSD-based fichiers pour augmenter la capacité de débit, mais vous ne pouvez pas modifier le niveau de débit d'un EFA-enabled système de fichiers.

  • Régions AWS: Pour obtenir la liste Régions AWS des systèmes de fichiers compatibles avec EFA-enabled Persistent 2, consultezDisponibilité du type de déploiement.

Conditions préalables à l'utilisation de systèmes de EFA-enabled fichiers

Les conditions requises pour utiliser les systèmes de EFA-enabled fichiers sont les suivantes :

Pour créer votre système de EFA-enabled fichiers :

  • Utilisez un groupe EFA-enabled de sécurité. Pour de plus amples informations, veuillez consulter EFA-enabled groupes de sécurité.

  • Utilisez la même zone de disponibilité et le même CIDR /16 que vos instances EFA-enabled clientes au sein de votre Amazon VPC.

  • Sur les systèmes de Intelligent-Tiering fichiers, l'EFA n'est pris en charge qu'avec une capacité de débit de 4 000 Mbit/s ou des incréments de 4 000 Mbit/s.

Pour accéder à votre système de fichiers à l'aide d'Elastic Fabric Adapter (EFA) :

  • Utilisez des instances EC2 Nitro v4 (ou supérieures) qui prennent en charge l'EFA, à l'exception de la famille d'instances trn2. Consultez la section Types d'instances pris en charge dans le guide de l'utilisateur Amazon EC2.

  • Exécutez AL2023, RHEL 9.5 et versions ultérieures, ou Ubuntu 22+ avec la version 6.8 ou ultérieure du noyau. Pour de plus amples informations, veuillez consulter Installation de la   Lustre client.

  • Installez les modules EFA et configurez les interfaces EFA sur vos instances clientes. Pour de plus amples informations, veuillez consulter Configuration des clients EFA.

Pour accéder à votre système de fichiers à l'aide de GPUDirect Storage (GDS) :

  • Utilisez une instance Amazon EC2 P5, P5e, P5en ou client. P6-B200

  • Installez le package NVIDIA Compute Unified Device Architecture (CUDA), le pilote NVIDIA open source et le pilote de stockage NVIDIA GPUDirect sur votre instance cliente. Pour de plus amples informations, veuillez consulter Installez le pilote GDS (facultatif).

Pour accéder à votre système de fichiers à l'aide d'ENA Express :

Création d'un système EFA-enabled de fichiers

Cette section contient des instructions sur la façon de créer un système de fichiers FSx for EFA-enabled Lustre à l'aide AWS CLI du. Pour plus d'informations sur la création d'un système de EFA-enabled fichiers à l'aide de la console Amazon FSx, consultez. Étape 1 : Création de votre système de fichiers FSx for Lustre

Utilisez la commande CLI create-file-system (ou l'opération API CreateFileSysteméquivalente). L'exemple suivant crée un système de fichiers FSx for EFA-enabled Lustre avec PERSISTENT_2 un type de déploiement.

aws fsx create-file-system\ --storage-capacity 4800 \ --storage-type SSD \ --file-system-type LUSTRE \ --file-system-type-version 2.15 \ --subnet-ids subnet-01234567890 \ --security-group-ids sg-0123456789abcdefg \ --lustre-configuration '{"DeploymentType": "PERSISTENT_2", "EfaEnabled": true}'

Une fois le système de fichiers créé avec succès, Amazon FSx renvoie la description du système de fichiers au format JSON.