View a markdown version of this page

使用 EFA-enabled 文件系统 - FSx for Lustre
使用 EFA-enabled 文件系统时的注意事项使用 EFA-enabled 文件系统的先决条件创建 EFA-enabled 文件系统

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

使用 EFA-enabled 文件系统

如果您要创建吞吐能力超过 10Gbps 的文件系统，我们建议您启用 Elastic Fabric Adapter（EFA），以优化每个客户端实例的吞吐量。EFA 是一种高性能网络接口，它使用定制的操作系统旁路技术和 AWS 可扩展可靠数据报 (SRD) 网络协议来提高性能。有关 EFA 的信息，请参阅 Amaz on EC2 用户指南中的适用于亚马逊 EC2 AI/ML 和 HPC 工作负载的弹性结构适配器。

EFA-enabled 文件系统支持另外两个性能功能：GPUDirect 存储 (GDS) 和 ENA Express。GDS 支持基于 EFA 构建，可绕过 CPU 在文件系统和 GPU 内存之间实现直接数据传输，从而进一步提高性能。此直接路径可消除对冗余内存副本的需求，也无需 CPU 参与数据传输操作。借助 EFA 和 GDS 支持，您可以提高单个 EFA-enabled 客户端实例的吞吐量。ENA Express 使用先进的路径选择算法和增强的拥塞控制机制，为 Amazon EC2 实例提供优化的网络通信。借助 ENA Express 支持，您可以实现更高的单个 ENA Express-enabled 客户端实例的吞吐量。有关 ENA Express 的更多信息，请参阅《Amazon EC2 用户指南》中的使用 ENA Express 提高 EC2 实例间的网络性能。

使用 EFA-enabled 文件系统时的注意事项

以下是创建 EFA-enabled 文件系统时需要考虑的几个重要事项：

  • 多种连接选项： EFA-enabled文件系统可以使用 ENA、ENA Express 和 EFA 与客户端实例通信。

  • 部署类型：指定了元数据配置的 Persitent 2 文件系统（包括使用该 Intelligent-Tiering存储类的文件系统）支持 EFA。

  • 更新 EFA 设置：创建新文件系统时可选择启用 EFA，但不能在现有文件系统上启用或禁用 EFA。

  • 使用存储容量扩展吞吐量：您可以扩展 EFA-enabled SSD-based 文件系统的存储容量以增加吞吐容量，但不能更改 EFA-enabled 文件系统的吞吐量层。

  • AWS 区域：有关支持 Pers AWS 区域 itent EFA-enabled 2 文件系统的列表，请参阅部署类型的可用性。

使用 EFA-enabled 文件系统的先决条件

以下是使用 EFA-enabled 文件系统的先决条件：

要创建 EFA-enabled 文件系统，请执行以下操作：

  • 使用 EFA-enabled 安全组。有关更多信息，请参阅 EFA-enabled 安全组。

  • 在 Amazon VPC 中使用与您的 EFA-enabled客户端实例相同的可用区和 /16 CIDR。

  • 在 Intelligent-Tiering 文件系统上，只有吞吐容量为 4,000 Mbps 或增量为 4,000 Mbps 时才支持 EFA。

要使用 Elastic Fabric Adapter（EFA）访问文件系统，请执行以下操作：

  • 使用支持 EFA 的 Nitro v4（或更高版本）EC2 实例，trn2 实例系列除外。请参阅 Amazon EC2 用户指南中支持的实例类型。

  • 运行 AL2023、RHEL 9.5 及更新版本，或者内核版本为 6.8 及更新版本的 Ubuntu 22+。有关更多信息，请参阅 安装   Lustre 客户端。

  • 在客户端实例上安装 EFA 模块并配置 EFA 接口。有关更多信息，请参阅 配置 EFA 客户端。

要使用 GPUDirect Storage（GDS）访问您的文件系统，请执行以下操作：

  • 使用 Amazon EC2 P5、P5e、P5en 或客户端实例。 P6-B200

  • 在客户端实例上安装 NVIDIA 计算统一设备架构（CUDA）包、开源 NVIDIA 驱动程序和 NVIDIA GPUDirect Storage 驱动程序。有关更多信息，请参阅 安装 GDS 驱动程序（可选）。

要使用 ENA Express 访问文件系统，请执行以下操作：

创建 EFA-enabled 文件系统

本节包含有关如何使用创建 FSx for Lustre 文件系统的说明。 EFA-enabled AWS CLI有关如何使用 Amazon FSx 控制台创建 EFA-enabled 文件系统的信息，请参阅。步骤 1：创建 FSx for Lustre 文件系统

使用 create-file-syst em CLI 命令（或CreateFileSystem等效的 API 操作）。以下示例使用部署类型为 Lustre for Lustre 文件系统PERSISTENT_2创建一个 FSx EFA-enabled 。

aws fsx create-file-system\
   --storage-capacity 4800 \
   --storage-type SSD \
   --file-system-type LUSTRE \
   --file-system-type-version 2.15 \
   --subnet-ids subnet-01234567890 \
   --security-group-ids sg-0123456789abcdefg \
   --lustre-configuration '{"DeploymentType": "PERSISTENT_2", "EfaEnabled": true}'

成功创建文件系统后，Amazon FSx 以 JSON 格式返回文件系统的描述。