开始使用 EFA 和 NIXL 处理 Amazon EC2 上的推理工作负载

通过以下网址打开 Amazon EC2 控制台：https://console.aws.amazon.com/ec2/。

在导航窗格中，选择 Security Groups (安全组)，然后选择 Create Security Group (创建安全组)。

在 Create security group（创建安全组）窗口中，执行以下操作：

1. 对于安全组名称，请输入一个描述性的安全组名称，例如 EFA-enabled security group。

2. （可选）对于描述，请输入安全组的简要描述。

3. 对于 VPC，请选择要在其中启动启用了 EFA 的实例的 VPC。

4. 选择创建安全组。

选择您创建的安全组，然后在 Details（详细信息）选项卡上复制 Security group ID（安全组 ID）。

在安全组仍然选中的情况下，依次选择 Actions（操作）、Edit inbound rules（编辑入站规则），然后执行以下操作：

1. 选择添加规则。

2. 对于 Type (类型)，请选择 All traffic (所有流量)。

3. 对于 Source type（源类型），请选择 Custom（自定义）并将您复制的安全组 ID 粘贴到该字段中。

4. 选择添加规则。

5. 对于 Type，选择 SSH。

6. 对于 Source type（源类型），请选择 Anywhere-IPv4。

7. 选择保存规则。

在安全组仍然选中的情况下，依次选择 Actions（操作）、Edit outbound rules（编辑出站规则），然后执行以下操作：

1. 选择添加规则。

2. 对于 Type (类型)，请选择 All traffic (所有流量)。

3. 对于 Destination type（目标类型），请选择 Custom（自定义）并将您复制的安全组 ID 粘贴到该字段中。

4. 选择保存规则。

通过以下网址打开 Amazon EC2 控制台：https://console.aws.amazon.com/ec2/。

在导航窗格中，请选择 Instances（实例），然后选择 Launch Instances（启动实例）以打开新的启动实例向导。

（可选）在 Name and tags（名称和标签）部分中，提供实例的名称，例如 EFA-instance。名称作为资源标签（Name=EFA-instance）分配给实例。

在应用程序和操作系统映像部分中，为其中一个支持的操作系统选择 AMI。您也可以在 DLAMI 发行说明页面上选择受支持的 DLAMI。

在实例类型部分中，选择支持的实例类型。

在 Key pair（密钥对）部分中，选择要用于实例的密钥对。

在 Network settings（网络设置）部分中，请选择 Edit（编辑），然后执行以下操作：

1. 对于子网，选择要在其中启动实例的子网。如果您未选择子网，则不能启用 EFA 的实例。

2. 对于 Firewall（security groups）（防火墙（安全组）），请选择 Select existing security group（选择现有安全组），然后选择您在上一步中创建的安全组。

3. 展开高级网络配置部分。

   对于网络接口 1，选择网卡索引 = 0、设备索引 = 0、接口类型 = 带 ENA 的 EFA。

   （可选）如果您使用的是多卡实例类型，例如 p4d.24xlarge 或 p5.48xlarge，则对于每个额外的网络接口，选择添加网络接口；对于网卡索引，选择下一个未使用的索引，然后选择设备索引 1 和接口类型 = 带 ENA 的 EFA 或仅限 EFA。

在 Storage（存储）部分中，根据需要配置卷。

在右侧的 Summary（摘要）面板中，选择 Launch instance（启动实例）。

为确保您的所有软件包都处于最新状态，请对您的实例执行快速软件更新。

$ sudo apt-get update && sudo apt-get upgrade -y

安装在安装 Nvidia GPU 驱动程序和 Nvidia CUDA 工具包时需要的实用程序。

$ sudo apt-get install build-essential -y

要使用 Nvidia GPU 驱动程序，您必须先禁用 nouveau 开源驱动程序。

1. 为您当前运行的内核版本安装所需的实用程序和内核标头软件包。

   $ sudo apt-get install -y gcc make linux-headers-$(uname -r)

2. 将 nouveau 添加到/etc/modprobe.d/blacklist.conf 拒绝列表文件。

   $ cat << EOF | sudo tee --append /etc/modprobe.d/blacklist.conf
   blacklist vga16fb
   blacklist nouveau
   blacklist rivafb
   blacklist nvidiafb
   blacklist rivatv
   EOF

3. 使用首选文本编辑器打开 /etc/default/grub，并添加以下内容。

   GRUB_CMDLINE_LINUX="rdblacklist=nouveau"

4. 重新生成 Grub 配置。

   $ sudo update-grub

重启实例并重新连接到它。

添加 CUDA 存储库并安装 Nvidia GPU 驱动程序、NVIDIA CUDA 工具包和 cuDNN。

$ sudo apt-key adv --fetch-keys http://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu2004/x86_64/7fa2af80.pub \
&& wget -O /tmp/deeplearning.deb http://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu2004/x86_64/nvidia-machine-learning-repo-ubuntu2004_1.0.0-1_amd64.deb \
&& sudo dpkg -i /tmp/deeplearning.deb \
&& wget -O /tmp/cuda.pin https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/cuda-ubuntu2004.pin \
&& sudo mv /tmp/cuda.pin /etc/apt/preferences.d/cuda-repository-pin-600 \
&& sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/3bf863cc.pub \
&& sudo add-apt-repository 'deb http://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/ /' \
&& sudo apt update \
&& sudo apt install nvidia-dkms-535 \
&& sudo apt install -o Dpkg::Options::='--force-overwrite' cuda-drivers-535 cuda-toolkit-12-3 libcudnn8 libcudnn8-dev -y

重启实例并重新连接到它。

（仅限 p4d.24xlarge 和 p5.48xlarge）安装 Nvidia Fabric Manager。

1. 您必须安装与上一步中安装的 Nvidia 内核模块版本匹配的 Nvidia Fabric Manager 版本。

   运行以下命令以确定 Nvidia 内核模块的版本。

   $ cat /proc/driver/nvidia/version | grep "Kernel Module"

   下面是示例输出。

   NVRM version: NVIDIA UNIX x86_64 Kernel Module  450.42.01  Tue Jun 15 21:26:37 UTC 2021

   上述示例中安装了内核模块的主要版本 450。这意味着您需要安装 Nvidia Fabric Manager 版本 450。

2. 安装 Nvidia Fabric Manager。运行以下命令并指定上一步中确定的主要版本。

   $ sudo apt install -o Dpkg::Options::='--force-overwrite' nvidia-fabricmanager-major_version_number

   例如，如果已安装内核模块的主要版本 450，请使用以下命令安装与之匹配的 Nvidia Fabric Manager 版本。

   $ sudo apt install -o Dpkg::Options::='--force-overwrite' nvidia-fabricmanager-450

3. 启动服务，并确保它在实例启动时自动启动。NV 交换管理需要 Nvidia Fabric 管理器。

   $ sudo systemctl start nvidia-fabricmanager && sudo systemctl enable nvidia-fabricmanager

确保每次启动实例时均设置 CUDA 路径。

要验证 Nvidia GPU 驱动程序是否正常运行，请运行以下命令。

$ nvidia-smi -q | head

此命令应返回有关 Nvidia GPU、Nvidia GPU 驱动程序和 Nvidia CUDA 工具包的信息。

安装所需的依赖项。

$ sudo apt -y install build-essential devscripts debhelper check libsubunit-dev fakeroot pkg-config dkms

下载并解压缩 GDRCopy 程序包。

$ wget https://github.com/NVIDIA/gdrcopy/archive/refs/tags/v2.4.tar.gz \
&& tar xf v2.4.tar.gz \
&& cd gdrcopy-2.4/packages

构建 GDRCopy DEB 程序包。

$ CUDA=/usr/local/cuda ./build-deb-packages.sh

安装 GDRCopy DEB 程序包。

$ sudo dpkg -i gdrdrv-dkms_2.4-1_amd64.*.deb \
&& sudo dpkg -i libgdrapi_2.4-1_amd64.*.deb \
&& sudo dpkg -i gdrcopy-tests_2.4-1_amd64.*.deb \
&& sudo dpkg -i gdrcopy_2.4-1_amd64.*.deb

连接到您启动的实例。有关更多信息，请参阅 使用 SSH 连接到 Linux 实例。

下载 EFA 软件安装文件。软件安装文件将打包为压缩的 tarball（.tar.gz）文件。要下载最新的稳定 版本，请使用以下命令。

$ curl -O https://efa-installer.amazonaws.com/aws-efa-installer-1.47.0.tar.gz

从压缩的 .tar.gz 文件中提取文件，删除压缩包，并导航到提取的目录。

$ tar -xf aws-efa-installer-1.47.0.tar.gz && rm -rf aws-efa-installer-1.47.0.tar.gz && cd aws-efa-installer

运行 EFA 软件安装脚本。

$ sudo ./efa_installer.sh -y

Libfabric 安装在了 /opt/amazon/efa 目录中。

如果 EFA 安装程序提示您重启实例，请执行此操作，然后重新连接到实例。否则，请注销实例，然后重新登录以完成安装。

确认已成功安装 EFA 软件组件。

$ fi_info -p efa -t FI_EP_RDM

该命令应返回有关 Libfabric EFA 接口的信息。以下示例显示了命令输出。

通过以下网址打开 Amazon EC2 控制台：https://console.aws.amazon.com/ec2/。

在导航窗格中，选择 Instances (实例)。

选择您创建的临时实例，然后依次选择 Actions (操作)、Image (映像)、Create image (创建映像)。

对于 Create image (创建映像)，请执行以下操作：

1. 对于 Image name (映像名称)，为 AMI 输入一个描述性名称。

2. （可选）对于 Image description (映像描述)，输入 AMI 用途的简要描述。

3. 选择创建映像。

在导航窗格中，选择 AMIs。

在列表中找到您创建的 AMI。等待状态从 pending 更改为 available，然后继续下一步。

通过以下网址打开 Amazon EC2 控制台：https://console.aws.amazon.com/ec2/。

在导航窗格中，选择 Instances (实例)。

选择您创建的临时实例，然后依次选择 Actions (操作)、Instance state (实例状态)、Terminate instance (终止实例)。

当系统提示您确认时，选择终止。

通过以下网址打开 Amazon EC2 控制台：https://console.aws.amazon.com/ec2/。

在导航窗格中，请选择 Instances（实例），然后选择 Launch Instances（启动实例）以打开新的启动实例向导。

（可选）在 Name and tags（名称和标签）部分中，提供实例的名称，例如 EFA-instance。名称作为资源标签（Name=EFA-instance）分配给实例。

在 Application and OS Images（应用程序和操作系统映像）部分中，请选择 My AMIs（我的 AMI），然后选择您在上一步骤创建的 AMI。

在实例类型部分中，选择支持的实例类型。

在 Key pair（密钥对）部分中，选择要用于实例的密钥对。

在 Network settings（网络设置）部分中，请选择 Edit（编辑），然后执行以下操作：

1. 对于子网，选择要在其中启动实例的子网。如果您未选择子网，则不能启用 EFA 的实例。

2. 对于防火墙（安全组），选择选择现有安全组，然后选择您在步骤 1 中创建的安全组。

3. 展开高级网络配置部分。

   对于网络接口 1，选择网卡索引 = 0、设备索引 = 0、接口类型 = 带 ENA 的 EFA。

   （可选）如果您使用的是多卡实例类型，例如 p4d.24xlarge 或 p5.48xlarge，则对于每个额外的网络接口，选择添加网络接口；对于网卡索引，选择下一个未使用的索引，然后选择设备索引 1 和接口类型 = 带 ENA 的 EFA 或仅限 EFA。

（可选）在 Storage（存储）部分中，根据需要配置卷。

在右侧的 Summary（摘要）面板中，为 Number of instances（实例数量）输入您要启动的启用了 EAA 的实例数量，然后选择 Launch instance（启动实例）。

在集群中选择一个实例作为领导节点，然后连接到该实例。

在领导节点上禁用 strictHostKeyChecking 并启用 ForwardAgent。使用首选文本编辑器打开 ~/.ssh/config，并添加以下内容。

Host *
    ForwardAgent yes
Host *
    StrictHostKeyChecking no

生成 RSA 密钥对。

$ ssh-keygen -t rsa -N "" -f ~/.ssh/id_rsa

密钥对在 $HOME/.ssh/ 目录中创建。

更改领导节点上私有密钥的权限。

$ chmod 600 ~/.ssh/id_rsa
chmod 600 ~/.ssh/config

使用首选文本编辑器打开 ~/.ssh/id_rsa.pub 并复制密钥。

对于集群中的每个成员节点，请执行以下操作：

1. 连接到实例。

2. 使用首选文本编辑器打开 ~/.ssh/authorized_keys，并添加之前复制的公有密钥。

要测试无密码 SSH 是否按预期运行，请连接到领导节点并运行以下命令。

$ ssh member_node_private_ip

您应该连接到成员节点，而不会收到输入密钥或密码的提示。

安装 vLLM。

$ pip install vllm

使用 NIXL 启动 vLLM 服务器。以下示例命令为 NIXL 握手连接、KV 连接器、KV 角色和传输后端创建一个预填充（生产者）和一个解码（使用者）实例。有关详细的示例和脚本，请参阅 NIXLConnector 使用指南。

要将 NIXL 与 EFA 配合使用，请根据您的设置和使用案例设置环境变量。

前面的示例配置设置了以下内容：