本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

# 部署模型
<a name="neo-deployment-edge"></a>

您可以通过以下方式将计算模块部署到资源受限的边缘设备上：将编译后的模型从 Amazon S3 下载到设备并使用 [DLR](https://github.com/neo-ai/neo-ai-dlr)，也可以使用 [AWS IoT Greengrass](https://docs.aws.amazon.com/greengrass/latest/developerguide/what-is-gg.html)。

在继续操作之前，请确保 SageMaker Neo 必须支持您的边缘设备。请参阅[支持的框架、设备、系统和架构](https://docs.aws.amazon.com/sagemaker/latest/dg/neo-supported-devices-edge.html)，以了解支持哪些边缘设备。确保您在提交编译作业时指定了目标边缘设备，请参阅[使用 Neo 编译模型](https://docs.aws.amazon.com/sagemaker/latest/dg/neo-job-compilation.html)。

## 部署编译的模型 (DLR)
<a name="neo-deployment-dlr"></a>

[DLR](https://github.com/neo-ai/neo-ai-dlr) 是用于深度学习模型和决策树模型的紧凑型通用运行时系统。DLR 使用 [TVM](https://github.com/neo-ai/tvm) 运行时系统、[Treelite](https://treelite.readthedocs.io/en/latest/install.html) 运行时系统、NVIDIA TensorRT™，并且可以包括其他特定于硬件的运行时系统。DLR 提供了统一的 Python/C\$1\$1， APIs 用于在各种设备上加载和运行编译后的模型。

您可以使用以下 pip 命令安装最新版本的 DLR 软件包：

```
pip install dlr
```

要在 GPU 目标或非 x86 边缘设备上安装 DLR，请参阅[版本](https://github.com/neo-ai/neo-ai-dlr/releases)以获取预构建的二进制文件，或参阅[安装 DLR](https://neo-ai-dlr.readthedocs.io/en/latest/install.html) 以根据源代码构建 DLR。例如，要为 Raspberry Pi 3 安装 DLR，可以使用：

```
pip install https://neo-ai-dlr-release.s3-us-west-2.amazonaws.com/v1.3.0/pi-armv7l-raspbian4.14.71-glibc2_24-libstdcpp3_4/dlr-1.3.0-py3-none-any.whl
```

## 部署模型 (AWS IoT Greengrass)
<a name="neo-deployment-greengrass"></a>

[AWS 物联网 Greengrass](https://docs.aws.amazon.com/greengrass/latest/developerguide/what-is-gg.html) 将云功能扩展到本地设备。它使得设备可以更靠近信息源来收集和分析数据，自主响应本地事件，同时在本地网络上彼此安全地通信。借助 AWS IoT Greengrass，您可以使用云训练模型在边缘对本地生成的数据进行机器学习推理。目前，你可以在所有基于 ARM Cortex-A、英特尔凌动和 Nvidia Jetson 系列处理器的 AWS 物联网 Greengrass 设备上部署模型。有关部署 Lambda 推理应用程序以通过 Io AWS T Greengrass 执行机器学习推理的更多信息，[请参阅如何](https://docs.aws.amazon.com/greengrass/latest/developerguide/ml-dlc-console.html)使用管理控制台配置优化的机器学习推理。 AWS