本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

# 支持的实例类型和框架
<a name="neo-supported-cloud"></a>

Amazon SageMaker Neo 支持用于编译和部署的常用深度学习框架。您可以将模型部署到云实例或 AWS Inferentia 实例类型。

下面介绍了 SageMaker Neo 支持的框架，以及您可以编译和部署到其中的目标云实例。有关如何将编译后的模型部署到云实例或 Inferentia 实例的信息，请参阅[使用云实例部署模型](https://docs.aws.amazon.com/sagemaker/latest/dg/neo-deployment-hosting-services.html)。

## 云实例
<a name="neo-supported-cloud-instances"></a>

SageMaker Neo 支持下列适用于 CPU 和 GPU 云实例的深度学习框架：


| 框架 | 框架版本 | 模型版本 |   模型 | 模型格式（打包为 \$1.tar.gz） | 工具包 | 
| --- | --- | --- | --- | --- | --- | 
| MXNet | 1.8.0 | 支持 1.8.0 或更早版本 | 图像分类、对象检测、语义分割、姿态估算、活动识别 | 一个符号文件 (.json) 和一个参数文件 (.params) | GluonCV v0.8.0 | 
| ONNX | 1.7.0 | 支持 1.7.0 或更早版本 | 图像分类、SVM | 一个模型文件 (.onnx) |  | 
| Keras | 2.2.4 | 支持 2.2.4 或更早版本 | 图像分类 | 一个模型定义文件 (.h5) |  | 
| PyTorch | 1.4、1.5、1.6、1.7、1.8、1.12、1.13 或 2.0 | 支持 1.4、1.5、1.6、1.7、1.8、1.12、1.13 和 2.0 |  图像分类 版本 1.13 和 2.0 支持对象检测、Vision Transformer 和 HuggingFace  | 一个模型定义文件（.pt 或.pth），其输入 dtype 为 float32 |  | 
| TensorFlow | 1.15.3 或 2.9 | 支持 1.15.3 和 2.9。 | 图像分类 | 对于保存的模型，需要一个 .pb 或一个 .pbtxt 文件，以及包含变量的变量目录 对于冻结模型，只需要一个 .pb 或一个 .pbtxt 文件 |  | 
| XGBoost | 1.3.3 | 支持 1.3.3 或更早版本 | 决策树 | 一个 XGBoost 模型文件 (.model)，其中树的节点数小于 2^31 |  | 

**注意**  
“模型版本”是用于训练和导出模型的框架版本。

## 实例类型
<a name="neo-supported-cloud-instances-types"></a>

 您可以将 SageMaker AI 编译的模型部署到下面列出的云实例之一：


| 实例 | 计算类型 | 
| --- | --- | 
| `ml_c4` | Standard | 
| `ml_c5` | Standard | 
| `ml_m4` | Standard | 
| `ml_m5` | Standard | 
| `ml_p2` | 加速计算型 | 
| `ml_p3` | 加速计算型 | 
| `ml_g4dn` | 加速计算型 | 

 有关每种实例类型的可用 vCPU、内存和每小时价格的信息，请参阅 [Amazon SageMaker 定价](https://aws.amazon.com/sagemaker/pricing/)。

**注意**  
使用 PyTorch 框架编译 `ml_*` 实例时，请使用**输出配置**中的**编译器选项**字段提供模型输入的正确数据类型 (`dtype`)。  
默认被设置为 `"float32"`。

## AWS Inferentia
<a name="neo-supported-inferentia"></a>

 SageMaker Neo 支持下列适用于 Inf1 的深度学习框架：


| 框架 | 框架版本 | 模型版本 |   模型 | 模型格式（打包为 \$1.tar.gz） | 工具包 | 
| --- | --- | --- | --- | --- | --- | 
| MXNet | 1.5 或 1.8  | 支持 1.8、1.5 及更早版本 | 图像分类、对象检测、语义分割、姿态估算、活动识别 | 一个符号文件 (.json) 和一个参数文件 (.params) | GluonCV v0.8.0 | 
| PyTorch | 1.7、1.8 或 1.9 | 支持 1.9 及更早版本 | 图像分类 | 一个模型定义文件（.pt 或.pth），其输入 dtype 为 float32 |  | 
| TensorFlow | 1.15 或 2.5 | 支持 2.5、1.15 及更早版本 | 图像分类 | 对于保存的模型，需要一个 .pb 或一个 .pbtxt 文件，以及包含变量的变量目录 对于冻结模型，只需要一个 .pb 或一个 .pbtxt 文件 |  | 

**注意**  
“模型版本”是用于训练和导出模型的框架版本。

您可以将 SageMaker Neo 编译的模型部署到AWS基于 Inferentia 的 Amazon EC2 Inf1 实例。AWSInferentia 是 Amazon 首款专为加速深度学习而设计的定制硅芯片。目前，您可以使用 `ml_inf1` 实例来部署已编译的模型。

### AWS Inferentia2 和 AWS Trainium
<a name="neo-supported-inferentia-trainium"></a>

目前，您可以将 SageMaker Neo 编译的模型部署到基于 AWS Inferentia2 的 Amazon EC2 Inf2 实例（位于美国东部（俄亥俄州）区域）和基于 AWS Trainium 的 Amazon EC2 Trn1 实例（位于美国东部（弗吉尼亚州北部）区域）。有关这些实例上支持的模型的更多信息，请参阅 AWS Neuron 文档中的[《模型架构拟合指南》](https://awsdocs-neuron.readthedocs-hosted.com/en/latest/general/arch/model-architecture-fit.html)以及 [Neuron Github 存储库](https://github.com/aws-neuron/aws-neuron-sagemaker-samples)中的示例。