本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

# 支持的功能
<a name="model-deploy-feature-matrix"></a>

 Amazon SageMaker AI 提供了以下四个选项来部署模型进行推理。
+  Real-time 对具有实时、交互式、低延迟要求的推理工作负载进行推理。
+  对涉及大型数据集的离线推理进行批量转换。
+  异步推理用于输入量大、需要更长的预处理时间的近实时推理。
+  无服务器推理用于在流量激增之间有空闲时间的推理工作负载。

 下表汇总了每个推理选项支持的核心平台功能。其中未显示可由框架、自定义 Docker 容器或通过链接不同 AWS 服务提供的功能。


| 功能 | [Real-time 推断](realtime-endpoints.md) | [批量转换](batch-transform.md) | [异步推理](async-inference.md) | [无服务器推理](serverless-endpoints.md) | [Docker 容器](docker-containers.md) | 
| --- | --- | --- | --- | --- | --- | 
| [自动扩缩支持](endpoint-auto-scaling.md) | ✓ | N/A | ✓ | ✓ | N/A | 
| GPU 支持 | ✓1 | ✓1 | ✓1 |  | [1P](common-info-all-im-models.md)、预构建、BYOC | 
| 单模型 | ✓ | ✓ | ✓ | ✓ | N/A | 
| [Multi-model 终端节点](multi-model-endpoints.md) | ✓ |  |  |  | k-nn、xgBoost、Linear Learner、RCF、、Apache mxNet、、scikit- TensorFlow learn 2 PyTorch | 
| [Multi-container 终端节点](multi-container-endpoints.md) | ✓ |  |  |  | 1P、预构建、扩展预构建、BYOC | 
| [串行推理管线](inference-pipelines.md) | ✓ | ✓ |  |  | 1P、预构建、扩展预构建、BYOC | 
| [Inference Recommender](inference-recommender.md) | ✓ |  |  |  | 1P、预构建、扩展预构建、BYOC | 
| 专用链接支持 | ✓ | ✓ | ✓ |  | N/A | 
| [数据 capture/Model 监视器支持](model-monitor.md) | ✓ | ✓ |  |  | N/A | 
| [支持的 DLC](https://github.com/aws/deep-learning-containers/blob/master/available_images.md) | 1P、预构建、扩展预构建、BYOC | [1P](common-info-all-im-models.md)、预构建、扩展预构建、BYOC | 1P、预构建、扩展预构建、BYOC | 1P、预构建、扩展预构建、BYOC | N/A | 
| 支持的协议 | HTTP(S) | HTTP(S) | HTTP(S) | HTTP(S) | N/A | 
| 负载大小 | < 6 MB | ≤ 100 MB | ≤ 1 GB | ≤ 4 MB |  | 
| HTTP 分块编码 | 视框架而定，不支持 1P | N/A | 视框架而定，不支持 1P | 视框架而定，不支持 1P | N/A | 
| 请求超时 | < 60 秒 | 天 | < 1 小时 | < 60 秒 | N/A | 
| [部署护栏：部署 blue/green ](deployment-guardrails.md) | ✓ | N/A | ✓ |  | N/A | 
| [部署防护机制：滚动部署](deployment-guardrails.md) | ✓ | N/A | ✓ |  | N/A | 
| [影子测试](shadow-tests.md) | ✓ |  |  |  | N/A | 
| 扩展为零 |  | N/A | ✓ | ✓ | N/A | 
| 市场模型包支持 | ✓ | ✓ | ✓ |  | N/A | 
| 虚拟专用云支持 | ✓ | ✓ | ✓ |  | N/A | 
| 多种生产变体支持 | ✓ |  |  |  | N/A | 
| 网络隔离 | ✓ |  | ✓ |  | N/A | 
| [模型并行供应支持](model-parallel-intro.md) | ✓3 | ✓ | ✓3 |  | ✓3 | 
| 卷加密 | ✓ | ✓ | ✓ | ✓ | N/A | 
| 客户 AWS KMS | ✓ | ✓ | ✓ | ✓ | N/A | 
| d 实例支持 | ✓ | ✓ | ✓ |  | N/A | 
| [inf1 支持](neo-supported-cloud.md) | ✓ |  |  |  | ✓ | 

 借 SageMaker 助 AI，您可以在单个推理端点后部署单个模型或多个模型以进行实时推理。下表汇总实时推理附带的各种托管选项所支持的核心功能。


| 功能 | [单模型端点](realtime-single-model.md) | [Multi-model 端点](multi-model-endpoints.md) | [串行推理管线](inference-pipelines.md) | [Multi-container 端点](multi-container-endpoints.md) | 
| --- | --- | --- | --- | --- | 
| [自动扩缩支持](endpoint-auto-scaling.md) | ✓ | ✓ | ✓ | ✓ | 
| GPU 支持 | ✓1 | ✓ | ✓ |  | 
| 单模型 | ✓ | ✓ | ✓ | ✓ | 
| [Multi-model 端点](multi-model-endpoints.md) |  | ✓ | ✓ | N/A | 
| [Multi-container 端点](multi-container-endpoints.md) | ✓ |  |  | N/A | 
| [串行推理管线](inference-pipelines.md) | ✓ | ✓ | N/A |  | 
| [Inference Recommender](inference-recommender.md) | ✓ |  |  |  | 
| 专用链接支持 | ✓ | ✓ | ✓ | ✓ | 
| [数据 capture/Model 监视器支持](model-monitor.md) | ✓ | N/A | N/A | N/A | 
| 支持的 DLC | 1P、预构建、扩展预构建、BYOC | k-nn、xgBoost、Linear Learner、RCF、、Apache mxNet、、scikit- TensorFlow learn 2 PyTorch | 1P、预构建、扩展预构建、BYOC | 1P、预构建、扩展预构建、BYOC | 
| 支持的协议 | HTTP(S) | HTTP(S) | HTTP(S) | HTTP(S) | 
| 负载大小 | < 6 MB | < 6 MB | < 6 MB | < 6 MB | 
| 请求超时 | < 60 秒 | < 60 秒 | < 60 秒 | < 60 秒 | 
| [部署护栏：部署 blue/green ](deployment-guardrails.md) | ✓ | ✓ | ✓ | ✓ | 
| [部署防护机制：滚动部署](deployment-guardrails.md) | ✓ | ✓ | ✓ | ✓ | 
| [影子测试](shadow-tests.md) | ✓ |  |  |  | 
| 市场模型包支持 | ✓ |  |  |  | 
| 虚拟专用云支持 | ✓ | ✓ | ✓ | ✓ | 
| 多种生产变体支持 | ✓ |  | ✓ | ✓ | 
| 网络隔离 | ✓ | ✓ | ✓ | ✓ | 
| [模型并行供应支持](model-parallel-intro.md) | ✓ 3 |  | ✓ 3 |  | 
| 卷加密 | ✓ | ✓ | ✓ | ✓ | 
| 客户 AWS KMS | ✓ | ✓ | ✓ | ✓ | 
| d 实例支持 | ✓ | ✓ | ✓ | ✓ | 
| [inf1 支持](neo-supported-cloud.md) | ✓ |  |  |  | 

 1 Amazon EC2 实例类型的可用性取决于该 AWS 地区。有关特定于的实例的可用性 AWS，请参阅 [Amazon SageMaker AI 定价](https://aws.amazon.com/sagemaker/pricing/)。

 2 要使用任何其他框架或算法，请使用 SageMaker AI 推理工具包构建支持多模型端点的容器。

 3 借助 SageMaker AI，您可以部署大型模型（最大 500 GB）进行推理。可以配置容器运行状况检查和最长 60 分钟的下载超时限额。这将使您有更多时间下载和加载模型及相关资源。有关更多信息，请参阅 [SageMaker 用于大型模型推理的 AI 端点参数](large-model-inference-hosting.md)。您可以使用与 SageMaker AI 兼容[的大型模型推理容器](https://github.com/aws/deep-learning-containers/blob/master/available_images.md#large-model-inference-containers)。您也可以使用第三方模型并行化库，例如带有和的 Triton。 FasterTransformer DeepSpeed你必须确保它们与 SageMaker AI 兼容。