本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

# 支援的功能
<a name="model-deploy-feature-matrix"></a>

 Amazon SageMaker AI 提供下列四個選項來部署推論的模型。
+  即時推論，適用於即時、互動式、低延遲需要的推論工作負載。
+  批次轉換，適用於具有大型資料集的離線推論。
+  非同步推論，適用於具有需要較長預先處理時間之大型輸入的接近即時推論。
+  無伺服器推論，適用於流量範圍之間有閒置期間的推論工作負載。

 下表摘要說明每個推論選項支援的核心平台功能。它不會顯示架構、自訂 Docker 容器或透過串連不同 AWS 服務所提供的功能。


| 功能 | [即時推論](realtime-endpoints.md) | [批次轉換](batch-transform.md) | [非同步推論](async-inference.md) | [無伺服器推論](serverless-endpoints.md) | [Docker 容器](docker-containers.md) | 
| --- | --- | --- | --- | --- | --- | 
| [自動調整規模支援](endpoint-auto-scaling.md) | ✓ | N/A | ✓ | ✓ | N/A | 
| GPU 支援 | ✓1 | ✓1 | ✓1 |  | [1P](common-info-all-im-models.md)、預先建置、BYOC | 
| 單一模型 | ✓ | ✓ | ✓ | ✓ | N/A | 
| [多模型端點](multi-model-endpoints.md) | ✓ |  |  |  | k-NN、XGBoost、線性學習程式、RCF、TensorFlow、Apache MXNet、PyTorch、scikit-learn 2 | 
| [多容器端點](multi-container-endpoints.md) | ✓ |  |  |  | 1P、預先建置、延伸預先建置、BYOC | 
| [序列推論管道](inference-pipelines.md) | ✓ | ✓ |  |  | 1P、預先建置、延伸預先建置、BYOC | 
| [推論建議程式](inference-recommender.md) | ✓ |  |  |  | 1P、預先建置、延伸預先建置、BYOC | 
| 私有連結支援 | ✓ | ✓ | ✓ |  | N/A | 
| [資料擷取/模型監控支援](model-monitor.md) | ✓ | ✓ |  |  | N/A | 
| [支援的 DLC](https://github.com/aws/deep-learning-containers/blob/master/available_images.md) | 1P、預先建置、延伸預先建置、BYOC | [1P](common-info-all-im-models.md)、預先建置、延伸預先建置、BYOC | 1P、預先建置、延伸預先建置、BYOC | 1P、預先建置、延伸預先建置、BYOC | N/A | 
| 支援的通訊協定 | HTTP(S) | HTTP(S) | HTTP(S) | HTTP(S) | N/A | 
| 承載大小 | < 6 MB | ≤ 100 MB | ≤ 1 GB | ≤ 4 MB |  | 
| HTTP 區塊編碼 | 架構相依、1P 不支援 | N/A | 架構相依、1P 不支援 | 架構相依、1P 不支援 | N/A | 
| 請求逾時 | < 60 秒 | 天 | < 1 小時 | < 60 秒 | N/A | 
| [部署防護機制：藍/綠部署](deployment-guardrails.md) | ✓ | N/A | ✓ |  | N/A | 
| [部署防護機制：滾動部署](deployment-guardrails.md) | ✓ | N/A | ✓ |  | N/A | 
| [陰影測試](shadow-tests.md) | ✓ |  |  |  | N/A | 
| 擴展至零 |  | N/A | ✓ | ✓ | N/A | 
| 市場模型套件支援 | ✓ | ✓ | ✓ |  | N/A | 
| Virtual Private Cloud 支援 | ✓ | ✓ | ✓ |  | N/A | 
| 多種生產變體支援 | ✓ |  |  |  | N/A | 
| 網路隔離 | ✓ |  | ✓ |  | N/A | 
| [模型並行服務支援](model-parallel-intro.md) | ✓3 | ✓ | ✓3 |  | ✓3 | 
| 磁碟區加密 | ✓ | ✓ | ✓ | ✓ | N/A | 
| 客戶 AWS KMS | ✓ | ✓ | ✓ | ✓ | N/A | 
| d 執行個體支援 | ✓ | ✓ | ✓ |  | N/A | 
| [inf1 支援](neo-supported-cloud.md) | ✓ |  |  |  | ✓ | 

 使用 SageMaker AI，您可以在單一推論端點後部署單一模型或多個模型，進行即時推論。下表摘要說明各種託管選項支援的核心功能，包括即時推論。


| 功能 | [單一模型端點](realtime-single-model.md) | [多模型端點](multi-model-endpoints.md) | [序列推論管道](inference-pipelines.md) | [多容器端點](multi-container-endpoints.md) | 
| --- | --- | --- | --- | --- | 
| [自動調整規模支援](endpoint-auto-scaling.md) | ✓ | ✓ | ✓ | ✓ | 
| GPU 支援 | ✓1 | ✓ | ✓ |  | 
| 單一模型 | ✓ | ✓ | ✓ | ✓ | 
| [多模型端點](multi-model-endpoints.md) |  | ✓ | ✓ | N/A | 
| [多容器端點](multi-container-endpoints.md) | ✓ |  |  | N/A | 
| [序列推論管道](inference-pipelines.md) | ✓ | ✓ | N/A |  | 
| [推論建議程式](inference-recommender.md) | ✓ |  |  |  | 
| 私有連結支援 | ✓ | ✓ | ✓ | ✓ | 
| [資料擷取/模型監控支援](model-monitor.md) | ✓ | N/A | N/A | N/A | 
| 支援的 DLC | 1P、預先建置、延伸預先建置、BYOC | k-NN、XGBoost、線性學習程式、RCF、TensorFlow、Apache MXNet、PyTorch、scikit-learn 2 | 1P、預先建置、延伸預先建置、BYOC | 1P、預先建置、延伸預先建置、BYOC | 
| 支援的通訊協定 | HTTP(S) | HTTP(S) | HTTP(S) | HTTP(S) | 
| 承載大小 | < 6 MB | < 6 MB | < 6 MB | < 6 MB | 
| 請求逾時 | < 60 秒 | < 60 秒 | < 60 秒 | < 60 秒 | 
| [部署防護機制：藍/綠部署](deployment-guardrails.md) | ✓ | ✓ | ✓ | ✓ | 
| [部署防護機制：滾動部署](deployment-guardrails.md) | ✓ | ✓ | ✓ | ✓ | 
| [陰影測試](shadow-tests.md) | ✓ |  |  |  | 
| 市場模型套件支援 | ✓ |  |  |  | 
| Virtual Private Cloud 支援 | ✓ | ✓ | ✓ | ✓ | 
| 多種生產變體支援 | ✓ |  | ✓ | ✓ | 
| 網路隔離 | ✓ | ✓ | ✓ | ✓ | 
| [模型並行服務支援](model-parallel-intro.md) | ✓ 3 |  | ✓ 3 |  | 
| 磁碟區加密 | ✓ | ✓ | ✓ | ✓ | 
| 客戶 AWS KMS | ✓ | ✓ | ✓ | ✓ | 
| d 執行個體支援 | ✓ | ✓ | ✓ | ✓ | 
| [inf1 支援](neo-supported-cloud.md) | ✓ |  |  |  | 

 1 Amazon EC2 執行個體類型的可用性取決於 AWS 區域。如需特定執行個體的可用性 AWS，請參閱 [Amazon SageMaker AI 定價](https://aws.amazon.com/sagemaker/pricing/)。

 2 若要使用其他任何架構或演算法，請使用 SageMaker AI 推論工具組來建置支援多模型端點的容器。

 3 使用 SageMaker AI，您可以部署大型模型 (最大不超過 500 GB) 來進行推論。您可以設定容器的運作狀態檢查和下載逾時配額 (最多不超過 60 分鐘)。這可讓您有更多時間下載並載入您的模型和相關資源。如需詳細資訊，請參閱[大型模型推論的 SageMaker AI 端點參數](large-model-inference-hosting.md)。您可以使用 SageMaker AI 相容的[大型模型推論](https://github.com/aws/deep-learning-containers/blob/master/available_images.md#large-model-inference-containers)容器。您也可以使用第三方模型平行化程式庫，例如搭配 FasterTransformer 和 DeepSpeed 的 Triton。您必須確定它們與 SageMaker AI 相容。