本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

# 支援的執行個體類型和架構
<a name="neo-supported-cloud"></a>

Amazon SageMaker Neo 支援適用於編譯和部署的熱門深度學習架構。您可以將模型部署到雲端執行個體和 AWS Inferentia 執行個體類型。

以下說明 SageMaker Neo 支援的架構以及您可以編譯和部署的目標雲端執行個體。如需如何將已編譯的模型部署到雲端或 Inferentia 執行個體的詳細資訊，請參閱[使用雲端執行個體部署模型](https://docs.aws.amazon.com/sagemaker/latest/dg/neo-deployment-hosting-services.html)。

## 雲端執行個體
<a name="neo-supported-cloud-instances"></a>

SageMaker Neo 支援下列適用於 CPU 和 GPU 雲端執行個體的深度學習架構：


| 架構 | 框架版本 | 模型版本 | 模型 | 模型格式 (以 \*.tar.gz 封裝) | 工具組 | 
| --- | --- | --- | --- | --- | --- | 
| MXNet | 1.8.0 | 支援 1.8.0 或更早版本 | 影像分類、物件偵測、語意分割、姿勢估算、活動辨識 | 一個符號檔案 (.json) 和一個參數檔案 (.params) | GluonCV v0.8.0 | 
| ONNX | 1.7.0 | 支援 1.7.0 或更早版本 | 影像影像分類、SVM | 一個模型檔案 (.onnx) |  | 
| Keras | 2.2.4 | 支援 2.2.4 或更早版本 | 影像分類 | 一個模型定義檔案 (.h5) |  | 
| PyTorch | 1.4、1.5、1.6、1.7、1.8、1.12、1.13 或 2.0 | 支援 1.4、1.5、1.6、1.7、1.8、1.12、1.13 和 2.0 | 影像分類<br />第 1.13 版和第 2.0 版支援物件偵測、視覺轉換器和 HuggingFace | 一個具有輸入 dtype 之 float32 的模型定義檔案 (.pt 或 .pth) |  | 
| TensorFlow | 1.15.3 或 2.9 | 支援 1.15.3 或 2.9 | 影像分類 | 針對儲存的模型，有一個 .pb 或一個 .pbtxt 檔案，以及包含變數的變數目錄<br />針對凍結的模型，只有一個 .pb 或 .pbtxt 檔案 |  | 
| XGBoost | 1.3.3 | 支援 1.3.3 或更早版本 | 決策樹 | 一個 XGBoost 模型檔案 (模型)，其中樹中的節點數量低於 2^31 |  | 

**注意**  
“模型版本” 是用來訓練和匯出模型的架構版本。

## 執行個體類型
<a name="neo-supported-cloud-instances-types"></a>

 您可以將 SageMaker AI 已編譯模型部署到以下列出的其中一個雲端執行個體：


| 執行個體 | 運算類型 | 
| --- | --- | 
| `ml_c4` | 標準 | 
| `ml_c5` | 標準 | 
| `ml_m4` | 標準 | 
| `ml_m5` | 標準 | 
| `ml_p2` | 加速運算 | 
| `ml_p3` | 加速運算 | 
| `ml_g4dn` | 加速運算 | 

 如需每種執行個體類型之可用 vCPU、記憶體和每小時價格的資訊，請參閱 [Amazon SageMaker 定價](https://aws.amazon.com/sagemaker/pricing/)。

**注意**  
使用 PyTorch 架構編譯 `ml_*` 執行個體時，請使用**輸出組態**中的**編譯器選項**欄位來提供模型輸入的正確資料類型 (`dtype`)。  
預設設定為 `"float32"`。

## AWS Inferentia
<a name="neo-supported-inferentia"></a>

 SageMaker Neo 支援下列適用於 Inf1 的深度學習架構：


| 架構 | 框架版本 | 模型版本 | 模型 | 模型格式 (以 \*.tar.gz 封裝) | 工具組 | 
| --- | --- | --- | --- | --- | --- | 
| MXNet | 1.5 或 1.8  | 支援 1.8、1.5 或更早版本 | 影像分類、物件偵測、語意分割、姿勢估算、活動辨識 | 一個符號檔案 (.json) 和一個參數檔案 (.params) | GluonCV v0.8.0 | 
| PyTorch | 1.7, 1.8 或 1.9 | 支援 1.9 或更早版本 | 影像分類 | 一個具有輸入 dtype 之 float32 的模型定義檔案 (.pt 或 .pth) |  | 
| TensorFlow | 1.15 或 2.5 | 支援 2.5、1.15 或更早版本 | 影像分類 | 針對儲存的模型，有一個 .pb 或一個 .pbtxt 檔案，以及包含變數的變數目錄<br />針對凍結的模型，只有一個 .pb 或 .pbtxt 檔案 |  | 

**注意**  
“模型版本” 是用來訓練和匯出模型的架構版本。

您可以將 SageMaker Neo 已編譯模型部署到以 AWS Inferentia 為基礎的 Amazon EC2 Inf1 執行個體。AWSInferentia 是 Amazon 專門設計用來加速深度學習的第一款自訂晶片。目前，您可以使用 `ml_inf1` 執行個體來部署已編譯的模型。

### AWS Inferentia2 和 AWS Trainium
<a name="neo-supported-inferentia-trainium"></a>

目前，您可以將 SageMaker Neo 已編譯模型部署到以 AWS Inferentia2 為基礎的 Amazon EC2 Inf2 執行個體 (位於美國東部 (俄亥俄) 區域)，也可已部署到以 AWS Trainium 為基礎的 Amazon EC2 Trn1 執行個體 (位於美國東部 (維吉尼亞北部) 區域)。如需這些執行個體上受支援模型的詳細資訊，請參閱 AWS Neuron 文件中的[模型架構擬合指南](https://awsdocs-neuron.readthedocs-hosted.com/en/latest/general/arch/model-architecture-fit.html)，以及 [Neuron Github 儲存庫](https://github.com/aws-neuron/aws-neuron-sagemaker-samples)中的範例。