View a markdown version of this page

了解在 Amazon SageMaker AI 中部署模型和取得推論的選項 - Amazon SageMaker AI
開始之前模型部署的步驟

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

了解在 Amazon SageMaker AI 中部署模型和取得推論的選項

為了協助您開始使用 SageMaker AI 推論，請參閱下列各節說明在 SageMaker AI 中部署模型和取得推論的選項。Amazon SageMaker AI 中的推論選項章節可協助您判斷哪個功能最適合您的推論使用案例。

您可以參閱Resources區段以獲取更多故障診斷和參考資訊、部落格和範例，以協助您開始入門，還有常見的問題集。

主題

開始之前

這些主題假設您已建立及訓練一或多個機器學習模型，並準備好進行部署。您不需要在 SageMaker AI 中訓練模型，即可在 SageMaker AI 中部署模型並取得推論。如果您沒有自己的模型，也可以使用 SageMaker AI 的內建演算法或預先訓練模型。

如果您是初次使用 SageMaker AI，且尚未挑選要部署的模型，請執行 Amazon SageMaker AI 入門教學課程中的步驟。使用教學課程來熟悉 SageMaker AI 如何管理資料科學程序，以及如何處理模型部署。如需有關訓練模型的詳細資訊，請參閱訓練模型。

如需其他資訊、參考和範例，請參閱Resources。

模型部署的步驟

對於推論端點，一般工作流程由以下項目組成：

  • 透過指向存放在 Amazon S3 中的模型成品和容器映像，在 SageMaker AI 推論中建立模型。

  • 選取推論選項。如需詳細資訊，請參閱Amazon SageMaker AI 中的推論選項。

  • 透過選擇端點後面所需的執行個體類型和執行個體數目，建立 SageMaker AI 推論端點組態。您可以使用 Amazon SageMaker Inference Recommender 執行個體類型以取得建議。對於無伺服器推論，您只需要根據您的模型大小提供所需的記憶體組態。

  • 建立 SageMaker AI 推論端點。

  • 調用您的端點以接收推論作為回應。

以下圖表顯示上述工作流程。

前段所述的工作流程，顯示如何從 SageMaker AI 取得推論。

您可以使用 AWS 主控台、 AWS SDKs、SageMaker Python SDK CloudFormation 或 來執行這些動作 AWS CLI。

對於使用批次轉換的批次推論，請指向模型成品和輸入資料，然後建立批次推論工作。SageMaker AI 不會託管用於推論的端點，而是將您的推論輸出到您選擇的 Amazon S3 位置。