View a markdown version of this page

適用於 Kubeflow 管道的 SageMaker AI 元件 - Amazon SageMaker AI
什麼是 Kubeflow 管道？什麼是 Kubeflow 管道元件？為什麼要使用 SageMaker AI 元件？SageMaker AI 元件版本SageMaker AI 元件清單IAM 許可轉換管道以使用 SageMaker AI

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

適用於 Kubeflow 管道的 SageMaker AI 元件

使用適用於 Kubeflow 管道的 SageMaker AI 元件，您可以從 Kubeflow 管道建立和監視原生 SageMaker AI 訓練、調校、端點部署和批次轉換任務。透過在 SageMaker AI 上執行 Kubeflow 管道任務，您可以將資料處理和訓練任務從 Kubernetes 叢集移至 SageMaker AI 的機器學習最佳化受管服務。本文件假設您事先了解 Kubernetes 和 Kubeflow。

目錄

什麼是 Kubeflow 管道？

Kubeflow 管道 (KFP) 是一個平台，可用來建置和部署以 Docker 容器為基礎的可攜式、可擴充機器學習 (ML) 工作流程。Kubeflow 管道平台由下列各項組成：

  • 用於管理和追蹤實驗、工作和執行的使用者介面 (UI)。

  • 用於排程多步驟機器學習 (ML) 工作流程的引擎 (Argo)。

  • 用於定義和操作管道和元件的 SDK。

  • 使用 SDK 與系統互動的筆記本。

管道是對機器學習 (ML) 工作流程的一項描述，以有向無環圖來表示。工作流程中的每個步驟都會以 Kubeflow 管道元件表示，也就是 適用於 Python (Boto3) 的 AWS SDK 模組。

如需與 Kubeflow 管道相關的詳細資訊，請參閱 Kubeflow 管道文件。

什麼是 Kubeflow 管道元件？

Kubeflow 管道元件是用來執行 Kubeflow 管道中某個步驟的一組程式碼。元件由 Docker 映像中內建的 Python 模組表示。管道執行時，元件的容器會在執行 Kubeflow 之 Kubernetes 叢集的其中一個工作者節點上具現化，並執行您的邏輯。管道元件可以讀取先前元件的輸出，並建立管道中的下一個元件可以消耗的輸出。透過這些元件可以快速、輕鬆地為實驗和生產環境撰寫管道，而不必與基礎 Kubernetes 基礎設施互動。

您可以在 Kubeflow 管道中使用 SageMaker AI 元件。與其將您的邏輯封裝在自訂容器中，您可以使用 Kubeflow Pipelines SDK 載入組件並描述您的管道。管道執行時，您的指示會轉換為 SageMaker AI 任務或部署。然後，工作負載會在 SageMaker AI 的受管基礎設施上執行。

為什麼要使用適用於 Kubeflow 管道的 SageMaker AI 元件？

適用於 Kubeflow 管道的 SageMaker AI 元件為從 SageMaker AI 啟動運算密集型任務提供一種替代方法。這些元件將 SageMaker AI 與 Kubeflow 管道的可攜性和協同運作整合在一起。透過適用於 Kubeflow 管道的 SageMaker AI 元件，您可以作為 Kubeflow 管道工作流程的一部分來建立和監視 SageMaker AI 資源。管道中的每個任務都在 SageMaker AI 上執行，而不是在本機 Kubernetes 叢集上執行。如此一來，您可以利用 SageMaker AI 的關鍵功能，例如資料標記、大規模超參數調校和分散式訓練任務，或是一鍵式安全且可擴展的模型部署。來自 SageMaker AI 的任務參數、狀態、日誌和輸出都仍然可以從 Kubeflow 管道 UI 存取。

SageMaker AI 元件可將關鍵的 SageMaker AI 功能整合到您的 ML 工作流程，從準備資料到建置、訓練和部署 ML 模型。您可以建立完全使用這些元件建立的 Kubeflow 管道，或視需要將個別元件整合到您的工作流程中。元件可以有一個或兩個版本。元件的每個版本使用不同的後端。如需與這些版本相關的詳細資訊，請參閱適用於 Kubeflow 管道的 SageMaker AI 元件版本。

使用適用於 Kubeflow 管道的 SageMaker AI 元件無需額外收費。透過這些元件使用的任何 SageMaker AI 資源都會產生費用。

適用於 Kubeflow 管道的 SageMaker AI 元件版本

適用於 Kubeflow 管道的 SageMaker AI 元件有兩個版本。每個版本利用不同的後端來建立和管理 SageMaker AI 上的資源。

  • 適用於 Kubeflow 管道的 SageMaker AI 元件版本 1 (v1.x 或更低版本) 使用 Boto3 (適用於 Python (Boto3) 的 AWS SDK) 作為後端。

  • 適用於 Kubeflow 管道的 SageMaker AI 元件版本 2 (v2.0.0-alpha2 和更高版本) 使用 SageMaker AI Operator for Kubernetes (ACK)。

    AWS 引進 ACK，以促進管理 AWS 雲端資源的 Kubernetes 原生方式。ACK 包含一組 AWS 服務特定的控制器，其中一個是 SageMaker AI 控制器。SageMaker AI 控制器可讓機器學習開發人員和資料科學家使用 Kubernetes 作為控制平面，以便在 SageMaker AI 中訓練、調整和部署機器學習 (ML) 模型。如需詳細資訊，請參閱 SageMaker AI Operators for Kubernetes

適用於 Kubeflow 管道的 SageMaker AI 元件的兩個版本均受支援。但是，版本 2 提供了一些額外優點。尤其是：

  1. 無論您是使用 Kubeflow 管道、Kubernetes CLI (kubectl) 還是其他 Kubeflow 應用程式 (例如筆記本)，都能從任何應用程式管理 SageMaker AI 資源，體驗保持一致。

  2. 在 Kubeflow 管道工作流程之外，可以彈性地管理與監控 SageMaker AI 資源。

  3. 如果您在 AWS版本上部署了完整的 Kubeflow，則使用 SageMaker AI 元件的設定時間為零，因為 SageMaker AI 運算子是其部署的一部分。

適用於 Kubeflow 管道的 SageMaker AI 元件清單

以下是適用於 Kubeflow 管道的所有 SageMaker AI 元件及其可用版本的清單。或者，您可以在 GitHub 中找到適用於 Kubeflow 管道的所有 SageMaker AI 元件。

注意

我們鼓勵使用者盡量使用 SageMaker AI 元件的版本 2。

IAM 許可

使用 SageMaker AI 元件部署 Kubeflow 管道需要以下三層驗證：

  • 授予閘道節點 (可以是本機機器或遠端執行個體) 存取 Amazon Elastic Kubernetes Service (Amazon EKS) 叢集的 IAM 角色。

    存取閘道節點的使用者會擔任此角色來執行以下操作：

    • 建立 Amazon EKS 叢集並安裝 KFP

    • 建立 IAM 角色

    • 為您的範例輸入資料建立 Amazon S3 儲存貯體

    角色需要以下許可：

  • Kubernetes 管道 Pod (kfp-example-pod-role) 或 SageMaker AI Operator for Kubernetes 控制器 Pod 擔任的 Kubernetes IAM 執行角色，用於存取 SageMaker AI。此角色用來從 Kubernetes 建立和監控 SageMaker AI 工作。

    角色需要以下許可：

    • AmazonSageMakerFullAccess

    您可以透過建立並連接自訂政策來限制 KFP 和控制器 Pod 的許可。

  • SageMaker AI 任務擔任的 SageMaker AI IAM 執行角色，可存取 Amazon S3 或 Amazon ECR (kfp-example-sagemaker-execution-role) 等 AWS 資源。

    SageMaker AI 任務使用此角色來執行以下操作：

    • 存取 SageMaker AI 資源

    • 從 Amazon S3 輸入資料

    • 將您的輸出模型儲存到 Amazon S3

    角色需要以下許可：

    • AmazonSageMakerFullAccess

    • AmazonS3FullAccess

轉換管道以使用 SageMaker AI

您可以透過移植一般 Python 處理容器和訓練容器，將現有的管道轉換為使用 SageMaker AI。如果使用 SageMaker AI 進行推論，您還需要將 IAM 許可連接到叢集，並將成品轉換為模型。