本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

# 使用 Amazon SageMaker AI 和 Azure DevOps 建置 MLOps 工作流程
<a name="build-an-mlops-workflow-by-using-amazon-sagemaker-and-azure-devops"></a>

*Deepika Kumar、Sara van de Moosdijk 和 Amazon Web Services 的 PHP Kokoh Prasetyo*

## 總結
<a name="build-an-mlops-workflow-by-using-amazon-sagemaker-and-azure-devops-summary"></a>

機器學習操作 (MLOps) 是一組可自動化和簡化機器學習 (ML) 工作流程和部署的實務。MLOps 著重於自動化 ML 生命週期。它有助於確保模型不僅經過開發，而且還會以系統化和重複的方式部署、監控和重新訓練。它將 DevOps 原則帶入 ML。MLOps 可加快 ML 模型的部署速度、提高一段時間內的準確度，以及更強大的保證，確保它們提供真正的商業價值。

在開始 MLOps 旅程之前，組織通常會有現有的 DevOps 工具和資料儲存解決方案。此模式展示如何利用 Microsoft Azure 和 的優勢 AWS。它可協助您將 Azure DevOps 與 Amazon SageMaker AI 整合，以建立 MLOps 工作流程。

解決方案可簡化 Azure 和 之間的工作 AWS。您可以使用 Azure 進行開發和 AWS 機器學習。它可提升從頭到尾建立機器學習模型的有效程序，包括資料處理、訓練和部署 AWS。為了提高效率，您可以透過 Azure DevOps 管道管理這些程序。此解決方案適用於生成式 AI 中的基礎模型操作 (FMOps) 和大型語言模型操作 (LLMOps)，其中包括微調、向量資料庫和提示管理。

## 先決條件和限制
<a name="build-an-mlops-workflow-by-using-amazon-sagemaker-and-azure-devops-prereqs"></a>

**先決條件**
+ **Azure 訂閱** – 存取 Azure DevOps 等 Azure 服務，用於設定持續整合和持續部署 (CI/CD) 管道。
+ **作用中 AWS 帳戶** – 在此 AWS 服務 模式中使用 的許可。
+ **資料** – 存取歷史資料以訓練機器學習模型。
+ **熟悉 ML 概念 – **了解 Python、Jupyter 筆記本和機器學習模型開發。
+ **安全組態** – 在 Azure 和 AWS 之間正確設定角色、政策和許可，以確保安全的資料傳輸和存取。
+ **（選用） 向量資料庫 **– 如果您為向量資料庫使用擷取增強生成 (RAG) 方法和第三方服務，則需要存取外部向量資料庫。

**限制**
+ 本指南不會討論安全的跨雲端資料傳輸。如需跨雲端資料傳輸的詳細資訊，請參閱[AWS 混合多雲端解決方案](https://aws.amazon.com/hybrid-multicloud/)。
+ 多雲端解決方案可能會增加即時資料處理和模型推論的延遲。
+ 本指南提供多帳戶 MLOps 架構的一個範例。必須根據您的機器學習和 AWS 策略進行調整。
+ 本指南不會描述使用 Amazon SageMaker AI 以外的 AI/ML 服務。
+ 有些 AWS 服務 完全無法使用 AWS 區域。如需區域可用性，請參閱[AWS 服務 依區域](https://aws.amazon.com/about-aws/global-infrastructure/regional-product-services/)。如需特定端點，請參閱[服務端點和配額](https://docs.aws.amazon.com/general/latest/gr/aws-service-information.html)頁面，然後選擇服務的連結。

## Architecture
<a name="build-an-mlops-workflow-by-using-amazon-sagemaker-and-azure-devops-architecture"></a>

**目標架構**

目標架構整合 Azure DevOps 與 Amazon SageMaker AI，建立跨雲端 ML 工作流程。它使用 Azure for CI/CD 流程和 SageMaker AI for ML 模型訓練和部署。它概述了透過模型建置和部署取得資料 （來自 Amazon S3、Snowflake 和 Azure Data Lake 等來源） 的程序。主要元件包括用於模型建置和部署、資料準備、基礎設施管理的 CI/CD 管道，以及用於訓練和微調、評估和部署 ML 模型的 Amazon SageMaker AI。此架構旨在跨雲端平台提供高效、自動化和可擴展的 ML 工作流程。

![\[使用 Azure Devops 和 SageMaker 的 MLOps 工作流程架構圖。 SageMaker\]](http://docs.aws.amazon.com/zh_tw/prescriptive-guidance/latest/patterns/images/pattern-img/95fdf414-e561-4a93-9628-b41db39a577e/images/84ddcc36-54ef-473e-875f-154fae18cb13.png)


架構包含下列元件：

1. 資料科學家在開發帳戶中執行 ML 實驗，透過使用各種資料來源探索 ML 使用案例的不同方法。資料科學家執行單元測試和試驗，並追蹤他們的實驗，他們可以將 [Amazon SageMaker AI 與 MLflow](https://docs.aws.amazon.com/sagemaker/latest/dg/mlflow.html) 搭配使用。在生成式 AI 模型開發中，資料科學家從 Amazon SageMaker AI JumpStart 模型中微調基礎模型。在模型評估之後，資料科學家會將程式碼推送並合併到託管在 Azure DevOps 上的模型建置儲存庫。此儲存庫包含多步驟模型建置管道的程式碼。

1. 在 Azure DevOps 上，提供持續整合 (CI) 的模型建置管道可以在程式碼合併至主要分支時自動或手動啟動。在自動化帳戶中，這會啟用 SageMaker AI 管道，以根據準確性進行資料預先處理、模型訓練和微調、模型評估和條件式模型註冊。

1. 自動化帳戶是跨 ML 平台的中央帳戶，可託管 ML 環境 (Amazon ECR)、模型 (Amazon S3)、模型中繼資料 (SageMaker AI Model Registry)、功能 (SageMaker AI Feature Store)、自動化管道 (SageMaker AI Pipelines) 和 ML 日誌洞察 (CloudWatch)。對於生成式 AI 工作負載，您可能需要對下游應用程式中的提示進行額外的評估。提示管理應用程式有助於簡化和自動化程序。此帳戶允許 ML 資產的可重複使用性，並強制執行最佳實務來加速 ML 使用案例的交付。

1. 最新的模型版本會新增至 SageMaker AI 模型登錄檔以供檢閱。它會追蹤模型版本和個別成品 （系列和中繼資料）。它也會管理模型的狀態 （核准、拒絕或待定），並管理下游部署的 版本。

1. 在模型登錄檔中經過訓練的模型透過 Studio 界面或 API 呼叫核准後，事件可以分派至 Amazon EventBridge。EventBridge 會在 Azure DevOps 上啟動模型部署管道。

1. 模型部署管道提供持續部署 (CD)，可從模型部署儲存庫檢查來源。來源包含程式碼、模型部署的組態，以及品質基準測試的測試指令碼。模型部署管道可以根據您的推論類型量身打造。

1. 質量控制檢查後，模型部署管道會將模型部署到預備帳戶。預備帳戶是生產帳戶的副本，用於整合測試和評估。對於批次轉換，模型部署管道可以自動更新批次推論程序，以使用最新核准的模型版本。對於即時、無伺服器或非同步推論，它會設定或更新個別模型端點。

1. 在預備帳戶中成功測試後，可以透過模型部署管道手動核准，將模型部署到生產帳戶。此管道會在**部署至生產步驟中佈建生產**端點，包括模型監控和資料意見回饋機制。

1. 模型進入生產環境後，請使用 SageMaker AI Model Monitor 和 SageMaker AI Clarify 等工具來識別偏差、偵測偏離，並持續監控模型的效能。

**自動化和擴展**

使用基礎設施做為程式碼 (IaC) 自動部署到多個帳戶和環境。透過自動化設定 MLOps 工作流程的程序，可以區分 ML 團隊在不同專案中使用的環境。 [AWS CloudFormation](https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/Welcome.html) 會將基礎設施視為程式碼，協助您建立、佈建和管理 AWS 資源。

## 工具
<a name="build-an-mlops-workflow-by-using-amazon-sagemaker-and-azure-devops-tools"></a>

**AWS 服務**
+ [Amazon SageMaker AI](https://docs.aws.amazon.com/sagemaker/latest/dg/whatis.html) 是一種受管 ML 服務，可協助您建置和訓練 ML 模型，然後將模型部署到生產就緒的託管環境中。
+ [AWS Glue](https://docs.aws.amazon.com/glue/latest/dg/what-is-glue.html) 是一種全受管的擷取、轉換和載入 (ETL) 服務。它可協助您可靠地分類、清理、擴充和移動資料存放區和資料串流之間的資料。
+ [Amazon Simple Storage Service (Amazon S3)](https://docs.aws.amazon.com/AmazonS3/latest/userguide/Welcome.html) 是一種雲端型物件儲存服務，可協助您儲存、保護和擷取任何數量的資料。在此模式中，Amazon S3 用於資料儲存，並與 SageMaker AI 整合，用於模型訓練和模型物件。
+ [AWS Lambda](https://docs.aws.amazon.com/lambda/latest/dg/welcome.html) 是一項運算服務，可協助您執行程式碼，無需佈建或管理伺服器。它只會在需要時執行程式碼並自動擴展，因此您只需支付使用的運算時間。在此模式中，Lambda 用於資料預處理和後製處理任務。
+ [Amazon Elastic Container Registry (Amazon ECR)](https://docs.aws.amazon.com/AmazonECR/latest/userguide/what-is-ecr.html) 是一種受管容器映像登錄服務，安全、可擴展且可靠。在此模式中，它會存放 SageMaker AI 用於訓練和部署環境的 Docker 容器。
+ [Amazon EventBridge](https://docs.aws.amazon.com/eventbridge/latest/userguide/eb-what-is.html) 是一種無伺服器事件匯流排服務，可協助您將應用程式與來自各種來源的即時資料連線。在此模式中，EventBridge 會協調事件驅動型或時間型工作流程，以啟動自動模型重新訓練或部署。
+ [Amazon API Gateway](https://docs.aws.amazon.com/apigateway/latest/developerguide/welcome.html) 可協助您建立、發佈、維護、監控和保護任何規模的 REST、HTTP 和 WebSocket APIs。 在此模式中，它會用來為 SageMaker AI 端點建立面向外部的單一進入點。
+ 對於 RAG 應用程式，您可以使用 [Amazon OpenSearch Service](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/what-is.html) 和 [Amazon RDS for PostgreSQL](https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/CHAP_PostgreSQL.html) AWS 服務等 來存放向 LLM 提供內部資料的向量內嵌。

**其他工具**
+ [Azure DevOps](https://learn.microsoft.com/en-us/azure/devops/user-guide/what-is-azure-devops) 可協助您管理 CI/CD 管道，並促進程式碼建置、測試和部署。
+ [Azure Data Lake Storage](https://learn.microsoft.com/en-us/azure/storage/blobs/data-lake-storage-introduction) 或 [Snowflake](https://docs.snowflake.com/en/) 是 ML 模型訓練資料的可能第三方來源。
+ [Pinecone](https://docs.pinecone.io/home)、[Milvus](https://milvus.io/docs/overview.md) 或 [ChromaDB](https://docs.trychroma.com/) 是儲存向量內嵌的可能第三方向量資料庫。

## 最佳實務
<a name="build-an-mlops-workflow-by-using-amazon-sagemaker-and-azure-devops-best-practices"></a>

在實作此多雲端 MLOps 工作流程的任何元件之前，請完成下列活動：
+ 定義並了解機器學習工作流程和支援它所需的工具。不同的使用案例需要不同的工作流程和元件。例如，功能存放區在個人化使用案例中可能需要重複使用功能和低延遲推論，但其他使用案例可能不需要。需要了解資料科學團隊的目標工作流程、使用案例要求和偏好的協作方法，才能成功自訂架構。
+ 為架構的每個元件建立明確的責任分離。將資料儲存分散到 Azure Data Lake Storage、Snowflake 和 Amazon S3 可能會增加複雜性和成本。如果可能，請選擇一致的儲存機制。同樣地，請避免使用 Azure 和 AWS DevOps 服務的組合，或 Azure 和 AWS ML 服務的組合。
+ 選擇一或多個現有模型和資料集，以執行 MLOps 工作流程的end-to-end測試。測試成品應反映資料科學團隊在平台進入生產環境時所開發的實際使用案例。

## 史詩
<a name="build-an-mlops-workflow-by-using-amazon-sagemaker-and-azure-devops-epics"></a>

### 設計您的 MLOps 架構
<a name="design-your-mlops-architecture"></a>


| 任務 | Description | 所需的技能 | 
| --- | --- | --- | 
| 識別資料來源。 | 根據目前和未來的使用案例、可用的資料來源和資料類型 （例如機密資料），記錄需要與 MLOps 平台整合的資料來源。資料可以存放在 Amazon S3、Azure Data Lake Storage、Snowflake 或其他來源。對於生成式 AI 工作負載，資料也可能包含基於所產生回應的知識庫。此資料會以向量內嵌形式存放在向量資料庫中。建立整合這些來源與平台的計劃，並保護對正確資源的存取。 | 資料工程師、資料科學家、雲端架構師 | 
| 選擇適用的服務。 | 根據資料科學團隊所需的工作流程、適用的資料來源和現有的雲端架構，新增或移除服務，以自訂架構。例如，資料工程師和資料科學家可能會在 SageMaker AI AWS Glue或 Amazon EMR 中執行資料預先處理和特徵工程。不太可能需要這三種服務。 | AWS 管理員、資料工程師、資料科學家、ML 工程師 | 
| 分析安全需求。 | 收集並記錄安全需求。這包括判斷：[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_tw/prescriptive-guidance/latest/patterns/build-an-mlops-workflow-by-using-amazon-sagemaker-and-azure-devops.html)如需保護生成式 AI 工作負載的詳細資訊，請參閱[保護生成式 AI：生成式 AI 安全範圍矩陣簡介 ](https://aws.amazon.com/blogs/security/securing-generative-ai-an-introduction-to-the-generative-ai-security-scoping-matrix/)(AWS 部落格文章）。 | AWS 管理員、雲端架構師 | 

### 設定 AWS Organizations
<a name="set-up-aolong"></a>


| 任務 | Description | 所需的技能 | 
| --- | --- | --- | 
| 設定 AWS Organizations。 | 在根 AWS Organizations 目錄上設定 AWS 帳戶。這可協助您管理在多帳戶 MLOps 策略中建立的後續帳戶。如需詳細資訊，請參閱 [AWS Organizations 文件](https://docs.aws.amazon.com/organizations/latest/userguide/orgs_tutorials_basic.html)。 | AWS 管理員 | 

### 設定開發環境和版本控制
<a name="set-up-the-development-environment-and-versioning"></a>


| 任務 | Description | 所需的技能 | 
| --- | --- | --- | 
| 建立 AWS 開發帳戶。 | 建立 AWS 帳戶 ，讓資料工程師和資料科學家具有實驗和建立 ML 模型的許可。如需說明，請參閱 AWS Organizations 文件中的[在組織中建立成員帳戶](https://docs.aws.amazon.com/organizations/latest/userguide/orgs_manage_accounts_create.html)。 | AWS 管理員 | 
| 建立模型建置儲存庫。 | 在 Azure 中建立 Git 儲存庫，資料科學家可以在實驗階段完成後推送其模型建置和部署程式碼。如需說明，請參閱 Azure DevOps 文件中的[設定 Git 儲存庫](https://learn.microsoft.com/en-us/devops/develop/git/set-up-a-git-repository)。 | DevOps 工程師、ML 工程師 | 
| 建立模型部署儲存庫。 | 在 Azure 中建立 Git 儲存庫，以存放標準部署程式碼和範本。它應該包含組織使用的每個部署選項的程式碼，如設計階段中所識別。例如，它應該包含即時端點、非同步端點、無伺服器推論或批次轉換。如需說明，請參閱 Azure DevOps 文件中的[設定 Git 儲存庫](https://learn.microsoft.com/en-us/devops/develop/git/set-up-a-git-repository)。 | DevOps 工程師、ML 工程師 | 
| 建立 Amazon ECR 儲存庫。 | 設定 Amazon ECR 儲存庫，將核准的 ML 環境儲存為 Docker 影像。允許資料科學家和 ML 工程師定義新的環境。如需說明，請參閱 Amazon ECR 文件中的[建立私有儲存庫](https://docs.aws.amazon.com/AmazonECR/latest/userguide/repository-create.html)。 | ML 工程師 | 
| 設定 SageMaker AI Studio。 | 根據先前定義的安全需求、偏好的資料科學工具 （例如 MLflow) 和偏好的整合式開發環境 (IDE)，在開發帳戶上設定 SageMaker AI Studio。使用生命週期組態來自動化關鍵功能的安裝，並為資料科學家建立統一的開發環境。如需詳細資訊，請參閱 [SageMaker AI 文件中的 Amazon SageMaker AI Studio](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-updated.html) 和 [MLflow 追蹤伺服器](https://docs.aws.amazon.com/sagemaker/latest/dg/mlflow.html)。 SageMaker  | 資料科學家、ML 工程師、Prompt 工程師 | 

### 整合 CI/CD 管道
<a name="integrate-ci-cd-pipelines"></a>


| 任務 | Description | 所需的技能 | 
| --- | --- | --- | 
| 建立自動化帳戶。 | 建立自動化管道和任務執行 AWS 帳戶 所在的 。您可以讓資料科學團隊讀取此帳戶的存取權。如需說明，請參閱 AWS Organizations 文件中的[在組織中建立成員帳戶](https://docs.aws.amazon.com/organizations/latest/userguide/orgs_manage_accounts_create.html)。 | AWS 管理員 | 
| 設定模型登錄檔。 | 在自動化帳戶中設定 SageMaker AI 模型登錄檔。此登錄檔會存放 ML 模型的中繼資料，並協助特定資料科學家或團隊核准或拒絕模型。如需詳細資訊，請參閱 SageMaker AI 文件中的[使用模型登錄檔註冊和部署模型](https://docs.aws.amazon.com/sagemaker/latest/dg/model-registry.html)。 | ML 工程師 | 
| 建立模型建置管道。 | 在 Azure 中建立 CI/CD 管道，此管道會在程式碼推送至模型建置儲存庫時手動或自動啟動。管道應該檢查原始程式碼，並在自動化帳戶中建立或更新 SageMaker AI 管道。管道應將新模型新增至模型登錄檔。如需建立管道的詳細資訊，請參閱 [Azure Pipelines 文件](https://learn.microsoft.com/en-us/azure/devops/pipelines/get-started/what-is-azure-pipelines)。 | DevOps 工程師、ML 工程師 | 

### 建置部署堆疊
<a name="build-the-deployment-stack"></a>


| 任務 | Description | 所需的技能 | 
| --- | --- | --- | 
| 建立 AWS 預備和部署帳戶。 |  AWS 帳戶 為 ML 模型的預備和部署建立 。這些帳戶應該完全相同，以便在移至生產環境之前，允許在預備階段中準確測試模型。您可以讓資料科學團隊讀取臨時帳戶。如需說明，請參閱 AWS Organizations 文件[中的在組織中建立成員帳戶](https://docs.aws.amazon.com/organizations/latest/userguide/orgs_manage_accounts_create.html)。 | AWS 管理員 | 
| 設定 S3 儲存貯體以進行模型監控。 | 如果您想要為模型部署管道建立的已部署模型啟用模型監控，請完成此步驟。建立 Amazon S3 儲存貯體以存放輸入和輸出資料。如需建立 S3 儲存貯體的詳細資訊，請參閱 Amazon S3 文件中的[建立儲存貯體](https://docs.aws.amazon.com/AmazonS3/latest/userguide/create-bucket-overview.html)。設定跨帳戶許可，讓自動化模型監控任務在自動化帳戶中執行。如需詳細資訊，請參閱 SageMaker AI 文件中的[監控資料和模型品質](https://docs.aws.amazon.com/sagemaker/latest/dg/model-monitor.html)。 | ML 工程師 | 
| 建立模型部署管道。 | 在 Azure 中建立 CI/CD 管道，該管道會在模型註冊表中核准模型時開始。管道應檢查原始程式碼和模型成品、建置基礎設施範本以在預備和生產帳戶中部署模型、在預備帳戶中部署模型、執行自動化測試、等待手動核准，以及將核准的模型部署到生產帳戶中。如需建立管道的詳細資訊，請參閱 [Azure Pipelines 文件](https://learn.microsoft.com/en-us/azure/devops/pipelines/get-started/what-is-azure-pipelines)。 | DevOps 工程師、ML 工程師 | 

### （選用） 自動化 ML 環境基礎設施
<a name="optional-automate-ml-environment-infrastructure"></a>


| 任務 | Description | 所需的技能 | 
| --- | --- | --- | 
| 組建 AWS CDK 或 CloudFormation 範本。 | 為所有需要自動部署的環境定義 AWS Cloud Development Kit (AWS CDK) 或 AWS CloudFormation 範本。這可能包括開發環境、自動化環境，以及預備和部署環境。如需詳細資訊，請參閱 [AWS CDK](https://docs.aws.amazon.com/cdk/v2/guide/home.html)和 [CloudFormation](https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/Welcome.html) 文件。 | AWS DevOps | 
| 建立 基礎設施管道。 | 在 Azure 中為基礎設施部署建立 CI/CD 管道。管理員可以啟動此管道來建立新的 ， AWS 帳戶 並設定 ML 團隊所需的環境。 | DevOps 工程師 | 

## 疑難排解
<a name="build-an-mlops-workflow-by-using-amazon-sagemaker-and-azure-devops-troubleshooting"></a>


| 問題 | 解決方案 | 
| --- | --- | 
| **監控不足和偏離偵測 **– 監控不足可能會導致錯過模型效能問題或資料偏離的偵測。 | 使用 Amazon CloudWatch、SageMaker AI Model Monitor 和 SageMaker AI Clarify 等工具強化監控架構。針對已識別的問題設定立即動作的提醒。 | 
| **CI 管道觸發錯誤 **– 由於組態錯誤，可能不會在程式碼合併時觸發 Azure DevOps 中的 CI 管道。** ** | 檢查 Azure DevOps 專案設定，以確保 Webhook 已正確設定並指向正確的 SageMaker AI 端點。 | 
| **控管 **–** **中央自動化帳戶可能無法跨 ML 平台強制執行最佳實務，導致工作流程不一致。 | 稽核自動化帳戶設定，確保所有 ML 環境和模型都符合預先定義的最佳實務和政策。 | 
| **模型登錄檔核准延遲 – **當檢查和核准模型有延遲時會發生這種情況，因為人員需要一些時間來檢閱模型，或是因為技術問題。 | 實作通知系統，以提醒利益相關者待核准的模型，並簡化審核程序。 | 
| **模型部署事件失敗 **– 傳送至啟動模型部署管道** **的事件可能會失敗，導致部署延遲。 | 確認 Amazon EventBridge 具有正確的許可和事件模式，以成功叫用 Azure DevOps 管道。 | 
| **生產部署瓶頸 **– ** **手動核准程序可能會產生瓶頸，進而延遲模型的生產部署。 | 最佳化模型部署管道中的核准工作流程，促進及時審核和清晰的溝通管道。 | 

## 相關資源
<a name="build-an-mlops-workflow-by-using-amazon-sagemaker-and-azure-devops-resources"></a>

**AWS 文件**
+ [Amazon SageMaker AI 文件](https://docs.aws.amazon.com/sagemaker/)
+ [Machine Learning Lens](https://docs.aws.amazon.com/wellarchitected/latest/machine-learning-lens/machine-learning-lens.html) (AWS Well Architected Framework)
+ [規劃成功的 MLOps](https://docs.aws.amazon.com/prescriptive-guidance/latest/ml-operations-planning/welcome.html) (AWS 方案指引）

**其他 AWS 資源**
+ [使用 Amazon SageMaker AI 的企業 MLOps 基礎藍圖](https://aws.amazon.com/blogs/machine-learning/mlops-foundation-roadmap-for-enterprises-with-amazon-sagemaker/) (AWS 部落格文章）
+ [AWS Summit ANZ 2022 - End-to-end MLOps ](https://www.youtube.com/watch?v=UnAN35gu3Rw)(YouTube 影片）
+ [FMOps/LLMOps：操作生成式 AI 和 MLOps 的差異](https://aws.amazon.com/blogs/machine-learning/fmops-llmops-operationalize-generative-ai-and-differences-with-mlops/) (AWS 部落格文章）
+ [使用 Amazon SageMaker AI Clarify 和 MLOps 服務大規模操作化 LLM 評估](https://aws.amazon.com/blogs/machine-learning/operationalize-llm-evaluation-at-scale-using-amazon-sagemaker-clarify-and-mlops-services/) (AWS 部落格文章）
+ [向量資料庫在生成式 AI 應用程式中的角色 ](https://aws.amazon.com/blogs/database/the-role-of-vector-datastores-in-generative-ai-applications/)(AWS 部落格文章）

**Azure 文件**
+ [Azure DevOps 文件](https://learn.microsoft.com/en-us/azure/devops/user-guide/what-is-azure-devops)
+ [Azure 管道文件](https://learn.microsoft.com/en-us/azure/devops/pipelines/get-started/what-is-azure-pipelines)