架構概觀 - AWS 上的生成式 AI 應用程式建置器
架構圖

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

架構概觀

本節提供使用此解決方案所部署元件的參考實作架構圖。

架構圖

為了支援多個使用案例和業務需求，此解決方案提供六個 AWS CloudFormation 範本：

  1. 部署儀表板 - 部署儀表板是一種 Web 界面，可做為管理使用者檢視、管理和建立其使用案例的管理主控台。此儀表板可讓客戶利用 LLMs 快速實驗、迭代和生產各種 AI/ML 工作負載。

  2. 文字使用案例 - 文字使用案例可讓使用者使用生成式 AI 體驗自然語言界面。此使用案例可以整合到新的或現有的應用程式，並且可以透過部署儀表板或透過提供的 URL 獨立部署。

  3. Bedrock 代理程式使用案例 - Bedrock 代理程式使用案例可讓現有的 Bedrock 代理程式完成任務或自動化重複的工作流程。

  4. MCP 伺服器 - MCP 伺服器使用案例可啟用模型內容通訊協定伺服器的部署和管理，以提供 AI 應用程式的標準化工具和資源存取。支援封裝現有 Lambda 函數、APIs 和外部 MCP 伺服器的閘道方法，以及部署自訂容器化 MCP 伺服器的執行期方法。

  5. 代理程式建置器 - 代理程式建置器可透過完整的組態控制、MCP 伺服器整合和記憶體管理功能，在 Amazon Bedrock AgentCore 上建立和部署生產就緒 AI 代理程式。

  6. 工作流程建置器 - 工作流程建置器可建立主管客服人員，使用客服人員做為工具委派模式來協調多個客服人員建置器客服人員，以處理複雜的多客服人員工作流程。

部署儀表板

描述部署儀表板架構 （在停用 VPC 選項的情況下部署時）

部署儀表板圖表

描述部署儀表板架構 （在啟用 VPC 選項的情況下部署時）

部署儀表板 vpc 封存圖表
注意

AWS CloudFormation 資源是從 AWS 雲端開發套件 (AWS CDK) 建構模組建立。

使用 AWS CloudFormation 範本部署之解決方案元件的高階程序流程如下：

  1. 管理員使用者登入部署儀表板使用者介面 (UI)。

  2. Amazon CloudFront 提供 Web UI，其託管在 Amazon Simple Storage Service (Amazon S3) 儲存貯體中。

  3. AWS WAF 可保護 APIs免受攻擊。此解決方案會設定一組稱為 Web 存取控制清單 (Web ACL) 的規則，以根據可設定的、使用者定義的 Web 安全規則和條件來允許、封鎖或計數 Web 請求。

  4. Web UI 會利用一組使用 Amazon APIs的 REST API。 Amazon API Gateway

  5. Amazon Cognito 會驗證使用者，並傳回 CloudFront Web UI 和 API Gateway。

  6. AWS Lambda 為 REST 端點提供商業邏輯。此備份 Lambda 函數會管理和建立必要的資源，以使用 AWS CloudFormation 執行使用案例部署。

  7. Amazon DynamoDB 會存放部署清單。

  8. 當管理員使用者建立新的使用案例時，後端 Lambda 函數會為請求的使用案例啟動 CloudFormation 堆疊建立事件。

  9. 部署精靈中管理員使用者提供的所有 LLM 組態選項都會儲存在 DynamoDB 中。部署使用此 DynamoDB 資料表在執行時間設定 LLM。

  10. 使用 Amazon CloudWatch，此解決方案會從各種服務收集操作指標，以產生自訂儀表板，讓您監控解決方案的效能和運作狀態。

注意

  • 如果您選擇在 Amazon VPC 中部署此解決方案，資料將在您的私有網路中路由。

  • 雖然可在大多數 AWS 區域中啟動部署儀表板，但已部署的使用案例會根據服務可用性而有特定限制。如需詳細資訊，請參閱支援的 AWS 區域。

文字使用案例

描述文字使用案例架構 （在停用 VPC 選項的情況下部署時）

文字使用案例圖表

描述文字使用案例架構 （在啟用 VPC 選項的情況下部署時）

文字使用案例 vpc 封存圖表

使用 AWS CloudFormation 範本部署之解決方案元件的高階程序流程如下：

  1. 管理員使用者使用 部署儀表板部署使用案例。商業使用者登入使用案例 UI。

  2. CloudFront 提供託管在 S3 儲存貯體中的 Web UI。

  3. Web UI 利用使用 API Gateway 建置的 WebSocket 整合。API Gateway 由自訂 Lambda 授權方函數提供支援，該函數會根據驗證使用者所屬的 Amazon Cognito 群組，傳回適當的 AWS Identity and Access Management (IAM) 政策。此政策存放在 DynamoDB 中。

  4. Amazon Cognito 會驗證使用者，並傳回 CloudFront Web UI 和 API Gateway。

  5. 來自商業使用者的傳入請求會從 API Gateway 傳遞至 Amazon SQS 佇列，然後傳遞至 LangChain Orchestrator。LangChain Orchestrator 是 Lambda 函數和 layer 的集合，可提供商業邏輯以滿足來自商業使用者的請求。佇列會啟用 API Gateway 與 Lambda 整合的非同步操作。佇列會將連線資訊傳遞至 Lambda 函數，然後直接將結果發佈回 API Gateway Websocket 連線，以支援長時間執行的推論呼叫。

  6. LangChain Orchestrator 使用 Amazon DynamoDB 取得設定的 LLM 選項和必要的工作階段資訊 （例如聊天歷史記錄）。

  7. 如果部署已啟用知識庫，則 LangChain Orchestrator 會利用 Amazon Kendra 或 Amazon Bedrock 的知識庫來執行搜尋查詢以擷取文件摘錄。

  8. 使用知識庫的聊天歷史記錄、查詢和內容，LangChain Orchestrator 會建立最終提示，並將請求傳送至 Amazon Bedrock 或 Amazon SageMaker AI 上託管的 LLM。

  9. 當回應從 LLM 傳回時，LangChain Orchestrator 會透過用戶端應用程式要使用的 API Gateway WebSocket 串流回回應。

  10. 使用 Amazon CloudWatch，此解決方案會從各種服務收集操作指標，以產生自訂儀表板，讓您監控部署的效能和運作狀態。

  11. 如果啟用意見回饋收集，則可利用利用 Amazon API Gateway 的 REST API 端點來收集使用者意見回饋。

  12. 意見回饋後端 lambda、使用其他使用案例特定的中繼資料 （例如使用的模型） 來增強提交的意見回饋，並將資料存放在 Amazon S3 中，以供 DevOps 使用者日後分析和報告。

注意

如果您選擇在 Amazon VPC 中部署此解決方案，資料將路由到您的私有網路。

Bedrock Agent 使用案例

描述 Bedrock Agent 使用案例架構 （在停用 VPC 選項的情況下部署時）

代理程式使用案例圖表

描述 Bedrock Agent 使用案例架構 （在啟用 VPC 選項的情況下部署時）

代理程式使用案例 vpc 封存圖表

使用 AWS CloudFormation 範本部署之解決方案元件的高階程序流程如下：

  1. 管理員使用者使用 部署儀表板部署使用案例。商業使用者登入使用案例 UI。

  2. CloudFront 提供託管在 S3 儲存貯體中的 Web UI。

  3. Web UI 利用使用 API Gateway 建置的 WebSocket 整合。API Gateway 由自訂 Lambda 授權方函數提供支援，該函數會根據驗證使用者所屬的 Amazon Cognito 群組，傳回適當的 AWS Identity and Access Management(IAM) 政策。此政策存放在 DynamoDB 中。

  4. Amazon Cognito 會驗證使用者，並傳回 CloudFront Web UI 和 API Gateway。

  5. 來自商業使用者的傳入請求會從 API Gateway 傳遞至 Amazon SQS 佇列，然後傳遞至 AWS Lambda 函數。佇列會啟用 API Gateway 與 Lambda 整合的非同步操作。佇列會將連線資訊傳遞至 Lambda 函數，然後直接將結果發佈回 API Gateway Websocket 連線，以支援長時間執行的推論呼叫。

  6. AWS Lambda 函數使用 Amazon DynamoDB 視需要取得使用案例組態

  7. 使用使用者輸入和任何相關的使用案例組態，AWS Lambda 函數會建置請求承載並傳送至設定的 Amazon Bedrock Agent，以滿足使用者意圖。

  8. 當回應從 Amazon Bedrock 代理程式傳回時，Lambda 函數會透過用戶端應用程式要使用的 API Gateway WebSocket 串流回回應。

  9. 使用 Amazon CloudWatch，此解決方案會從各種服務收集操作指標，以產生自訂儀表板，讓您監控部署的效能和運作狀態。

  10. 如果啟用意見回饋收集，則可利用利用 Amazon API Gateway 的 REST API 端點來收集使用者意見回饋。

  11. 回饋支援 Lambda，使用額外的使用案例特定中繼資料來增強提交的回饋，並將資料存放在 Amazon S3 中，以供 DevOps 使用者日後分析和報告。

注意

如果您選擇在 Amazon VPC 中部署此解決方案，資料將在您的私有網路中路由。

MCP 伺服器使用案例

描述 MCP Server 使用案例架構

mcp 伺服器使用案例圖表

MCP Server 使用案例可在 Amazon Bedrock AgentCore 上部署和管理模型內容通訊協定伺服器。MCP 伺服器為 AI 應用程式提供標準化界面，以存取工具、資源和企業資料來源。

解決方案支援兩種部署方法：

  • 閘道方法：將現有的 Lambda 函數、REST APIs 或外部 MCP 伺服器包裝為 MCP 工具，自動處理通訊協定轉譯

  • 執行期方法：從 Amazon ECR 映像部署自訂容器化 MCP 伺服器

MCP Server 部署的高階程序流程如下：

  1. 管理員使用者使用部署儀表板部署 MCP 伺服器使用案例，選取閘道或執行期部署方法。

  2. 此動作使用 Amazon Cognito 驗證。

  3. 對於閘道部署，解決方案會建立 Amazon Bedrock AgentCore Gateway，將現有的 Lambda 函數、APIs 或外部 MCP 伺服器轉換為 MCP 相容工具。對於執行期部署，解決方案會使用提供的 ECR 映像，在 Amazon Bedrock AgentCore 執行期部署容器化 MCP 伺服器。

  4. 閘道部署會從 Amazon S3 中上傳的位置擷取必要的 API/Lambda/Smithy 結構描述，或直接連線至 MCP Server URL 端點。

  5. 執行期部署會從 Amazon Elastic Container Registry (ECR) 擷取使用者提供的容器化 MCP 伺服器

  6. MCP 伺服器使用 Amazon Bedrock AgentCore Identity OAuth 用戶端進行檢測

  7. MCP Server 會在 /mcp 端點提供相關的工具，以供客服人員探索。

  8. Amazon CloudWatch 會從 MCP 伺服器部署收集操作指標和日誌，以進行監控和故障診斷。

客服人員建置器使用案例

Depicts Agent Builder 架構

代理程式建置器部署圖表

使用 AWS CloudFormation 範本部署之 Agent Builder 元件的高階程序流程如下：

  1. 管理員使用者使用 部署儀表板部署使用案例。商業使用者登入使用案例 UI。

  2. CloudFront 提供託管在 S3 儲存貯體中的 Web UI。

  3. Web UI 利用使用 API Gateway 建置的 WebSocket 整合。API Gateway 由自訂 Lambda 授權方函數提供支援，該函數會根據驗證使用者所屬的 Amazon Cognito 群組，傳回適當的 AWS Identity and Access Management(IAM) 政策。此政策存放在 DynamoDB 中。

  4. Amazon Cognito 會驗證使用者，並傳回 CloudFront Web UI 和 API Gateway。

  5. 來自商業使用者的傳入請求會從 API Gateway 傳遞至 Amazon SQS 佇列，然後傳遞至 AWS Lambda 函數。佇列會啟用 API Gateway 與 Lambda 整合的非同步操作。佇列會將連線資訊傳遞至 Lambda 函數，然後直接將結果發佈回 API Gateway Websocket 連線，以支援長時間執行的推論呼叫。

  6. AWS Lambda 函數會從 DynamoDB 擷取代理程式組態。

  7. 使用使用者輸入和任何相關的使用案例組態，AWS Lambda 函數會建置請求承載，並將其傳送至在 Amazon Bedrock AgentCore 執行期上執行的代理程式。

  8. 代理程式會連線至相關聯的 MCP 伺服器，並將工具註冊到 strands 代理程式執行個體。代理程式接著會根據工具描述和任務需求自動選取和執行動作。

  9. 當回應從 Amazon Bedrock AgentCore 執行時間傳回時，Lambda 函數會透過用戶端應用程式要使用的 API Gateway WebSocket 串流回回應。

注意

  • 代理程式處理僅限於 Lambda 執行逾時 (15 分鐘）。

工作流程建置器使用案例

描述工作流程建置器架構

工作流程部署圖表

使用 AWS CloudFormation 範本部署之工作流程建置器元件的高階程序流程如下：

  1. 管理員使用者使用部署儀表板部署工作流程，選取 Agent Builder 代理程式以包含為專門的代理程式。

  2. CloudFront 提供託管在 S3 儲存貯體中的 Web UI。

  3. Web UI 利用使用 API Gateway 建置的 WebSocket 整合。API Gateway 由自訂 Lambda 授權方函數提供支援，該函數會根據驗證使用者所屬的 Amazon Cognito 群組，傳回適當的 AWS Identity and Access Management (IAM) 政策。此政策存放在 DynamoDB 中。

  4. Amazon Cognito 會驗證使用者，並傳回 CloudFront Web UI 和 API Gateway。

  5. 來自商業使用者的傳入請求會從 API Gateway 傳遞至 Amazon SQS 佇列，然後傳遞至 AWS Lambda 函數。佇列會啟用 API Gateway 與 Lambda 整合的非同步操作。

  6. AWS Lambda 函數會從 DynamoDB 擷取工作流程組態，包括專用 Agent Builder 代理程式的清單。

  7. 使用使用者輸入和工作流程組態，Lambda 會將請求傳送至託管主管代理程式的 Amazon Bedrock AgentCore 執行期。

  8. 主管代理程式會在 AgentCore 執行期環境中建立所有專業 Agent Builder 代理程式的本機執行個體。這些專門代理程式會使用 代理程式做為工具模式註冊為工具。然後，主管會根據客服人員描述和任務需求，自動選取並將工作委派給專門的客服人員。

  9. 主管客服人員會彙總專業客服人員的結果，並制定最終回應，將其傳回至 Lambda，以便透過 API Gateway Websocket 串流回用戶端應用程式。

注意

  • 工作流程處理僅限於 Lambda 執行逾時 (15 分鐘）。