本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。 # 了解 Amazon Bedrock 中的智慧提示路由 Amazon Bedrock 智慧提示路由提供單一無伺服器端點，可有效率地在相同模型系列中不同基礎模型之間路由請求。它可以動態預測每個請求其每個模型的回應品質，然後將請求路由到具有最佳回應品質的模型。這有助於最佳化回應品質和成本。 **Topics** + [智慧提示路由的支援區域和模型](#prompt-routing-support) + [優勢](#prompt-routing-benefits) + [預設和設定的提示路由器](#prompt-routing-types) + [考量和限制](#prompt-routing-limitations) + [提示路由器條件和後援模型](#prompt-router-criteria) + [智慧提示路由的運作方式](#prompt-routing-works) + [如何使用智慧提示路由](#prompt-routing-use) ## 智慧提示路由的支援區域和模型 智慧型提示路由可以與不同類型的模型搭配使用。以下清單說明對不同類型的 Amazon Bedrock 模型的支援： + **單一區域模型支援** – 列出支援將推論請求傳送至一個區域中基礎模型 AWS 的區域。如需 Amazon Bedrock 可用模型的完整資料表，請參閱 [Amazon Bedrock 中支援的基礎模型](models-supported.md)。 + **跨區域推論描述檔支援** – 列出支援使用跨區域推論描述檔的區域，該描述檔支援將推論請求傳送至地理區域內多個 AWS 區域的基礎模型。推論描述檔在模型 ID 前面有一個字首，指出其地理區域 （例如，`us.`、`apac`)。如需 Amazon Bedrock 中可用推論設定檔的詳細資訊，請參閱 [推論設定檔支援的區域和模型](inference-profiles-support.md)。 下表顯示智慧提示路由支援的模型： | 供應商 | 模型 | 模型 ID | 單一區域模型支援 | 跨區域推論設定檔支援 | | --- | --- | --- | --- | --- | | Amazon | Nova Lite | amazon.nova-lite-v1:0 | us-east-1 us-gov-west-1 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-2 eu-central-1 eu-west-1 eu-west-3 us-east-1 us-east-2 us-west-2 | | Amazon | Nova Pro | amazon.nova-pro-v1:0 | us-east-1 us-gov-west-1 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-2 eu-central-1 eu-west-1 eu-west-3 us-east-1 us-east-2 us-west-2 | | Anthropic | Claude 3 Haiku | anthropic.claude-3-haiku-20240307-v1:0 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-2 eu-central-1 eu-west-1 eu-west-3 us-east-1 us-gov-west-1 us-west-2 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-2 eu-central-1 eu-west-1 eu-west-3 us-east-1 us-east-2 us-gov-east-1 us-west-2 | | Anthropic | Claude 3.5 Haiku | anthropic.claude-3-5-haiku-20241022-v1:0 | us-west-2 | us-east-1 us-east-2 us-west-2 | | Anthropic | Claude 3.5 Sonnet | anthropic.claude-3-5-sonnet-20240620-v1:0 | ap-northeast-1 ap-northeast-2 eu-central-1 us-east-1 us-gov-west-1 us-west-2 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-2 eu-central-1 eu-west-1 eu-west-3 us-east-1 us-east-2 us-gov-east-1 us-west-2 | | Anthropic | Claude 3.5 Sonnet v2 | anthropic.claude-3-5-sonnet-20241022-v2:0 | ap-southeast-2 us-west-2 | ap-northeast-1 ap-south-1 ap-southeast-2 eu-west-3 us-east-1 us-east-2 us-west-2 | | Meta | Llama 3.1 70B Instruct | meta.llama3-1-70b-instruct-v1:0 | us-west-2 | us-east-1 us-east-2 us-west-2 | | Meta | Llama 3.1 8B Instruct | meta.llama3-1-8b-instruct-v1:0 | us-west-2 | us-east-1 us-east-2 us-west-2 | | Meta | Llama 3.2 11B Instruct | meta.llama3-2-11b-instruct-v1:0 | N/A | us-east-1 us-east-2 us-west-2 | | Meta | Llama 3.2 90B Instruct | meta.llama3-2-90b-instruct-v1:0 | N/A | us-east-1 us-east-2 us-west-2 | | Meta | Llama 3.3 70B Instruct | meta.llama3-3-70b-instruct-v1:0 | us-east-2 | us-east-1 us-east-2 us-west-2 | ## 優勢 + **最佳化回應品質和成本：**將提示路由至不同的基礎模型，以最低成本達到最佳回應品質。 + **簡化管理：**無需複雜的協同運作邏輯。 + **前瞻性：**納入可供使用的新模型。 ## 預設和設定的提示路由器 使用智慧提示路由時，您可以使用 Amazon Bedrock 提供的預設提示路由器，或設定自己的提示路由器。 預設提示路由器是 Amazon Bedrock 提供的預先設定路由系統。這些路由器隨附預先定義的設定，其設計與特定基礎模型搭配時立即可用。這些路由器提供直接、立即可用的解決方案，不需進行任何路由設定。開始使用智慧提示路由時，建議您使用 Amazon Bedrock 提供的預設路由器進行實驗。預覽期間，您可以選擇使用 Anthropic 和 Meta 系列中的精選模型。 設定的提示路由器可讓您依據特定需求和偏好，定義自己的路由組態。當您需要更充分掌控請求的路由方式，以及要使用哪些模型時，這類路由器會更合適。設定的路由器可根據回應品質指標和使用案例進行最佳化。在試驗過預設路由器之後，您可以設定您自己的適用於您應用程式的路由器、在遊樂場中評估回應品質，並在符合需求時用於生產應用程式。 ## 考量和限制 以下是 Amazon Bedrock 中智慧提示路由的考量和限制。 + 智慧提示路由僅針對英文提示進行最佳化。 + 智慧提示路由無法根據應用程式特定的效能資料調整路由決策或回應。 + 智慧提示路由不一定能為唯一或專門的使用案例提供最佳路由。路由的有效性取決於初始訓練資料。 ## 提示路由器條件和後援模型 設定提示路由器時，您可以指定路由條件，用於根據回應品質差異來決定要選取哪個模型來處理請求。使用此條件以確定後援模型的回應與其他模型的回應須有的相似程度。 ### 後援模型 選擇適合您請求的後援模型。此模型可作為可靠的基準。然後您就可以選擇其他模型，相對於後援模型提高準確度或降低成本。後援模型可作為錨點，而路由條件會根據回應品質差異決定何時切換到另一個模型。 ### 回應品質差異 回應品質差異會評量後援模型與其他模型的回應之間的差異。值越小，表示回應越相似。值越高，表示後援模型的回應與其他模型的回應之間有顯著差異。 例如，回應品質差異為 10% 表示，假設後援模型 Claude Haiku3 的回應品質為 10%，則只有在另一個模型 (假設為 Claude Sonnet3) 的回應品質比 Claude Haiku3 的回應高 10% 時，路由器才會切換到另一個模型。 ## 智慧提示路由的運作方式 1. **模型選擇和路由器組態** 選擇您要用於應用程式的模型系列。如果您使用預設提示路由器，您可以從 Anthropic 或 Meta 系列中選擇模型。如果您使用已設定的提示路由器，便可以從其他模型中選擇並設定路由條件。如需詳細資訊，請參閱[如何使用智慧提示路由](#prompt-routing-use)。 1. **傳入請求分析** 對於每個傳入請求，系統會分析提示，以了解其內容和脈絡。 1. **回應品質預測** Amazon Bedrock 會根據提示，預測所選系列中每個指定模型的回應品質。如果您設定了提示路由器，它會考慮路由條件，即回應品質差異，並在不符合條件時，將請求路由到您指定的後援模型。 1. **模型選擇和請求轉送** 根據回應品質預測，Amazon Bedrock 會動態選擇模型，為特定請求提供最佳的回應品質和成本組合。然後，會將請求轉送至所選的模型進行處理。 1. **處理回應** 系統會擷取所選模型的回應，並將其傳回給使用者。回應包含用於處理請求之模型的相關資訊。 ## 如何使用智慧提示路由 若要開始使用智慧型提示路由，請使用 Amazon Bedrock 主控台 AWS CLI或 AWS SDK。 **注意** 為了充分利用智慧提示路由，您應該定期檢閱效能，以善用新模型。若要最佳化您的用量，請監控可用的效能和成本指標。 下列各節說明如何從主控台和 CLI 使用此功能。設定提示路由器後，Amazon Bedrock 會執行 [智慧提示路由的運作方式](#prompt-routing-works) 中所述的步驟，從所選路由器中的其中一個模型產生回應。 ------ #### [ console ] 若要從 AWS 管理主控台使用智慧提示路由： 1. 前往 Amazon Bedrock 主控台中的[提示路由器](https://console.aws.amazon.com/bedrock/home?region=us-east-1#/prompt-routers)中樞。使用您的 AWS 憑證登入主控台。 1. 選擇您要使用的模型系列。如果您是第一次使用此功能，您可以試驗預設提示路由器。在預覽期間，您可以從 Anthropic 或 Meta 系列中選擇模型。然後，您可以開啟遊樂場並試驗您的提示。 **注意** 您必須在同一個系列中恰好選擇兩個模型。 1. 試驗預設路由器之後，您可以設定路由器。您必須為路由器提供唯一的名稱和選用的描述。 1. 定義將提示路由到不同模型的路由規則。指定用於路由的模型、路由條件，以及在不符合路由條件時使用的後援模型。 1. 您現在可以開啟遊樂場，並嘗試不同的提示來監控提示路由器的效能。透過分析提示的路由方式和每個模型的效能，您可以視需要調整路由條件和模型，以最佳化效能和成本。 ------ #### [ API ] 若要使用 AWS CLI使用智慧提示路由： 1. 試驗預設提示路由器之後，您可以使用 [https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreatePromptRouter.html](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreatePromptRouter.html) API 或 [https://docs.aws.amazon.com/cli/latest/reference/bedrock/create-prompt-router.html](https://docs.aws.amazon.com/cli/latest/reference/bedrock/create-prompt-router.html) CLI 命令來建立可處理智慧提示路由的路由器。 下列命令顯示建立提示路由器的範例，其中： + ** 是路由器的唯一名稱。 + ** 是您要在其中建立路由器的 AWS 區域 。 + ** 和 ** 是可供選擇用於路由的模型。例如 `anthropic.claude-3-5-sonnet-20240620-v1:0`。 ``` aws bedrock create-prompt-router \ --prompt-router-name \ --models '[{"modelArn": "arn:aws:bedrock:::foundation-model/"}]' \ --fallback-model '[{"modelArn": "arn:aws:bedrock:::foundation-model/"}]' \ --routing-criteria '{"responseQualityDifference": 0.5}' ``` 1. 使用 AWS CLI將您的提示傳送至智慧提示路由器。路由器會預測每個模型的回應品質，並將請求路由至具有最佳回應品質的模型。 1. 檢閱對請求的回應。它將包含有關已使用模型和路由條件的資訊。 1. 當您使用提示路由器時，您也可以使用這些額外的 API 操作： + [https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetPromptRouter.html](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetPromptRouter.html) + [https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListPromptRouters.html](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListPromptRouters.html) + [https://docs.aws.amazon.com/bedrock/latest/APIReference/API_DeletePromptRouter.html](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_DeletePromptRouter.html) ------