Amazon Bedrock 支援的端點 - Amazon Bedrock

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

Amazon Bedrock 支援的端點

Amazon Bedrock 支援各種端點,取決於您是否要執行控制平面運算子或推論操作。

控制平面操作

Amazon Bedrock 控制平面操作可與端點搭配使用:bedrock.{region}.amazonaws.com.可用於管理 資源,例如列出可用的模型、建立自訂模型任務,以及管理佈建的輸送量在這裡閱讀有關控制平面 API 的詳細資訊。

推論操作

Amazon Bedrock 支援下列主要兩個端點,以程式設計方式執行推論:

端點 支援的 APIs Description
bedrock-mantle.{region}.api.aws 回應 API/聊天完成 API 區域特定的端點,用於使用 OpenAI 相容端點,對 Amazon Bedrock 中託管的模型提出推論請求。
bedrock-runtime.{region}.amazonaws.com InvokeModel/Converse/聊天完成 區域特定的端點,用於使用 InvokeModel/Converse/Chat Completions APIs,對 Amazon Bedrock 中託管的模型進行推論請求。在此處閱讀有關 Amazon Bedrock 執行期 APIs的詳細資訊。

您應該使用哪個服務端點進行推論?

您使用的端點取決於您的使用案例。

端點 功能和使用案例
bedrock-mantle

支援 OpenAI 相容 APIs (回應 API聊天完成 API)。

用於:從使用 OpenAI 相容 APIs 的其他模型輕鬆遷移。

功能:支援搭配 Lambda 函數使用的用戶端和伺服器端工具,並在您的應用程式中設定ready-to-use工具。

建議用於:Amazon Bedrock 的新使用者。

bedrock-runtime

支援 Amazon Bedrock 原生 APIs(呼叫 APIConverse API)。也支援 OpenAI 相容聊天完成 API

用於:執行 Amazon Bedrock 支援的任何模型。Converse API 提供與 Amazon Bedrock 中所有模型互動的統一界面,而調用 API 可讓您直接存取模型,更能夠控制請求和回應格式。您也可以使用聊天完成 API 與您的模型互動。

功能:僅支援搭配 Lambda 函數使用的用戶端工具,而且不會預先設定ready-to-use工具。可讓您在叫用模型時追蹤用量和成本。

如果您是初次使用 Amazon Bedrock,建議您從bedrock-mantle端點開始。