本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
Amazon Bedrock 支援的端點
Amazon Bedrock 支援各種端點,取決於您是否要執行控制平面運算子或推論操作。
控制平面操作
Amazon Bedrock 控制平面操作可與端點搭配使用:bedrock.{region}.amazonaws.com.可用於管理 資源,例如列出可用的模型、建立自訂模型任務,以及管理佈建的輸送量。在這裡閱讀有關控制平面 API 的詳細資訊。
推論操作
Amazon Bedrock 支援下列主要兩個端點,以程式設計方式執行推論:
| 端點 | 支援的 APIs | Description |
|---|---|---|
bedrock-mantle.{region}.api.aws |
回應 API/聊天完成 API | 區域特定的端點,用於使用 OpenAI 相容端點,對 Amazon Bedrock 中託管的模型提出推論請求。 |
bedrock-runtime.{region}.amazonaws.com |
InvokeModel/Converse/聊天完成 | 區域特定的端點,用於使用 InvokeModel/Converse/Chat Completions APIs,對 Amazon Bedrock 中託管的模型進行推論請求。在此處閱讀有關 Amazon Bedrock 執行期 APIs的詳細資訊。 |
您應該使用哪個服務端點進行推論?
您使用的端點取決於您的使用案例。
| 端點 | 功能和使用案例 |
|---|---|
bedrock-mantle |
支援 OpenAI 相容 APIs (回應 API、聊天完成 API)。 用於:從使用 OpenAI 相容 APIs 的其他模型輕鬆遷移。 功能:支援搭配 Lambda 函數使用的用戶端和伺服器端工具,並在您的應用程式中設定ready-to-use工具。 建議用於:Amazon Bedrock 的新使用者。 |
bedrock-runtime |
支援 Amazon Bedrock 原生 APIs(呼叫 API、Converse API)。也支援 OpenAI 相容聊天完成 API。 用於:執行 Amazon Bedrock 支援的任何模型。Converse API 提供與 Amazon Bedrock 中所有模型互動的統一界面,而調用 API 可讓您直接存取模型,更能夠控制請求和回應格式。您也可以使用聊天完成 API 與您的模型互動。 功能:僅支援搭配 Lambda 函數使用的用戶端工具,而且不會預先設定ready-to-use工具。可讓您在叫用模型時追蹤用量和成本。 |
如果您是初次使用 Amazon Bedrock,建議您從bedrock-mantle端點開始。