Amazon Bedrock 支持的终端节点 - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon Bedrock 支持的终端节点

Amazon Bedrock 支持各种终端节点,具体取决于您是要执行控制平面运算符还是推理操作。

控制平面操作

Amazon Bedrock 控制平面操作可用于终端节点:bedrock.{region}.amazonaws.com.它可用于管理资源,例如列出可用模型、创建自定义模型任务和管理预配置吞吐量。在此处阅读有关我们的控制平面 API 的更多信息

推理操作

Amazon Bedrock 支持以下两个主要端点,用于以编程方式执行推理:

Endpoint 支持的 APIs 描述
bedrock-mantle.{region}.api.aws 响应 API/聊天完成 API 特定区域的终端节点,用于使用兼容 OpenAI 的终端节点对托管在 Amazon Bedrock 中的模型发出推理请求。
bedrock-runtime.{region}.amazonaws.com InvokeModel/Converse/聊天完成 特定区域的终端节点,用于使用 /Converse/Chat 完成功能对托管在 Amazon Bedrock 中的模型发出推理请求。 InvokeModel APIs在此处阅读有关 Amazon Bedrock Runtime 的 APIs 更多信息

您应该使用哪个服务端点进行推理?

您使用的终端节点取决于您的用例。

Endpoint 功能和用例
bedrock-mantle

支持兼容 OpenAI APIs (响应 API聊天完成 API)。

用于:从使用兼容 OpenAI APIs 的其他型号轻松迁移。

功能:支持客户端和服务器端工具与 Lambda 函数一起使用,并在您的应用程序中配置了 ready-to-use工具。

推荐对象:A mazon Bedrock 的新用户。

bedrock-runtime

支持 Amazon Bedrock 原生 APIs (调用 API、C onverse API)。还支持兼容 OpenAI 的聊天完成 AP I。

用于:运行 Amazon Bedrock 支持的任何型号。C onverse API 提供了一个统一的接口,用于与 Amazon Bedrock 中的所有模型进行交互,而 Invoke API 则提供对模型的直接访问,从而更有能力控制请求和响应格式。您还可以使用聊天完成 API 与您的模型互动。

功能:仅支持客户端工具与 Lambda 函数一起使用,且未预 ready-to-use先配置工具。允许您在调用模型时跟踪使用情况和成本。

如果您不熟悉 Amazon Bedrock,我们建议您从bedrock-mantle终端节点开始。