本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
使用 Anthropic 消息 API 进行推理
Anthropic Messages API 使用 Anthropic 请求和响应格式提供对 Claude 模型的原生访问权限。您可以在bedrock-mantle和bedrock-runtime端点上使用 Messages API,从而可以灵活地选择适合您的应用程序的身份验证和集成风格。
| Endpoint | 基本网址 | 使用案例 |
|---|---|---|
bedrock-mantle |
https://bedrock-mantle.{region}.api.aws/anthropic/v1/messages |
推荐用于新应用程序。支持 API 密钥身份验证和工作空间 () Anthropic-compatible. |
bedrock-runtime |
https://bedrock-runtime.{region}.amazonaws.com |
与现有的 AWS SDK 集成和调用日志一起使用。 |
支持的区域:
消息 API 可在所有支持的区域的bedrock-mantle终端节点上使用bedrock-mantle(请参阅支持的区域和终端节点)。在bedrock-runtime终端上,它适用于所有可用 Claude 模型的区域。有关详细信息,请参阅 区域可用性。
先决条件
在使用消息 API 之前,请确保您具备以下条件:
-
模型访问权限 — 在 Amazon Bedrock 控制台中请求访问 Claude 模型。请参阅请求访问模型。
-
身份验证-取决于端点:
-
bedrock-mantle— 使用 Amazon Bedrock API 密钥(参见API 密钥)或 AWS Sigv4 凭证。 -
bedrock-runtime— 通过 S AWS DK(boto3 等)使用 S AWS igv4 凭证。
-
-
Anthropic 版本标头 — 所有请求都需要 API 版本:
-
bedrock-mantle:设置anthropic-version: 2023-06-01为 HTTP 标头。 -
bedrock-runtime:"anthropic_version": "bedrock-2023-05-31"在请求正文中设置。
-
基本请求
要向 Claude 模型发送基本信息,请选择首选方法的选项卡,然后按照以下步骤操作:
直播回复
要在生成响应令牌时以增量方式接收它们,请选择首选方法对应的选项卡,然后按照以下步骤操作:
支持的功能
消息 API 在 Claude 模型中支持以下高级功能:
-
系统提示-使用
system参数设置模型行为。 -
Multi-turn 对话 —传递交替
user和assistant消息。 -
工具使用-定义模型可以调用的工具。请参阅使用工具完成 Amazon Bedrock 模型响应。
-
Vision — 将
content数组中的图像与文本一起发送。 -
扩展思维 — 启用思维链推理。请参阅使用模型推理增强模型响应。
-
提示缓存-缓存常用的上下文以减少延迟和成本。
有关完整的 Messages API 请求和响应格式(包括所有参数和功能),请参阅Anthropic Claude Messages API。
计算代币
要计算请求在发送请求进行推断之前将消耗的输入令牌数量,请使用端点上的 Anthropic count_tokens 路径。bedrock-mantle这是唯一支持 Region-specific 终端节点的 Claude 模型的代币计数路径,包括仅bedrock-runtime使用跨区域推理 (CRIS) 启动的 Claude 模型。有关详细信息和示例,请参阅使用基岩地幔端点计算代币。