View a markdown version of this page

在 Amazon Bedrock 中追踪使用情况和成本 - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

在 Amazon Bedrock 中追踪使用情况和成本

Amazon Bedrock 提供了多种方法来将模型推理的使用情况和成本归因于特定用户、团队、应用程序、环境或实验。您可以使用单一机制或组合多种机制。例如,使用 IAM 委托人归因来实现每位用户的可见性,同时使用 IAM 委托人归因来实现每个应用程序的标记,并使用请求元数据进行每次调用实验跟踪。

提示

如果您不确定哪种机制适合您的用例,请从本章末尾的开始。常见问题它回答了常见的决策问题,例如 “我想要按用户、按提示归因——我有哪些选择?” 以及 “经典 CUR 和 CUR 2.0 有什么区别?”。

选择方法

您选择的成本归因方法取决于您要跟踪的维度、您使用的 Amazon Bedrock API 以及所需的粒度级别。以下两个表格提供了互补的观点。使用第一个按目标查找机制,使用第二个来并排比较机制。

按目标选择

如果您知道自己想要从成本跟踪中获得什么,请从这里开始。

如果你的目标是... 使用
Per-user 或者账单上有每支球队的钱 IAM 主体归因
Per-application 或按工作负载计算的美元 应用程序推理配置文件(bedrock-runtime)、或ProjectsWorkspaces (bedrock-mantle)
Per-prompt 代币使用量和成本,按任意维度划分 Per-request 元数据标记,带有模型调用日志
Per-user 以及每个提示的细节 模型调用日志,用户取自 AR identity N 或请求元数据标签
既有发票准确的金额,又有按提示显示的细节 将原生方法(例如IAM 主体归因)与 Per-request 元数据标记
比较机制

下表按允许您归因的内容、输出内容、输出的粒度、数据的传输位置以及它们支持的端点对可用机制进行了比较。

机制 属性依据 Output 粒度 数据目的地 支持的 API bedrock-runtime bedrock-mantle
IAM 主体归因 IAM 身份 计费美元 每天按使用类型汇总 AWS Cost Explorer/CUR 2.0 InvokeModel、匡威、聊天完成 Green circle with white checkmark icon. Red circle with white X icon indicating error, cancel, or close action.
应用程序推理配置文件 个人资料资源标签 计费美元 每天按使用类型汇总 AWS Cost Explorer/CUR 2.0 InvokeModel、匡威、聊天完成 Green circle with white checkmark icon. Red circle with white X icon indicating error, cancel, or close action.
Projects 项目资源标签 计费美元 每天按使用类型汇总 AWS Cost Explorer/CUR 2.0 回复、聊天完成 Red circle with white X icon indicating error, cancel, or close action. Green circle with white checkmark icon.
Workspaces 通过工作区标题添加项目资源标签 计费美元 每天按使用类型汇总 AWS Cost Explorer/CUR 2.0 人类信息 Red circle with white X icon indicating error, cancel, or close action. Green circle with white checkmark icon.
Per-request 元数据标记 Per-request 键值标签 代币数量(您转换为成本) 每个请求 仅限调用日志 InvokeModel, InvokeModelWithResponseStream,匡威, ConverseStream Green circle with white checkmark icon. Red circle with white X icon indicating error, cancel, or close action.
注意

原生方法(IAM 主体归因应用程序推理配置文件Projects、和Workspaces)向 Cost Explorer 和 CUR 2.0 AWS 提供汇总的账单金额。最好的颗粒是每天按使用类型划分的,按身份或标签归因;它们不会生成每个请求的行。有关每个提示的详细信息,请使用模型调用日志,其中每个调用都是一个单独的记录,其中包含自己的令牌计数。

LLM 网关背后的归因

当网关或代理代表许多用户调用 Amazon Bedrock 时,Amazon Bedrock 会将网关的 IAM 角色记录为呼叫者的身份。要保留用户级别的归因,请根据所需的输出进行选择。

  • 对于计费工具中的每用户费用,让网关使用每用户或每会话标签为每个用户或租户承担其 Amazon Bedrock 角色。RoleSessionName在会话生命周期内缓存生成的凭证,以避免对每个请求都进行 AWS STS 调用。有关更多信息,请参阅 IAM 主体归因

  • 有关每个提示的详细信息,请在每次呼叫的请求元数据中设置用户。请求元数据因请求而异,无需额外 AWS STS 调用,而会话标签在共享会话中无法做到这一点。