本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
在 Amazon Bedrock 中追踪使用情况和成本
Amazon Bedrock 提供了多种方法来将模型推理的使用情况和成本归因于特定用户、团队、应用程序、环境或实验。您可以使用单一机制或组合多种机制。例如,使用 IAM 委托人归因来实现每位用户的可见性,同时使用 IAM 委托人归因来实现每个应用程序的标记,并使用请求元数据进行每次调用实验跟踪。
提示
如果您不确定哪种机制适合您的用例,请从本章末尾的开始。常见问题它回答了常见的决策问题,例如 “我想要按用户、按提示归因——我有哪些选择?” 以及 “经典 CUR 和 CUR 2.0 有什么区别?”。
选择方法
您选择的成本归因方法取决于您要跟踪的维度、您使用的 Amazon Bedrock API 以及所需的粒度级别。以下两个表格提供了互补的观点。使用第一个按目标查找机制,使用第二个来并排比较机制。
按目标选择
如果您知道自己想要从成本跟踪中获得什么,请从这里开始。
| 如果你的目标是... | 使用 |
|---|---|
| Per-user 或者账单上有每支球队的钱 | IAM 主体归因 |
| Per-application 或按工作负载计算的美元 | 应用程序推理配置文件(bedrock-runtime)、或Projects和 Workspaces (bedrock-mantle) |
| Per-prompt 代币使用量和成本,按任意维度划分 | Per-request 元数据标记,带有模型调用日志 |
| Per-user 以及每个提示的细节 | 模型调用日志,用户取自 AR identity N 或请求元数据标签 |
| 既有发票准确的金额,又有按提示显示的细节 | 将原生方法(例如IAM 主体归因)与 Per-request 元数据标记 |
比较机制
下表按允许您归因的内容、输出内容、输出的粒度、数据的传输位置以及它们支持的端点对可用机制进行了比较。
| 机制 | 属性依据 | Output | 粒度 | 数据目的地 | 支持的 API | bedrock-runtime |
bedrock-mantle |
|---|---|---|---|---|---|---|---|
| IAM 主体归因 | IAM 身份 | 计费美元 | 每天按使用类型汇总 | AWS Cost Explorer/CUR 2.0 | InvokeModel、匡威、聊天完成 | ||
| 应用程序推理配置文件 | 个人资料资源标签 | 计费美元 | 每天按使用类型汇总 | AWS Cost Explorer/CUR 2.0 | InvokeModel、匡威、聊天完成 | ||
| Projects | 项目资源标签 | 计费美元 | 每天按使用类型汇总 | AWS Cost Explorer/CUR 2.0 | 回复、聊天完成 | ||
| Workspaces | 通过工作区标题添加项目资源标签 | 计费美元 | 每天按使用类型汇总 | AWS Cost Explorer/CUR 2.0 | 人类信息 | ||
| Per-request 元数据标记 | Per-request 键值标签 | 代币数量(您转换为成本) | 每个请求 | 仅限调用日志 | InvokeModel, InvokeModelWithResponseStream,匡威, ConverseStream |
注意
原生方法(IAM 主体归因、应用程序推理配置文件Projects、和Workspaces)向 Cost Explorer 和 CUR 2.0 AWS 提供汇总的账单金额。最好的颗粒是每天按使用类型划分的,按身份或标签归因;它们不会生成每个请求的行。有关每个提示的详细信息,请使用模型调用日志,其中每个调用都是一个单独的记录,其中包含自己的令牌计数。
LLM 网关背后的归因
当网关或代理代表许多用户调用 Amazon Bedrock 时,Amazon Bedrock 会将网关的 IAM 角色记录为呼叫者的身份。要保留用户级别的归因,请根据所需的输出进行选择。