View a markdown version of this page

追蹤 Amazon Bedrock 中的用量和成本 - Amazon Bedrock

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

追蹤 Amazon Bedrock 中的用量和成本

Amazon Bedrock 提供多種方式,可將模型推論使用量和成本歸因於特定使用者、團隊、應用程式、環境或實驗。您可以使用單一機制或結合數個機制。例如,針對每個使用者可見性使用 IAM 主體屬性,以及針對每個應用程式標記的專案,以及針對每個呼叫實驗追蹤請求中繼資料。

提示

如果您不確定哪些機制適合您使用案例,請從本章常見問答集結尾的 開始。它回答常見的決策問題,例如「我想要每個使用者、每個提示歸因 — 我有哪些選擇?」 和「傳統 CUR 和 CUR 2.0 有何不同?」。

選擇合適方案

您選擇的成本歸因方法取決於您要追蹤的維度、您使用的 Amazon Bedrock APIs,以及您需要的精細程度。以下兩個資料表顯示互補檢視。使用第一個 依您的目標查詢機制,第二個則並排比較機制。

依目標選擇

如果您知道想要的成本追蹤,請從這裡開始。

如果您的目標是... 使用
帳單上的每個使用者或每個團隊美元 IAM 主體屬性
每個應用程式或每個工作負載美元 應用程式推論設定檔 (bedrock-runtime) 或 專案工作區(bedrock-mantle)
每個提示符記用量和成本,依任何維度分割 每個請求中繼資料標記,搭配模型調用日誌
每個使用者和每個提示的詳細資訊 模型調用日誌,其中包含從 identity ARN 或請求中繼資料標籤取得的使用者
發票準確的美元和每個提示的詳細資訊 結合原生方法 (例如 IAM 主體屬性) 與 每個請求中繼資料標記
比較機制

下表根據可用機制的屬性、輸出的內容、輸出的精細程度、資料交付的位置,以及它們支援的端點,來比較這些機制。

Mechanism 屬性依據 Output 精細程度 資料目的地 支援的 API bedrock-runtime bedrock-mantle
IAM 主體屬性 IAM 身分 帳單金額 彙總,每天每個用量類型 AWS Cost Explorer/CUR 2.0 InvokeModel、Converse、聊天完成 Green circle with white checkmark icon. Red circle with white X icon indicating error, cancel, or close action.
應用程式推論設定檔 設定檔資源標籤 帳單金額 彙總,每天每個用量類型 AWS Cost Explorer/CUR 2.0 InvokeModel、Converse、聊天完成 Green circle with white checkmark icon. Red circle with white X icon indicating error, cancel, or close action.
專案 專案資源標籤 帳單金額 彙總,每天每個用量類型 AWS Cost Explorer/CUR 2.0 回應、聊天完成 Red circle with white X icon indicating error, cancel, or close action. Green circle with white checkmark icon.
工作區 透過工作區標頭的專案資源標籤 帳單金額 彙總,每天每個用量類型 AWS Cost Explorer/CUR 2.0 人類訊息 Red circle with white X icon indicating error, cancel, or close action. Green circle with white checkmark icon.
每個請求中繼資料標記 每個請求索引鍵/值標籤 字符計數 (您轉換為成本) 每個請求 僅限調用日誌 InvokeModel、InvokeModelWithResponseStream、Converse、ConverseStream Green circle with white checkmark icon. Red circle with white X icon indicating error, cancel, or close action.
注意

原生方法 (IAM 主體屬性專案應用程式推論設定檔工作區) 會將彙總帳單金額交付給 AWS Cost Explorer 和 CUR 2.0。最佳粒度是每天每個用量類型,由身分或標籤歸因;它們不會產生每個請求資料列。對於每個提示的詳細資訊,請使用模型調用日誌,其中每個呼叫都是單獨的記錄,其中包含自己的字符計數。

LLM 閘道後方的屬性

當閘道或代理代表許多使用者呼叫 Amazon Bedrock 時,Amazon Bedrock 會將閘道的 IAM 角色記錄為發起人的身分。若要保留使用者層級屬性,請根據您需要的輸出選擇 。

  • 對於計費工具中的每個使用者美元,請讓閘道使用每個使用者RoleSessionName或工作階段標籤,擔任每個使用者或租用戶的 Amazon Bedrock 角色。快取工作階段生命週期中產生的登入資料,以避免對每個請求進行 AWS STS 呼叫。如需詳細資訊,請參閱IAM 主體屬性

  • 如需每個提示的詳細資訊,請在每次呼叫的請求中繼資料中設定使用者。請求中繼資料因請求而異,無需額外的 AWS STS 呼叫,這些工作階段標籤無法在共用工作階段上執行。