本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
追蹤 Amazon Bedrock 中的用量和成本
Amazon Bedrock 提供多種方式,可將模型推論使用量和成本歸因於特定使用者、團隊、應用程式、環境或實驗。您可以使用單一機制或結合數個機制。例如,針對每個使用者可見性使用 IAM 主體屬性,以及針對每個應用程式標記的專案,以及針對每個呼叫實驗追蹤請求中繼資料。
提示
如果您不確定哪些機制適合您使用案例,請從本章常見問答集結尾的 開始。它回答常見的決策問題,例如「我想要每個使用者、每個提示歸因 — 我有哪些選擇?」 和「傳統 CUR 和 CUR 2.0 有何不同?」。
選擇合適方案
您選擇的成本歸因方法取決於您要追蹤的維度、您使用的 Amazon Bedrock APIs,以及您需要的精細程度。以下兩個資料表顯示互補檢視。使用第一個 依您的目標查詢機制,第二個則並排比較機制。
依目標選擇
如果您知道想要的成本追蹤,請從這裡開始。
| 如果您的目標是... | 使用 |
|---|---|
| 帳單上的每個使用者或每個團隊美元 | IAM 主體屬性 |
| 每個應用程式或每個工作負載美元 | 應用程式推論設定檔 (bedrock-runtime) 或 專案和 工作區(bedrock-mantle) |
| 每個提示符記用量和成本,依任何維度分割 | 每個請求中繼資料標記,搭配模型調用日誌 |
| 每個使用者和每個提示的詳細資訊 | 模型調用日誌,其中包含從 identity ARN 或請求中繼資料標籤取得的使用者 |
| 發票準確的美元和每個提示的詳細資訊 | 結合原生方法 (例如 IAM 主體屬性) 與 每個請求中繼資料標記 |
比較機制
下表根據可用機制的屬性、輸出的內容、輸出的精細程度、資料交付的位置,以及它們支援的端點,來比較這些機制。
| Mechanism | 屬性依據 | Output | 精細程度 | 資料目的地 | 支援的 API | bedrock-runtime |
bedrock-mantle |
|---|---|---|---|---|---|---|---|
| IAM 主體屬性 | IAM 身分 | 帳單金額 | 彙總,每天每個用量類型 | AWS Cost Explorer/CUR 2.0 | InvokeModel、Converse、聊天完成 | ||
| 應用程式推論設定檔 | 設定檔資源標籤 | 帳單金額 | 彙總,每天每個用量類型 | AWS Cost Explorer/CUR 2.0 | InvokeModel、Converse、聊天完成 | ||
| 專案 | 專案資源標籤 | 帳單金額 | 彙總,每天每個用量類型 | AWS Cost Explorer/CUR 2.0 | 回應、聊天完成 | ||
| 工作區 | 透過工作區標頭的專案資源標籤 | 帳單金額 | 彙總,每天每個用量類型 | AWS Cost Explorer/CUR 2.0 | 人類訊息 | ||
| 每個請求中繼資料標記 | 每個請求索引鍵/值標籤 | 字符計數 (您轉換為成本) | 每個請求 | 僅限調用日誌 | InvokeModel、InvokeModelWithResponseStream、Converse、ConverseStream |
注意
LLM 閘道後方的屬性
當閘道或代理代表許多使用者呼叫 Amazon Bedrock 時,Amazon Bedrock 會將閘道的 IAM 角色記錄為發起人的身分。若要保留使用者層級屬性,請根據您需要的輸出選擇 。