Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Monitora l'utilizzo e i costi in Amazon Bedrock
Amazon Bedrock offre diversi modi per attribuire l'utilizzo e i costi dell'inferenza del modello a utenti, team, applicazioni, ambienti o esperimenti specifici. Puoi utilizzare un unico meccanismo o combinarne diversi. Ad esempio, utilizza l'attribuzione principale IAM per la visibilità per utente insieme ai progetti per l'etichettatura per applicazione e richiedi i metadati per il tracciamento degli esperimenti per chiamata.
Suggerimento
Se non sei sicuro di quale meccanismo sia adatto al tuo caso d'uso, inizia dalla fine di questo capitolo. Domande frequenti Risponde a domande decisionali comuni come «Voglio l'attribuzione per utente e per prompt: quali sono le mie scelte?» e «Qual è la differenza tra CUR classico e CUR 2.0?».
Scelta di un approccio
Il metodo di attribuzione dei costi scelto dipende dalla dimensione che desideri monitorare, dalle API di Amazon Bedrock utilizzate e dal livello di granularità necessario. Le due tabelle seguenti presentano viste complementari. Utilizzate la prima per cercare i meccanismi in base al vostro obiettivo e la seconda per confrontare i meccanismi fianco a fianco.
Scegli per obiettivo
Se sai cosa vuoi dal monitoraggio dei costi, inizia da qui.
| Se il tuo obiettivo è... | Utilizzo |
|---|---|
| Per-user o dollari per squadra sulla bolletta | Attribuzione principale IAM |
| Per-application o dollari per carico di lavoro | Profili di inferenza delle applicazioni(bedrock-runtime) o Progetti e () WorkSpace bedrock-mantle |
| Per-prompt utilizzo e costo dei token, suddivisi per dimensione | Per-request etichettatura dei metadati, con registri di invocazione del modello |
| Per-user e dettagli per prompt | Registri di invocazione del modello, con l'utente tratto dall'identityARN o da un tag di metadati di richiesta |
| Sia dollari accurati in termini di fatturazione che dettagli per richiesta | Combina un metodo nativo (ad esempio,) con Attribuzione principale IAM Per-request etichettatura dei metadati |
Confronta i meccanismi
La tabella seguente confronta i meccanismi disponibili in base a ciò in base a cui consentono di attribuire, al prodotto, alla granularità dell'output, al luogo in cui vengono forniti i dati e agli endpoint supportati.
| Meccanismo | Attributo per | Output | Granularity (Granularità) | Destinazione dei dati | API supportate | bedrock-runtime |
bedrock-mantle |
|---|---|---|---|---|---|---|---|
| Attribuzione principale IAM | Identità IAM | Dollari fatturati | Aggregato, per tipo di utilizzo al giorno | AWS Cost Explorer/ CUR 2.0 | InvokeModel, Converse, Completamenti della chat |  |
 |
| Profili di inferenza delle applicazioni | Tag delle risorse del profilo | Dollari fatturati | Aggregato, per tipo di utilizzo al giorno | AWS Cost Explorer/ CUR 2.0 | InvokeModel, Converse, Completamenti della chat | |
|
| Progetti | Tag delle risorse del progetto | Dollari fatturati | Aggregato, per tipo di utilizzo al giorno | AWS Cost Explorer/ CUR 2.0 | Risposte, completamenti della chat | |
|
| WorkSpace | Proietta i tag delle risorse tramite l'intestazione dell'area di lavoro | Dollari fatturati | Aggregato, per tipo di utilizzo al giorno | AWS Cost Explorer/ CUR 2.0 | Messaggi antropici | |
|
| Per-request etichettatura dei metadati | Per-request tag chiave-valore | I token contano (li converti in costi) | Per richiesta | Solo registri delle chiamate | InvokeModel, Converse, InvokeModelWithResponseStream ConverseStream | |
|
Nota
I metodi nativi (Attribuzione principale IAM, Profili di inferenza delle applicazioniProgetti, eWorkSpace) forniscono dollari fatturati aggregati a AWS Cost Explorer e CUR 2.0. La grana più fine si ottiene per tipo di utilizzo al giorno, attribuita mediante identità o etichetta; non producono una riga per richiesta. Per informazioni dettagliate relative ai singoli prompt, utilizzate i log di invocazione del modello, in cui ogni chiamata è un record separato con un numero di token diverso.
Attribuzione dietro un gateway LLM
Quando un gateway o un proxy chiama Amazon Bedrock per conto di molti utenti, Amazon Bedrock registra il ruolo IAM del gateway come identità del chiamante. Per preservare l'attribuzione a livello utente, scegli in base all'output di cui hai bisogno.
-
Per i soldi spesi per utente nei tuoi strumenti di fatturazione, chiedi al gateway di assumere il ruolo di Amazon Bedrock per utente o tenant, utilizzando tag per utente o sessione.
RoleSessionNameMemorizza nella cache le credenziali risultanti per tutta la durata della sessione per evitare una chiamata per ogni richiesta. AWS STS Per ulteriori informazioni, consulta Attribuzione principale IAM. -
Per informazioni dettagliate in base al prompt, imposta l'utente nei metadati della richiesta per ogni chiamata. I metadati della richiesta variano in base alla richiesta senza AWS STS chiamate aggiuntive, cosa che i tag di sessione non possono fare in una sessione condivisa.
