View a markdown version of this page

Per-request etichettatura dei metadati - Amazon Bedrock
Come funzionano i metadati delle richiesteLimitsDove vengono visualizzati i metadati della richiestaConsiderazioni

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Per-request etichettatura dei metadati

I metadati della richiesta consentono di allegare tag chiave-valore a singole chiamate di inferenza Amazon Bedrock sull'endpoint. bedrock-runtime I tag vengono registrati con la richiesta nei log di invocazione del modello, in modo da poter attribuire l'utilizzo a un team, un'applicazione, un ambiente, un esperimento o qualsiasi altra dimensione che varia a seconda della chiamata. Non è necessario creare o configurare in anticipo alcuna risorsa: ogni chiamata può contenere un set diverso di tag.

I metadati della richiesta sono supportati nelle seguenti bedrock-runtimeAPI:

Nota

I metadati della richiesta non sono supportati sull'endpoint. bedrock-mantle Per un'attribuzione che fluisce direttamente in AWS Cost Explorer e AWS Cost and Usage Reports come tag di allocazione dei costi, vedere Profili di inferenza delle applicazioniProgetti, o. WorkSpace

Come funzionano i metadati delle richieste

Puoi allegare i metadati a una richiesta in modo diverso a seconda dell'API che chiami:

  • InvokeModel e InvokeModelWithResponseStream — Imposta l'intestazione X-Amzn-Bedrock-Request-Metadata HTTP sulla richiesta. Il valore è un oggetto JSON le cui chiavi e valori sono stringhe scelte dall'utente.

  • Converse e ConverseStream — Imposta il requestMetadata campo nel corpo della richiesta. Per ulteriori informazioni, consulta requestMetadata.

I metadati della richiesta vengono registrati nei log di invocazione del modello solo quando la registrazione è abilitata nel luogo in cui viene effettuata la Regione AWS chiamata. Per le istruzioni di configurazione, vedere. Monitora la chiamata del modello utilizzando CloudWatch Logs e Amazon S3

L'esempio seguente mostra una InvokeModel richiesta che contrassegna la chiamata con un nome del team, un ambiente e un identificatore del test case:

POST /model/anthropic.claude-3-haiku-20240307-v1:0/invoke HTTP/1.1
Content-Type: application/json
X-Amzn-Bedrock-Request-Metadata: {"team": "orchestrator", "environment": "preview-test", "test_case": "invoke_model_sync"}

{
  "anthropic_version": "bedrock-2023-05-31",
  "max_tokens": 50,
  "messages": [{"role": "user", "content": "Say hello in one word."}]
}

La stessa intestazione è supportata su: InvokeModelWithResponseStream

POST /model/anthropic.claude-3-haiku-20240307-v1:0/invoke-with-response-stream HTTP/1.1
Content-Type: application/json
X-Amzn-Bedrock-Request-Metadata: {"team": "orchestrator", "environment": "preview-test", "test_case": "invoke_model_stream"}

{
  "anthropic_version": "bedrock-2023-05-31",
  "max_tokens": 50,
  "messages": [{"role": "user", "content": "Say hello in one word."}]
}
Importante

Quando firmi le richieste con AWS Signature Version 4 (SigV4), includetele X-Amzn-Bedrock-Request-Metadata nell'elenco. SignedHeaders Le richieste che omettono l'intestazione dall'elenco firmato vengono rifiutate con un. InvalidSignatureException AWS Gli SDK che espongono i metadati della richiesta come parametro gestiscono questa situazione automaticamente.

Limits

I metadati della richiesta hanno i seguenti limiti, che si applicano sia all'X-Amzn-Bedrock-Request-Metadataheader (InvokeModel, InvokeModelWithResponseStream) che al campo requestMetadata body (Converse,): ConverseStream

  • Massimo 16 inserimenti di metadati per richiesta.

  • Chiavi: massimo 256 caratteri.

  • Valori: massimo 256 caratteri.

  • Caratteri consentiti: un insieme limitato di caratteri alfanumerici e di punteggiatura.

Le richieste che superano questi limiti vengono rifiutate con un errore di convalida.

Dove vengono visualizzati i metadati della richiesta

I metadati della richiesta vengono visualizzati nei log di invocazione del modello Amazon Bedrock nel campo di primo livello. requestMetadata La seguente voce di registro abbreviata mostra il campo per una chiamata: InvokeModel 

{
    "schemaType": "ModelInvocationLog",
    "schemaVersion": "1.0",
    "timestamp": "2024-01-15T12:00:00Z",
    "accountId": "123456789012",
    "region": "us-east-1",
    "requestId": "abcd1234-5678-efgh-ijkl-mnopqrstuvwx",
    "operation": "InvokeModel",
    "modelId": "anthropic.claude-3-haiku-20240307-v1:0",
    "requestMetadata": {
        "team": "orchestrator",
        "environment": "preview-test",
        "test_case": "invoke_model_sync"
    },
    "input":  { "...": "..." },
    "output": { "...": "..." }
}

Puoi filtrare e aggregare i log in base ai campi di metadati in Amazon CloudWatch Logs Insights, agli strumenti di query di Amazon S3 come Amazon Athena o in qualsiasi altro sistema che legge i log delle chiamate.

Considerazioni