View a markdown version of this page

Per-request etiquetado de metadatos - Amazon Bedrock
Cómo funcionan los metadatos de las solicitudesLímitesDónde aparecen los metadatos de la solicitudConsideraciones

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Per-request etiquetado de metadatos

Los metadatos de solicitud le permiten adjuntar etiquetas de valores clave a las llamadas de inferencia individuales de Amazon Bedrock en el punto final. bedrock-runtime Las etiquetas se graban junto con la solicitud en los registros de invocación del modelo, de modo que puede atribuir el uso a un equipo, aplicación, entorno, experimento o cualquier otra dimensión que varíe en función de la llamada. No es necesario crear o configurar ningún recurso con antelación; cada llamada puede incluir un conjunto diferente de etiquetas.

Los metadatos de solicitud son compatibles con las siguientes bedrock-runtimeAPI:

nota

El bedrock-mantlepunto final no admite los metadatos de solicitud. Para ver la atribución que fluye directamente a AWS Cost Explorer y a los informes de AWS costo y uso como etiquetas de asignación de costosPerfiles de inferencia de aplicaciones, consulteProyectos, oEspacios de trabajo.

Cómo funcionan los metadatos de las solicitudes

Los metadatos se adjuntan a una solicitud de forma diferente en función de la API a la que se llame:

  • InvokeModel y InvokeModelWithResponseStream — Establece el encabezado X-Amzn-Bedrock-Request-Metadata HTTP de la solicitud. El valor es un objeto JSON cuyas claves y valores son cadenas que tú eliges.

  • Converse y ConverseStream: establezca el requestMetadata campo en el cuerpo de la solicitud. Para obtener más información, consulte requestMetadata.

Los metadatos de la solicitud se registran en los registros de invocación del modelo solo cuando el registro está habilitado en el Región de AWS lugar donde se realiza la llamada. Para obtener instrucciones de configuración, consulteSupervise la invocación de modelos mediante CloudWatch Logs y Amazon S3.

El siguiente ejemplo muestra una InvokeModel solicitud que etiqueta la llamada con un nombre de equipo, un entorno y un identificador de caso de prueba:

POST /model/anthropic.claude-3-haiku-20240307-v1:0/invoke HTTP/1.1
Content-Type: application/json
X-Amzn-Bedrock-Request-Metadata: {"team": "orchestrator", "environment": "preview-test", "test_case": "invoke_model_sync"}

{
  "anthropic_version": "bedrock-2023-05-31",
  "max_tokens": 50,
  "messages": [{"role": "user", "content": "Say hello in one word."}]
}

El mismo encabezado es compatible con InvokeModelWithResponseStream:

POST /model/anthropic.claude-3-haiku-20240307-v1:0/invoke-with-response-stream HTTP/1.1
Content-Type: application/json
X-Amzn-Bedrock-Request-Metadata: {"team": "orchestrator", "environment": "preview-test", "test_case": "invoke_model_stream"}

{
  "anthropic_version": "bedrock-2023-05-31",
  "max_tokens": 50,
  "messages": [{"role": "user", "content": "Say hello in one word."}]
}
importante

Cuando firme solicitudes con la versión 4 de AWS Signature (SiGv4), inclúyalas X-Amzn-Bedrock-Request-Metadata en la SignedHeaders lista. Las solicitudes que omiten el encabezado de la lista firmada se rechazan con un. InvalidSignatureException AWS Los SDK que exponen los metadatos de la solicitud como parámetro lo gestionan automáticamente.

Límites

Los metadatos de la solicitud tienen los siguientes límites, que se aplican tanto al X-Amzn-Bedrock-Request-Metadata encabezado (InvokeModel, InvokeModelWithResponseStream) como al campo del requestMetadata cuerpo (Converse, ConverseStream):

  • Máximo 16 entradas de metadatos por solicitud.

  • Claves: 256 caracteres como máximo.

  • Valores: 256 caracteres como máximo.

  • Caracteres permitidos: conjunto restringido de caracteres alfanuméricos y de puntuación.

Las solicitudes que superen estos límites se rechazan con un error de validación.

Dónde aparecen los metadatos de la solicitud

Los metadatos de la solicitud aparecen en los registros de invocación del modelo Amazon Bedrock, en el campo de nivel superiorrequestMetadata. La siguiente entrada de registro abreviada muestra el campo de una llamada: InvokeModel 

{
    "schemaType": "ModelInvocationLog",
    "schemaVersion": "1.0",
    "timestamp": "2024-01-15T12:00:00Z",
    "accountId": "123456789012",
    "region": "us-east-1",
    "requestId": "abcd1234-5678-efgh-ijkl-mnopqrstuvwx",
    "operation": "InvokeModel",
    "modelId": "anthropic.claude-3-haiku-20240307-v1:0",
    "requestMetadata": {
        "team": "orchestrator",
        "environment": "preview-test",
        "test_case": "invoke_model_sync"
    },
    "input":  { "...": "..." },
    "output": { "...": "..." }
}

Puede filtrar y agregar registros por campos de metadatos en Amazon CloudWatch Logs Insights, en las herramientas de consulta de Amazon S3, como Amazon Athena, o en cualquier otro sistema que lea los registros de invocación.

Consideraciones

  • Los valores de los metadatos de las solicitudes se registran solo cuando el registro de invocaciones del modelo está habilitado en las llamadas. Región de AWS Si el registro no está configurado, la solicitud sigue siendo correcta, pero los metadatos no se conservan.

  • Los metadatos de la solicitud no se entregan como una etiqueta de asignación de AWS costos y no aparecen en AWS Cost Explorer ni en CUR. Para analizar los costos por dimensión de metadatos, combine sus registros de invocación con su informe de costos y uso o agregue los recuentos de tokens directamente a partir de los registros y multiplíquelos por las tarifas por token que figuran en los precios de Amazon Bedrock. requestId Para la atribución que fluye de forma nativa a Cost Explorer y CURPerfiles de inferencia de aplicaciones, Proyectos utilice o. Espacios de trabajo

  • Elija claves estables y de baja cardinalidadteam, como, environmentfeature, o experiment para análisis que sean fáciles de agregar. Utilice valores de cardinalidad más altos, como identificadores de sesión o rastreo, solo cuando necesite rastrear llamadas individuales.

  • Evita incluir información de identificación personal (PII), credenciales u otros datos confidenciales en los metadatos de las solicitudes. Los valores se almacenan en los registros de invocación del modelo y en cualquier sistema que lea esos registros.

  • Los metadatos de solicitud funcionan junto con los demás métodos de seguimiento del uso de Amazon Bedrock. Puede utilizarlos Atribución principal de IAM para la atribución por identidad y Perfiles de inferencia de aplicaciones para las etiquetas de asignación de costes a nivel de recursos en la misma carga de trabajo.