Formateo y carga de los datos de la inferencia por lotes - Amazon Bedrock
Ejemplo de entrada de texto para Anthropic Claude 3 HaikuEjemplo de entrada de vídeo para Amazon NovaEjemplo de entrada inversa

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Formateo y carga de los datos de la inferencia por lotes

Debe añadir los datos de inferencia en lotes a la ubicación de S3 que elija o especifique al enviar un trabajo de invocación de modelos. La ubicación de S3 debe contener los siguientes elementos:

  • Al menos un archivo JSONL que defina las entradas del modelo. Un JSONL contiene filas de objetos JSON. El archivo JSONL debe terminar con la extensión .jsonl y tener el siguiente formato:

    { "recordId" : "alphanumeric string", "modelInput" : {JSON body} }
...

    Cada línea contiene un objeto JSON con un recordId campo y un modelInput campo. El formato del objeto modelInput JSON depende del tipo de invocación del modelo que elija al crear el trabajo de inferencia por lotes. Si utiliza el InvokeModel tipo (predeterminado), el formato debe coincidir con el body campo del modelo que utilice en la InvokeModel solicitud (consulteParámetros de solicitud de inferencia y campos de respuesta para los modelos fundacionales). Si usas el Converse tipo, el formato debe coincidir con el cuerpo de la solicitud de la API de Converse.

    nota

    • Si omite el campo recordId, Amazon Bedrock lo agregará al resultado.

    • No se garantiza que el orden de los registros del archivo JSONL de salida coincida con el orden de los registros del archivo JSONL de entrada.

    • Al crear el trabajo de inferencia en lotes, debe especificar el modelo que desea utilizar.

  • (Si el contenido de entrada contiene una ubicación de Amazon S3) Algunos modelos le permiten definir el contenido de la entrada como una ubicación de S3. Consulte Ejemplo de entrada de vídeo para Amazon Nova.

    aviso

    Al usar S3 URIs en sus indicaciones, todos los recursos deben estar en el mismo depósito y carpeta de S3. El InputDataConfig parámetro debe especificar la ruta de la carpeta que contiene todos los recursos enlazados (como vídeos o imágenes), no solo un .jsonl archivo individual. Tenga en cuenta que las rutas de S3 distinguen entre mayúsculas y minúsculas, así que asegúrese de que URIs coinciden exactamente con la estructura de carpetas.

Asegúrese de que las entradas se ajusten a las cuotas de inferencia en lotes. Puede buscar las siguientes cuotas en Cuotas de servicio de Amazon Bedrock:

  • Número mínimo de registros por trabajo de inferencia en lotes: el número mínimo de registros (objetos JSON) en los archivos JSONL del trabajo.

  • Registros por archivo de entrada para cada trabajo de inferencia en lotes: el número máximo de registros (objetos JSON) en un solo archivo JSONL del trabajo.

  • Registros por trabajo de inferencia en lotes: el número mínimo de registros (objetos JSON) en los archivos JSONL del trabajo.

  • Tamaño del archivo de entrada de inferencia en lotes: el tamaño máximo de un archivo individual del trabajo.

  • Tamaño del trabajo de inferencia en lotes: el tamaño máximo acumulado de todos los archivos de entrada.

Para obtener información sobre cómo configurar sus entradas de inferencia en lotes, consulte los siguientes ejemplos:

Ejemplo de entrada de texto para Anthropic Claude 3 Haiku

Si tiene previsto ejecutar la inferencia en lotes con el formato de la API Messages para el modelo Anthropic Claude 3 Haiku, puede proporcionar un archivo JSONL que contenga el siguiente objeto JSON como una de las líneas:

{
    "recordId": "CALL0000001", 
    "modelInput": {
        "anthropic_version": "bedrock-2023-05-31", 
        "max_tokens": 1024,
        "messages": [ 
            { 
                "role": "user", 
                "content": [
                    {
                        "type": "text", 
                        "text": "Summarize the following call transcript: ..." 
                    } 
                ]
            }
        ]
    }
}

Ejemplo de entrada de vídeo para Amazon Nova

Si tiene previsto realizar la inferencia en lotes en las entradas de vídeo utilizando los modelos Amazon Nova Lite o Amazon Nova Pro, tiene la opción de definir el vídeo en bytes o como una ubicación de S3 en el archivo JSONL. Por ejemplo, es posible que tenga un bucket de S3 cuya ruta sea s3://batch-inference-input-bucket y contenga los siguientes archivos:

s3://batch-inference-input-bucket/
├── videos/
│   ├── video1.mp4
│   ├── video2.mp4
│   ├── ...
│   └── video50.mp4
└── input.jsonl

Un ejemplo de registro del archivo input.jsonl sería el siguiente:

{
    "recordId": "RECORD01",
    "modelInput": {
        "messages": [
            {
                "role": "user",
                "content": [
                    {
                        "text": "You are an expert in recipe videos. Describe this video in less than 200 words following these guidelines: ..."
                    },
                    {
                        "video": {
                            "format": "mp4",
                            "source": {
                                "s3Location": {
                                    "uri": "s3://batch-inference-input-bucket/videos/video1.mp4",
                                    "bucketOwner": "111122223333"
                                }
                            }
                        }
                    }
                ]
            }
        ]
    }
}

Al crear el trabajo de inferencia por lotes, debe especificar la ruta de la carpeta s3://batch-inference-input-bucket en su InputDataConfig parámetro. La inferencia por lotes procesará el input.jsonl archivo en esta ubicación, junto con cualquier recurso al que se haga referencia (como los archivos de vídeo de la videos subcarpeta).

Los siguientes recursos proporcionan más información sobre cómo enviar entradas de vídeo para la inferencia en lotes:

  • Para obtener información sobre cómo validar Amazon S3 URIs en una solicitud de entrada, consulte el blog Amazon S3 URL Parsing.

  • Para obtener más información sobre cómo configurar los registros de invocación para la comprensión mediante vídeo con Nova, consulte las directrices sobre las indicaciones Amazon Nova visuales.

Ejemplo de entrada inversa

Si estableces el tipo de invocación del modelo Converse al crear el trabajo de inferencia por lotes, el modelInput campo debe usar el formato de solicitud de la API de Converse. El siguiente ejemplo muestra un registro JSONL para un trabajo de inferencia por lotes de Converse:

{
    "recordId": "CALL0000001",
    "modelInput": {
        "messages": [
            {
                "role": "user",
                "content": [
                    {
                        "text": "Summarize the following call transcript: ..."
                    }
                ]
            }
        ],
        "inferenceConfig": {
            "maxTokens": 1024
        }
    }
}

Para ver la lista completa de campos admitidos en el cuerpo de la solicitud de Converse, consulta Converse en la referencia de la API.

En el siguiente tema se describe cómo configurar los permisos de acceso a S3 y de inferencia en lotes para que una identidad pueda llevar a cabo la inferencia en lotes.