Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés. # Inicio de un trabajo de evaluación automática de modelos en Amazon Bedrock Puede crear un trabajo de evaluación automática de modelos utilizando el Consola de administración de AWS AWS CLI, o un AWS SDK compatible. En un trabajo de evaluación automática de modelos, el modelo que seleccione realiza la inferencia mediante peticiones de un conjunto de datos integrado compatible o su propio conjunto de datos de peticiones personalizado. Cada trabajo también requiere que seleccione un tipo de tarea. El tipo de tarea proporciona algunas métricas recomendadas y conjuntos de datos de peticiones integrado. Para obtener más información sobre los tipos de tareas y métricas disponibles, consulte [Tipos de tareas de evaluación del modelo en Amazon Bedrock](model-evaluation-tasks.md). Los siguientes ejemplos muestran cómo crear un trabajo de evaluación automática de modelos mediante la consola Amazon Bedrock AWS CLI, el SDK para Python. Todos los trabajos automáticos de evaluación del modelo requieren la creación de un rol de servicio de IAM. Para obtener más información acerca de los requisitos de IAM para configurar un trabajo de evaluación del modelo, consulte [Requisitos de rol de servicio para los trabajos de evaluación de modelos](model-evaluation-security-service-roles.md). Los siguientes ejemplos muestran cómo crear un trabajo automático de evaluación del modelo. En la API, también puede incluir un [perfil de inferencia](cross-region-inference.md) en el trabajo especificando su ARN en el campo `modelIdentifier`. ------ #### [ Amazon Bedrock console ] Utilice el siguiente procedimiento para crear un trabajo de evaluación del modelo en la consola de Amazon Bedrock. Para completar este procedimiento correctamente, asegúrese de que el usuario, grupo o rol de IAM tiene los permisos necesarios para acceder a la consola. Para obtener más información, consulte [Permisos de la consola necesarios para crear un trabajo automático de evaluación del modelo](model-evaluation-type-automatic.md#base-for-automatic). Además, si va a crear un trabajo de evaluación de modelos basado en humanos, el bucket de salida de Amazon S3 debe tener los permisos CORS necesarios. Para obtener más información, consulte [Permisos de uso compartido de recursos entre orígenes (CORS) requeridos en buckets de S3](model-evaluation-security-cors.md). **Creación de un trabajo automático de evaluación del modelo** 1. Abre la consola Amazon Bedrock: [https://console.aws.amazon.com/bedrock/home](https://console.aws.amazon.com/bedrock/home) 1. En el panel de navegación, elija **Evaluación de modelo**. 1. En la tarjeta **Crear una evaluación**, en **Automático**, elija **Crear evaluación automática**. 1. En la página **Crear evaluación automática**, proporcione la siguiente información 1. **Nombre de la evaluación**: asigne al trabajo de evaluación de modelos un nombre que describa el trabajo. Este nombre se muestra en su lista de trabajos de evaluación de modelos. El nombre debe ser único en su cuenta en una Región de AWS. 1. **Descripción** (opcional): proporcione una descripción opcional. 1. **Modelos**: elija el modelo que desee utilizar en el trabajo de evaluación de modelos. Para obtener más información sobre los modelos disponibles y cómo acceder a ellos en Amazon Bedrock, consulte [Solicita acceso a los modelos](model-access.md). 1. (Opcional) Para cambiar la configuración de inferencia, elija **actualizar**. Al cambiar la configuración de inferencia, se cambian las respuestas generadas por los modelos seleccionados. Para obtener más información sobre los parámetros de inferencia disponibles, consulte [Parámetros de solicitud de inferencia y campos de respuesta para los modelos fundacionales](model-parameters.md). 1. **Tipo de tarea**: elija el tipo de tarea que desea que el modelo intente realizar durante el trabajo de evaluación de modelos. 1. **Métricas y conjuntos de datos**: la lista de métricas disponibles y los conjuntos de datos de peticiones integrados cambian en función de la tarea que seleccione. Puede elegir de la lista de **Conjuntos de datos integrados disponibles** o puede elegir **Usar su propio conjunto de datos de peticiones**. Si decide utilizar su propio conjunto de datos de peticiones, introduzca el URI de S3 exacto de su archivo de conjunto de peticiones o seleccione **Explorar S3** para buscar el conjunto de datos de peticiones. 1. **Resultados de la evaluación**: especifique el URI de S3 del directorio en el que desee guardar los resultados. Elija **Explorar S3** para buscar una ubicación en Amazon S3. 1. (Opcional) Para habilitar el uso de una clave administrada por el cliente, seleccione **Personalizar configuración de cifrado (avanzada)**. A continuación, introduzca el ARN de la clave de AWS KMS que desee utilizar. 1. **Rol de IAM de Amazon Bedrock**: elija **Utilizar un rol existente** para usar el rol de servicio de IAM que ya tenga los permisos necesarios o elija **Crear un nuevo rol** para crear un nuevo rol de servicio de IAM. 1. A continuación, elija **Crear**. Cuando el estado cambie a **Completado**, podrá ver la tarjeta del informe del trabajo. ------ #### [ SDK for Python ] En el siguiente ejemplo se crea un trabajo de evaluación automática mediante Python. ``` import boto3 client = boto3.client('bedrock') job_request = client.create_evaluation_job( jobName="api-auto-job-titan", jobDescription="two different task types", roleArn="arn:aws:iam::111122223333:role/role-name", inferenceConfig={ "models": [ { "bedrockModel": { "modelIdentifier":"arn:aws:bedrock:us-west-2::foundation-model/amazon.titan-text-lite-v1", "inferenceParams":"{\"inferenceConfig\":{\"maxTokens\": 512,\"temperature\":0.7,\"topP\":0.9}}" } } ] }, outputDataConfig={ "s3Uri":"s3://amzn-s3-demo-bucket-model-evaluations/outputs/" }, evaluationConfig={ "automated": { "datasetMetricConfigs": [ { "taskType": "QuestionAndAnswer", "dataset": { "name": "Builtin.BoolQ" }, "metricNames": [ "Builtin.Accuracy", "Builtin.Robustness" ] } ] } } ) print(job_request) ``` ------ #### [ AWS CLI ] En el AWS CLI, puede utilizar el `help` comando para ver qué parámetros son obligatorios y qué parámetros son opcionales al especificarlos `create-evaluation-job` en el AWS CLI. ``` aws bedrock create-evaluation-job help ``` ``` aws bedrock create-evaluation-job \ --job-name 'automatic-eval-job-cli-001' \ --role-arn 'arn:aws:iam::111122223333:role/role-name' \ --evaluation-config '{"automated": {"datasetMetricConfigs": [{"taskType": "QuestionAndAnswer","dataset": {"name": "Builtin.BoolQ"},"metricNames": ["Builtin.Accuracy","Builtin.Robustness"]}]}}' \ --inference-config '{"models": [{"bedrockModel": {"modelIdentifier":"arn:aws:bedrock:us-west-2::foundation-model/amazon.titan-text-lite-v1","inferenceParams":"{\"inferenceConfig\":{\"maxTokens\": 512,\"temperature\":0.7,\"topP\":0.9}}"}}]}' \ --output-data-config '{"s3Uri":"s3://automatic-eval-jobs/outputs"}' ``` ------