Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

# Creación de un trabajo de evaluación de modelos con un LLM como juez
<a name="model-evaluation-judge-create"></a>

Puede crear un trabajo de evaluación de modelos mediante el Consola de administración de AWS AWS CLI, o un AWS SDK compatible.

Este tipo de trabajo requiere el acceso a un modelo evaluador. Si está evaluando el rendimiento de un modelo de Amazon Bedrock, también necesita acceder a ese modelo. Ambos modelos deben estar disponibles en la misma Región de AWS. Para obtener una lista de los modelos generadores y evaluadores admitidos, consulte [Modelos compatibles](evaluation-judge.md#evaluation-judge-supported).

## Requisitos previos
<a name="model-evaluation-judge-create-prereqs"></a>

Además de tener acceso a al menos un modelo evaluador, para crear un trabajo de evaluación que utilice un LLM como juez, también necesita ciertos permisos de rol de servicio de IAM. Para obtener más información sobre las acciones necesarias y los requisitos de la política de confianza, consulte [Permisos del rol de servicio necesarios para crear un trabajo de evaluación del modelos con un modelo de juez](judge-service-roles.md).

Al crear el trabajo, debe especificar un conjunto de datos de peticiones en un bucket de Amazon S3 y un bucket de salida en el que almacenar los resultados. La configuración CORS no es necesaria para los trabajos LLM-as-a-judge de evaluación. Para los trabajos de evaluación realizados por personas, consulte [Permisos de uso compartido de recursos entre orígenes (CORS) requeridos en buckets de S3](model-evaluation-security-cors.md)

Para crear un trabajo en la consola, la consola necesita permiso para realizar un conjunto determinado de acciones y tener acceso a los recursos necesarios. La siguiente política define un conjunto mínimo de permisos de IAM necesarios para crear un trabajo en la consola. En la política, recomendamos utilizar el elemento de política JSON de IAM [Resource](https://docs.aws.amazon.com/IAM/latest/UserGuide/reference_policies_elements_resource.html) para limitar el acceso únicamente a los modelos y buckets necesarios para el usuario, grupo o rol de IAM.

La política de IAM debe conceder acceso a los modelos generadores y evaluadores.

### Permisos necesarios para la consola
<a name="model-evaluation-judge-create-prereqs-permissions"></a>

------
#### [ JSON ]

****  

```
{
    "Version":"2012-10-17",		 	 	 
    "Statement": [
        {
            "Sid": "BedrockConsole",
            "Effect": "Allow",
            "Action": [
                "bedrock:CreateEvaluationJob",
                "bedrock:GetEvaluationJob",
                "bedrock:ListEvaluationJobs",
                "bedrock:StopEvaluationJob",
                "bedrock:GetCustomModel",
                "bedrock:ListCustomModels",
                "bedrock:CreateProvisionedModelThroughput",
                "bedrock:UpdateProvisionedModelThroughput",
                "bedrock:GetProvisionedModelThroughput",
                "bedrock:ListProvisionedModelThroughputs",
                "bedrock:GetImportedModel",
                "bedrock:ListImportedModels",
                "bedrock:ListTagsForResource",
                "bedrock:UntagResource",
                "bedrock:TagResource"
            ],
            "Resource": [
                "arn:aws:bedrock:{{us-west-2}}::foundation-model/*;"
            ]
        },
        {
            "Sid": "AllowConsoleS3AccessForModelEvaluation",
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:GetBucketCORS",
                "s3:ListBucket",
                "s3:ListBucketVersions",
                "s3:GetBucketLocation"
            ],
            "Resource": [
                "arn:aws:s3:::{{amzn-s3-demo-destination-bucket}}/*",
                "arn:aws:s3:::{{input_datasets/prompts.jsonl}}"
            ]
        }
    ]
}
```

------

**nota**  
Esta política de ejemplo otorga permisos para todos los modelos fundacionales de Amazon Bedrock. En un entorno de producción, le recomendamos que siga el principio de [privilegio mínimo](https://docs.aws.amazon.com/IAM/latest/UserGuide/best-practices.html#grant-least-privilege) y solo conceda permisos a los modelos que necesite.

Puede crear un trabajo de evaluación que utilice únicamente las métricas integradas de Amazon Bedrock o puede crear un trabajo que utilice sus propias métricas personalizadas. Para obtener instrucciones sobre la creación de trabajos de evaluación de modelos, consulte las siguientes secciones.

**Topics**
+ [Requisitos previos](#model-evaluation-judge-create-prereqs)
+ [Creación de un trabajo de evaluación de modelos mediante métricas personalizadas](model-evaluation-built-in-metrics.md)
+ [Creación de un trabajo de evaluación del modelo mediante métricas personalizadas](model-evaluation-custom-metrics-create-job.md)