Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra. # Démarrage d’une évaluation des modèles automatique dans Amazon Bedrock Vous pouvez créer une tâche d'évaluation automatique du modèle à l'aide du AWS Management Console AWS CLI, ou d'un AWS SDK compatible. Dans une tâche d’évaluation des modèles automatique, le modèle que vous sélectionnez effectue une inférence à l’aide d’invites provenant d’un jeu de données intégré pris en charge ou de votre propre jeu de données d’invite personnalisé. Pour chaque tâche, vous devez également sélectionner un type de tâche. Le type de tâche vous fournit certaines mesures recommandées et des jeux de données d’invite intégrés. Pour en savoir plus sur les types de tâches et métriques disponibles, consultez [Types de tâches d’évaluation de modèles dans Amazon Bedrock](model-evaluation-tasks.md). Les exemples suivants vous montrent comment créer une tâche d'évaluation automatique de modèles à l'aide de la console Amazon Bedrock et AWS CLI du SDK pour Python. Toutes les tâches d’évaluation des modèles automatiques nécessitent la création d’un rôle de service IAM. Pour plus d’informations sur les exigences IAM nécessaires pour configurer une tâche d’évaluation des modèles, consultez [Exigences de fonction du service pour les tâches d’évaluation de modèle](model-evaluation-security-service-roles.md). Les exemples suivants montrent comment créer une tâche d’évaluation des modèles automatique. Dans l’API, vous pouvez également inclure un [profil d’inférence](cross-region-inference.md) dans la tâche en spécifiant son ARN dans le champ `modelIdentifier`. ------ #### [ Amazon Bedrock console ] Utilisez la procédure suivante pour créer une tâche d’évaluation des modèles à l’aide de la console Amazon Bedrock. Pour finaliser cette procédure, assurez-vous que votre utilisateur, groupe ou rôle IAM dispose des autorisations suffisantes pour accéder à la console. Pour en savoir plus, veuillez consulter la section [Autorisations de la console nécessaires pour créer une tâche d’évaluation automatique de modèles](model-evaluation-type-automatic.md#base-for-automatic). En outre, les autorisations CORS requises doivent être ajoutées au compartiment Amazon S3 pour tous les jeux de données d’invite personnalisés que vous souhaitez spécifier dans la tâche d’évaluation des modèles. Pour plus d’informations sur l’ajout des autorisations CORS nécessaires, consultez [Autorisation CORS (Cross Origin Resource Sharing) nécessaire sur les compartiments S3](model-evaluation-security-cors.md). **Pour créer une tâche d’évaluation des modèles automatique** 1. Ouvrez la console Amazon Bedrock : [https://console.aws.amazon.com/bedrock/home](https://console.aws.amazon.com/bedrock/home) 1. Dans le volet de navigation, choisissez **Évaluation de modèle**. 1. Dans la carte **Élaborer une évaluation**, sous **Automatique**, choisissez **Créer une évaluation automatique**. 1. Sur la page **Créer une évaluation automatique**, fournissez les informations suivantes : 1. **Nom de l’évaluation** : donnez un nom descriptif à la tâche d’évaluation de modèle. Ce nom s’affiche dans votre liste de tâches d’évaluation de modèle. Il doit être unique dans votre compte et au sein d’une Région AWS. 1. **Description** (facultatif) : fournissez éventuellement une description. 1. **Modèles** : choisissez le modèle que vous souhaitez utiliser dans la tâche d’évaluation de modèle. Pour en savoir plus sur les modèles disponibles dans Amazon Bedrock, consultez [Accès aux modèles de fondation Amazon Bedrock](model-access.md). 1. (Facultatif) Pour modifier la configuration de l’inférence, choisissez **mettre à jour**. Le fait de modifier la configuration de l’inférence a pour effet de modifier les réponses générées par les modèles sélectionnés. Pour en savoir plus sur les paramètres d’inférence disponibles, consultez [Paramètres de demande d’inférence et champs de réponse pour les modèles de fondation](model-parameters.md). 1. **Type de tâche** : choisissez le type de tâche que le modèle doit tenter d’effectuer dans la tâche d’évaluation de modèle. 1. **Métriques et jeux de données** : la liste des métriques et des jeux de données de requêtes disponibles change en fonction de la tâche sélectionnée. Vous pouvez effectuer un choix dans la liste **Jeux de données intégrés disponibles** ou choisir **Utiliser votre jeu de données de requêtes**. Si vous choisissez d’utiliser votre propre jeu de données d’invite, saisissez l’URI S3 exact de votre fichier de jeu de données d’invite ou choisissez **Parcourir S3** pour rechercher votre jeu de données d’invite. 1. **Résultats de l’évaluation** : vous devez spécifier l’URI S3 du répertoire où doivent être enregistrés les résultats. Choisissez **Parcourir S3** pour rechercher un emplacement dans Amazon S3. 1. (Facultatif) Pour utiliser une clé gérée par le client, sélectionnez la case **Personnaliser les paramètres de chiffrement (avancé)**. Indiquez ensuite l’ARN de la clé AWS KMS que vous souhaitez utiliser. 1. **Rôle IAM Amazon Bedrock** : choisissez **Utiliser un rôle existant** pour utiliser un rôle de service IAM disposant déjà des autorisations requises, ou choisissez **Créer un nouveau rôle** pour créer un nouveau rôle de service IAM. 1. Ensuite, choisissez **Créer**. Une fois que le statut passe à **Terminé**, vous pouvez consulter le bulletin d’évaluation de la tâche. ------ #### [ SDK for Python ] L’exemple suivant crée une tâche d’évaluation automatique à l’aide de Python. ``` import boto3 client = boto3.client('bedrock') job_request = client.create_evaluation_job( jobName="api-auto-job-titan", jobDescription="two different task types", roleArn="arn:aws:iam::111122223333:role/role-name", inferenceConfig={ "models": [ { "bedrockModel": { "modelIdentifier":"arn:aws:bedrock:us-west-2::foundation-model/amazon.titan-text-lite-v1", "inferenceParams":"{\"inferenceConfig\":{\"maxTokens\": 512,\"temperature\":0.7,\"topP\":0.9}}" } } ] }, outputDataConfig={ "s3Uri":"s3://amzn-s3-demo-bucket-model-evaluations/outputs/" }, evaluationConfig={ "automated": { "datasetMetricConfigs": [ { "taskType": "QuestionAndAnswer", "dataset": { "name": "Builtin.BoolQ" }, "metricNames": [ "Builtin.Accuracy", "Builtin.Robustness" ] } ] } } ) print(job_request) ``` ------ #### [ AWS CLI ] Dans le AWS CLI, vous pouvez utiliser la `help` commande pour voir quels paramètres sont obligatoires et quels paramètres sont facultatifs lors de la spécification `create-evaluation-job` dans le AWS CLI. ``` aws bedrock create-evaluation-job help ``` ``` aws bedrock create-evaluation-job \ --job-name 'automatic-eval-job-cli-001' \ --role-arn 'arn:aws:iam::111122223333:role/role-name' \ --evaluation-config '{"automated": {"datasetMetricConfigs": [{"taskType": "QuestionAndAnswer","dataset": {"name": "Builtin.BoolQ"},"metricNames": ["Builtin.Accuracy","Builtin.Robustness"]}]}}' \ --inference-config '{"models": [{"bedrockModel": {"modelIdentifier":"arn:aws:bedrock:us-west-2::foundation-model/amazon.titan-text-lite-v1","inferenceParams":"{\"inferenceConfig\":{\"maxTokens\": 512,\"temperature\":0.7,\"topP\":0.9}}"}}]}' \ --output-data-config '{"s3Uri":"s3://automatic-eval-jobs/outputs"}' ``` ------