Création d’une tâche d’évaluation des modèles à l’aide de métriques personnalisées

Ouvrez la console Amazon Bedrock.

Dans le volet de gauche, sous Inférence et évaluation, sélectionnez Évaluations.

Dans le volet Évaluations des modèles, choisissez Créer, puis sélectionnez Automatique : modèle en tant que juge.

Saisissez les informations relatives à l’évaluation de votre modèle en procédant comme suit :

1. Dans le volet Détails de l’évaluation du modèle, sous Nom de l’évaluation, entrez le nom de votre tâche d’évaluation. Le nom que vous choisissez doit être unique dans votre Région AWS.

2. Éventuellement, dans Description – Facultatif, entrez la description de votre tâche d’évaluation.

3. Sous Modèle évaluateur, choisissez Sélectionner un modèle et sélectionnez le modèle d’évaluation que vous souhaitez utiliser pour effectuer votre tâche d’évaluation. Notez que le modèle que vous sélectionnez ici est utilisé pour évaluer votre modèle générateur par rapport aux métriques intégrées que vous sélectionnez. Vous pouvez choisir un autre modèle évaluateur à utiliser pour vos mesures personnalisées à une étape ultérieure.

Entrez la source d’inférence pour votre tâche d’évaluation. Avec les évaluations des modèles Amazon Bedrock, vous pouvez soit évaluer les performances des modèles Amazon Bedrock, soit celles d’autres modèles en fournissant vos propres données de réponse d’inférence dans le jeu de données d’invite. Pour sélectionner un modèle Amazon Bedrock, procédez comme suit :

1. Dans le volet Source d’inférence, sous Sélectionner la source, sélectionnez Modèles Bedrock.

2. Sous Sélectionner le modèle, choisissez Sélectionner le modèle.

3. Dans la fenêtre contextuelle, sélectionnez le modèle que vous souhaitez évaluer et choisissez Appliquer.

4. (Facultatif) Pour modifier les paramètres d’inférence du modèle, pour Configuration d’inférence, choisissez Mettre à jour.

Pour apporter vos propres données de réponse d’inférence, procédez comme suit :

1. Dans le volet Source d’inférence, sous Sélectionner la source, sélectionnez Apporter vos propres réponses d’inférence.

2. Dans Nom de la source, entrez le nom du modèle que vous avez utilisé pour créer les données de réponse. Le nom que vous saisissez doit correspondre au paramètre modelIdentifier de votre jeu de données d’invite.

Choisissez les métriques intégrées que vous souhaitez que le modèle évaluateur utilise pour noter les réponses de votre modèle générateur en les sélectionnant dans le volet Métriques.

Pour ajouter une autre métrique personnalisée, commencez par sélectionner le modèle évaluateur que vous souhaitez utiliser pour évaluer vos métriques. Dans le volet Métriques personnalisées, procédez comme suit :

1. Choisissez Sélectionner le modèle.

2. Dans la fenêtre contextuelle, sélectionnez le modèle que vous souhaitez utiliser.

3. Choisissez Appliquer.

Sous Nom de la métrique, saisissez le nom de votre métrique.

Vous pouvez configurer votre métrique de trois façons : en fournissant un fichier JSON qui spécifie la métrique, en modifiant une invite de métrique intégrée existante à partir d’un modèle ou en saisissant directement dans la console une invite à utiliser par le modèle évaluateur.

Pour créer une métrique à partir d’un fichier JSON, procédez comme suit :

1. Sous Choisir un type de métrique, sélectionnez Importer un fichier JSON.

2. Sous Importer un fichier JSON, choisissez Choisir un fichier.

3. À l’aide du sélecteur de fichiers, sélectionnez le fichier JSON avec votre définition de métrique personnalisée et choisissez Ouvrir. Pour en savoir plus sur le schéma permettant de spécifier une métrique personnalisée à l’aide d’un fichier JSON et découvrir des exemples de fichiers, consultez Création d’un fichier JSON pour créer une métrique personnalisée.

4. (Facultatif) Pour créer une autre métrique, choisissez Ajouter des métriques personnalisées. Vous pouvez créer jusqu’à 10 métriques personnalisées pour une tâche d’évaluation.

   Après avoir créé vos métriques personnalisées, passez à l’étape 13 pour configurer vos jeux de données pour la tâche d’évaluation.

Pour créer une métrique personnalisée à partir d’un modèle intégré, procédez comme suit :

1. Sous Choisir un type de métrique, sélectionnez Utiliser un modèle.

2. Sous Sélectionner un modèle, utilisez la liste déroulante pour choisir une invite de métrique intégrée à utiliser comme point de départ pour votre métrique personnalisée.

3. Sous Instructions, modifiez l’invite que vous avez sélectionnée pour l’adapter à votre propre cas d’utilisation. Pour connaître les bonnes pratiques et obtenir la liste des éléments requis lors de la création d’une invite de métrique personnalisée, consultez Création d’une invite pour une métrique personnalisée.

4. Si vous souhaitez que votre tâche d’évaluation produise des sorties structurées avec des scores classés, laissez la case Schéma de sortie activé (recommandé) cochée. La configuration de votre métrique ne doit pas obligatoirement inclure un schéma de sortie, mais nous vous recommandons d’en définir un. Si vous n’utilisez pas de schéma, les résultats que vous visualisez incluent uniquement des explications, sans scores ni visualisation de données.

5. Sous Type d’échelle, sélectionnez Numérique ou Chaîne en fonction de votre cas d’utilisation, puis saisissez vos définitions d’échelle et de description dans les zones de texte. Pour obtenir des conseils et des bonnes pratiques sur la définition des échelles de sortie, consultez Spécification d’un schéma de sortie (échelle de notation).

6. (Facultatif) Pour créer une autre métrique, choisissez Ajouter des métriques personnalisées. Vous pouvez créer jusqu’à 10 métriques personnalisées pour une tâche d’évaluation.

   Après avoir créé vos métriques personnalisées, passez à l’étape 13 pour configurer vos jeux de données pour la tâche d’évaluation.

Pour créer une métrique personnalisée à partir de zéro dans la console, procédez comme suit :

1. Sous Choisir un type de métrique, sélectionnez Personnalisé.

2. Sous Instructions, saisissez l’invite pour votre métrique personnalisée directement dans la zone de texte. Pour connaître les bonnes pratiques et obtenir la liste des éléments requis lors de la création d’une invite de métrique personnalisée, consultez Construction d’invite et bonnes pratiques.

3. Si vous souhaitez que votre tâche d’évaluation produise des sorties structurées avec des scores classés, laissez la case Schéma de sortie activé (recommandé) cochée. La configuration de votre métrique ne doit pas obligatoirement inclure un schéma de sortie, mais nous vous recommandons d’en définir un. Si vous n’utilisez pas de schéma, les résultats que vous visualisez incluent uniquement des explications, sans scores ni visualisation de données.

4. Sous Type d’échelle, sélectionnez Numérique ou Chaîne en fonction de votre cas d’utilisation, puis saisissez vos définitions d’échelle et de description dans les zones de texte. Pour obtenir des conseils et des bonnes pratiques sur la définition des échelles de sortie, consultez Spécification d’un schéma de sortie (échelle de notation).

5. (Facultatif) Pour en créer une autre, choisissez Ajouter des métriques personnalisées. Vous pouvez créer jusqu’à 10 métriques personnalisées pour une tâche d’évaluation.

   Après avoir créé vos métriques personnalisées, passez à l’étape suivante afin de configurer vos jeux de données pour la tâche d’évaluation.

Définissez les emplacements d’entrée et de sortie de votre jeu de données et de vos résultats en procédant comme suit :

1. Dans le volet Jeux de données, sous Choisir un jeu de données d’invite, saisissez l’URI Amazon S3 de votre jeu de données d’invite ou cliquez sur Parcourir S3 et sélectionnez votre fichier. Pour voir une définition du format de jeu de données d’invite requis pour une tâche d’évaluation basée sur un modèle en tant que juge, consultez Création d’un jeu de données d’invite pour une tâche d’évaluation des modèles qui utilise un modèle en tant que juge.

2. Sous Résultats de l’évaluation, saisissez un emplacement Amazon S3 pour Amazon Bedrock afin d’enregistrer vos résultats ou cliquez sur Parcourir S3 pour sélectionner un emplacement.

Sous Rôle IAM Amazon Bedrock : autorisations, sélectionnez Créer et utiliser un nouveau rôle de service pour qu’Amazon Bedrock crée un nouveau rôle IAM pour la tâche d’évaluation, ou sélectionnez Utiliser un rôle de service existant pour sélectionner un rôle IAM existant. Pour obtenir la liste des autorisations requises pour créer et exécuter une tâche d’évaluation, consultez Conditions préalables.

(Facultatif) Pour utiliser votre propre clé KMS afin de chiffrer vos données d’évaluation, sous Clé KMS – Facultatif, cochez Personnaliser les paramètres de chiffrement (avancé) et sélectionnez votre clé AWS KMS. Par défaut, Amazon Bedrock chiffre les données de votre tâche d’évaluation à l’aide d’une clé KMS détenue par AWS.

Cliquez sur Créer pour terminer la création de votre tâche d’évaluation.