Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
# Personnalisation de modèles avec Amazon AI SageMaker
La personnalisation des modèles d' SageMaker IA d'Amazon est une fonctionnalité qui transforme le processus traditionnellement complexe et fastidieux de personnalisation des modèles d'IA en un flux de travail rationalisé pouvant être réalisé en quelques jours. Cette fonctionnalité répond au défi critique auquel sont confrontés les développeurs d'IA qui doivent personnaliser les modèles de base à l'aide de données propriétaires afin de créer des expériences client hautement différenciées. Une documentation de personnalisation détaillée, y compris step-by-step des guides et des options de configuration avancées, est fournie dans ce guide sur l' SageMaker IA. Pour un bref aperçu de la personnalisation des modèles Nova, consultez la section [Personnaliser et peaufiner avec SageMaker](https://docs.aws.amazon.com/nova/latest/userguide/customize-fine-tune-sagemaker.html) dans le guide de l'utilisateur Amazon Nova.
Cette fonctionnalité inclut une nouvelle interface utilisateur guidée qui comprend les exigences du langage naturel, ainsi qu'une suite complète de techniques avancées de personnalisation des modèles, le tout alimenté par une infrastructure sans serveur qui élimine les frais opérationnels liés à la gestion des ressources informatiques. Que vous développiez des applications de recherche juridique, que vous amélioriez les chatbots du service client ou que vous développiez des agents d'intelligence artificielle spécifiques à un domaine, cette fonctionnalité accélère votre passage proof-of-concept au déploiement en production.
Les fonctionnalités de personnalisation des modèles optimisées par Amazon Bedrock Evaluations peuvent transmettre des données en toute sécurité Régions AWS au sein de votre zone géographique à des fins de traitement. Pour plus d'informations, consultez la [documentation d'Amazon Bedrock Evaluations](https://docs.aws.amazon.com/bedrock/latest/userguide/evaluation-judge.html).
## Concepts clés
**Formation sans serveur**
Une infrastructure informatique entièrement gérée qui élimine toute complexité de l'infrastructure, vous permettant de vous concentrer uniquement sur le développement de modèles. Cela inclut le provisionnement automatique des instances GPU (P5, P4de, P4d, G5) en fonction de la taille du modèle et des exigences de formation, des recettes de formation préoptimisées intégrant les meilleures pratiques pour chaque technique de personnalisation, une surveillance en temps réel avec des métriques en temps réel et des journaux accessibles via l'interface utilisateur, et le nettoyage automatique des ressources à la fin de la formation afin d'optimiser les coûts.
**Techniques de personnalisation des modèles**
Ensemble complet de méthodes avancées, notamment le réglage fin supervisé (SFT), l'optimisation directe des préférences (DPO), l'apprentissage par renforcement avec récompenses vérifiables (RLVR) et l'apprentissage par renforcement avec feedback basé sur l'IA (RLAIF).
**Modèle personnalisé**
Version spécialisée d'un modèle de base qui a été adaptée à un cas d'utilisation spécifique en l'entraînant sur vos propres données, ce qui a permis d'obtenir un modèle d'IA qui conserve les fonctionnalités générales du modèle de base d'origine tout en ajoutant des connaissances, une terminologie, un style ou un comportement spécifiques au domaine, adaptés à vos besoins.
**Ressources de personnalisation des modèles d'IA**
Ressources et artefacts utilisés pour entraîner, affiner et évaluer des modèles personnalisés au cours du processus de personnalisation des modèles. ***Ces actifs incluent des **ensembles** de données, qui sont des collections d'exemples d'entraînement (paires prompte-réponse, texte spécifique à un domaine ou données étiquetées) utilisés pour affiner un modèle de base afin d'apprendre des comportements, des connaissances ou des styles spécifiques, et des **évaluateurs**, qui sont des mécanismes permettant d'évaluer et d'améliorer les performances du modèle par le biais de ***fonctions de récompense*** (logique basée sur le code qui note les résultats du modèle en fonction de critères spécifiques, utilisée dans la formation RLVR et l'évaluation personnalisée des scores) ou des invites de récompense (*** instructions en langage naturel qui guident un LLM pour évaluer la qualité des réponses du modèle, utilisées dans le cadre de la formation et LLM-as-a-judge de l'évaluation du RLAIF).
**Groupe de packages modèles**
Un conteneur de collecte qui permet de suivre tous les modèles enregistrés lors des tâches de formation, fournissant un emplacement centralisé pour les versions des modèles et leur lignée.
**Modèle enregistré**
Résultat créé par l' SageMaker IA lors de l'exécution de tâches de formation sans serveur. Il peut s'agir d'un modèle affiné (tâche réussie), d'un point de contrôle (tâche échouée avec point de contrôle) ou de métadonnées associées (tâche échouée sans point de contrôle).
**Modèle enregistré**
Un modèle enregistré qui a été marqué à des fins formelles de suivi et de gouvernance, permettant une gestion complète du lignage et du cycle de vie.
**Lignée**
Les relations entre les tâches de formation, les ensembles de données d'entrée, les modèles de sortie, les tâches d'évaluation et les déploiements sur SageMaker AI et Amazon Bedrock ont été capturées automatiquement.
**Partage entre comptes**
Possibilité de partager des modèles, des ensembles de données et des évaluateurs entre AWS comptes à l'aide de AWS Resource Access Manager (RAM) tout en conservant une visibilité complète du lignage.
# Personnalisation des modèles Amazon Nova sur Amazon AI SageMaker
Ce sujet a été déplacé. Pour obtenir les dernières informations, consultez la section Personnalisation des modèles Amazon Nova sur Amazon SageMaker AI dans le guide de l'[utilisateur Amazon Nova 1.0 ou le guide](https://docs.aws.amazon.com//nova/latest/userguide/nova-model.html) de l'[utilisateur Amazon Nova 2.0](https://docs.aws.amazon.com//nova/latest/nova2-userguide/nova-model.html).
# Formules Amazon Nova
Ce sujet a été déplacé. Pour obtenir les informations les plus récentes, consultez les recettes Amazon Nova dans le guide de [l'utilisateur Amazon Nova 1.0 ou dans le guide](https://docs.aws.amazon.com//nova/latest/userguide/nova-model-recipes.html) de [l'utilisateur Amazon Nova 2.0](https://docs.aws.amazon.com//nova/latest/nova2-userguide/nova-model-recipes.html).
# Personnalisation d'Amazon Nova pour les tâches SageMaker de formation
Ce sujet a été déplacé. Pour obtenir les dernières informations, consultez la section Personnalisation d'Amazon Nova pour les tâches de SageMaker formation dans le guide de [l'utilisateur Amazon Nova 1.0 ou le guide](https://docs.aws.amazon.com//nova/latest/userguide/nova-model-training-job.html) de [l'utilisateur Amazon Nova 2.0](https://docs.aws.amazon.com//nova/latest/nova2-userguide/nova-model-training-job.html).
**Topics**
+ [Distillation Amazon Nova](nova-distillation.md)
+ [SDK de personnalisation Nova](nova-customization-sdk.md)
+ [Affiner les modèles Amazon Nova à l'aide de tâches SageMaker de formation](nova-fine-tuning-training-job.md)
+ [Suivi des progrès au fil des itérations](nova-model-monitor.md)
+ [Évaluation de votre modèle entraîné par SageMaker l'IA](nova-model-evaluation.md)
# Distillation Amazon Nova
Ce sujet a été déplacé. Pour obtenir les informations les plus récentes, consultez Amazon Nova distillation dans le [guide de l'utilisateur d'Amazon Nova 1.0](https://docs.aws.amazon.com//nova/latest/userguide/nova-distillation.html).
# SDK de personnalisation Nova
Le SDK de personnalisation Amazon Nova est un SDK Python complet permettant de personnaliser les modèles Amazon Nova tout au long de leur cycle de vie, de la formation et de l'évaluation au déploiement et à l'inférence.
Ce sujet a été déplacé. Pour obtenir les dernières informations, consultez le SDK de personnalisation Nova dans le guide de l'[utilisateur Amazon Nova 1.0 ou dans le guide](https://docs.aws.amazon.com//nova/latest/userguide/nova-customization-sdk.html) de l'[utilisateur Amazon Nova 2.0](https://docs.aws.amazon.com//nova/latest/nova2-userguide/nova-customization-sdk.html).
# Affiner les modèles Amazon Nova à l'aide de tâches SageMaker de formation
Ce sujet a été déplacé. Pour obtenir les informations les plus récentes, consultez la section Optimisation des modèles Amazon Nova à l'aide de tâches de SageMaker formation dans le guide de [l'utilisateur Amazon Nova 1.0 ou le guide](https://docs.aws.amazon.com//nova/latest/userguide/nova-fine-tune-1.html) de l'[utilisateur Amazon Nova 2.0](https://docs.aws.amazon.com//nova/latest/nova2-userguide/smtj-training.html).
# Suivi des progrès au fil des itérations
Ce sujet a été déplacé. Pour obtenir les informations les plus récentes, consultez la section Surveillance de la progression entre les itérations dans le guide de [l'utilisateur Amazon Nova 1.0 ou le guide](https://docs.aws.amazon.com//nova/latest/userguide/nova-model-monitor.html) de l'[utilisateur Amazon Nova 2.0](https://docs.aws.amazon.com//nova/latest/nova2-userguide/nova-model-monitor.html).
# Évaluation de votre modèle entraîné par SageMaker l'IA
Ce sujet a été déplacé. Pour obtenir les dernières informations, consultez la section Évaluation de votre modèle SageMaker entraîné par l'IA dans le guide de [l'utilisateur d'Amazon Nova 1.0 ou le guide](https://docs.aws.amazon.com//nova/latest/userguide/nova-model-evaluation.html) de l'[utilisateur d'Amazon Nova 2.0](https://docs.aws.amazon.com//nova/latest/nova2-userguide/nova-model-evaluation.html).
# Personnalisation d'Amazon Nova sur Amazon SageMaker HyperPod
Ce sujet a été déplacé. Pour obtenir les dernières informations, consultez la section Personnalisation d'Amazon Nova sur Amazon SageMaker HyperPod dans le guide de [l'utilisateur Amazon Nova 1.0 ou le guide](https://docs.aws.amazon.com//nova/latest/userguide/nova-hp.html) de [l'utilisateur Amazon Nova 2.0](https://docs.aws.amazon.com//nova/latest/nova2-userguide/nova-hp.html).
# SDK de personnalisation Nova
Ce sujet a été déplacé. Pour obtenir les dernières informations, consultez le SDK de personnalisation Nova dans le guide de l'[utilisateur Amazon Nova 1.0 ou dans le guide](https://docs.aws.amazon.com//nova/latest/userguide/nova-hp-customization-sdk.html) de l'[utilisateur Amazon Nova 2.0](https://docs.aws.amazon.com//nova/latest/nova2-userguide/nova-hp-customization-sdk.html).
# Guide des commandes Amazon HyperPod Essential
Ce sujet a été déplacé. Pour obtenir les informations les plus récentes, consultez le guide des commandes SageMaker HyperPod essentielles dans le guide de [l'utilisateur Amazon Nova 1.0 ou dans le guide](https://docs.aws.amazon.com//nova/latest/userguide/nova-hp-essential-commands-guide.html) de [l'utilisateur Amazon Nova 2.0](https://docs.aws.amazon.com//nova/latest/nova2-userguide/nova-hp-essential-commands-guide.html).
# Création d'un cluster HyperPod EKS avec un groupe d'instances restreint (RIG)
Ce sujet a été déplacé. Pour obtenir les dernières informations, consultez la section Création d'un cluster SageMaker HyperPod EKS avec RIG dans le guide de [l'utilisateur Amazon Nova 1.0 ou le guide](https://docs.aws.amazon.com//nova/latest/userguide/nova-hp-cluster.html) de [l'utilisateur Amazon Nova 2.0](https://docs.aws.amazon.com//nova/latest/nova2-userguide/nova-hp-cluster.html).
# Accès à Nova Forge et configuration pour l' SageMaker IA HyperPod
Ce sujet a été déplacé. Pour obtenir les dernières informations, consultez la section Accès à Nova Forge et configuration pour l' SageMaker IA HyperPod dans le guide de [l'utilisateur Amazon Nova 1.0 ou le guide](https://docs.aws.amazon.com//nova/latest/userguide/nova-forge-hp-access.html) de [l'utilisateur Amazon Nova 2.0](https://docs.aws.amazon.com//nova/latest/nova2-userguide/nova-forge-hp-access.html).
# Formation pour les modèles Amazon Nova
Ce sujet a été déplacé. Pour obtenir les informations les plus récentes, consultez la section Formation pour les modèles Amazon Nova dans le guide de [l'utilisateur Amazon Nova 1.0 ou dans le guide](https://docs.aws.amazon.com//nova/latest/userguide/nova-hp-training.html) de [l'utilisateur Amazon Nova 2.0](https://docs.aws.amazon.com//nova/latest/nova2-userguide/nova-hp-training.html).
# Réglage précis des modèles Amazon Nova sur Amazon SageMaker HyperPod
Ce sujet a été déplacé. Pour obtenir les informations les plus récentes, consultez la section Réglage précis des modèles Amazon Nova sur Amazon SageMaker HyperPod dans le [guide de l'utilisateur Amazon Nova 1.0](https://docs.aws.amazon.com//nova/latest/userguide/nova-hp-fine-tune.html).
# Évaluation de votre modèle entraîné
Ce sujet a été déplacé. Pour obtenir les dernières informations, consultez la section Évaluation de votre modèle entraîné dans le guide de l'[utilisateur d'Amazon Nova 1.0 ou le guide](https://docs.aws.amazon.com//nova/latest/userguide/nova-hp-evaluate.html) de l'[utilisateur d'Amazon Nova 2.0](https://docs.aws.amazon.com//nova/latest/nova2-userguide/nova-hp-evaluate.html).
# Entraînement itératif
La formation itérative vous permet d'améliorer les performances des modèles grâce à plusieurs cycles de formation, en vous appuyant sur les points de contrôle précédents pour traiter systématiquement les modes de défaillance et vous adapter à l'évolution des exigences.
Ce sujet a été déplacé. Pour obtenir les informations les plus récentes, consultez la section Formation itérative du guide de [l'utilisateur Amazon Nova 1.0 ou du guide](https://docs.aws.amazon.com//nova/latest/userguide/nova-iterative-training.html) de l'[utilisateur Amazon Nova 2.0](https://docs.aws.amazon.com//nova/latest/nova2-userguide/nova-iterative-training.html).
# Inférence Amazon Bedrock
Ce sujet a été déplacé. Pour obtenir les informations les plus récentes, consultez l'inférence Amazon Bedrock dans le guide de [l'utilisateur d'Amazon Nova 1.0 ou dans le guide](https://docs.aws.amazon.com//nova/latest/userguide/nova-model-bedrock-inference.html) de l'[utilisateur d'Amazon Nova 2.0](https://docs.aws.amazon.com//nova/latest/nova2-userguide/nova-model-bedrock-inference.html).
# Limites liées à la personnalisation des modèles Amazon Nova
Ce sujet a été déplacé. Pour obtenir les dernières informations, consultez la section Limitations relatives à la personnalisation des modèles Amazon Nova dans le [guide de l'utilisateur d'Amazon Nova 2.0](https://docs.aws.amazon.com//nova/latest/nova2-userguide/nova-model-limitations.html).
# Personnalisation ouverte du modèle de poids
Cette section explique le processus de démarrage de la personnalisation des modèles à poids ouvert.
**Topics**
+ [Conditions préalables](model-customize-open-weight-prereq.md)
+ [Création de ressources pour la personnalisation des modèles dans l'interface utilisateur](model-customize-open-weight-create-assets-ui.md)
+ [Soumission de tâches de personnalisation de modèles d'IA](model-customize-open-weight-job.md)
+ [Soumission d'une tâche d'évaluation du modèle](model-customize-open-weight-evaluation.md)
+ [Déploiement de modèles](model-customize-open-weight-deployment.md)
+ [Exemples d'ensembles de données et d'évaluateurs](model-customize-open-weight-samples.md)
# Conditions préalables
Avant de commencer, effectuez les opérations obligatoires suivantes :
+ Intégrez un domaine SageMaker AI avec accès à Studio. Si vous n’êtes pas autorisé à définir Studio comme expérience par défaut pour votre domaine, contactez votre administrateur. Pour plus d'informations, consultez la [présentation du domaine Amazon SageMaker AI](https://docs.aws.amazon.com/sagemaker/latest/dg/gs-studio-onboard.html).
+ Mettez à jour le AWS CLI en suivant les étapes de [la section Installation de la AWS CLI version actuelle](https://docs.aws.amazon.com/cli/latest/userguide/install-cliv1.html#install-tool-bundled).
+ À partir de votre ordinateur local, exécutez `aws configure` et fournissez vos informations d’identification AWS . Pour plus d'informations sur les AWS informations d'identification, voir [Comprendre et obtenir vos AWS informations d'identification](https://docs.aws.amazon.com/IAM/latest/UserGuide/security-creds.html).
## Autorisations IAM requises
SageMaker La personnalisation du modèle d'IA nécessite l'ajout d'autorisations appropriées à l'exécution de votre domaine d' SageMaker IA. Pour ce faire, vous pouvez créer une politique d'autorisations IAM intégrée et l'associer au rôle IAM. Pour plus d'informations sur l'ajout de politiques, consultez la section [Ajout et suppression d'autorisations d'identité IAM](https://docs.aws.amazon.com/IAM/latest/UserGuide/access_policies_manage-attach-detach.html) dans le *guide de l'utilisateur AWS d'Identity and Access Management*.
```
{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "AllowNonAdminStudioActions",
"Effect": "Allow",
"Action": [
"sagemaker:CreatePresignedDomainUrl",
"sagemaker:DescribeDomain",
"sagemaker:DescribeUserProfile",
"sagemaker:DescribeSpace",
"sagemaker:ListSpaces",
"sagemaker:DescribeApp",
"sagemaker:ListApps"
],
"Resource": [
"arn:aws:sagemaker:*:*:domain/*",
"arn:aws:sagemaker:*:*:user-profile/*",
"arn:aws:sagemaker:*:*:app/*",
"arn:aws:sagemaker:*:*:space/*"
]
},
{
"Sid": "LambdaListPermissions",
"Effect": "Allow",
"Action": [
"lambda:ListFunctions"
],
"Resource": [
"*"
]
},
{
"Sid": "LambdaPermissionsForRewardFunction",
"Effect": "Allow",
"Action": [
"lambda:CreateFunction",
"lambda:DeleteFunction",
"lambda:InvokeFunction",
"lambda:GetFunction"
],
"Resource": [
"arn:aws:lambda:*:*:function:*SageMaker*",
"arn:aws:lambda:*:*:function:*sagemaker*",
"arn:aws:lambda:*:*:function:*Sagemaker*"
],
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "LambdaLayerForAWSSDK",
"Effect": "Allow",
"Action": [
"lambda:GetLayerVersion"
],
"Resource": [
"arn:aws:lambda:*:336392948345:layer:AWSSDK*"
]
},
{
"Sid": "SageMakerPublicHubPermissions",
"Effect": "Allow",
"Action": [
"sagemaker:ListHubContents"
],
"Resource": [
"arn:aws:sagemaker:*:aws:hub/SageMakerPublicHub"
]
},
{
"Sid": "SageMakerHubPermissions",
"Effect": "Allow",
"Action": [
"sagemaker:ListHubs",
"sagemaker:ListHubContents",
"sagemaker:DescribeHubContent",
"sagemaker:DeleteHubContent",
"sagemaker:ListHubContentVersions",
"sagemaker:Search"
],
"Resource": [
"*"
],
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "JumpStartAccess",
"Effect": "Allow",
"Action": [
"s3:GetObject",
"s3:ListBucket"
],
"Resource": [
"arn:aws:s3:::jumpstart*"
]
},
{
"Sid": "ListMLFlowOperations",
"Effect": "Allow",
"Action": [
"sagemaker:ListMlflowApps",
"sagemaker:ListMlflowTrackingServers"
],
"Resource": [
"*"
]
},
{
"Sid": "MLFlowAccess",
"Effect": "Allow",
"Action": [
"sagemaker:UpdateMlflowApp",
"sagemaker:DescribeMlflowApp",
"sagemaker:CreatePresignedMlflowAppUrl",
"sagemaker:CallMlflowAppApi",
"sagemaker-mlflow:*"
],
"Resource": [
"arn:aws:sagemaker:*:*:mlflow-app/*"
],
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "BYODataSetS3Access",
"Effect": "Allow",
"Action": [
"s3:ListBucket",
"s3:GetObject",
"s3:PutObject"
],
"Resource": [
"arn:aws:s3:::*SageMaker*",
"arn:aws:s3:::*Sagemaker*",
"arn:aws:s3:::*sagemaker*"
]
},
{
"Sid": "AllowHubPermissions",
"Effect": "Allow",
"Action": [
"sagemaker:ImportHubContent"
],
"Resource": [
"arn:aws:sagemaker:*:*:hub/*",
"arn:aws:sagemaker:*:*:hub-content/*"
],
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "PassRoleForSageMaker",
"Effect": "Allow",
"Action": [
"iam:PassRole"
],
"Resource": [
"arn:aws:iam::*:role/service-role/AmazonSageMaker-ExecutionRole-*"
],
"Condition": {
"StringEquals": {
"iam:PassedToService": "sagemaker.amazonaws.com",
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "PassRoleForAWSLambda",
"Effect": "Allow",
"Action": [
"iam:PassRole"
],
"Resource": [
"arn:aws:iam::*:role/service-role/AmazonSageMaker-ExecutionRole-*"
],
"Condition": {
"StringEquals": {
"iam:PassedToService": "lambda.amazonaws.com",
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "PassRoleForBedrock",
"Effect": "Allow",
"Action": [
"iam:PassRole"
],
"Resource": [
"arn:aws:iam::*:role/service-role/AmazonSageMaker-ExecutionRole-*"
],
"Condition": {
"StringEquals": {
"iam:PassedToService": "bedrock.amazonaws.com",
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "TrainingJobRun",
"Effect": "Allow",
"Action": [
"sagemaker:CreateTrainingJob",
"sagemaker:DescribeTrainingJob",
"sagemaker:ListTrainingJobs"
],
"Resource": [
"arn:aws:sagemaker:*:*:training-job/*"
],
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "ModelPackageAccess",
"Effect": "Allow",
"Action": [
"sagemaker:CreateModelPackage",
"sagemaker:DescribeModelPackage",
"sagemaker:ListModelPackages",
"sagemaker:CreateModelPackageGroup",
"sagemaker:DescribeModelPackageGroup",
"sagemaker:ListModelPackageGroups",
"sagemaker:CreateModel"
],
"Resource": [
"arn:aws:sagemaker:*:*:model-package-group/*",
"arn:aws:sagemaker:*:*:model-package/*",
"arn:aws:sagemaker:*:*:model/*"
],
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "TagsPermission",
"Effect": "Allow",
"Action": [
"sagemaker:AddTags",
"sagemaker:ListTags"
],
"Resource": [
"arn:aws:sagemaker:*:*:model-package-group/*",
"arn:aws:sagemaker:*:*:model-package/*",
"arn:aws:sagemaker:*:*:hub/*",
"arn:aws:sagemaker:*:*:hub-content/*",
"arn:aws:sagemaker:*:*:training-job/*",
"arn:aws:sagemaker:*:*:model/*",
"arn:aws:sagemaker:*:*:endpoint/*",
"arn:aws:sagemaker:*:*:endpoint-config/*",
"arn:aws:sagemaker:*:*:pipeline/*",
"arn:aws:sagemaker:*:*:inference-component/*",
"arn:aws:sagemaker:*:*:action/*"
],
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "LogAccess",
"Effect": "Allow",
"Action": [
"logs:DescribeLogGroups",
"logs:DescribeLogStreams",
"logs:GetLogEvents"
],
"Resource": [
"arn:aws:logs:*:*:log-group*",
"arn:aws:logs:*:*:log-group:/aws/sagemaker/TrainingJobs:log-stream:*"
],
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "BedrockDeploy",
"Effect": "Allow",
"Action": [
"bedrock:CreateModelImportJob"
],
"Resource": [
"arn:aws:bedrock:*:*:*"
],
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "BedrockOperations",
"Effect": "Allow",
"Action": [
"bedrock:GetModelImportJob",
"bedrock:GetImportedModel",
"bedrock:ListProvisionedModelThroughputs",
"bedrock:ListCustomModelDeployments",
"bedrock:ListCustomModels",
"bedrock:ListModelImportJobs",
"bedrock:GetEvaluationJob",
"bedrock:CreateEvaluationJob",
"bedrock:InvokeModel"
],
"Resource": [
"arn:aws:bedrock:*:*:evaluation-job/*",
"arn:aws:bedrock:*:*:imported-model/*",
"arn:aws:bedrock:*:*:model-import-job/*",
"arn:aws:bedrock:*:*:foundation-model/*"
],
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "BedrockFoundationModelOperations",
"Effect": "Allow",
"Action": [
"bedrock:GetFoundationModelAvailability",
"bedrock:ListFoundationModels"
],
"Resource": [
"*"
]
},
{
"Sid": "SageMakerPipelinesAndLineage",
"Effect": "Allow",
"Action": [
"sagemaker:ListActions",
"sagemaker:ListArtifacts",
"sagemaker:QueryLineage",
"sagemaker:ListAssociations",
"sagemaker:AddAssociation",
"sagemaker:DescribeAction",
"sagemaker:AddAssociation",
"sagemaker:CreateAction",
"sagemaker:CreateContext",
"sagemaker:DescribeTrialComponent"
],
"Resource": [
"arn:aws:sagemaker:*:*:artifact/*",
"arn:aws:sagemaker:*:*:action/*",
"arn:aws:sagemaker:*:*:context/*",
"arn:aws:sagemaker:*:*:action/*",
"arn:aws:sagemaker:*:*:model-package/*",
"arn:aws:sagemaker:*:*:context/*",
"arn:aws:sagemaker:*:*:pipeline/*",
"arn:aws:sagemaker:*:*:experiment-trial-component/*"
],
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "ListOperations",
"Effect": "Allow",
"Action": [
"sagemaker:ListInferenceComponents",
"sagemaker:ListWorkforces"
],
"Resource": [
"*"
],
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "SageMakerInference",
"Effect": "Allow",
"Action": [
"sagemaker:DescribeInferenceComponent",
"sagemaker:CreateEndpoint",
"sagemaker:CreateEndpointConfig",
"sagemaker:DescribeEndpoint",
"sagemaker:DescribeEndpointConfig",
"sagemaker:ListEndpoints"
],
"Resource": [
"arn:aws:sagemaker:*:*:inference-component/*",
"arn:aws:sagemaker:*:*:endpoint/*",
"arn:aws:sagemaker:*:*:endpoint-config/*"
],
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "SageMakerPipelines",
"Effect": "Allow",
"Action": [
"sagemaker:DescribePipelineExecution",
"sagemaker:ListPipelineExecutions",
"sagemaker:ListPipelineExecutionSteps",
"sagemaker:CreatePipeline",
"sagemaker:UpdatePipeline",
"sagemaker:StartPipelineExecution"
],
"Resource": [
"arn:aws:sagemaker:*:*:pipeline/*"
],
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
}
]
}
```
Si vous l'avez attaché [AmazonSageMakerFullAccessPolicy](https://docs.aws.amazon.com/aws-managed-policy/latest/reference/AmazonSageMakerFullAccess.html)à votre rôle d'exécution, vous pouvez ajouter cette politique réduite :
```
{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "LambdaListPermissions",
"Effect": "Allow",
"Action": [
"lambda:ListFunctions"
],
"Resource": [
"*"
]
},
{
"Sid": "LambdaPermissionsForRewardFunction",
"Effect": "Allow",
"Action": [
"lambda:CreateFunction",
"lambda:DeleteFunction",
"lambda:InvokeFunction",
"lambda:GetFunction"
],
"Resource": [
"arn:aws:lambda:*:*:function:*SageMaker*",
"arn:aws:lambda:*:*:function:*sagemaker*",
"arn:aws:lambda:*:*:function:*Sagemaker*"
],
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "LambdaLayerForAWSSDK",
"Effect": "Allow",
"Action": [
"lambda:GetLayerVersion"
],
"Resource": [
"arn:aws:lambda:*:336392948345:layer:AWSSDK*"
]
},
{
"Sid": "S3Access",
"Effect": "Allow",
"Action": [
"s3:GetObject",
"s3:PutObject"
],
"Resource": [
"arn:aws:s3:::*SageMaker*",
"arn:aws:s3:::*Sagemaker*",
"arn:aws:s3:::*sagemaker*",
"arn:aws:s3:::jumpstart*"
]
},
{
"Sid": "PassRoleForSageMakerAndLambdaAndBedrock",
"Effect": "Allow",
"Action": [
"iam:PassRole"
],
"Resource": [
"arn:aws:iam::*:role/service-role/AmazonSageMaker-ExecutionRole-*"
],
"Condition": {
"StringEquals": {
"iam:PassedToService": [
"lambda.amazonaws.com",
"bedrock.amazonaws.com"
],
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "BedrockDeploy",
"Effect": "Allow",
"Action": [
"bedrock:CreateModelImportJob"
],
"Resource": [
"*"
],
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "BedrockOperations",
"Effect": "Allow",
"Action": [
"bedrock:GetModelImportJob",
"bedrock:GetImportedModel",
"bedrock:ListProvisionedModelThroughputs",
"bedrock:ListCustomModelDeployments",
"bedrock:ListCustomModels",
"bedrock:ListModelImportJobs",
"bedrock:GetEvaluationJob",
"bedrock:CreateEvaluationJob",
"bedrock:InvokeModel"
],
"Resource": [
"arn:aws:bedrock:*:*:evaluation-job/*",
"arn:aws:bedrock:*:*:imported-model/*",
"arn:aws:bedrock:*:*:model-import-job/*",
"arn:aws:bedrock:*:*:foundation-model/*"
],
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "BedrockFoundationModelOperations",
"Effect": "Allow",
"Action": [
"bedrock:GetFoundationModelAvailability",
"bedrock:ListFoundationModels"
],
"Resource": [
"*"
]
}
]
}
```
Vous devez ensuite cliquer sur **Modifier la politique de confiance** et la remplacer par la politique suivante, puis cliquer sur **Mettre à jour la politique**.
```
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Service": "lambda.amazonaws.com"
},
"Action": "sts:AssumeRole"
},
{
"Effect": "Allow",
"Principal": {
"Service": "sagemaker.amazonaws.com"
},
"Action": "sts:AssumeRole"
},
{
"Effect": "Allow",
"Principal": {
"Service": "bedrock.amazonaws.com"
},
"Action": "sts:AssumeRole"
}
]
}
```
# Création de ressources pour la personnalisation des modèles dans l'interface utilisateur
Vous pouvez créer et gérer les actifs du jeu de données et de l'évaluateur que vous pouvez utiliser pour personnaliser le modèle dans l'interface utilisateur.
## Assets
Sélectionnez **Assets** dans le panneau de gauche et dans l'interface utilisateur d'Amazon SageMaker Studio, puis sélectionnez **Datasets.**
![\[Une image contenant l'accès à la personnalisation du modèle.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/screenshot-open-model-16.png)
Choisissez **Upload Dataset** pour ajouter le jeu de données que vous utiliserez dans vos tâches de personnalisation de modèles. En choisissant le **format de saisie de données requis**, vous pouvez accéder à une référence du format de jeu de données à utiliser.
![\[Une image contenant l'accès à la personnalisation du modèle.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/screenshot-open-model-15.png)
## Évaluateurs
Vous pouvez également ajouter des **fonctions de récompense** et des **invites de récompense** pour vos tâches de personnalisation de l'apprentissage par renforcement.
![\[Une image contenant l'accès à la personnalisation du modèle.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/screenshot-open-model-14.png)
L'interface utilisateur fournit également des conseils sur le format requis pour la fonction de récompense ou l'invite de récompense.
![\[Une image contenant l'accès à la personnalisation du modèle.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/screenshot-open-model-13.png)
## Ressources pour la personnalisation des modèles à l'aide du AWS SDK
Vous pouvez également utiliser le SDK SageMaker AI Python pour créer des actifs. Voir un exemple d'extrait de code ci-dessous :
```
from sagemaker.ai_registry.air_constants import REWARD_FUNCTION, REWARD_PROMPT
from sagemaker.ai_registry.dataset import DataSet, CustomizationTechnique
from sagemaker.ai_registry.evaluator import Evaluator
# Creating a dataset example
dataset = DataSet.create(
name="sdkv3-gen-ds2",
source="s3://sample-test-bucket/datasets/training-data/jamjee-sft-ds1.jsonl", # or use local filepath as source.
customization_technique=CustomizationTechnique.SFT
)
# Refreshes status from hub
dataset.refresh()
pprint(dataset.__dict__)
# Creating an evaluator. Method : Lambda
evaluator = Evaluator.create(
name = "sdk-new-rf11",
source="arn:aws:lambda:us-west-2:<>:function:8",
type=REWARD_FUNCTION
)
# Creating an evaluator. Method : Bring your own code
evaluator = Evaluator.create(
name = "eval-lambda-test",
source="/path_to_local/eval_lambda_1.py",
type = REWARD_FUNCTION
)
# Optional wait, by default we have wait = True during create call.
evaluator.wait()
evaluator.refresh()
pprint(evaluator)
```
# Soumission de tâches de personnalisation de modèles d'IA
La fonctionnalité de personnalisation des modèles d' SageMaker IA est accessible depuis la page Modèles d'Amazon SageMaker Studio dans le panneau de gauche. Vous pouvez également trouver la page Ressources où vous pouvez créer et gérer les ensembles de données et les évaluateurs de personnalisation de votre modèle.
![\[Une image contenant l'accès à la personnalisation du modèle.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/screenshot-open-model-12.png)
Pour commencer à soumettre une tâche de personnalisation de modèle, sélectionnez l'option Modèles pour accéder à l'onglet Jumpstart Base Models :
![\[Une image expliquant comment choisir le modèle de base.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/screenshot-open-model-11.png)
Vous pouvez directement cliquer sur Personnaliser le modèle dans la fiche modèle ou rechercher n'importe quel modèle de Meta que vous souhaitez personnaliser.
![\[Une image contenant la carte modèle et expliquant comment choisir le modèle à personnaliser.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/screenshot-open-model-10.png)
Après avoir cliqué sur la fiche modèle, vous pouvez accéder à la page des détails du modèle et lancer la tâche de personnalisation en cliquant sur Personnaliser le modèle, puis en sélectionnant Personnaliser avec l'interface utilisateur pour démarrer la configuration de votre tâche RLVR.
![\[Une image expliquant comment lancer la tâche de personnalisation.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/screenshot-open-model-9.png)
Vous pouvez ensuite saisir le nom de votre modèle personnalisé, sélectionner la technique de personnalisation du modèle à utiliser et configurer les hyperparamètres de votre tâche :
![\[Une image contenant une sélection de techniques de personnalisation du modèle.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/screenshot-open-model-8.png)
![\[Une image contenant une sélection de techniques de personnalisation du modèle.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/screenshot-open-model-7.png)
## Soumission de tâches de personnalisation de modèles d'IA à l'aide du SDK
Vous pouvez également utiliser le SDK SageMaker AI Python pour soumettre une tâche de personnalisation du modèle :
```
# Submit a DPO model customization job
from sagemaker.modules.train.dpo_trainer import DPOTrainer
from sagemaker.modules.train.common import TrainingType
trainer = DPOTrainer(
model=BASE_MODEL,
training_type=TrainingType.LORA,
model_package_group_name=MODEL_PACKAGE_GROUP_NAME,
training_dataset=TRAINING_DATASET,
s3_output_path=S3_OUTPUT_PATH,
sagemaker_session=sagemaker_session,
role=ROLE_ARN
)
```
## Surveillance de votre tâche de personnalisation
Immédiatement après avoir soumis votre offre d'emploi, vous serez redirigé vers la page de formation à la personnalisation de votre modèle.
![\[Une image contenant une sélection de techniques de personnalisation du modèle.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/screenshot-open-model-6.png)
Une fois le travail terminé, vous pouvez accéder à la page de détails de votre modèle personnalisé en cliquant sur le bouton Accéder au **modèle personnalisé** dans le coin supérieur droit.
![\[Une image contenant une sélection de techniques de personnalisation du modèle.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/screenshot-open-model-5.png)
Sur la page des détails du modèle personnalisé, vous pouvez continuer à travailler avec votre modèle personnalisé en :
1. Vérification des informations relatives aux performances, à l'emplacement des artefacts générés, aux hyperparamètres de configuration de l'entraînement et aux journaux d'entraînement.
1. Lancez une tâche d'évaluation avec un autre ensemble de données (personnalisation continue).
1. Déployez le modèle à l'aide des points de terminaison SageMaker AI Inference ou d'Amazon Bedrock Custom Model Import.
![\[Une image contenant une sélection de techniques de personnalisation du modèle.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/screenshot-open-model-4.png)
# Soumission d'une tâche d'évaluation du modèle
Cette section décrit l'évaluation de modèles personnalisés à poids ouvert. Il vous permet de commencer par une présentation détaillée du processus de soumission des tâches d'évaluation. Des ressources supplémentaires sont fournies pour des cas d'utilisation plus avancés de soumission de tâches d'évaluation.
**Topics**
+ [Démarrage](model-customize-evaluation-getting-started.md)
+ [Types d'évaluation et soumission de Job](model-customize-evaluation-types.md)
+ [Formats de métriques d'évaluation](model-customize-evaluation-metrics-formats.md)
+ [Formats de jeu de données pris en charge pour les tâches Bring-Your-Own-Dataset (BYOD)](model-customize-evaluation-dataset-formats.md)
+ [Évaluez à l'aide de marqueurs prédéfinis et personnalisés](model-customize-evaluation-preset-custom-scorers.md)
# Démarrage
## Soumettre un travail d'évaluation via SageMaker Studio
### Étape 1 : Accédez à l'évaluation à partir de votre carte modèle
Après avoir personnalisé votre modèle, accédez à la page d'évaluation depuis votre fiche modèle.
Pour plus d'informations sur l'entraînement sur modèle personnalisé avec poids libre : [https://docs.aws.amazon.com/sagemaker/latest/dg/model- .html customize-open-weight-job](https://docs.aws.amazon.com/sagemaker/latest/dg/model-customize-open-weight-job.html)
SageMaker visualise votre modèle personnalisé dans l'onglet Mes modèles :
![\[Page de carte modèle enregistrée\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/getting-started-registered-model-card.png)
Choisissez Afficher la dernière version, puis sélectionnez Évaluer :
![\[Page de personnalisation du modèle\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/getting-started-evaluate-from-model-card.png)
### Étape 2 : Soumettez votre job d'évaluation
Cliquez sur le bouton Soumettre et soumettez votre travail d'évaluation. Cela soumet une tâche de référence minimale au MMLU.
Pour plus d'informations sur les types de tâches d'évaluation pris en charge, consultez[Types d'évaluation et soumission de Job](model-customize-evaluation-types.md).
![\[Page de soumission des tâches d'évaluation\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/getting-started-benchmark-submission.png)
### Étape 3 : Suivez la progression de votre job d'évaluation
La progression de votre tâche d'évaluation est suivie dans l'onglet Étapes d'évaluation :
![\[L'avancement de votre tâche d'évaluation\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/getting-started-benchmark-tracking.png)
### Étape 4 : Afficher les résultats de votre job d'évaluation
Les résultats de votre travail d'évaluation sont visualisés dans l'onglet Résultats de l'évaluation :
![\[Les indicateurs de votre travail d'évaluation\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/getting-started-benchmark-results.png)
### Étape 5 : Afficher vos évaluations terminées
Votre tâche d'évaluation terminée est affichée dans Évaluations de votre modèle de carte :
![\[Vos tâches d'évaluation terminées\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/getting-started-benchmark-completed-model-card.png)
## Soumettez votre travail d'évaluation via le SDK SageMaker Python
### Étape 1 : Créez votre BenchMarkEvaluator
Transmettez votre modèle entraîné enregistré, l'emplacement de sortie AWS S3 et l'ARN MLFlow des ressources à, `BenchMarkEvaluator` puis initialisez-les.
```
from sagemaker.train.evaluate import BenchMarkEvaluator, Benchmark
evaluator = BenchMarkEvaluator(
benchmark=Benchmark.MMLU,
model="arn:aws:sagemaker:::model-package//",
s3_output_path="s3:////eval/",
mlflow_resource_arn="arn:aws:sagemaker:::mlflow-tracking-server/",
evaluate_base_model=False
)
```
### Étape 2 : Soumettez votre job d'évaluation
Appelez la `evaluate()` méthode pour soumettre le travail d'évaluation.
```
execution = evaluator.evaluate()
```
### Étape 3 : Suivez la progression de votre job d'évaluation
Appelez la `wait()` méthode d'exécution pour obtenir une mise à jour en temps réel de l'avancement de la tâche d'évaluation.
```
execution.wait(target_status="Succeeded", poll=5, timeout=3600)
```
### Étape 4 : Afficher les résultats de votre job d'évaluation
Appelez la `show_results()` méthode pour afficher les résultats de votre tâche d'évaluation.
```
execution.show_results()
```
# Types d'évaluation et soumission de Job
## Analyse comparative avec des ensembles de données standardisés
Utilisez le type d'évaluation de référence pour évaluer la qualité de votre modèle dans des ensembles de données de référence standardisés, y compris des ensembles de données populaires tels que MMLU et BBH.
| Comparaison | Ensemble de données personnalisé pris en charge | Modalités | Description | Métriques | Stratégie | Sous-tâche disponible |
| --- | --- | --- | --- | --- | --- | --- |
| mmlu | Non | Texte | Compréhension linguistique multitâche : teste les connaissances dans 57 domaines. | précision | zs\$1cot | Oui |
| mmlu\$1pro | Non | Texte | MMLU – Sous-ensemble professionnel : se concentre sur les domaines professionnels tels que le droit, la médecine, la comptabilité et l’ingénierie. | précision | zs\$1cot | Non |
| bbh | Non | Texte | Tâches de raisonnement avancées : ensemble de problèmes difficiles qui mettent à l’épreuve des compétences cognitives et de résolution de problèmes de haut niveau. | précision | fs\$1cot | Oui |
| gpqa | Non | Texte | Réponses aux questions de physique générale : évalue la compréhension des concepts de physique et les capacités de résolution de problèmes connexes. | précision | zs\$1cot | Non |
| math | Non | Texte | Résolution de problèmes mathématiques : mesure le raisonnement mathématique dans des domaines tels que l’algèbre, le calcul et les problèmes de mots. | exact\$1match | zs\$1cot | Oui |
| strong\$1reject | Non | Texte | Tâche de contrôle qualité : teste la capacité du modèle à détecter et à rejeter le contenu inapproprié, préjudiciable ou incorrect. | deflection | zs | Oui |
| ifeval | Non | Texte | Évaluation suivant les instructions : évalue la précision avec laquelle un modèle suit les instructions données et exécute les tâches conformément aux spécifications. | précision | zs | Non |
Pour plus d'informations sur les formats BYOD, consultez[Formats de jeu de données pris en charge pour les tâches Bring-Your-Own-Dataset (BYOD)](model-customize-evaluation-dataset-formats.md).
### Sous-tâches disponibles
La liste suivante répertorie les sous-tâches disponibles pour l'évaluation de modèles dans plusieurs domaines, notamment MMLU (Massive Multitask Language Understanding), BBH (Big Bench Hard) et MATH. StrongReject Ces sous-tâches vous permettent d’évaluer les performances de votre modèle par rapport à des capacités et à des domaines de connaissances spécifiques.
**Sous-tâches du MMLU**
```
MMLU_SUBTASKS = [
"abstract_algebra",
"anatomy",
"astronomy",
"business_ethics",
"clinical_knowledge",
"college_biology",
"college_chemistry",
"college_computer_science",
"college_mathematics",
"college_medicine",
"college_physics",
"computer_security",
"conceptual_physics",
"econometrics",
"electrical_engineering",
"elementary_mathematics",
"formal_logic",
"global_facts",
"high_school_biology",
"high_school_chemistry",
"high_school_computer_science",
"high_school_european_history",
"high_school_geography",
"high_school_government_and_politics",
"high_school_macroeconomics",
"high_school_mathematics",
"high_school_microeconomics",
"high_school_physics",
"high_school_psychology",
"high_school_statistics",
"high_school_us_history",
"high_school_world_history",
"human_aging",
"human_sexuality",
"international_law",
"jurisprudence",
"logical_fallacies",
"machine_learning",
"management",
"marketing",
"medical_genetics",
"miscellaneous",
"moral_disputes",
"moral_scenarios",
"nutrition",
"philosophy",
"prehistory",
"professional_accounting",
"professional_law",
"professional_medicine",
"professional_psychology",
"public_relations",
"security_studies",
"sociology",
"us_foreign_policy",
"virology",
"world_religions"
]
```
**Sous-tâches BBH**
```
BBH_SUBTASKS = [
"boolean_expressions",
"causal_judgement",
"date_understanding",
"disambiguation_qa",
"dyck_languages",
"formal_fallacies",
"geometric_shapes",
"hyperbaton",
"logical_deduction_five_objects",
"logical_deduction_seven_objects",
"logical_deduction_three_objects",
"movie_recommendation",
"multistep_arithmetic_two",
"navigate",
"object_counting",
"penguins_in_a_table",
"reasoning_about_colored_objects",
"ruin_names",
"salient_translation_error_detection",
"snarks",
"sports_understanding",
"temporal_sequences",
"tracking_shuffled_objects_five_objects",
"tracking_shuffled_objects_seven_objects",
"tracking_shuffled_objects_three_objects",
"web_of_lies",
"word_sorting"
]
```
**Sous-tâches mathématiques**
```
MATH_SUBTASKS = [
"algebra",
"counting_and_probability",
"geometry",
"intermediate_algebra",
"number_theory",
"prealgebra",
"precalculus"
]
```
**StrongReject Sous-tâches**
```
STRONG_REJECT_SUBTASKS = [
"gcg_transfer_harmbench",
"gcg_transfer_universal_attacks",
"combination_3",
"combination_2",
"few_shot_json",
"dev_mode_v2",
"dev_mode_with_rant",
"wikipedia_with_title",
"distractors",
"wikipedia",
"style_injection_json",
"style_injection_short",
"refusal_suppression",
"prefix_injection",
"distractors_negated",
"poems",
"base64",
"base64_raw", "
base64_input_only",
"base64_output_only",
"evil_confidant",
"aim",
"rot_13",
"disemvowel",
"auto_obfuscation",
"auto_payload_splitting",
"pair",
"pap_authority_endorsement",
"pap_evidence_based_persuasion",
"pap_expert_endorsement",
"pap_logical_appeal",
"pap_misrepresentation"
]
```
### Soumettez votre offre d'emploi de référence
------
#### [ SageMaker Studio ]
![\[Une configuration minimale pour l'analyse comparative via Studio SageMaker\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/benchmark-submission-sagemaker-studio.png)
------
#### [ SageMaker Python SDK ]
```
from sagemaker.train.evaluate import get_benchmarks
from sagemaker.train.evaluate import BenchMarkEvaluator
Benchmark = get_benchmarks()
# Create evaluator with MMLU benchmark
evaluator = BenchMarkEvaluator(
benchmark=Benchmark.MMLU,
model="arn:aws:sagemaker:::model-package//",
s3_output_path="s3:////",
evaluate_base_model=False
)
execution = evaluator.evaluate()
```
Pour plus d'informations sur la soumission de tâches d'évaluation via le SDK SageMaker Python, voir : [https://sagemaker.readthedocs.io/en/stable/model\$1customization/evaluation.html](https://sagemaker.readthedocs.io/en/stable/model_customization/evaluation.html)
------
## Évaluation du modèle linguistique étendu en tant que juge (LLMAJ)
Utilisez l'évaluation LLM-as-a-judge (LLMAJ) pour tirer parti d'un autre modèle de pointe afin de classer les réponses de votre modèle cible. Vous pouvez utiliser les modèles AWS Bedrock comme juges en appelant `create_evaluation_job` l'API pour lancer la tâche d'évaluation.
Pour plus d'informations sur les modèles de juges pris en charge, voir : [https://docs.aws.amazon.com/bedrock/latest/userguide/models-supported.html](https://docs.aws.amazon.com/bedrock/latest/userguide/models-supported.html)
Vous pouvez utiliser deux formats de mesures différents pour définir l'évaluation :
+ **Métriques intégrées : Tirez parti des métriques** intégrées de AWS Bedrock pour analyser la qualité des réponses d'inférence de votre modèle. Pour plus d'informations, voir : [https://docs.aws.amazon.com/bedrock/latest/userguide/model- evaluation-type-judge-prompt .html](https://docs.aws.amazon.com/bedrock/latest/userguide/model-evaluation-type-judge-prompt.html)
+ **Métriques personnalisées :** définissez vos propres métriques personnalisées dans le format de métrique personnalisé de Bedrock Evaluation pour analyser la qualité des réponses d'inférence de votre modèle à l'aide de vos propres instructions. Pour plus d'informations, voir : [https://docs.aws.amazon.com/bedrock/latest/userguide/model- evaluation-custom-metrics-prompt -formats.html](https://docs.aws.amazon.com/bedrock/latest/userguide/model-evaluation-custom-metrics-prompt-formats.html)
### Soumettre une tâche LLMAJ de métriques intégrée
------
#### [ SageMaker Studio ]
![\[Une configuration minimale pour le benchmarking LLMAJ via Studio SageMaker\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/llmaj-as-judge-submission-sagemaker-studio.png)
------
#### [ SageMaker Python SDK ]
```
from sagemaker.train.evaluate import LLMAsJudgeEvaluator
evaluator = LLMAsJudgeEvaluator(
model="arn:aws:sagemaker:::model-package//",
evaluator_model="",
dataset="s3:////.jsonl",
builtin_metrics=["", ""],
s3_output_path="s3:////",
evaluate_base_model=False
)
execution = evaluator.evaluate()
```
Pour plus d'informations sur la soumission de tâches d'évaluation via le SDK SageMaker Python, voir : [https://sagemaker.readthedocs.io/en/stable/model\$1customization/evaluation.html](https://sagemaker.readthedocs.io/en/stable/model_customization/evaluation.html)
------
### Soumettre une tâche LLMAJ de métriques personnalisée
Définissez vos métriques personnalisées :
```
{
"customMetricDefinition": {
"name": "PositiveSentiment",
"instructions": (
"You are an expert evaluator. Your task is to assess if the sentiment of the response is positive. "
"Rate the response based on whether it conveys positive sentiment, helpfulness, and constructive tone.\n\n"
"Consider the following:\n"
"- Does the response have a positive, encouraging tone?\n"
"- Is the response helpful and constructive?\n"
"- Does it avoid negative language or criticism?\n\n"
"Rate on this scale:\n"
"- Good: Response has positive sentiment\n"
"- Poor: Response lacks positive sentiment\n\n"
"Here is the actual task:\n"
"Prompt: {{prompt}}\n"
"Response: {{prediction}}"
),
"ratingScale": [
{"definition": "Good", "value": {"floatValue": 1}},
{"definition": "Poor", "value": {"floatValue": 0}}
]
}
}
```
Pour plus d'informations, voir : [https://docs.aws.amazon.com/bedrock/latest/userguide/model- evaluation-custom-metrics-prompt -formats.html](https://docs.aws.amazon.com/bedrock/latest/userguide/model-evaluation-custom-metrics-prompt-formats.html)
------
#### [ SageMaker Studio ]
![\[Téléchargez la métrique personnalisée via Métriques personnalisées > Ajouter des métriques personnalisées\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/custom-llmaj-metrics-submission-sagemaker-studio.png)
------
#### [ SageMaker Python SDK ]
```
evaluator = LLMAsJudgeEvaluator(
model="arn:aws:sagemaker:::model-package//",
evaluator_model="",
dataset="s3:////.jsonl",
custom_metrics=custom_metric_dict = {
"customMetricDefinition": {
"name": "PositiveSentiment",
"instructions": (
"You are an expert evaluator. Your task is to assess if the sentiment of the response is positive. "
"Rate the response based on whether it conveys positive sentiment, helpfulness, and constructive tone.\n\n"
"Consider the following:\n"
"- Does the response have a positive, encouraging tone?\n"
"- Is the response helpful and constructive?\n"
"- Does it avoid negative language or criticism?\n\n"
"Rate on this scale:\n"
"- Good: Response has positive sentiment\n"
"- Poor: Response lacks positive sentiment\n\n"
"Here is the actual task:\n"
"Prompt: {{prompt}}\n"
"Response: {{prediction}}"
),
"ratingScale": [
{"definition": "Good", "value": {"floatValue": 1}},
{"definition": "Poor", "value": {"floatValue": 0}}
]
}
},
s3_output_path="s3:////",
evaluate_base_model=False
)
```
------
## Scorers personnalisés
Définissez votre propre fonction de notation personnalisée pour lancer une tâche d'évaluation. Le système fournit deux marqueurs intégrés : Prime math et Prime code. Vous pouvez également apporter votre propre fonction de score. Vous pouvez copier directement le code de votre fonction scorer ou apporter votre propre définition de fonction Lambda à l'aide de l'ARN associé. Par défaut, les deux types de marqueurs produisent des résultats d'évaluation qui incluent des métriques standard telles que le score F1, ROUGE et BLEU.
Pour plus d'informations sur les évaluateurs intégrés et personnalisés et leurs exigences/contrats respectifs, voir. [Évaluez à l'aide de marqueurs prédéfinis et personnalisés](model-customize-evaluation-preset-custom-scorers.md)
### Enregistrez votre jeu de données
Apportez votre propre jeu de données pour un scorer personnalisé en l'enregistrant en tant que jeu de données SageMaker Hub Content Dataset.
------
#### [ SageMaker Studio ]
Dans Studio, chargez votre jeu de données à l'aide de la page dédiée aux ensembles de données.
![\[Ensemble de données d'évaluation enregistré dans SageMaker Studio\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/dataset-registration-sagemaker-studio.png)
------
#### [ SageMaker Python SDK ]
Dans le SDK SageMaker Python, téléchargez votre ensemble de données à l'aide de la page dédiée aux ensembles de données.
```
from sagemaker.ai_registry.dataset import DataSet
dataset = DataSet.create(
name="your-bring-your-own-dataset",
source="s3:////.jsonl"
)
dataset.refresh()
```
------
### Soumettre une tâche de scorer intégrée
------
#### [ SageMaker Studio ]
![\[Choisissez parmi des exécutions de code ou des réponses mathématiques pour une notation personnalisée intégrée\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/builtin-scorer-submission-sagemaker-studio.png)
------
#### [ SageMaker Python SDK ]
```
from sagemaker.train.evaluate import CustomScorerEvaluator
from sagemaker.train.evaluate import get_builtin_metrics
BuiltInMetric = get_builtin_metrics()
evaluator_builtin = CustomScorerEvaluator(
evaluator=BuiltInMetric.PRIME_MATH,
dataset="arn:aws:sagemaker:::hub-content//DataSet/your-bring-your-own-dataset/",
model="arn:aws:sagemaker:::model-package//",
s3_output_path="s3:////",
evaluate_base_model=False
)
execution = evaluator.evaluate()
```
Sélectionnez parmi `BuiltInMetric.PRIME_MATH` ou `BuiltInMetric.PRIME_CODE` pour la notation intégrée.
------
### Soumettre un job de scorer personnalisé
Définissez une fonction de récompense personnalisée. Pour de plus amples informations, veuillez consulter [Scorateurs personnalisés (apportez vos propres statistiques)](model-customize-evaluation-preset-custom-scorers.md#model-customize-evaluation-custom-scorers-byom).
**Enregistrez la fonction de récompense personnalisée**
------
#### [ SageMaker Studio ]
![\[Accédez à SageMaker Studio > Ressources > Évaluateur > Créer un évaluateur > Créer une fonction de récompense\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/custom-scorer-submission-sagemaker-studio.png)
![\[Soumettez la tâche d'évaluation de Custom Scorer faisant référence à la fonction de récompense prédéfinie enregistrée dans Custom Scorer > Métriques personnalisées\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/custom-scorer-benchmark-submission-sagemaker-studio.png)
------
#### [ SageMaker Python SDK ]
```
from sagemaker.ai_registry.evaluator import Evaluator
from sagemaker.ai_registry.air_constants import REWARD_FUNCTION
evaluator = Evaluator.create(
name = "your-reward-function-name",
source="/path_to_local/custom_lambda_function.py",
type = REWARD_FUNCTION
)
```
```
evaluator = CustomScorerEvaluator(
evaluator=evaluator,
dataset="s3:////.jsonl",
model="arn:aws:sagemaker:::model-package//",
s3_output_path="s3:////",
evaluate_base_model=False
)
execution = evaluator.evaluate()
```
------
# Formats de métriques d'évaluation
Évaluation de la qualité de votre modèle dans les formats de mesure suivants :
+ Résumé de l'évaluation du modèle
+ MLFlow
+ TensorBoard
## Résumé de l'évaluation du modèle
Lorsque vous soumettez votre travail d'évaluation, vous spécifiez un emplacement de sortie AWS S3. SageMaker télécharge automatiquement le fichier .json du résumé de l'évaluation à l'emplacement. Le chemin S3 du résumé du benchmark est le suivant :
```
s3:////output/output//eval_results/
```
**Passez la position AWS S3**
------
#### [ SageMaker Studio ]
![\[Passer à l'emplacement de l'artefact de sortie (URI AWS S3)\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/s3-output-path-submission-sagemaker-studio.png)
------
#### [ SageMaker Python SDK ]
```
evaluator = BenchMarkEvaluator(
benchmark=Benchmark.MMLU,
model="arn:aws:sagemaker:::model-package//",
s3_output_path="s3:////eval/",
evaluate_base_model=False
)
execution = evaluator.evaluate()
```
------
Lisez-le directement `.json` depuis l'emplacement AWS S3 ou visualisez-le automatiquement dans l'interface utilisateur :
```
{
"results": {
"custom|gen_qa_gen_qa|0": {
"rouge1": 0.9152812653966208,
"rouge1_stderr": 0.003536439199232507,
"rouge2": 0.774569918517409,
"rouge2_stderr": 0.006368825746765958,
"rougeL": 0.9111255645823356,
"rougeL_stderr": 0.003603841524881021,
"em": 0.6562150055991042,
"em_stderr": 0.007948251702846893,
"qem": 0.7522396416573348,
"qem_stderr": 0.007224355240883467,
"f1": 0.8428757602152095,
"f1_stderr": 0.005186300690881584,
"f1_score_quasi": 0.9156170336744968,
"f1_score_quasi_stderr": 0.003667700152375464,
"bleu": 100.00000000000004,
"bleu_stderr": 1.464411857851008
},
"all": {
"rouge1": 0.9152812653966208,
"rouge1_stderr": 0.003536439199232507,
"rouge2": 0.774569918517409,
"rouge2_stderr": 0.006368825746765958,
"rougeL": 0.9111255645823356,
"rougeL_stderr": 0.003603841524881021,
"em": 0.6562150055991042,
"em_stderr": 0.007948251702846893,
"qem": 0.7522396416573348,
"qem_stderr": 0.007224355240883467,
"f1": 0.8428757602152095,
"f1_stderr": 0.005186300690881584,
"f1_score_quasi": 0.9156170336744968,
"f1_score_quasi_stderr": 0.003667700152375464,
"bleu": 100.00000000000004,
"bleu_stderr": 1.464411857851008
}
}
}
```
![\[Exemples de mesures de performance pour le benchmark gen-qa personnalisé visualisé dans Studio SageMaker\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/gen-qa-metrics-visualization-sagemaker-studio.png)
## MLFlow journalisation
**Fournissez l'ARN SageMaker MLFlow de votre ressource**
SageMaker Studio utilise l' MLFlow application par défaut qui est mise en service sur chaque domaine Studio lorsque vous utilisez la fonctionnalité de personnalisation du modèle pour la première fois. SageMaker Studio utilise l'ARN associé par défaut à MLflow l'application lors de la soumission des tâches d'évaluation.
Vous pouvez également soumettre votre travail d'évaluation et fournir explicitement un ARN de MLFlow ressource pour transmettre les métriques au suivi associé à des server/app fins d'analyse en temps réel.
**SageMaker SDK Python**
```
evaluator = BenchMarkEvaluator(
benchmark=Benchmark.MMLU,
model="arn:aws:sagemaker:::model-package//",
s3_output_path="s3:////eval/",
mlflow_resource_arn="arn:aws:sagemaker:::mlflow-tracking-server/",
evaluate_base_model=False
)
execution = evaluator.evaluate()
```
Visualisation des métriques au niveau du modèle et au niveau du système :
![\[Exemple d'erreur et de précision au niveau du modèle pour la tâche d'analyse comparative MMLU\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/model-metrics-mlflow.png)
![\[Exemples de métriques intégrées pour la tâche d'analyse comparative LLMAJ\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/llmaj-metrics-mlflow.png)
![\[Exemples de mesures au niveau du système pour la tâche d'analyse comparative de la MMLU\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/system-metrics-mlflow.png)
## TensorBoard
Soumettez votre travail d'évaluation avec un emplacement de sortie AWS S3. SageMaker télécharge automatiquement un TensorBoard fichier à l'emplacement.
SageMaker télécharge le TensorBoard fichier sur AWS S3 à l'emplacement suivant :
```
s3:////output/output//tensorboard_results/eval/
```
**Transmettez l'emplacement AWS S3 comme suit**
------
#### [ SageMaker Studio ]
![\[Passer à l'emplacement de l'artefact de sortie (URI AWS S3)\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/s3-output-path-submission-sagemaker-studio.png)
------
#### [ SageMaker Python SDK ]
```
evaluator = BenchMarkEvaluator(
benchmark=Benchmark.MMLU,
model="arn:aws:sagemaker:::model-package//",
s3_output_path="s3:////eval/",
evaluate_base_model=False
)
execution = evaluator.evaluate()
```
------
**Exemples de mesures au niveau du modèle**
![\[SageMaker TensorBoard affichage des résultats d'une tâche d'analyse comparative\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/metrics-in-tensorboard.png)
# Formats de jeu de données pris en charge pour les tâches Bring-Your-Own-Dataset (BYOD)
Le score personnalisé et les types LLM-as-judge d'évaluation nécessitent un fichier JSONL de jeu de données personnalisé situé dans S3. AWS Vous devez fournir le fichier sous la forme d'un fichier de lignes JSON respectant l'un des formats pris en charge suivants. Les exemples de ce document sont développés pour plus de clarté.
Chaque format a ses propres nuances, mais tous nécessitent au minimum une invite de l'utilisateur.
**Champs obligatoires**
| Champ | Obligatoire |
| --- | --- |
| Invite de l'utilisateur | Oui |
| Invite système | Non |
| Vérité fondamentale | Uniquement pour Custom Scorer |
| Catégorie | Non |
**1. Format OpenAI**
```
{
"messages": [
{
"role": "system", # System prompt (looks for system role)
"content": "You are a helpful assistant."
},
{
"role": "user", # Query (looks for user role)
"content": "Hello!"
},
{
"role": "assistant", # Ground truth (looks for assistant role)
"content": "Hello to you!"
}
]
}
```
**2. SageMaker **Évaluation
```
{
"system":"You are an English major with top marks in class who likes to give minimal word responses: ",
"query":"What is the symbol that ends the sentence as a question",
"response":"?", # Ground truth
"category": "Grammar"
}
```
**3. HuggingFace Achèvement rapide**
Les formats standard et conversationnel sont pris en charge.
```
# Standard
{
"prompt" : "What is the symbol that ends the sentence as a question", # Query
"completion" : "?" # Ground truth
}
# Conversational
{
"prompt": [
{
"role": "user", # Query (looks for user role)
"content": "What is the symbol that ends the sentence as a question"
}
],
"completion": [
{
"role": "assistant", # Ground truth (looks for assistant role)
"content": "?"
}
]
}
```
**4. HuggingFace Préférence**
Support du format standard (chaîne) et du format conversationnel (tableau de messages).
```
# Standard: {"prompt": "text", "chosen": "text", "rejected": "text"}
{
"prompt" : "The sky is", # Query
"chosen" : "blue", # Ground truth
"rejected" : "green"
}
# Conversational:
{
"prompt": [
{
"role": "user", # Query (looks for user role)
"content": "What color is the sky?"
}
],
"chosen": [
{
"role": "assistant", # Ground truth (looks for assistant role)
"content": "It is blue."
}
],
"rejected": [
{
"role": "assistant",
"content": "It is green."
}
]
}
```
**5. Format Verl**
Le format Verl (formats actuels et anciens) est pris en charge pour les cas d'utilisation de l'apprentissage par renforcement. Documents Verl pour référence : [https://verl.readthedocs.io/en/latest/preparation/prepare\$1data.html](https://verl.readthedocs.io/en/latest/preparation/prepare_data.html)
Les utilisateurs du format VERL ne fournissent généralement pas de réponse fondée sur la vérité. Si vous souhaitez en fournir un de toute façon, utilisez l'un des champs `extra_info.answer` ou `reward_model.ground_truth` ; `extra_info` a priorité.
SageMaker préserve les champs spécifiques à Verl suivants sous forme de métadonnées, le cas échéant :
+ `id`
+ `data_source`
+ `ability`
+ `reward_model`
+ `extra_info`
+ `attributes`
+ `difficulty`
```
# Newest VERL format where `prompt` is an array of messages.
{
"data_source": "openai/gsm8k",
"prompt": [
{
"content": "You are a helpful math tutor who explains solutions to questions step-by-step.",
"role": "system"
},
{
"content": "Natalia sold clips to 48 of her friends in April, and then she sold half as many clips in May. How many clips did Natalia sell altogether in April and May? Let's think step by step and output the final answer after \"####\".",
"role": "user"
}
],
"ability": "math",
"extra_info": {
"answer": "Natalia sold 48/2 = <<48/2=24>>24 clips in May.\nNatalia sold 48+24 = <<48+24=72>>72 clips altogether in April and May.\n#### 72",
"index": 0,
"question": "Natalia sold clips to 48 of her friends in April, and then she sold half as many clips in May. How many clips did Natalia sell altogether in April and May?",
"split": "train"
},
"reward_model": {
"ground_truth": "72" # Ignored in favor of extra_info.answer
}
}
# Legacy VERL format where `prompt` is a string. Also supported.
{
"data_source": "openai/gsm8k",
"prompt": "Natalia sold clips to 48 of her friends in April, and then she sold half as many clips in May. How many clips did Natalia sell altogether in April and May? Let's think step by step and output the final answer after \"####\".",
"extra_info": {
"answer": "Natalia sold 48/2 = <<48/2=24>>24 clips in May.\nNatalia sold 48+24 = <<48+24=72>>72 clips altogether in April and May.\n#### 72",
"index": 0,
"question": "Natalia sold clips to 48 of her friends in April, and then she sold half as many clips in May. How many clips did Natalia sell altogether in April and May?",
"split": "train"
}
}
```
# Évaluez à l'aide de marqueurs prédéfinis et personnalisés
Lorsque vous utilisez le type d'évaluation Custom Scorer, SageMaker Evaluation prend en charge deux marqueurs intégrés (également appelés « fonctions de récompense ») Prime Math et Prime Code extraits de la bibliothèque d'entraînement [volcengine/verl RL](https://github.com/volcengine/verl), ou votre propre marqueur personnalisé implémenté sous forme de fonction Lambda.
## Scorers intégrés
**Prime Math**
Le meilleur marqueur mathématique attend un jeu de données JSONL personnalisé contenant une question mathématique prompt/query et la bonne réponse comme vérité de base. L'ensemble de données peut être dans l'un des formats pris en charge mentionnés dans[Formats de jeu de données pris en charge pour les tâches Bring-Your-Own-Dataset (BYOD)](model-customize-evaluation-dataset-formats.md).
Exemple d'entrée dans un jeu de données (développé pour plus de clarté) :
```
{
"system":"You are a math expert: ",
"query":"How many vertical asymptotes does the graph of $y=\\frac{2}{x^2+x-6}$ have?",
"response":"2" # Ground truth aka correct answer
}
```
**Code Prime**
Le lecteur de code principal attend un ensemble de données JSONL personnalisé contenant des entrées contenant un problème de codage et des cas de test spécifiés dans le champ. `metadata` Structurez les scénarios de test avec le nom de fonction attendu pour chaque entrée, des exemples d'entrées et des sorties attendues.
Exemple d'entrée dans un jeu de données (développé pour plus de clarté) :
```
{
"system":"\\nWhen tackling complex reasoning tasks, you have access to the following actions. Use them as needed to progress through your thought process.\\n\\n[ASSESS]\\n\\n[ADVANCE]\\n\\n[VERIFY]\\n\\n[SIMPLIFY]\\n\\n[SYNTHESIZE]\\n\\n[PIVOT]\\n\\n[OUTPUT]\\n\\nYou should strictly follow the format below:\\n\\n[ACTION NAME]\\n\\n# Your action step 1\\n\\n# Your action step 2\\n\\n# Your action step 3\\n\\n...\\n\\nNext action: [NEXT ACTION NAME]\\n\\n",
"query":"A number N is called a factorial number if it is the factorial of a positive integer. For example, the first few factorial numbers are 1, 2, 6, 24, 120,\\nGiven a number N, the task is to return the list/vector of the factorial numbers smaller than or equal to N.\\nExample 1:\\nInput: N = 3\\nOutput: 1 2\\nExplanation: The first factorial number is \\n1 which is less than equal to N. The second \\nnumber is 2 which is less than equal to N,\\nbut the third factorial number is 6 which \\nis greater than N. So we print only 1 and 2.\\nExample 2:\\nInput: N = 6\\nOutput: 1 2 6\\nExplanation: The first three factorial \\nnumbers are less than equal to N but \\nthe fourth factorial number 24 is \\ngreater than N. So we print only first \\nthree factorial numbers.\\nYour Task: \\nYou don't need to read input or print anything. Your task is to complete the function factorialNumbers() which takes an integer N as an input parameter and return the list/vector of the factorial numbers smaller than or equal to N.\\nExpected Time Complexity: O(K), Where K is the number of factorial numbers.\\nExpected Auxiliary Space: O(1)\\nConstraints:\\n1<=N<=10^{18}\\n\\nWrite Python code to solve the problem. Present the code in \\n```python\\nYour code\\n```\\nat the end.",
"response": "", # Dummy string for ground truth. Provide a value if you want NLP metrics like ROUGE, BLEU, and F1.
### Define test cases in metadata field
"metadata": {
"fn_name": "factorialNumbers",
"inputs": ["5"],
"outputs": ["[1, 2]"]
}
}
```
## Scorateurs personnalisés (apportez vos propres statistiques)
Personnalisez entièrement le flux de travail d'évaluation de votre modèle grâce à une logique de post-traitement personnalisée qui vous permet de calculer des métriques personnalisées adaptées à vos besoins. Vous devez implémenter votre score personnalisé sous la forme d'une fonction AWS Lambda qui accepte les réponses du modèle et renvoie les scores de récompense.
### Exemple de charge utile d'entrée Lambda
Votre AWS Lambda personnalisé attend des entrées au format OpenAI. Exemple :
```
{
"id": "123",
"messages": [
{
"role": "user",
"content": "Do you have a dedicated security team?"
},
{
"role": "assistant",
"content": "As an AI developed by Amazon, I do not have a dedicated security team..."
}
],
"reference_answer": {
"compliant": "No",
"explanation": "As an AI developed by Company, I do not have a traditional security team..."
}
}
```
### Exemple de charge utile de sortie Lambda
Le conteneur SageMaker d'évaluation s'attend à ce que vos réponses Lambda suivent le format suivant :
```
{
"id": str, # Same id as input sample
"aggregate_reward_score": float, # Overall score for the sample
"metrics_list": [ # OPTIONAL: Component scores
{
"name": str, # Name of the component score
"value": float, # Value of the component score
"type": str # "Reward" or "Metric"
}
]
}
```
### Définition Lambda personnalisée
Trouvez un exemple de scorer personnalisé entièrement implémenté avec des exemples d'entrées et de sorties attendues sur : [https://docs.aws.amazon.com/sagemaker/latest/dg/nova- implementing-reward-functions](https://docs.aws.amazon.com/sagemaker/latest/dg/nova-implementing-reward-functions.html#nova-reward-llm-judge-example) .html\$1 -example nova-reward-llm-judge
Utilisez le squelette suivant comme point de départ pour votre propre fonction.
```
def lambda_handler(event, context):
return lambda_grader(event)
def lambda_grader(samples: list[dict]) -> list[dict]:
"""
Args:
Samples: List of dictionaries in OpenAI format
Example input:
{
"id": "123",
"messages": [
{
"role": "user",
"content": "Do you have a dedicated security team?"
},
{
"role": "assistant",
"content": "As an AI developed by Company, I do not have a dedicated security team..."
}
],
# This section is the same as your training dataset
"reference_answer": {
"compliant": "No",
"explanation": "As an AI developed by Company, I do not have a traditional security team..."
}
}
Returns:
List of dictionaries with reward scores:
{
"id": str, # Same id as input sample
"aggregate_reward_score": float, # Overall score for the sample
"metrics_list": [ # OPTIONAL: Component scores
{
"name": str, # Name of the component score
"value": float, # Value of the component score
"type": str # "Reward" or "Metric"
}
]
}
"""
```
### Champs d'entrée et de sortie
**Champs de saisie**
| Champ | Description | Informations complémentaires |
| --- | --- | --- |
| id | Identifiant unique pour l'échantillon | Répertorié dans la sortie. Format de chaîne |
| messages | Historique des discussions ordonné au format OpenAI | Tableau d'objets de message |
| messages [] .role | Intervenant du message | Valeurs communes : « utilisateur », « assistant », « système » |
| messages [] .content | Contenu textuel du message | Chaîne de texte brut |
| metadata | Informations sous forme libre pour faciliter le classement | Objet ; champs facultatifs transmis à partir des données d'entraînement |
**Champs de sortie**
**Champs de sortie**
| Champ | Description | Informations complémentaires |
| --- | --- | --- |
| id | Identifiant identique à celui de l'échantillon d'entrée | Doit correspondre à l'entrée |
| score de récompense agrégé | Note globale pour l'échantillon | Valeur flottante (par exemple, 0,0-1,0 ou plage définie par la tâche) |
| liste\$1métriques | Scores des composants qui constituent l'agrégat | Tableau d'objets métriques |
### Autorisations nécessaires
Assurez-vous que le rôle SageMaker d'exécution que vous utilisez pour exécuter l'évaluation dispose des autorisations AWS Lambda.
```
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"lambda:InvokeFunction"
],
"Resource": "arn:aws:lambda:region:account-id:function:function-name"
}
]
}
```
Assurez-vous que le rôle d'exécution de votre fonction AWS Lambda dispose des autorisations d'exécution Lambda de base, ainsi que des autorisations supplémentaires dont vous pourriez avoir besoin pour tout appel en aval. AWS
```
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"logs:CreateLogGroup",
"logs:CreateLogStream",
"logs:PutLogEvents"
],
"Resource": "arn:aws:logs:*:*:*"
}
]
}
```
# Déploiement de modèles
Sur la page de détails des modèles personnalisés, vous pouvez également déployer votre modèle personnalisé à l'aide des points de terminaison SageMaker AI Inference ou d'Amazon Bedrock.
![\[Une image contenant une sélection de techniques de personnalisation du modèle.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/screenshot-open-model-1.png)
# Exemples d'ensembles de données et d'évaluateurs
## Réglage fin supervisé (SFT)
+ Nom : TAT-QA
+ Licence : CC-BY-4.0
+ Lien : [https://huggingface. co/datasets/next-tat/TAT-QA](https://huggingface.co/datasets/next-tat/TAT-QA)
+ Prétraitement - Formatage
**Un échantillon**
```
{
"prompt": "Given a table and relevant text descriptions, answer the following question.\n\nTable:\n
\n \n
\n
\n
2019
\n
2018
\n
\n
\n
\n
$'000
\n
$'000
\n
\n
\n
Revenue from external customers
\n
\n
\n
\n
\n
Australia
\n
144,621
\n
129,431
\n
\n
\n
New Zealand
\n
13,036
\n
8,912
\n
\n
\n
Total
\n
157,657
\n
138,343
\n
\n \n
\n\nParagraphs:\n 4. SEGMENT INFORMATION\n\n During the 2019 and 2018 financial years, the Group operated wholly within one business segment being the operation and management of storage centres in Australia and New Zealand.\n\n The Managing Director is the Group\u2019s chief operating decision maker and monitors the operating results on a portfolio wide basis. Monthly management reports are evaluated based upon the overall performance of NSR consistent with the presentation within the consolidated financial statements. The Group\u2019s financing (including finance costs and finance income) are managed on a Group basis and not allocated to operating segments.\n\n The operating results presented in the statement of profit or loss represent the same segment information as reported in internal management information.\n\n The revenue information above excludes interest income and is based on the location of storage centres.\n\nQuestion: How many business segments were present in 2019 and 2018?\n\nAnswer:",
"completion": "one",
"data_idx": "2951"
}
```
## Optimisation directe des préférences (DPO)
+ Nom : Ultrafeedback
+ Licence : MIT
+ Lien : [https://huggingface. co/datasets/openbmb/UltraFeedback](https://huggingface.co/datasets/openbmb/UltraFeedback)
+ Étapes de prétraitement : formatage et sous-échantillonnage.
**Un échantillon**
```
{
"source": "evol_instruct",
"prompt": "Can you write a C++ program that prompts the user to enter the name of a country and checks if it borders the Mediterranean Sea? Here's some starter code to help you out:\n#include \n#include \nusing namespace std;\nint main() {\n string country;\n // prompt user for input\n cout << \"Enter the name of a country: \";\n cin >> country;\n // check if country borders the Mediterranean Sea\n // [C++ code]\n return 0;\n}",
"chosen": "Here's a C++ program that prompts the user to enter the name of a country and checks if it borders the Mediterranean Sea:\n\n#include \n#include \n#include \n#include