Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra. # Accélérez le développement de l'IA générative à l'aide de MLflow géré sur Amazon SageMaker AI MLflow entièrement géré sur Amazon SageMaker AI vous permet d'accélérer l'IA générative en facilitant le suivi des expériences et en surveillant les performances des modèles et des applications d'IA à l'aide d'un seul outil. **Développement d'IA générative avec MLflow** Alors que les clients de tous les secteurs accélèrent le développement de l’IA générative, ils ont besoin de capacités pour suivre les expériences, observer le comportement et évaluer les performances des modèles et des applications d’IA. Les scientifiques des données et les développeurs manquent d’outils pour analyser les performances des modèles et des applications d’IA, de l’expérimentation à la production, ce qui complique l’identification des causes et la résolution des problèmes. Les équipes passent plus de temps à intégrer des outils qu’à améliorer leurs modèles ou leurs applications d’IA générative. L’entraînement ou le peaufinage de l’IA générative et du machine learning est un processus itératif qui nécessite d’expérimenter diverses combinaisons de données, d’algorithmes et de paramètres, tout en observant leur impact sur la précision du modèle. La nature itérative de l’expérimentation se traduit par de nombreuses exécutions et versions d’entraînement des modèles, ce qui complique le suivi des modèles les plus performants et de leurs configurations. La complexité de la gestion et de la comparaison des exécutions d’entraînement itératives augmente avec l’IA générative, où l’expérimentation implique non seulement le peaufinage des modèles, mais également l’exploration des sorties créatives et diverses. Les chercheurs doivent ajuster les hyperparamètres, sélectionner les architectures de modèles adaptées et organiser divers jeux de données afin d’optimiser à la fois la qualité et la créativité du contenu généré. L’évaluation des modèles d’IA générative nécessite des métriques à la fois quantitatives et qualitatives, ce qui ajoute une couche de complexité supplémentaire au processus d’expérimentation. Les fonctionnalités de suivi des expérimentations de MLflow sur Amazon SageMaker AI vous permettent de suivre, d'organiser, de visualiser, d'analyser et de comparer les expériences de ML itératives afin d'obtenir des informations comparatives et d'enregistrer et de déployer vos modèles les plus performants. Les fonctionnalités de suivi de MLflow entièrement géré vous permettent d'enregistrer les entrées, les sorties et les métadonnées à chaque étape d'une application d'IA générative, vous aidant ainsi à identifier rapidement la source des bogues ou des comportements inattendus. En conservant des enregistrements de chaque modèle et version d'application, MLflow entièrement géré offre une traçabilité permettant de relier les réponses de l'IA à leurs composants sources, ce qui vous permet de retracer rapidement un problème directement jusqu'au code, aux données ou aux paramètres spécifiques qui l'ont généré. Cela réduit considérablement le temps de résolution des problèmes et permet aux équipes de se concentrer davantage sur l’innovation. ## Intégrations MLflow Utilisez MLflow lors de l’entraînement et de l’évaluation des modèles afin de trouver les meilleurs candidats pour votre cas d’utilisation. Vous pouvez comparer les performances, les paramètres et les mesures des modèles entre les expériences dans l'interface utilisateur MLflow, suivre vos meilleurs modèles dans le registre des modèles MLflow, les enregistrer automatiquement en tant que modèle d' SageMaker IA et déployer des modèles enregistrés sur des points de terminaison d' SageMaker IA. **Amazon SageMaker AI avec MLflow** Utilisez MLflow pour suivre et gérer la phase d'expérimentation du cycle de vie de l'apprentissage automatique (ML) avec AWS des intégrations pour le développement, la gestion, le déploiement et le suivi des modèles. **Amazon SageMaker Studio** Créez et gérez des serveurs de suivi, exécutez des blocs-notes pour créer des expériences et accédez à l’interface utilisateur MLflow pour afficher et comparer les exécutions d’expériences dans Studio. **SageMaker Registre des modèles** Gérez les versions des modèles et les modèles de catalogue destinés à la production en enregistrant automatiquement les modèles depuis le registre des modèles MLflow vers le registre des SageMaker modèles. Pour de plus amples informations, veuillez consulter [Enregistrez automatiquement les modèles d' SageMaker IA avec SageMaker Model Registry](mlflow-track-experiments-model-registration.md). **SageMaker Inférence basée sur l'IA** Préparez vos meilleurs modèles pour le déploiement sur un point de terminaison d' SageMaker IA à l'aide de`ModelBuilder`. Pour de plus amples informations, veuillez consulter [Déploiement de modèles MLflow avec `ModelBuilder`](mlflow-track-experiments-model-deployment.md). **Gestion des identités et des accès AWS** Configurez l’accès à MLflow à l’aide du contrôle d’accès basé sur les rôles (RBAC) avec IAM. Rédigez des politiques d’identité IAM pour autoriser les API MLflow pouvant être appelées par un client d’un serveur de suivi MLflow. Toutes les API REST MLflow sont représentées sous forme d’actions IAM sous le préfixe de service `sagemaker-mlflow`. Pour de plus amples informations, veuillez consulter [Configuration des autorisations IAM pour MLflow](mlflow-create-tracking-server-iam.md). **AWS CloudTrail** Consultez les connexions pour vous aider AWS CloudTrail à activer l'audit des opérations et des risques, la gouvernance et la conformité de votre AWS compte. Pour de plus amples informations, veuillez consulter [AWS CloudTrail journaux](#mlflow-create-tracking-server-cloudtrail). **Amazon EventBridge** Automatisez la révision des modèles et le cycle de vie du déploiement à l'aide des événements MLflow capturés par Amazon EventBridge. Pour de plus amples informations, veuillez consulter [EventBridge Événements Amazon](#mlflow-create-tracking-server-eventbridge). ## Pris en charge Régions AWS **Serveurs de suivi MLflow** Les serveurs de suivi MLflow sont généralement disponibles dans toutes les [régions AWS](https://docs.aws.amazon.com/sagemaker/latest/dg/regions-quotas.html) commerciales où Amazon SageMaker Studio est disponible, à l'exception de la Chine. Les serveurs de suivi MLflow sont disponibles uniquement AWS CLI dans les régions Europe (Zurich), Asie-Pacifique (Hyderabad), Asie-Pacifique (Melbourne) et Canada Ouest (Calgary). Les serveurs de suivi sont lancés dans une seule zone de disponibilité au sein de la région spécifiée. **Applis MLflow** Les applications MLflow sont disponibles dans les versions suivantes : Régions AWS + US East (N. Virginia) Region + US East (Ohio) Region + Région US West (N. California) + Région US West (Oregon) + Asia Pacific (Mumbai) Region + Région Asie-Pacifique (Séoul) + Région Asie-Pacifique (Singapour) + Région Asie-Pacifique (Sydney) + Région Asie-Pacifique (Tokyo) + Région Canada (Centre) + Région Europe (Frankfurt) + Région Europe (Irlande) + Région Europe (Londres) + Région Europe (Paris) + Région Europe (Stockholm) + Région Amérique du Sud (São Paulo) ## Comment ça marche Un serveur de suivi MLflow comporte trois composants principaux : le calcul, le stockage des métadonnées du système dorsal et le stockage des artefacts. Le calcul qui héberge le serveur de suivi et le stockage des métadonnées du backend sont hébergés de manière sécurisée dans le compte de service SageMaker AI. Le stockage des artefacts se trouve dans un compartiment Amazon S3 de votre propre AWS compte. ![Diagramme illustrant le stockage des calculs et des métadonnées pour un serveur de suivi MLflow.](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/mlflow/mlflow-diagram.png) Un serveur de suivi possède un ARN. Vous pouvez utiliser cet ARN pour connecter le kit MLflow SDK à votre serveur de suivi et commencer à enregistrer vos exécutions d’entraînement dans MLflow. Pour plus d’informations sur les concepts clés suivants, cliquez sur les liens correspondants : + [Stockage des métadonnées du système dorsal](#mlflow-create-tracking-server-backend-store) + [Stockage d’artefacts](#mlflow-create-tracking-server-artifact-store) + [Tailles du serveur de suivi MLflow](#mlflow-create-tracking-server-sizes) + [Versions de serveur de suivi](#mlflow-create-tracking-server-versions) + [AWS CloudTrail journaux](#mlflow-create-tracking-server-cloudtrail) + [EventBridge Événements Amazon](#mlflow-create-tracking-server-eventbridge) ### Stockage des métadonnées du système dorsal Lorsque vous créez un serveur de suivi MLflow, un [magasin principal](https://mlflow.org/docs/latest/tracking/backend-stores.html), qui conserve diverses métadonnées pour chaque [exécution](https://mlflow.org/docs/latest/tracking.html#runs), telles que l'ID d'exécution, les heures de début et de fin, les paramètres et les mesures, est automatiquement configuré dans le compte de service SageMaker AI et entièrement géré pour vous. ### Stockage d’artefacts Pour fournir à MLflow un stockage permanent des métadonnées pour chaque exécution, telles que les poids des modèles, les images, les fichiers de modèles et les fichiers de données pour vos expériences, vous devez créer un magasin d’artefacts à l’aide d’Amazon S3. Le magasin d'artefacts doit être configuré dans votre AWS compte et vous devez explicitement autoriser MLflow à accéder à Amazon S3 afin d'accéder à votre magasin d'artefacts. Pour plus d’informations, consultez [Artifact Stores](https://mlflow.org/docs/latest/tracking.html#artifact-stores) dans la documentation MLflow. **Note** SageMaker AI MLflow a une limite de taille de téléchargement de 200 Mo. ### Versions de l'application MLflow Les versions suivantes de MLflow peuvent être utilisées avec les applications SageMaker AI MLflow : | Version MLflow | Version de Python | | --- | --- | | [MLflow 3.10](https://mlflow.org/releases/3.10.1/) (dernière version) | [Python 3.10 ou version](https://www.python.org/downloads/release/python-3100/) ultérieure | La dernière version de l'application MLflow propose les dernières fonctionnalités, correctifs de sécurité et corrections de bogues. Lorsque vous créez une nouvelle application MLflow, elle est automatiquement mise à jour vers la dernière version prise en charge. Pour plus d'informations sur la création d'une application MLflow, consultez[Configuration de l'application MLflow](mlflow-app-setup.md). Les applications MLflow utilisent le versionnement sémantique. Les versions sont au format `{{major-version}}.{{minor-version}}.{{patch-version}}`. ### Tailles du serveur de suivi MLflow Vous pouvez éventuellement spécifier la taille de votre serveur de suivi dans l'interface utilisateur de Studio ou à l'aide du AWS CLI paramètre`--tracking-server-size`. Vous pouvez choisir entre `"Small"`, `"Medium"` et `"Large"`. La taille de configuration du serveur de suivi MLflow par défaut est `"Small"`. Vous pouvez choisir une taille en fonction de l’utilisation prévue du serveur de suivi, telle que le volume de données journalisées, le nombre d’utilisateurs et la fréquence d’utilisation. Nous recommandons d’utiliser un petit serveur de suivi pour les équipes dénombrant jusqu’a 25 utilisateurs, un serveur de suivi de taille moyenne pour les équipes jusqu’à 50 utilisateurs et un grand serveur de suivi pour les équipes jusqu’à 100 utilisateurs. Pour ces recommandations, nous partons du principe que tous les utilisateurs adresseront des demandes simultanées à votre serveur de suivi MLflow. Vous devez sélectionner la taille du serveur de suivi en fonction de votre modèle d’utilisation attendu et du nombre de transactions par seconde (TPS) pris en charge par chaque serveur de suivi. **Note** La nature de votre charge de travail et le type de demandes que vous envoyez au serveur de suivi déterminent les TPS que vous voyez. | Taille du serveur de suivi | TPS en continu | TPS en rafale | | --- | --- | --- | | Petit | Jusqu’à 25 | Jusqu’à 50 | | Moyenne | Jusqu’à 50 | Jusqu'à 100 | | Grand | Jusqu'à 100 | Jusqu'à 200 | ### Versions de serveur de suivi Les versions suivantes de MLflow peuvent être utilisées avec l' SageMaker IA : | Version MLflow | Version de Python | | --- | --- | | [MLflow 3.0](https://mlflow.org/releases/3) (dernière version) | [Python 3.9](https://www.python.org/downloads/release/python-390/) ou version ultérieure | | [MLflow 2.16](https://mlflow.org/releases/2.16.0) | [Python 3.8](https://www.python.org/downloads/release/python-380/) ou version ultérieure | | [MLflow 2.13](https://mlflow.org/releases/2.13.0) | [Python 3.8](https://www.python.org/downloads/release/python-380/) ou version ultérieure | La dernière version du serveur de suivi possède les dernières caractéristiques, correctifs de sécurité et correctifs de bogues. Lorsque vous créez un serveur de suivi, nous vous recommandons d’utiliser la dernière version. Pour plus d’informations sur la création d’un serveur de suivi, consultez [Serveurs de suivi MLflow](mlflow-create-tracking-server.md). Les serveurs de suivi MLflow utilisent la gestion sémantique des versions. Les versions sont au format `{{major-version}}.{{minor-version}}.{{patch-version}}`. Les dernières caractéristiques, telles que les nouveaux éléments de l’interface utilisateur et les fonctionnalités de l’API, sont disponibles dans la version mineure. ### AWS CloudTrail journaux AWS CloudTrail enregistre automatiquement les activités liées à votre serveur de suivi MLflow. Les appels d'API du plan de contrôle suivants sont enregistrés CloudTrail : + CreateMlflowTrackingServer + DescribeMlflowTrackingServer + UpdateMlflowTrackingServer + DeleteMlflowTrackingServer + ListMlflowTrackingServers + CreatePresignedMlflowTrackingServer + StartMlflowTrackingServer + StopMlflowTrackingServer AWS CloudTrail enregistre également automatiquement les activités liées à votre plan de données MLflow. Les appels d'API du plan de données suivants sont enregistrés CloudTrail. Pour les noms d’événements, ajoutez le préfixe `Mlflow` (par exemple, `MlflowCreateExperiment`). + CreateExperiment + CreateModelVersion + CreateRegisteredModel + CreateRun + DeleteExperiment + DeleteModelVersion + DeleteModelVersionTag + DeleteRegisteredModel + DeleteRegisteredModelAlias + DeleteRegisteredModelTag + DeleteRun + DeleteTag + GetDownloadURIForModelVersionArtifacts + GetExperiment + GetExperimentByName + GetLatestModelVersions + GetMetricHistory + GetModelVersion + GetModelVersionByAlias + GetRegisteredModel + GetRun + ListArtifacts + LogBatch + LogInputs + LogMetric + LogModel + LogParam + RenameRegisteredModel + RestoreExperiment + RestoreRun + SearchExperiments + SearchModelVersions + SearchRegisteredModels + SearchRuns + SetExperimentTag + SetModelVersionTag + SetRegisteredModelAlias + SetRegisteredModelTag + SetTag + TransitionModelVersionStage + UpdateExperiment + UpdateModelVersion + UpdateRegisteredModel + UpdateRun + FinalizeLoggedModel + GetLoggedModel + DeleteLoggedModel + SearchLoggedModels + SetLoggedModelTags + DeleteLoggedModelTag + ListLoggedModelArtifacts + LogLoggedModelParams + LogOutputs Pour plus d'informations CloudTrail, consultez le *[guide de AWS CloudTrail l'utilisateur](https://docs.aws.amazon.com/awscloudtrail/latest/userguide/cloudtrail-user-guide.html)*. ### EventBridge Événements Amazon EventBridge À utiliser pour acheminer les événements de l'utilisation de MLflow avec SageMaker IA vers des applications grand public au sein de votre organisation. Les événements suivants sont émis vers EventBridge : + « Création d'un serveur de SageMaker suivi » + « Serveur SageMaker de suivi créé » + « La création du serveur de SageMaker suivi a échoué » + « Mise à jour du serveur de SageMaker suivi » + « Serveur SageMaker de suivi mis à jour » + « Échec de la mise à jour du serveur de SageMaker suivi » + « Suppression du serveur de SageMaker suivi » + « Serveur SageMaker de suivi supprimé » + « La suppression du serveur de SageMaker suivi a échoué » + « Démarrage du serveur de SageMaker suivi » + « Le serveur SageMaker de suivi a démarré » + « Échec du démarrage du serveur de SageMaker suivi » + « Arrêt du serveur de SageMaker suivi » + « Serveur SageMaker de suivi arrêté » + « L'arrêt du serveur de SageMaker suivi a échoué » + « SageMaker  Suivi de la maintenance du serveur en cours » + « Maintenance du serveur de SageMaker suivi terminée » + « Échec de la maintenance du serveur de SageMaker suivi » + « Création d'une exécution par le serveur de suivi SageMaker MLflow » + « Création RegisteredModel d'un serveur de suivi SageMaker MLflow » + « Création ModelVersion d'un serveur de suivi SageMaker MLflow » + « Étape de transition ModelVersion du serveur de suivi SageMaker MLflow » + « Configuration de l'alias du modèle enregistré par le serveur de suivi SageMaker MLflow » Pour plus d'informations EventBridge, consultez le *[guide de EventBridge l'utilisateur Amazon](https://docs.aws.amazon.com/eventbridge/latest/userguide/eb-what-is.html)*. **Topics** + [Intégrations MLflow](#mlflow-integrations) + [Pris en charge Régions AWS](#mlflow-regions) + [Comment ça marche](#mlflow-create-tracking-server-how-it-works) + [Configuration de l'application MLflow](mlflow-app-setup.md) + [Serveurs de suivi MLflow](mlflow-create-tracking-server.md) + [Lancement de l’interface utilisateur MLflow à l’aide d’une URL présignée](mlflow-launch-ui.md) + [Intégration de MLflow à votre environnement](mlflow-track-experiments.md) + [Didacticiels MLflow utilisant des exemples de blocs-notes Jupyter](mlflow-tutorials.md) + [Résolution des problèmes de configuration courants](mlflow-troubleshooting.md) + [Nettoyage des ressources MLflow](mlflow-cleanup.md) + [Amazon SageMaker expérimente dans Studio Classic](experiments.md)