View a markdown version of this page

Options de point de terminaison avancées pour l'inférence avec Amazon AI SageMaker - Amazon SageMaker AI

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Options de point de terminaison avancées pour l'inférence avec Amazon AI SageMaker

L'inférence en temps réel vous permet d'optimiser davantage les performances et les coûts grâce aux options d'inférence avancées suivantes :

  • Multi-model points de terminaison : choisissez cette option si vous possédez plusieurs modèles qui utilisent le même cadre et peuvent partager un conteneur. Cette option vous permet d'optimiser les coûts en améliorant l'utilisation des points de terminaison et en réduisant les frais de déploiement.

  • Multi-container points de terminaison : choisissez cette option si vous possédez plusieurs modèles qui utilisent des cadres différents et nécessitent leurs propres conteneurs. Vous bénéficiez de nombreux avantages des Multi-Model endpoints et pouvez déployer une variété de frameworks et de modèles.

  • Pipelines d’inférence en série : utilisez cette option si vous souhaitez héberger des modèles avec une logique de prétraitement et de post-traitement derrière un point de terminaison. Les pipelines d'inférence sont entièrement gérés par l' SageMaker IA et offrent une latence plus faible car tous les conteneurs sont hébergés sur les mêmes instances Amazon EC2.