Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Déployer un modèle
Une fois que vous vous êtes abonné à un modèle, vous le déployez sur un point de terminaison d' SageMaker IA. Vous effectuez des appels d’inférence vers le point de terminaison. Le modèle est hébergé par SageMaker AI. Pendant le processus de déploiement, vous devez fournir les informations suivantes :
-
Le nom du point de terminaison SageMaker AI
-
le nombre d’instances prenant des appels d’inférence vers le point de terminaison ;
-
le type d’instance du point de terminaison.
Vous pouvez également configurer des options avancées facultatives telles que les balises.
Un rôle de service d' SageMaker IA est automatiquement créé pour que l' SageMaker IA puisse assumer et exécuter des actions en votre nom. Pour plus d'informations sur les autorisations Amazon SageMaker AI, consultez Comment utiliser les rôles d'exécution SageMaker AI.
Vous pouvez également choisir un rôle existant ou en créer un nouveau. Pour savoir comment déployer un modèle Amazon Bedrock Marketplace, sélectionnez l’onglet correspondant à la méthode de votre choix et suivez les étapes.
Pour déployer un modèle
-
Connectez-vous à l' AWS Management Console aide d'un rôle IAM avec les autorisations Amazon Bedrock.
-
Dans la barre de recherche, spécifiez « Amazon Bedrock » et choisissez Amazon Bedrock dans la liste déroulante.
-
Dans le volet de navigation, choisissez Catalogue de modèles.
-
Choisissez la carte de modèle pour le modèle que vous déployez.
-
Choisissez Déployer.
-
Pour Nom du point de terminaison, spécifiez le nom du point de terminaison.
-
Choisissez le nombre d’instances et sélectionnez le type d’instance.
-
Dans Paramètres avancés, vous pouvez éventuellement :
-
Configurer votre VPC
-
Configurer le rôle d’accès au service
-
Personnaliser vos paramètres de chiffrement
-
Ajout de balises
-
-
Choisissez Deploy pour déployer votre modèle Amazon Bedrock Marketplace sur un point de terminaison basé sur SageMaker l'IA. Ce processus prend généralement 10 à 15 minutes.
Utilisez l’opération CreateMarketplaceModelEndpoint pour créer un point de terminaison. Certains modèles disposent d’un contrat de licence d’utilisateur final (CLUF). Pour accepter le CLUF, vous devez définir le AcceptEula sur True.
L'exemple suivant utilise un exemple de AWS Command Line Interface commande pour créer un point de terminaison :
aws bedrock create-marketplace-model-endpoint --model-source-identifierHubContentArn--endpoint-config "{\"sageMaker\":{\"initialInstanceCount\":1,\"instanceType\":\"ml.g5.xlarge\",\"executionRole\":\"arn:aws:iam::111122223333:role/example-IAM-role\"}}" --endpoint-name "example-endpoint-name"
Note
Les réponses aux opérations CreateMarketplaceModelEndpoint, UpdateMarketplaceModelEndpoint et RegisterMarketplaceModelEndpoint sont les mêmes.
{"marketplaceModelEndpoint":{"createdAt":"2024-11-12T02:31:58.201474085Z","endpoint":{"sageMaker":{"executionRole":"arn:aws:iam::111122223333:role/service-role/amazon-sagemaker-execution-role","initialInstanceCount":1,"instanceType":"ml.g5.2xlarge","kmsEncryptionKey":null,"vpc":null}},"endpointArn":"arn:aws:sagemaker:region:555555555555:endpoint/example-endpoint-name","endpointStatus":"Creating","endpointStatusMessage":"","modelSourceIdentifier":"arn:aws:sagemaker:region:aws:hub-content/SageMakerPublicHub/Model/example-model-name/1.2.2","status":"ACTIVE","statusMessage":"","updatedAt":"2024-11-12T02:31:58.201474085Z"}}
Vous pouvez modifier le point de terminaison dans Amazon Bedrock Marketplace et Amazon SageMaker AI. Nous recommandons de modifier uniquement le point de terminaison dans Amazon Bedrock. Si vous modifiez le point de terminaison dans SageMaker AI, il se peut que vous ne puissiez pas utiliser le point de terminaison dans Amazon Bedrock. Les modifications suivantes peuvent entraîner la défaillance du point de terminaison dans Amazon Bedrock :
-
Réglage EnableNetworkIsolationsur
False -
Modification de la définition du modèle dans l'PrimaryContainerobjet
Pour que le point de terminaison soit opérationnel, il doit être enregistré et en service. Vous pouvez utiliser la AWS Command Line Interface commande suivante pour vérifier l'état du point de terminaison.
aws bedrock get-marketplace-model-endpoint --endpoint-arn arn:aws:sagemaker:region:111122223333:endpoint/example-endpoint-name
Le point de terminaison doit avoir le statut suivant pour que vous puissiez l’utiliser avec Amazon Bedrock :
endpointStatus: InService status: REGISTERED
Si vous avez apporté une modification qui a entraîné l’échec du point de terminaison, vous pouvez annuler son enregistrement et le réenregistrer. Utilisez l’opération DeregisterEndpoint pour annuler l’enregistrement du point de terminaison. Utilisez l’opération RegisterEndpoint pour le réenregistrer.
aws bedrock deregister-marketplace-model-endpoint --endpoint-arn arn:aws:sagemaker:region:111122223333:endpoint/example-endpoint-name
aws bedrock register-marketplace-model-endpoint --endpoint-identifier arn:aws:sagemaker:region:111122223333:endpoint/example-endpoint-name--model-source-identifierHubContentArn
