Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Utilisation d’un profil d’inférence lors de l’invocation du modèle
Vous pouvez utiliser un profil d’inférence interrégional à la place d’un modèle de fondation pour acheminer les demandes vers plusieurs régions. Pour suivre les coûts et l’utilisation d’un modèle, dans une ou plusieurs régions, vous pouvez utiliser un profil d’inférence d’application. Pour savoir comment utiliser un profil d’inférence lors de l’exécution d’une inférence de modèle, choisissez l’onglet correspondant à votre méthode préférée, puis suivez les étapes :
- Console
-
Pour utiliser un profil d’inférence avec une fonctionnalité qui le prend en charge, procédez comme suit :
-
Connectez-vous au AWS Management Console avec une identité IAM autorisée à utiliser la console Amazon Bedrock. Ouvrez ensuite la console Amazon Bedrock à https://console.aws.amazon.com/bedrock
l'adresse. -
Accédez à la page de la fonctionnalité pour laquelle vous souhaitez utiliser un profil d’inférence. Par exemple, choisissez Terrain de jeu Discussion/Texte dans le volet de navigation de gauche.
-
Choisissez Sélectionner un modèle, puis choisissez le modèle. Par exemple, choisissez Amazon puis Nova Premier.
-
Sous Inférence, sélectionnez Profils d’inférence dans le menu déroulant.
-
Sélectionnez le profil d’inférence à utiliser (par exemple, US Nova Premier), puis choisissez Appliquer.
-
- API
-
Vous pouvez utiliser un profil d’inférence lorsque vous exécutez une inférence à partir de n’importe quelle région qui y est incluse avec les opérations d’API suivantes :
-
InvokeModelou InvokeModelWithResponseStream— Pour utiliser un profil d'inférence lors de l'invocation d'un modèle, suivez les étapes décrites dans le champ Soumettez une seule invite avec InvokeModel et spécifiez l'Amazon Resource Name (ARN) du profil d'inférence.
modelIdPour un exemple, consultez Utilisation d’un profil d’inférence lors de l’invocation du modèle. -
Converse ou ConverseStream: pour utiliser un profil d'inférence lors de l'invocation d'un modèle avec l'ConverseAPI, suivez les étapes décrites dans le Inférence à l'aide de l'API Converse champ et spécifiez l'ARN du profil d'inférence.
modelIdPour un exemple, consultez Utilisation d’un profil d’inférence dans une conversation. -
RetrieveAndGenerate : pour utiliser un profil d’inférence lors de la génération de réponses à partir des résultats d’une requête dans une base de connaissances, suivez les étapes indiquées dans l’onglet API dans Test de votre base de connaissances avec des requêtes et des réponses et spécifiez l’ARN du profil d’inférence dans le champ
modelArn. Pour plus d’informations, consultez Utiliser un profil d’inférence pour générer une réponse. -
CreateEvaluationJob— Pour soumettre un profil d'inférence à des fins d'évaluation du modèle, suivez les étapes de l'onglet API Démarrage d’une évaluation des modèles automatique dans Amazon Bedrock et spécifiez l'ARN du profil d'inférence dans le
modelIdentifierchamp. -
CreatePrompt— Pour utiliser un profil d'inférence lors de la génération d'une réponse à une invite que vous créez dans Prompt Management, suivez les étapes indiquées dans l'onglet API Création d’une invite à l’aide de la gestion des invites et spécifiez l'ARN du profil d'inférence dans le
modelIdchamp. -
CreateFlow— Pour utiliser un profil d'inférence lors de la génération d'une réponse à une invite en ligne que vous définissez dans un nœud d'invite d'un flux, suivez les étapes décrites dans l'onglet API de. Création et conception d’un flux dans Amazon Bedrock Lors de la définition du nœud d’invite, spécifiez l’ARN du profil d’inférence dans le champ
modelId. -
CreateDataSource— Pour utiliser un profil d'inférence lors de l'analyse d'informations non textuelles dans une source de données, suivez les étapes décrites dans la section API et Options d’analyse structurée pour votre source de données spécifiez l'ARN du profil d'inférence dans le champ.
modelArn
Note
Si vous utilisez un profil d’inférence interrégional (défini par le système), vous pouvez utiliser l’ARN ou l’ID du profil d’inférence.
-
