As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Use um perfil de inferência na invocação de modelos
Você pode usar um perfil de inferência entre regiões em vez de um modelo de base para encaminhar solicitações a várias regiões. Para monitorar os custos e o uso de um modelo, em uma ou várias regiões, é possível usar um perfil de inferência de aplicação. Para saber como usar um perfil de inferência ao executar a inferência do modelo, escolha a guia correspondente ao método de sua preferência e siga as etapas:
- Console
-
Para usar um perfil de inferência com um recurso compatível, faça o seguinte:
-
Faça login no Console de gerenciamento da AWS com uma identidade do IAM que tenha permissões para usar o console Amazon Bedrock. Em seguida, abra o console Amazon Bedrock em https://console.aws.amazon.com/bedrock
. -
Navegue até a página do recurso para o qual você deseja usar um perfil de inferência. Por exemplo, selecione Playground chat/texto no painel de navegação à esquerda.
-
Escolha Selecionar modelo e selecione o modelo. Por exemplo, escolha Amazon e depois Nova Premier.
-
Em Inferência, selecione Perfis de inferência no menu suspenso.
-
Selecione o perfil de inferência a ser usado (por exemplo, US Nova Premier) e escolha Aplicar.
-
- API
-
É possível usar um perfil de inferência ao executar inferência em qualquer região incluída nele com as seguintes operações de API:
-
InvokeModelou InvokeModelWithResponseStream— Para usar um perfil de inferência na invocação do modelo, siga as etapas em Envie uma única solicitação com InvokeModel e especifique o Amazon Resource Name (ARN) do perfil de inferência no campo.
modelIdPara obter um exemplo, consulte Usar um perfil de inferência na invocação de modelos. -
Converse ou ConverseStream— Para usar um perfil de inferência na invocação do modelo com a Converse API, siga as etapas em e Inferência usando a API Converse especifique o ARN do perfil de inferência no campo.
modelIdPara obter um exemplo, consulte Usar um perfil de inferência em uma conversa. -
RetrieveAndGenerate: para usar um perfil de inferência ao gerar respostas nos resultados da consulta de uma base de conhecimento, siga as etapas na guia da API em Testar a base de conhecimento com consultas e respostas e especifique o ARN ou o perfil de inferência no campo
modelArn. Para obter mais informações, consulte Usar um perfil de inferência para gerar uma resposta. -
CreateEvaluationJob— Para enviar um perfil de inferência para avaliação do modelo, siga as etapas na guia API Iniciar um trabalho automático de avaliação de modelo no Amazon Bedrock e especifique o ARN do perfil de inferência no campo.
modelIdentifier -
CreatePrompt— Para usar um perfil de inferência ao gerar uma resposta para uma solicitação criada no Gerenciamento de solicitações, siga as etapas na guia API Criar um prompt usando o Gerenciamento de Prompts e especifique o ARN do perfil de inferência no campo.
modelId -
CreateFlow— Para usar um perfil de inferência ao gerar uma resposta para uma solicitação embutida que você define em um nó de solicitação em um fluxo, siga as etapas na guia API em. Criar e planejar um fluxo no Amazon Bedrock Ao definir o nó de prompt, especifique o ARN do perfil de inferência no campo
modelId. -
CreateDataSource— Para usar um perfil de inferência ao analisar informações não textuais em uma fonte de dados, siga as etapas na seção API e Opções de análise para a fonte de dados especifique o ARN do perfil de inferência no campo.
modelArn
nota
Se você estiver usando um perfil de inferência entre regiões (definido pelo sistema), poderá usar o respectivo ARN ou ID.
-
