Implantar um modelo - Amazon Bedrock

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Implantar um modelo

Depois de assinar um modelo, você o implanta em um endpoint de SageMaker IA. Você faz chamadas de inferência ao endpoint. O modelo é hospedado pela SageMaker IA. Durante o processo de implantação, você deve fornecer as seguintes informações:

  • O nome do endpoint de SageMaker IA

  • O número de instâncias que recebem chamadas de inferência ao endpoint.

  • O tipo de instância do endpoint.

Também é possível definir configurações avançadas opcionais, como tags.

Uma função de serviço de SageMaker IA é criada automaticamente para que a SageMaker IA assuma e execute ações em seu nome. Para obter mais informações sobre as permissões de SageMaker IA da Amazon, consulte Como usar funções de execução de SageMaker IA.

Ou você pode escolher um perfil existente ou criar um. Para saber como implantar um modelo do Amazon Bedrock Marketplace, escolha a guia correspondente ao método de sua preferência e siga as etapas.

Como implantar um modelo

  1. Faça login na função Console de gerenciamento da AWS usando uma função do IAM com as permissões do Amazon Bedrock.

  2. Na barra de pesquisa, especifique “Amazon Bedrock” e escolha Amazon Bedrock na lista suspensa.

  3. No painel de navegação, escolha Catálogo de modelos.

  4. Escolha o cartão do modelo referente ao modelo que você está implantando.

  5. Escolha Implantar.

  6. Em Nome do endpoint, especifique o nome do endpoint.

  7. Escolha o número de instâncias e selecione o tipo de instância.

  8. Em Configurações avançadas, você pode opcionalmente:

    1. Configurar sua VPC.

    2. Configurar o perfil de acesso ao serviço.

    3. Personalizar suas configurações de criptografia.

    4. Adicionar tags.

  9. Escolha Deploy para implantar seu modelo do Amazon Bedrock Marketplace em um endpoint de SageMaker IA. Esse processo geralmente leva de 10 a 15 minutos.

Use a operação CreateMarketplaceModelEndpoint para criar um endpoint. Alguns modelos têm um contrato de licença de usuário final (EULA). Para aceitar o EULA, você define AcceptEula como True.

O exemplo a seguir usa um exemplo de AWS Command Line Interface comando para criar um endpoint:

aws bedrock create-marketplace-model-endpoint --model-source-identifier HubContentArn --endpoint-config "{\"sageMaker\":{\"initialInstanceCount\":1,\"instanceType\":\"ml.g5.xlarge\",\"executionRole\":\"arn:aws:iam::111122223333:role/example-IAM-role\"}}" --endpoint-name "example-endpoint-name"
nota

As respostas para as operações CreateMarketplaceModelEndpoint, UpdateMarketplaceModelEndpoint e RegisterMarketplaceModelEndpoint são as mesmas.

{"marketplaceModelEndpoint":{"createdAt":"2024-11-12T02:31:58.201474085Z","endpoint":{"sageMaker":{"executionRole":"arn:aws:iam::111122223333:role/service-role/amazon-sagemaker-execution-role","initialInstanceCount":1,"instanceType":"ml.g5.2xlarge","kmsEncryptionKey":null,"vpc":null}},"endpointArn":"arn:aws:sagemaker:region:555555555555:endpoint/example-endpoint-name","endpointStatus":"Creating","endpointStatusMessage":"","modelSourceIdentifier":"arn:aws:sagemaker:region:aws:hub-content/SageMakerPublicHub/Model/example-model-name/1.2.2","status":"ACTIVE","statusMessage":"","updatedAt":"2024-11-12T02:31:58.201474085Z"}}

Você pode modificar o endpoint no Amazon Bedrock Marketplace e no Amazon SageMaker AI. Recomendamos modificar somente o endpoint no Amazon Bedrock. Se você modificar o endpoint dentro da SageMaker IA, talvez não consiga usar o endpoint no Amazon Bedrock. Abaixo estão as modificações que podem fazer com que o endpoint falhe no Amazon Bedrock:

Para que o endpoint funcione, ele deve estar registrado e em serviço. Você pode usar o AWS Command Line Interface comando a seguir para verificar o status do endpoint.


aws bedrock get-marketplace-model-endpoint --endpoint-arn arn:aws:sagemaker:region:111122223333:endpoint/example-endpoint-name

O endpoint deve ter o seguinte status para que você possa usá-lo com o Amazon Bedrock:


endpointStatus: InService
status: REGISTERED

Se você fez uma modificação que provocou a falha do endpoint, poderá cancelar o registro e registrá-lo novamente. Use a operação DeregisterEndpoint para cancelar o registro do endpoint. Use a operação RegisterEndpoint para registrá-lo novamente.


aws bedrock deregister-marketplace-model-endpoint --endpoint-arn arn:aws:sagemaker:region:111122223333:endpoint/example-endpoint-name
    

aws bedrock register-marketplace-model-endpoint --endpoint-identifier arn:aws:sagemaker:region:111122223333:endpoint/example-endpoint-name --model-source-identifier
         HubContentArn