View a markdown version of this page

Implementación de un modelo - Amazon Bedrock

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Implementación de un modelo

Una vez suscrito a un modelo, lo despliega en un punto final de SageMaker IA. Realice llamadas de inferencia al punto de conexión. El modelo está hospedado por SageMaker AI. Durante el proceso de implementación, debe proporcionar la siguiente información:

  • El nombre del punto final de la SageMaker IA

  • El número de instancias que reciben llamadas de inferencia al punto de conexión

  • El tipo de instancia del punto de conexión

También puede configurar opciones avanzadas opcionales, como etiquetas.

Se crea automáticamente una SageMaker función de servicio de SageMaker IA para que la IA asuma y lleve a cabo acciones en su nombre. Para obtener más información sobre los permisos de Amazon SageMaker AI, consulte Cómo utilizar las funciones de ejecución de SageMaker IA.

Puede elegir un rol existente o crear uno nuevo. Para obtener más información sobre cómo implementar un modelo de Amazon Bedrock Marketplace, seleccione la pestaña correspondiente al método que prefiera y siga estos pasos:

Implementación de un modelo

  1. Inicie sesión en el rol de Consola de administración de AWS uso de IAM con los permisos de Amazon Bedrock.

  2. En la barra de búsqueda, especifique “Amazon Bedrock” y elija Amazon Bedrock en la lista desplegable.

  3. Seleccione Catálogo de modelos en el panel de navegación izquierdo.

  4. Elija la tarjeta de modelo para el modelo que va a implementar.

  5. Elija Implementar.

  6. En Nombre del punto de conexión, especifique el nombre del punto de conexión.

  7. Seleccione el número de instancias y el tipo de instancia.

  8. En Configuración avanzada, si lo desea, puede:

    1. Configurar la VPC

    2. Configure el rol de acceso de servicio

    3. Personalización de la configuración de cifrado

    4. Agregar etiquetas.

  9. Elija Deploy para implementar su modelo de Amazon Bedrock Marketplace en un punto final de SageMaker IA. Esta operación suele tardar entre diez y quince minutos.

Utilice la operación CreateMarketplaceModelEndpoint para crear un punto de conexión. Algunos modelos tienen un acuerdo de licencia de usuario final (EULA). Para aceptar el EULA, establezca AcceptEula en True.

En el siguiente ejemplo, se utiliza un AWS Command Line Interface comando de ejemplo para crear un punto final:

aws bedrock create-marketplace-model-endpoint --model-source-identifier HubContentArn --endpoint-config "{\"sageMaker\":{\"initialInstanceCount\":1,\"instanceType\":\"ml.g5.xlarge\",\"executionRole\":\"arn:aws:iam::111122223333:role/example-IAM-role\"}}" --endpoint-name "example-endpoint-name"
nota

Las respuestas de las operaciones CreateMarketplaceModelEndpoint, UpdateMarketplaceModelEndpoint y RegisterMarketplaceModelEndpoint son las mismas.

{"marketplaceModelEndpoint":{"createdAt":"2024-11-12T02:31:58.201474085Z","endpoint":{"sageMaker":{"executionRole":"arn:aws:iam::111122223333:role/service-role/amazon-sagemaker-execution-role","initialInstanceCount":1,"instanceType":"ml.g5.2xlarge","kmsEncryptionKey":null,"vpc":null}},"endpointArn":"arn:aws:sagemaker:region:555555555555:endpoint/example-endpoint-name","endpointStatus":"Creating","endpointStatusMessage":"","modelSourceIdentifier":"arn:aws:sagemaker:region:aws:hub-content/SageMakerPublicHub/Model/example-model-name/1.2.2","status":"ACTIVE","statusMessage":"","updatedAt":"2024-11-12T02:31:58.201474085Z"}}

Puede modificar el punto de conexión tanto en Amazon Bedrock Marketplace como en Amazon SageMaker AI. Le recomendamos que modifique el punto de conexión únicamente en Amazon Bedrock. Si modifica el punto de conexión dentro de la SageMaker IA, es posible que no pueda utilizar el punto de conexión en Amazon Bedrock. Las siguientes son las modificaciones que pueden provocar que el punto de conexión dé un error en Amazon Bedrock:

Para que el punto de conexión esté operativo, debe estar registrado y en servicio. Puede utilizar el siguiente AWS Command Line Interface comando para comprobar el estado del punto final.


aws bedrock get-marketplace-model-endpoint --endpoint-arn arn:aws:sagemaker:region:111122223333:endpoint/example-endpoint-name

El punto de conexión debe tener el siguiente estado para poder usarlo con Amazon Bedrock:


endpointStatus: InService
status: REGISTERED

Si ha realizado una modificación que ha provocado un error en el punto de conexión, puede anular el registro y volver a registrarlo. Utilice la operación DeregisterEndpoint para anular el registro del punto de conexión. Utilice la operación RegisterEndpoint para volver a registrarlo.


aws bedrock deregister-marketplace-model-endpoint --endpoint-arn arn:aws:sagemaker:region:111122223333:endpoint/example-endpoint-name
    

aws bedrock register-marketplace-model-endpoint --endpoint-identifier arn:aws:sagemaker:region:111122223333:endpoint/example-endpoint-name --model-source-identifier
         HubContentArn