View a markdown version of this page

Criar um endpoint de vários contêineres (Boto 3) - SageMaker Inteligência Artificial da Amazon

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Criar um endpoint de vários contêineres (Boto 3)

Crie um Multi-container endpoint chamando CreateModel, CreateEndpointConfig, e CreateEndpointAPIs como você faria para criar qualquer outro endpoint. Você pode executar esses contêineres sequencialmente como um pipeline de inferência ou executar cada contêiner individual usando invocação direta. Multi-container os endpoints têm os seguintes requisitos quando você ligacreate_model:

  • Use o parâmetro Containers em vez de PrimaryContainer e inclua mais de um contêiner no parâmetro Containers.

  • O parâmetro ContainerHostname é necessário para cada contêiner em um endpoint de vários contêineres com invocação direta.

  • Defina o parâmetro Mode do campo InferenceExecutionConfig para Direct para invocação direta de cada contêiner ou Serial para usar contêineres como um pipeline de inferência. O modo padrão é Serial.

nota

Atualmente, há um limite de até 15 contêineres compatíveis em um endpoint de vários contêineres.

O exemplo a seguir cria um modelo de vários contêineres para invocação direta.

  1. Crie elementos de contêiner e InferenceExecutionConfig com invocação direta.

    container1 = {
                 'Image': '123456789012.dkr.ecr.us-east-1.amazonaws.com/myimage1:mytag',
                 'ContainerHostname': 'firstContainer'
             }

container2 = {
                 'Image': '123456789012.dkr.ecr.us-east-1.amazonaws.com/myimage2:mytag',
                 'ContainerHostname': 'secondContainer'
             }
inferenceExecutionConfig = {'Mode': 'Direct'}

  2. Crie o modelo com os elementos do contêiner e defina o campo InferenceExecutionConfig.

    import boto3
sm_client = boto3.Session().client('sagemaker')

response = sm_client.create_model(
               ModelName = 'my-direct-mode-model-name',
               InferenceExecutionConfig = inferenceExecutionConfig,
               ExecutionRoleArn = role,
               Containers = [container1, container2]
           )

Para criar um endpoint, você chamaria create_endpoint_config e create_endpoint da mesma forma que faria para criar qualquer outro endpoint.