Distribuzione di un modello - Amazon Bedrock

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Distribuzione di un modello

Dopo esserti abbonato a un modello, lo distribuisci su un endpoint SageMaker AI. Effettui chiamate di inferenza verso l’endpoint. Il modello è ospitato dall'IA. SageMaker Durante il processo di implementazione, devi fornire le informazioni riportate di seguito.

  • Il nome dell'endpoint SageMaker AI

  • Il numero di istanze che effettuano chiamate di inferenza verso l’endpoint

  • Il tipo di istanza dell’endpoint

Puoi anche configurare opzioni avanzate opzionali, come i tag.

Viene creato automaticamente un ruolo di servizio SageMaker SageMaker AI per consentire all'IA di assumere ed eseguire azioni per conto dell'utente. Per ulteriori informazioni sulle autorizzazioni di Amazon SageMaker AI, consulta Come usare i ruoli di esecuzione SageMaker AI.

Puoi usare un ruolo esistente o crearne uno nuovo. Per scoprire come implementare un modello Marketplace Amazon Bedrock, seleziona la scheda corrispondente al metodo che preferisci e segui la procedura riportata.

Come distribuire il modello

  1. Accedi all' Console di gestione AWS utilizzo di un ruolo IAM con autorizzazioni Amazon Bedrock.

  2. Nella barra di ricerca, specifica “Amazon Bedrock” e scegli Amazon Bedrock dall’elenco a discesa.

  3. Dal pannello di navigazione scegli Catalogo modelli.

  4. Scegli la scheda del modello per quello che stai distribuendo.

  5. Seleziona Implementa.

  6. Per Nome endpoint, specifica il nome dell’endpoint.

  7. Seleziona il numero di istanze e scegli il tipo di istanza.

  8. In Impostazioni avanzate, puoi facoltativamente:

    1. Configurare il VPC

    2. Configurare il ruolo di accesso al servizio

    3. Personalizzare le impostazioni di crittografia

    4. Aggiunta di tag

  9. Scegli Deploy per distribuire il tuo modello Amazon Bedrock Marketplace su SageMaker un endpoint AI. Questa operazione richiede in genere 10-15 minuti.

Utilizza l’operazione CreateMarketplaceModelEndpoint per creare un endpoint. Alcuni modelli includono un contratto di licenza con l’utente finale (EULA). Per accettare l’EULA, devi impostare AcceptEula su True.

L'esempio seguente utilizza un AWS Command Line Interface comando di esempio per creare un endpoint:

aws bedrock create-marketplace-model-endpoint --model-source-identifier HubContentArn --endpoint-config "{\"sageMaker\":{\"initialInstanceCount\":1,\"instanceType\":\"ml.g5.xlarge\",\"executionRole\":\"arn:aws:iam::111122223333:role/example-IAM-role\"}}" --endpoint-name "example-endpoint-name"
Nota

Le risposte per le operazioni CreateMarketplaceModelEndpoint, UpdateMarketplaceModelEndpoint e RegisterMarketplaceModelEndpoint sono le stesse.

{"marketplaceModelEndpoint":{"createdAt":"2024-11-12T02:31:58.201474085Z","endpoint":{"sageMaker":{"executionRole":"arn:aws:iam::111122223333:role/service-role/amazon-sagemaker-execution-role","initialInstanceCount":1,"instanceType":"ml.g5.2xlarge","kmsEncryptionKey":null,"vpc":null}},"endpointArn":"arn:aws:sagemaker:region:555555555555:endpoint/example-endpoint-name","endpointStatus":"Creating","endpointStatusMessage":"","modelSourceIdentifier":"arn:aws:sagemaker:region:aws:hub-content/SageMakerPublicHub/Model/example-model-name/1.2.2","status":"ACTIVE","statusMessage":"","updatedAt":"2024-11-12T02:31:58.201474085Z"}}

Puoi modificare l'endpoint sia in Amazon Bedrock Marketplace che in Amazon SageMaker AI. Consigliamo di modificare l’endpoint solo all’interno di Amazon Bedrock. Se modifichi l'endpoint all'interno dell' SageMaker IA, potresti non essere in grado di utilizzare l'endpoint in Amazon Bedrock. Di seguito sono riportate le modifiche che possono causare il malfunzionamento dell’endpoint in Amazon Bedrock:

Affinché l’endpoint sia operativo, deve essere registrato e in servizio. È possibile utilizzare il seguente AWS Command Line Interface comando per verificare lo stato dell'endpoint.


aws bedrock get-marketplace-model-endpoint --endpoint-arn arn:aws:sagemaker:region:111122223333:endpoint/example-endpoint-name

L’endpoint deve avere il seguente stato per poterlo utilizzare con Amazon Bedrock:


endpointStatus: InService
status: REGISTERED

Se hai apportato una modifica che ha causato il fallimento dell’endpoint, puoi annullare la registrazione e registrare nuovamente l’endpoint. Utilizza l’operazione DeregisterEndpoint per annullare la registrazione dell’endpoint. Utilizza l’operazione RegisterEndpoint per registrarlo nuovamente.


aws bedrock deregister-marketplace-model-endpoint --endpoint-arn arn:aws:sagemaker:region:111122223333:endpoint/example-endpoint-name
    

aws bedrock register-marketplace-model-endpoint --endpoint-identifier arn:aws:sagemaker:region:111122223333:endpoint/example-endpoint-name --model-source-identifier
         HubContentArn