View a markdown version of this page

部署模型 - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

部署模型

订阅模型后，将其部署到 A SageMaker I 终端节点。然后对端点进行推理调用。该模型由 SageMaker AI 托管。在部署过程中，您必须提供以下信息：

  • SageMaker AI 端点的名称

  • 对端点进行推理调用的实例数量

  • 端点的实例类型

您还可以配置可选的高级选项，例如标签。

A SageMaker I 服务角色会自动创建， SageMaker 让 AI 代表您担任和执行操作。有关 Amazon A SageMaker I 权限的更多信息，请参阅如何使用 SageMaker AI 执行角色。

您也可以选择现有角色或创建新角色。要了解如何部署 Amazon Bedrock Marketplace 模型，请选择与您选择的方法相对应的选项卡，然后按照以下步骤操作：

要部署模型

  1. AWS 管理控制台 使用具有 Amazon Bedrock 权限的 IAM 角色登录。

  2. 在搜索栏中，指定“Amazon Bedrock”，然后从下拉列表中选择 Amazon Bedrock。

  3. 在导航窗格中选择模型目录。

  4. 为您要部署的模型选择模型卡片。

  5. 选择部署。

  6. 在端点名称中指定端点的名称。

  7. 选择实例的数量以及实例类型。

  8. 在高级设置下，您可以选择：

    1. 设置 VPC

    2. 配置服务访问角色。

    3. 自定义加密设置

    4. 添加标签

  9. 选择 “部署”，将您的亚马逊 Bedrock Marketplace 模型部署到 SageMaker 人工智能终端节点。此过程通常需要 10 到 15 分钟。

使用 CreateMarketplaceModelEndpoint 操作创建端点。某些模型具有最终用户许可协议（EULA）。要接受 EULA，请将 AcceptEula 设置为 True。

以下示例使用示例 AWS Command Line Interface 命令创建终端节点：

aws bedrock create-marketplace-model-endpoint --model-source-identifier HubContentArn --endpoint-config "{\"sageMaker\":{\"initialInstanceCount\":1,\"instanceType\":\"ml.g5.xlarge\",\"executionRole\":\"arn:aws:iam::111122223333:role/example-IAM-role\"}}" --endpoint-name "example-endpoint-name"
注意

CreateMarketplaceModelEndpoint、UpdateMarketplaceModelEndpoint 和 RegisterMarketplaceModelEndpoint 操作的响应是相同的。

{"marketplaceModelEndpoint":{"createdAt":"2024-11-12T02:31:58.201474085Z","endpoint":{"sageMaker":{"executionRole":"arn:aws:iam::111122223333:role/service-role/amazon-sagemaker-execution-role","initialInstanceCount":1,"instanceType":"ml.g5.2xlarge","kmsEncryptionKey":null,"vpc":null}},"endpointArn":"arn:aws:sagemaker:region:555555555555:endpoint/example-endpoint-name","endpointStatus":"Creating","endpointStatusMessage":"","modelSourceIdentifier":"arn:aws:sagemaker:region:aws:hub-content/SageMakerPublicHub/Model/example-model-name/1.2.2","status":"ACTIVE","statusMessage":"","updatedAt":"2024-11-12T02:31:58.201474085Z"}}

你可以在亚马逊 Bedrock Marketplace 和亚马逊 A SageMaker I 中修改终端节点。建议仅在 Amazon Bedrock 中修改端点。如果您在 SageMaker AI 中修改终端节点，则可能无法在 Amazon Bedrock 中使用该终端节点。以下修改可能导致端点在 Amazon Bedrock 中出现故障：

要使端点正常运行，必须注册端点并将其投入使用。您可以使用以下 AWS Command Line Interface 命令来检查终端节点的状态。


aws bedrock get-marketplace-model-endpoint --endpoint-arn arn:aws:sagemaker:region:111122223333:endpoint/example-endpoint-name

端点必须具有以下状态，才能与 Amazon Bedrock 配合使用：


endpointStatus: InService
status: REGISTERED

如果所做的修改导致端点出现故障，您可以取消注册并重新注册该端点。使用 DeregisterEndpoint 操作取消注册端点。使用 RegisterEndpoint 操作重新注册端点。


aws bedrock deregister-marketplace-model-endpoint --endpoint-arn arn:aws:sagemaker:region:111122223333:endpoint/example-endpoint-name
    

aws bedrock register-marketplace-model-endpoint --endpoint-identifier arn:aws:sagemaker:region:111122223333:endpoint/example-endpoint-name --model-source-identifier
         HubContentArn