View a markdown version of this page

为 Amazon Bedrock 模型购买预调配吞吐量 - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

为 Amazon Bedrock 模型购买预调配吞吐量

Amazon Bedrock 提供两种类型的预配置吞吐量——按令牌和按模型单位划分。有关您要购买的预置吞吐量类型，请参阅以下说明。

要详细了解两种类型的预配置吞吐量之间的区别，请参阅利用 Amazon Bedrock 中的预调配吞吐量增加模型调用容量。

在为模型购买按模型单位计算的预配置吞吐量时，需要指定其承诺级别和要分配的模型单位数量 (MUs)。有关 MU 配额，请参阅 AWS 一般参考中的 Amazon Bedrock endpoints and quotas。在购买预配置吞吐量（有承诺或无承诺）之前，您必须先访问AWS支持中心， MUs 申请在预配置吞吐量之间分配您的账户。您的请求获得批准后，您可以购买预配置吞吐量。

注意

购买预配置吞吐量后，如果它与自定义模型相关联，则可以通过指定以下选项之一来更改模型：

  • 定制模型所依据的基本模型

  • 另一个自定义模型是根据与自定义模型相同的基础模型定制的

您只能更改与自定义模型关联的预配置吞吐量的关联模型。

要了解如何为模型购买预置吞吐量，请选择首选方法的选项卡，然后按照以下步骤操作：

Console

  1. 使用有权使用 Amazon Bedrock 控制台的 IAM 身份登录。AWS 管理控制台然后，在 https://console.aws.amazon.com/bedrock 上打开 Amazon Bedrock 控制台。

  2. 从左侧导航窗格中，选择预调配吞吐量。

  3. 在预调配吞吐量部分，选择购买预调配吞吐量。

  4. 在预调配吞吐量详细信息部分，执行以下操作：

    1. 在预调配吞吐量名称字段中，输入预调配吞吐量的名称。

    2. 在选择模型下，选择基础模型提供商或自定义模型类别。然后选择要为其预调配吞吐量的模型。

      注意

      要查看无需承诺即可购买预配置吞吐量的基本型号，请参阅支持的机型文档。

      在该AWS GovCloud (US)区域，您只能为自定义模型购买预置吞吐量，无需承诺。

    3. （可选）要将标签与您的预调配吞吐量关联，请展开标签部分并选择添加新标签。有关更多信息，请参阅 标记 Amazon Bedrock 资源。

  5. 对于置备模式，请选择按模型单位

  6. 在承诺期限和模型单位部分，执行以下操作：

    1. 在选择承诺期限部分，选择要承诺使用预调配吞吐量的时长。

    2. 在模型单位字段中，输入所需的模型单位数 (MUs)。如果您要使用承诺预配型号，则必须先访问AWS支持中心，申请增加可购买 MUs 的数量。

  7. 选择购买预调配吞吐量。

  8. 查看所显示的备注，并通过选中复选框确认承诺期限和价格。然后选择确认购买。

  9. 此时控制台会显示预调配吞吐量概览页面。“预调配吞吐量”表中的预调配吞吐量的状态将变为正在创建。预调配吞吐量创建完毕后，状态将变为服务中。如果更新失败，状态将变为失败。

API

要购买预配置吞吐量，请使用 Amazon Bedrock 控制平面终端节点发送CreateProvisionedModelThroughput请求。

要详细了解请求正文的内容以及创建按模型单位划分的预配置吞吐量时需要提供的参数，请参阅 Amazon Bedrock API 参考CreateProvisionedModelThroughput中的。

注意

要查看无需承诺即可购买预配置吞吐量的基本型号，请参阅支持的机型文档。

在该AWS GovCloud (US)区域，您只能为自定义模型购买预置吞吐量，无需承诺。

响应会返回一个可用作模型推理中的 modelId 的 provisionedModelArn。要检查预配置吞吐量何时可供使用，请发送GetProvisionedModelThroughput请求并检查状态是否为InService。如果更新失败，则其状态将为Failed，GetProvisionedModelThroughput响应中将包含failureMessage。

参阅代码示例