本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
在模型调用中使用推理配置文件
您可以使用跨区域推理配置文件代替基础模型,将请求路由到多个区域。要在一个或多个区域中追踪模型的成本和使用情况,您可以使用应用程序推理配置文件。要了解如何在运行模型推理时使用推理配置文件,请选择与您的首选方法对应的选项卡,然后按照以下步骤操作:
- Console
-
要将推理配置文件与支持推理配置文件的功能结合使用,请执行以下操作:
-
使用有权使用 Amazon Bedrock 控制台的 IAM 身份登录。 AWS 管理控制台 然后,打开 Amazon Bedrock 控制台,网址为https://console.aws.amazon.com/bedrock
。 -
导航到要使用推理配置文件的功能的页面。例如,从左侧导航窗格中选择聊天/文本演练场。
-
选择选择模型,然后选择相应模型。例如,选择 Amazon,然后选择 Nova Premier。
-
在推理下,从下拉菜单中选择推理配置文件。
-
选择要使用的推理配置文件(例如,US Nova Premier),然后选择应用。
-
- API
-
通过以下 API 操作,从推理配置文件中包含的任何区域运行推理时,您可以使用该推理配置文件:
-
InvokeModel或 InvokeModelWithResponseStream— 要在模型调用中使用推理配置文件,请按照中的步骤操作,使用以下命令提交单个提示 InvokeModel并在字段中指定推理配置文件的 Amazon 资源名称 (ARN)。
modelId有关示例,请参阅在模型调用中使用推理配置文件。 -
Converse or ConverseStream— 要在 Converse API 的模型调用中使用推理配置文件,请按照中的步骤操作,使用匡威 API 进行推理并在字段中指定推理配置文件的 ARN。
modelId有关示例,请参阅在模型调用中使用推理配置文件。 -
RetrieveAndGenerate – 要在根据查询知识库的结果生成响应时使用推理配置文件,请按照利用查询和响应测试知识库中 API 选项卡中的步骤操作,并在
modelArn字段中指定推理配置文件的 ARN。有关更多信息,请参阅使用推理配置文件生成响应。 -
CreateEvaluationJob— 要提交推理配置文件以进行模型评估,请按照中 API 选项卡中的步骤操作,在 Amazon Bedrock 中启动自动模型评测作业并在字段中指定推理配置文件的 ARN。
modelIdentifier -
CreatePrompt— 要在为在 Prompt management 中创建的提示生成响应时使用推理配置文件,请按照中 API 选项卡中的步骤操作,使用提示管理器创建提示并在字段中指定推理配置文件的 ARN。
modelId -
CreateFlow— 要在为在流程的提示节点内定义的内联提示生成响应时使用推理配置文件,请按照中 “API” 选项卡中的在 Amazon Bedrock 中创建和设计流步骤进行操作。在定义提示节点时,在
modelId字段中指定推理配置文件的 ARN。 -
CreateDataSource— 要在解析数据源中的非文本信息时使用推理配置文件,请按照中 API 部分中的步骤操作,并在字段中数据来源的解析选项指定推理配置文件的 ARN。
modelArn
注意
如果您使用的是跨区域(系统定义的)推理配置文件,则可使用推理配置文件的 ARN 或 ID。
-