View a markdown version of this page

地理跨区域推理 - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

地理跨区域推理

地理跨区域推理可将数据处理保持在指定的地理边界(美国、欧盟、亚太地区等)内,同时提供比单区域推理更高的吞吐量。此选项非常适合有数据驻留要求和合规性法规的组织。

地理跨区域推理注意事项

请注意以下有关地理跨区域推断的信息:

  • Cross-Region 对与地理位置(例如美国、欧盟和亚太地区)关联的推理配置文件发出的推理请求保存在数据最初所在的地理区域内。 AWS 区域 例如,在美国境内提出的请求保存在美国境内。 AWS 区域 尽管数据仍然只存储在源区域中,但在跨区域推理期间,您的输入提示和输出结果可能会传出源区域。所有数据都将通过 Amazon 的安全网络进行加密传输。

  • 要查看使用与地理位置(例如美国、欧盟和亚太地区)关联的推理配置文件时跨区域吞吐量的默认配额,请参阅《一般参考》中 $ {Model} 的每分钟Cross-region 模型推理请求数和 A mazon Bedrock 服务配额中每分钟 $ {M Cross-region odel} 值的模型推理令牌。AWS

地理跨区域推断的 IAM 政策要求

要允许 IAM 用户或角色调用地理跨区域推理配置文件,您需要允许访问以下资源:

  1. 特定于地理位置的跨区域推理配置文件(这些配置文件具有地理前缀,例如、、)useuapac

  2. 源区域中的基础模型

  3. 地理概况中列出的所有目的地区域的基础模型

以下示例策略授予使用带有美国地理跨区域推理配置文件的 Claude Sonnet 4.5 基础模型所需的权限,其中源区域为,目标区域为us-east-1us-east-1以及:us-east-2us-west-2

{ "Version": "2012-10-17", "Statement": [ { "Sid": "GrantGeoCrisInferenceProfileAccess", "Effect": "Allow", "Action": "bedrock:InvokeModel", "Resource": [ "arn:aws:bedrock:us-east-1:<ACCOUNT_ID>:inference-profile/us.anthropic.claude-sonnet-4-5-20250929-v1:0" ] }, { "Sid": "GrantGeoCrisModelAccess", "Effect": "Allow", "Action": "bedrock:InvokeModel", "Resource": [ "arn:aws:bedrock:us-east-1::foundation-model/anthropic.claude-sonnet-4-5-20250929-v1:0", "arn:aws:bedrock:us-east-2::foundation-model/anthropic.claude-sonnet-4-5-20250929-v1:0", "arn:aws:bedrock:us-west-2::foundation-model/anthropic.claude-sonnet-4-5-20250929-v1:0" ], "Condition": { "StringEquals": { "bedrock:InferenceProfileArn": "arn:aws:bedrock:us-east-1:<ACCOUNT_ID>:inference-profile/us.anthropic.claude-sonnet-4-5-20250929-v1:0" } } } ] }

第一条语句授予来自请求区域的请求的 bedrock:InvokeModel API 访问地理跨区域推理配置文件的权限。第二条语句授予 bedrock:InvokeModel API 对推理配置文件中列出的请求区域和所有目标区域中的基础模型的访问权限。

地理跨区域推理的服务控制策略要求

为了安全性和合规性,许多组织通过 Organization AWS s 中的服务控制策略实施区域访问控制。如果贵组织的安全策略使用 SCP 来屏蔽未使用的区域,则必须确保您的 Region-specific SCP 条件允许访问来源区域的地理跨区域推理配置文件中列出的所有目标区域。

要进行地理跨区域推断,您需要了解源区域(您发出 API 调用的地方)和目标区域(可以路由请求的地方)之间的关系。查看推理配置文件文档以确定源区域的所有目标区域,然后确保您的 SCP 允许访问所有这些目标区域。

例如,如果你使用美国 Anthropic Claude Sonnet 4.5 地理配置文件从 us-east-1(来源区域)拨打电话,则可以将请求路由到 us-east-1、us-east-2 和 us-west-2(目标区域)。如果 SCP 限制只能访问 us-east-1,则在尝试路由到 us-east-2 或 us-west-2 时,跨区域推断将失败。因此,无论您从哪个区域拨打电话,都需要在 SCP 中允许所有三个目的地区域。

在为区域排除配置 SCP 时,请记住,即使您的源区域仍然可以访问,在推理配置文件中屏蔽任何目标区域也会导致跨区域推理无法正常运行。有关全球跨区域推理的 SCP 要求,请参阅。全球跨区域推理的服务控制策略要求

为了提高安全性,可以考虑使用bedrock:InferenceProfileArn条件来限制对特定推理配置文件的访问。这允许您授予对所需区域的访问权限,同时限制可以使用哪些推理配置文件。

使用地理跨区域推理

要使用地理跨区域推理,请在通过以下方式运行模型推理时包含推理配置文件

  • On-demand 模型推理 — 在发送、、C onverse 或请求modelIdInvokeModelInvokeModelWithResponseStream,将推理配置文件的 ID 指定为。ConverseStream推理配置文件定义了一个或多个区域,以将来自您的源区域的推理请求路由到这些区域。使用跨区域推理时,系统可以跨推理配置文件中定义的区域动态路由模型调用请求,从而提高吞吐量。用户流量、需求和资源使用中的路由因素。有关更多信息,请参阅 提出推理请求

  • Batch In ference — 通过在发送请求modelId时指定推理配置文件的 ID,使用批量推理异步提交请求。CreateModelInvocationJob使用推理配置文件可以让你跨多个使用计算 AWS 区域 ,缩短批处理作业的处理时间。作业完成后,您可以从源区域中的 Amazon S3 存储桶检索输出文件。

  • 代理 – 在 CreateAgent 请求的 foundationModel 字段中指定推理配置文件的 ID。有关更多信息,请参阅 手动创建和配置代理

  • 知识库响应生成 – 在查询知识库后生成响应时,您可以使用跨区域推理。有关更多信息,请参阅 利用查询和响应测试知识库

  • 模型评测 – 在提交模型评测作业时,可以将推理配置文件作为模型进行评测。有关更多信息,请参阅 评测 Amazon Bedrock 资源的性能

  • 提示管理器 – 在为在提示管理器中创建的提示生成响应时,可以使用跨区域推理。有关更多信息,请参阅 在 Amazon Bedrock 中使用提示管理器构建和存储可重复使用的提示

  • 提示流 – 为在提示工作流的提示节点内定义的内联提示生成响应时,可以使用跨区域推理。有关更多信息,请参阅 使用 Amazon Bedrock 流构建端到端生成式人工智能工作流

要了解如何使用推理配置文件跨区域发送模型调用请求,请参阅在模型调用中使用推理配置文件

要了解有关跨区域推理的更多信息,请参阅开始使用 Amazon Bedrock 中的跨区域推理

有关全球跨区域推断(包括 IAM 设置和服务配额管理)的详细信息,请参阅。全球跨区域推理