本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。 # 通过跨区域推理提高吞吐量 使用跨区域推理时，您可以选择与特定地理位置（例如美国或欧洲）关联的跨区域推理配置文件，也可以选择全球推理配置文件。当您选择与特定地理位置相关的推理配置文件时，Amazon Bedrock 会自动选择该地理区域 AWS 区域 内的最佳商业信息来处理您的推理请求。使用全球推理配置文件时，Amazon Bedrock 会自动选择优异的商业 AWS 区域 来处理请求，从而优化可用资源并提高模型吞吐量。 这两种类型的跨区域推理都通过推理配置文件起作用，[推理配置文件](inference-profiles.md)定义了基础模型 (FM) 和可以将请求 AWS 区域 路由到哪里。在按需模式下运行模型推理时，您的请求可能会受到服务配额的限制或在高峰使用时间受到限制。跨区域推理使您能够通过利用跨不同区域的计算来无缝管理计划外的流量爆发。 AWS 区域 您还可以通过购买[预调配吞吐量](prov-throughput.md)来增加模型的吞吐量。推理配置文件目前不支持预调配吞吐量。 要查看可以使用推理配置文件运行跨区域推理的区域和模型，请参阅[支持推理配置文件的区域和模型](inference-profiles-support.md)。 **Topics** + [在地理和全球跨区域推理之间进行选择](#cross-region-inference-comparison) + [一般注意事项](#cross-region-inference-general-considerations) + [地理跨区域推理](geographic-cross-region-inference.md) + [全球跨区域推理](global-cross-region-inference.md) ## 在地理和全球跨区域推理之间进行选择 Amazon Bedrock 提供两种类型的跨区域推理配置文件，每种配置文件均针对不同的用例和合规性要求而设计： | 功能 | 地理跨区域推理 | 全球跨区域推理 | 建议 | | --- | --- | --- | --- | | 数据驻留 | 在地理范围内（美国、欧盟、亚太地区等） | 全球任何支持的 AWS 商业区域 | 选择地理位置以满足合规性要求 | | 吞吐量 | 高于单一区域 | 可用的最高值 | 选择 “全局” 以获得最佳性能 | | 成本 | 标准定价 | 节省大约 10% | 选择 “全球” 进行成本优化 | | SCP 要求 | 允许配置文件中的所有目标区域 | 允许 "aws:RequestedRegion": "unspecified" | 根据您的组织策略进行配置 | | 最适合 | 有数据驻留规定的组织 | 优先考虑成本和性能的组织 | 评估您的合规和绩效需求 | 如果您有数据驻留要求并且需要确保数据处理保持在特定的地理边界内，请选择地理跨区域推理。如果您想在不受地理限制的情况下最大限度地提高吞吐量并节省成本，请选择全球跨区域推理。 ## 一般注意事项 请注意以下有关跨区域推理的信息： + 使用跨区域推理不会产生额外的路由成本。价格是根据您调用推理配置文件的区域计算得出的。有关定价的信息，请参阅 [Amazon Bedrock 定价](https://aws.amazon.com/bedrock/pricing/)。 + 跨区域推理可以将请求路由到您 AWS 区域 中未手动启用的区域。 AWS 账户跨区域推理无需手动启用区域即可起作用。 + 跨区域操作期间传输的所有数据都保留在 AWS 网络上，不会通过公共互联网。数据在两者之间传输时会被加密 AWS 区域。 + 所有跨区域推理请求都将 CloudTrail 登录到您的源区域。查找该`additionalEventData.inferenceRegion`字段以确定请求的处理位置。 + AWS 由 Amazon Bedrock 提供支持的服务也可能使用 CRIS。有关详细信息，请参阅特定于服务的文档。 # 地理跨区域推理 地理跨区域推理可将数据处理保持在指定的地理边界（美国、欧盟、亚太地区等）内，同时提供比单区域推理更高的吞吐量。此选项非常适合有数据驻留要求和合规性法规的组织。 ## 地理跨区域推理注意事项 请注意以下有关地理跨区域推断的信息： + 向与地理位置（例如美国、欧盟和亚太地区）关联的推理配置文件发出的跨区域推理请求保存在数据最初所在的地理区域内。 AWS 区域 例如，在美国境内提出的请求保存在美国境内。 AWS 区域 尽管数据仍然只存储在源区域中，但在跨区域推理期间，您的输入提示和输出结果可能会传出源区域。所有数据都将通过 Amazon 的安全网络进行加密传输。 + 在使用与地理位置（例如美国、欧洲和亚太地区）关联的推理配置文件时，要查看跨区域吞吐量的默认配额，请在《AWS 一般参考》**中，参阅 [Amazon Bedrock 服务配额](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#limits_bedrock)中的 **\$1\$1Model\$1 的每分钟跨区域模型推理请求数**和 **\$1\$1Model\$1 的每分钟跨区域模型推理词元数**值。 ## 地理跨区域推断的 IAM 政策要求 要允许 IAM 用户或角色调用地理跨区域推理配置文件，您需要允许访问以下资源： 1. 特定于地理位置的跨区域推理配置文件（这些配置文件具有地理前缀，例如、、）`us``eu``apac` 1. 源区域中的基础模型 1. 地理概况中列出的所有目的地区域的基础模型 以下示例策略授予使用带有美国地理跨区域推理配置文件的 Claude Sonnet 4.5 基础模型所需的权限，其中源区域为，目标区域为`us-east-1`，`us-east-1`以及：`us-east-2``us-west-2` ``` { "Version": "2012-10-17" , "Statement": [ { "Sid": "GrantGeoCrisInferenceProfileAccess", "Effect": "Allow", "Action": "bedrock:InvokeModel", "Resource": [ "arn:aws:bedrock:us-east-1::inference-profile/us.anthropic.claude-sonnet-4-5-20250929-v1:0" ] }, { "Sid": "GrantGeoCrisModelAccess", "Effect": "Allow", "Action": "bedrock:InvokeModel", "Resource": [ "arn:aws:bedrock:us-east-1::foundation-model/anthropic.claude-sonnet-4-5-20250929-v1:0", "arn:aws:bedrock:us-east-2::foundation-model/anthropic.claude-sonnet-4-5-20250929-v1:0", "arn:aws:bedrock:us-west-2::foundation-model/anthropic.claude-sonnet-4-5-20250929-v1:0" ], "Condition": { "StringEquals": { "bedrock:InferenceProfileArn": "arn:aws:bedrock:us-east-1::inference-profile/us.anthropic.claude-sonnet-4-5-20250929-v1:0" } } } ] } ``` 第一条语句授予来自请求区域的请求的 `bedrock:InvokeModel` API 访问地理跨区域推理配置文件的权限。第二条语句授予 `bedrock:InvokeModel` API 对推理配置文件中列出的请求区域和所有目标区域中的基础模型的访问权限。 ## 地理跨区域推理的服务控制策略要求 为了安全性和合规性，许多组织通过 Organization AWS s 中的服务控制策略实施区域访问控制。如果贵组织的安全策略用于 SCPs 屏蔽未使用的区域，则必须确保特定于区域的 SCP 条件允许访问来源区域的地理跨区域推理配置文件中列出的所有目标区域。 要进行地理跨区域推断，您需要了解源区域（您发出 API 调用的地方）和目标区域（可以路由请求的地方）之间的关系。请查看推理配置文件文档，确定源区域的所有目标区域，然后确保 SCPs 允许访问所有这些目标区域。 例如，如果你使用美国 Anthropic Claude Sonnet 4.5 地理配置文件从 us-east-1（来源区域）拨打电话，则可以将请求路由到 us-east-1、us-east-2 和 us-west-2（目标区域）。如果 SCP 限制只能访问 us-east-1，则在尝试路由到 us-east-2 或 us-west-2 时，跨区域推断将失败。因此，无论您从哪个区域拨打电话，都需要在 SCP 中允许所有三个目的地区域。 在配置 SCPs 区域排除时，请记住，即使您的源区域仍然可以访问，在推理配置文件中屏蔽任何目标区域也会使跨区域推理无法正常运行。有关全球跨区域推理的 SCP 要求，请参阅。[全球跨区域推理的服务控制策略要求](global-cross-region-inference.md#global-cris-scp-setup) 为了提高安全性，可以考虑使用`bedrock:InferenceProfileArn`条件来限制对特定推理配置文件的访问。这允许您授予对所需区域的访问权限，同时限制可以使用哪些推理配置文件。 ## 使用地理跨区域推理 要使用地理跨区域推理，请在通过以下方式运行模型[推理时包含推理配置文件](inference-profiles.md)： + **按需模型推理** — 在发送、、C [onverse](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html) 或请求`modelId`时 [InvokeModel[InvokeModelWithResponseStream](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModelWithResponseStream.html)](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html)，将推理配置文件的 ID 指定为。[ConverseStream](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_ConverseStream.html)推理配置文件定义了一个或多个区域，以将来自您的源区域的推理请求路由到这些区域。使用跨区域推理时，系统可以跨推理配置文件中定义的区域动态路由模型调用请求，从而提高吞吐量。路由会考虑用户流量、需求和资源利用率。有关更多信息，请参阅 [使用模型推理提交提示并生成响应](inference.md)。 + **Batch In** ference — 通过在发送请求`modelId`时指定推理配置文件的 ID，使用批量推理异步提交请求。[CreateModelInvocationJob](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateModelInvocationJob.html)使用推理配置文件，您可以跨多个 AWS 区域 利用计算资源，从而缩短批处理作业的处理时间。作业完成后，您可以从源区域中的 Amazon S3 存储桶检索输出文件。 + **代理** – 在 [https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent_CreateAgent.html](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent_CreateAgent.html) 请求的 `foundationModel` 字段中指定推理配置文件的 ID。有关更多信息，请参阅 [手动创建和配置代理](agents-create.md)。 + **知识库响应生成** – 在查询知识库后生成响应时，您可以使用跨区域推理。有关更多信息，请参阅 [利用查询和响应测试知识库](knowledge-base-test.md)。 + **模型评测** – 在提交模型评测作业时，可以将推理配置文件作为模型进行评测。有关更多信息，请参阅 [评测 Amazon Bedrock 资源的性能](evaluation.md)。 + **提示管理器** – 在为在提示管理器中创建的提示生成响应时，可以使用跨区域推理。有关更多信息，请参阅 [在 Amazon Bedrock 中使用提示管理器构建和存储可重复使用的提示](prompt-management.md)。 + **提示流** – 为在提示工作流的提示节点内定义的内联提示生成响应时，可以使用跨区域推理。有关更多信息，请参阅 [使用 Amazon Bedrock Flows 构建 end-to-end生成式 AI 工作流程](flows.md)。 要了解如何使用推理配置文件跨区域发送模型调用请求，请参阅[在模型调用中使用推理配置文件](inference-profiles-use.md)。 要了解有关跨区域推理的更多信息，请参阅[开始使用 Amazon Bedrock 中的跨区域推理](https://aws.amazon.com/blogs/machine-learning/getting-started-with-cross-region-inference-in-amazon-bedrock/)。 有关全球跨区域推断（包括 IAM 设置和服务配额管理）的详细信息，请参阅。[全球跨区域推理](global-cross-region-inference.md) # 全球跨区域推理 全球跨区域推理将跨区域推理扩展到地理边界之外，从而能够将推理请求路由到 AWS 区域 全球支持的商业，优化可用资源并实现更高的模型吞吐量。 ## 全球跨区域推理的好处 Anthropic 的 Claude Sonnet 4.5 的全球跨区域推理与传统的地理跨区域推理配置文件相比，具有多种优势： + 在@@ **需求高峰期提高吞吐量** — 全球跨区域推理通过自动将请求路由到可用容量，从而提高需求高峰期 AWS 区域 的弹性。这种动态路由可以无缝进行，无需开发人员的额外配置或干预。与可能需要在客户端之间进行复杂的负载平衡的传统方法不同 AWS 区域，全局跨区域推理会自动处理流量峰值。这对于业务关键型应用程序尤其重要，在这些应用程序中，停机或性能下降可能会对财务或声誉造成重大影响。 + **成本效益** — 与地理跨区域推断相比，Anthropic的Claude Sonnet 4.5的全球跨区域推理在输入和输出代币定价方面节省了约10％。价格是根据提出请求 AWS 区域 的来源（来源 AWS 区域）计算的。这意味着组织可以以更低的成本从更高的弹性中受益。对于希望优化生成式 AI 部署的组织来说，这种定价模式使全球跨区域推理成为一种经济实惠的解决方案。通过提高资源利用率和在不增加成本的情况下实现更高的吞吐量，它可以帮助组织最大限度地提高对 Amazon Bedrock 的投资价值。 + **简化监控**-使用全球跨区域推理时， CloudWatch CloudTrail 继续在源中记录日志条目 AWS 区域，从而简化可观察性和管理。尽管您的请求是在 AWS 区域 全球不同地区处理的，但您可以通过熟悉的 AWS 监控工具集中查看应用程序的性能和使用模式。 + **按需配额灵活性** — 借助全球跨区域推理，您的工作负载不再受单个区域容量的限制。您的请求可以在 AWS 全球基础架构中动态路由 AWS 区域，而不必局限于特定可用容量。这提供了对更大资源池的访问权限，从而降低了处理高容量工作负载和突然流量峰值的复杂性。 ## 全球跨区域推理注意事项 请注意以下有关全球跨区域推理的信息： + 相比与特定地理位置关联的推理配置文件，全球跨区域推理配置文件提供的吞吐量更高。相比单区域推理，与特定地理位置关联的推理配置文件提供的吞吐量更高。 + 在使用全球推理配置文件时，要查看跨区域吞吐量的默认配额，请在《AWS 一般参考》**中，参阅 [Amazon Bedrock 服务配额](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#limits_bedrock)中的 **\$1\$1Model\$1 的每分钟全球跨区域模型推理请求数**和 **\$1\$1Model\$1 的每分钟全球跨区域模型推理词元数**值。 您可以从 Service Quotas [控制台或在**源**区域中使用 CL AWS I 命令请求、查看和管理全球跨区域推理配置文件的配额](https://console.aws.amazon.com/servicequotas/home/services/bedrock/quotas)。 ## 全球跨区域推理的 IAM 政策要求 要为您的用户启用全球跨区域推理，您必须对该角色应用由三部分组成的 IAM 策略。以下是提供精细控制的 IAM 策略示例。您可以将示例策略替换``为 AWS 区域 正在使用的策略。 ``` { "Version": "2012-10-17" , "Statement": [ { "Sid": "GrantGlobalCrisInferenceProfileRegionAccess", "Effect": "Allow", "Action": "bedrock:InvokeModel", "Resource": [ "arn:aws:bedrock:::inference-profile/global." ], "Condition": { "StringEquals": { "aws:RequestedRegion": "" } } }, { "Sid": "GrantGlobalCrisInferenceProfileInRegionModelAccess", "Effect": "Allow", "Action": "bedrock:InvokeModel", "Resource": [ "arn:aws:bedrock:::foundation-model/" ], "Condition": { "StringEquals": { "aws:RequestedRegion": "", "bedrock:InferenceProfileArn": "arn:aws:bedrock:::inference-profile/global." } } }, { "Sid": "GrantGlobalCrisInferenceProfileGlobalModelAccess", "Effect": "Allow", "Action": "bedrock:InvokeModel", "Resource": [ "arn:aws:bedrock:::foundation-model/" ], "Condition": { "StringEquals": { "aws:RequestedRegion": "unspecified", "bedrock:InferenceProfileArn": "arn:aws:bedrock:::inference-profile/global." } } } ] } ``` 该政策的第一部分允许访问您请求 AWS 区域中的区域推理配置文件。第二部分提供对区域调频资源的访问。第三部分授予对全球 FM 资源的访问权限，该资源支持跨区域路由功能。 在实施这些政策时，请确保所有三个资源 Amazon 资源名称 (ARNs) 都包含在您的 IAM 声明中： + 区域推理配置文件 ARN 遵循这种模式。`arn:aws:bedrock:REGION:ACCOUNT:inference-profile/global.MODEL-NAME`这用于提供对源代码 AWS 区域中的全局推理配置文件的访问权限。 + 区域调频使用`arn:aws:bedrock:REGION::foundation-model/MODEL-NAME`. 这用于访问源中的 FM AWS 区域。 + 全球调频要求`arn:aws:bedrock:::foundation-model/MODEL-NAME`. 这用于在不同的全球范围内访问FM AWS 区域。 全球 FM ARN 没有指定 AWS 区域 或账户，这是故意的，也是跨区域功能所必需的。 ### 禁用全局跨区域推理 您可以从两种主要方法中进行选择，针对特定 IAM 角色向全球 CRI 实施拒绝策略，每种方法都有不同的用例和含义： + **移除 IAM 策略** — 第一种方法涉及从用户权限中移除三个必需的 IAM 策略中的一个或多个。由于全局 CRIS 要求所有三个策略都发挥作用，因此删除策略将导致访问被拒绝。 + **实施拒绝策略** — 第二种方法是实施明确的拒绝策略，专门针对全球 CRIS 推理配置文件。此方法可以清楚地记录您的安全意图，并确保即使有人稍后不小心添加了所需的允许策略，也将优先考虑显式拒绝。拒绝策略应使用与模式匹配的`StringEquals`条件`"aws:RequestedRegion": "unspecified"`。这种模式专门针对带有`global`前缀的推理配置文件。 在实施拒绝策略时，至关重要的是要了解全球 CRIS 会改变该`aws:RequestedRegion`领域的行为方式。 AWS 区域基于传统的拒绝策略使用具有特定 AWS 区域 名称的`StringEquals`条件（例如），在全局 CRIS 中`"aws:RequestedRegion": "us-west-2"`将无法按预期运行，因为服务将此字段设置为`global`而不是实际目的地 AWS 区域。但是，如前所述，`"aws:RequestedRegion": "unspecified"`将产生拒绝效果。 ## 全球跨区域推理的服务控制策略要求 对于全球跨区域推断，如果贵组织的安全策略用于屏蔽未使用的区域，则必须更新特定于区域的 SCP 条件 SCPs 以允许访问。`"aws:RequestedRegion": "unspecified"`此条件特定于 Amazon Bedrock 全球跨区域推理，可确保请求可以路由到所有支持的商业区域。 AWS 以下示例 SCP 会阻止已批准区域之外的所有 AWS API 调用，同时允许使用`"unspecified"`作为全球路由区域的 Amazon Bedrock 全球跨区域推理调用： ``` { "Version": "2012-10-17" , "Statement": [ { "Sid": "DenyAllOutsideApprovedRegions", "Effect": "Deny", "Action": "*", "Resource": "*", "Condition": { "StringNotEquals": { "aws:RequestedRegion": [ "us-east-1", "us-east-2", "us-west-2", "unspecified" ] } } } ] } ``` ### 禁用全局跨区域推理 有数据驻留或合规要求的组织应评估全球跨区域推理是否符合其合规框架，因为请求可能会在其他支持的 AWS 商业区域处理。要明确禁用全球跨区域推理，请实施以下 SCP 策略： ``` { "Effect": "Deny", "Action": "bedrock:*", "Resource": "*", "Condition": { "StringEquals": { "aws:RequestedRegion": "unspecified" }, "ArnLike": { "bedrock:InferenceProfileArn": "arn:aws:bedrock:*:*:inference-profile/global.*" } } } ``` 此 SCP 明确拒绝全球跨区域推断，因为 `"aws:RequestedRegion"` is `"unspecified"` 和`"ArnLike"`条件以 ARN `global` 中带有前缀的推理配置文件为目标。 ### AWS Control Tower 的实现 强烈建议不要手动编辑 Cont AWS rol Tower SCPs 管理的内容，因为这可能会导致偏差。相反，请使用 Control Tower 提供的机制来管理这些异常。核心原则包括扩展现有的区域拒绝控制或启用区域，然后应用自定义的有条件屏蔽策略。 有关使用 Control Tower 实现跨区域推理的详细 step-by-step指南，请参阅博客文章在多账户环境中启用 [Amazon Bedrock 跨区域推](https://aws.amazon.com/blogs/machine-learning/enable-amazon-bedrock-cross-region-inference-in-multi-account-environments/)理。这包括扩展现有区域拒绝 SCPs、使用自定义启用拒绝区域 SCPs，以及使用 Cont AWS rol Tower 的自定义 (cfcT) 将自定义部署 SCPs 为基础架构即代码。 ## 提高了全球跨区域推理的请求限制 使用全局 CRIS 推理配置文件时，您可以使用来自 20 多个支持的来源的全局 CRIS。 AWS 区域由于这将是一个全球限制，因此查看、管理或增加全球跨区域推理配置文件配额的请求必须通过请求来源中的 Service Quotas 控制台或 AWS 命令行界面 (C AWS LI) 提出。 AWS 区域 要申请提高限额，请完成以下步骤： 1. 使用您的 AWS 账户登录 Service Quotas 控制台。 1. 在导航窗格中，选择 **AWS 服务**。 1. 从服务列表中找到并选择 **Amazon Bedrock**。 1. 在 Amazon Bedrock 的配额列表中，使用搜索筛选器查找特定的全球 CRIS 配额。例如： + Anthropic Claude Sonnet 4.5 V1 每分钟全球跨区域模型推理令牌 1. 选择要增加的配额。 1. 选择**请求增加账户配额**。 1. 输入您想要的新配额值。 1. 选择**请求**，提交您的请求。 在计算所需的配额增加时，请记住要考虑消耗率，消耗率定义为限制系统的输入和输出代币转换为令牌配额使用量的比率。以下模型的输出代币**消耗率为 5 倍（1 个输出代币消耗配额中的 5 个代币**）： + 人类 Claude Opus 4 + 人类 Claude Sonnet 4.5 + 人类 Claude Sonnet 4 + Anthropic Claude 3.7 对于所有其他模型，消耗比率为 **1:1**（在配额中，1 个输出词元消耗 1 个词元）。对于输入代币，代币与配额的比例为 1:1。每次请求的代币总数的计算方法如下： `Input token count + Cache write input tokens + (Output token count x Burndown rate)` ## 使用全球跨区域推理 要在 Anthropic 的 Claude Sonnet 4.5 中使用全局跨区域推理，开发人员必须完成以下关键步骤： + **使用全局推理配置文件 ID — 在**对 Amazon Bedrock 进行 API 调用时，请指定全球 Anthropic 的 Claude Sonnet 4.5 推理配置文件 ID (`global.anthropic.claude-sonnet-4-5-20250929-v1:0`)，而不是特定的模型 ID。 AWS 区域 + **配置 IAM 权限** — 授予相应的 IAM 权限，以访问推理配置文件和 FMs 进入潜在目的地 AWS 区域。 支持以下各项的全球跨区域推理： + 按需模型推理 + 批量推理 + 座席 + 模型评测 + 提示管理器 + 提示流 **注意** 按需模型推理、批量推理、代理、模型评测、提示管理器和提示流支持全球推理配置文件。 ## 实现全球跨区域推理 使用Anthropic的Claude Sonnet 4.5实现全球跨区域推理非常简单，只需要对现有的应用程序代码进行一些更改即可。以下是如何在 Python 中更新代码的示例： ``` import boto3 import json bedrock = boto3.client('bedrock-runtime', region_name='us-east-1') model_id = "global.anthropic.claude-sonnet-4-5-20250929-v1:0" response = bedrock.converse( messages=[{"role": "user", "content": [{"text": "Explain cloud computing in 2 sentences."}]}], modelId=model_id, ) print("Response:", response['output']['message']['content'][0]['text']) print("Token usage:", response['usage']) print("Total tokens:", response['usage']['totalTokens']) ```