本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
地理跨區域推論
地理跨區域推論會將資料處理保持在指定的地理邊界 (美國、歐洲、亞太區等) 內,同時提供比單一區域推論更高的輸送量。此選項非常適合具有資料落地要求和合規法規的組織。
地理跨區域推論考量
請注意下列有關地理跨區域推論的資訊:
-
跨區域推論請求與地理 (例如美國、歐洲和亞太區) 繫結的推論描述檔,會保留在 AWS 區域 原始資料所在地理位置的 內。例如,在美國提出的請求會保留 AWS 區域 在美國的 內。雖然資料只會存放在來源區域中,但您的輸入提示和輸出結果可能會在跨區域推論期間移動到來源區域之外。所有資料都會透過 Amazon 的安全網路進行加密傳輸。
-
若要在使用與地理位置 (例如美國、歐洲和亞太區) 繫結的推論設定檔時,查看跨區域輸送量的預設配額,請參閱《AWS 一般參考》中 ${Model} 的每分鐘跨區域模型推論請求,以及 Amazon Bedrock 服務配額中 ${Model} 的每分鐘跨區域模型推論字符。
地理跨區域推論的 IAM 政策需求
若要允許 IAM 使用者或角色叫用地理跨區域推論設定檔,您需要允許存取下列資源:
-
地理特定的跨區域推論設定檔 (這些設定檔具有地理字首,例如
us、eu、apac) -
來源區域中的基礎模型
-
地理設定檔中列出的所有目的地區域中的基礎模型
下列範例政策授予使用 Claude Sonnet 4.5 基礎模型與美國地理跨區域推論設定檔的必要許可,其中來源區域為 us-east-2,us-east-1而目的地區域為 us-east-1、 和 us-west-2:
{ "Version": "2012-10-17", "Statement": [ { "Sid": "GrantGeoCrisInferenceProfileAccess", "Effect": "Allow", "Action": "bedrock:InvokeModel", "Resource": [ "arn:aws:bedrock:us-east-1:<ACCOUNT_ID>:inference-profile/us.anthropic.claude-sonnet-4-5-20250929-v1:0" ] }, { "Sid": "GrantGeoCrisModelAccess", "Effect": "Allow", "Action": "bedrock:InvokeModel", "Resource": [ "arn:aws:bedrock:us-east-1::foundation-model/anthropic.claude-sonnet-4-5-20250929-v1:0", "arn:aws:bedrock:us-east-2::foundation-model/anthropic.claude-sonnet-4-5-20250929-v1:0", "arn:aws:bedrock:us-west-2::foundation-model/anthropic.claude-sonnet-4-5-20250929-v1:0" ], "Condition": { "StringEquals": { "bedrock:InferenceProfileArn": "arn:aws:bedrock:us-east-1:<ACCOUNT_ID>:inference-profile/us.anthropic.claude-sonnet-4-5-20250929-v1:0" } } } ] }
第一個陳述式會授予來自請求區域的請求之地理跨區域推論描述檔的 bedrock:InvokeModel API 存取權。第二個陳述式授予 bedrock:InvokeModel API 在請求區域和推論設定檔中列出的所有目的地區域中對基礎模型的存取權。
地理跨區域推論的服務控制政策需求
許多組織透過 AWS Organizations 中的服務控制政策實作區域存取控制,以確保安全和合規。如果您組織的安全政策使用 SCPs 封鎖未使用的區域,您必須確保區域特定的 SCP 條件允許存取來源區域地理跨區域推論設定檔中列出的所有目的地區域。
對於地理跨區域推論,您需要了解來源區域 (進行 API 呼叫的位置) 與目的地區域 (可路由請求的位置) 之間的關係。檢查推論設定檔文件以識別來源區域的所有目的地區域,然後確保您的 SCPs存取所有這些目的地區域。
例如,如果您使用 US Anthropic Claude Sonnet 4.5 地理設定檔從 us-east-1 (來源區域) 呼叫 ,請求可以路由到 us-east-1、us-east-2 和 us-west-2 (目的地區域)。如果 SCP 限制只能存取 us-east-1,則嘗試路由到 us-east-2 或 us-west-2 時,跨區域推論將會失敗。因此,無論您從哪個區域呼叫,您都需要允許 SCP 中的所有三個目的地區域。
將 SCPs設定為區域排除時,請記住,封鎖推論描述檔中的任何目的地區域將阻止跨區域推論正常運作,即使您的來源區域仍可存取。如需全域跨區域推論的 SCP 需求,請參閱 全域跨區域推論的服務控制政策需求。
為了提高安全性,請考慮使用 bedrock:InferenceProfileArn條件來限制對特定推論描述檔的存取。這可讓您授予對所需區域的存取權,同時限制可以使用哪些推論設定檔。
使用地理跨區域推論
若要使用地理跨區域推論,您可以在執行模型推論時以下列方式包含推論描述檔:
-
隨需模型推論:在傳送 InvokeModel、InvokeModelWithResponseStream、Converse 或 ConverseStream 請求時,將推論設定檔的 ID 指定為
modelId。推論設定檔會定義一或多個區域,其可將來自來源區域的推論請求路由至那些區域。使用跨區域推論可透過在推論設定檔中定義的區域中動態路由模型調用請求,來提高輸送量和效能。使用者流量、需求和資源使用率的路由因素。如需詳細資訊,請參閱提交提示並使用模型推論產生回應 -
批次推論:在傳送 CreateModelInvocationJob 請求時,將推論設定檔的 ID 指定為
modelId,以批次推論非同步方式提交請求。使用推論設定檔可讓您跨多個 AWS 區域 使用運算,並加快批次任務的處理時間。任務完成後,您可以從來源區域中的 Amazon S3 儲存貯體擷取輸出檔案。 -
代理程式:在 CreateAgent 請求的
foundationModel欄位中指定推論設定檔的 ID。如需詳細資訊,請參閱手動建立和設定代理程式。 -
知識庫回應產生:您可以在查詢知識庫之後產生回應時使用跨區域推論。如需詳細資訊,請參閱使用查詢和回應測試您的知識庫。
-
模型評估 – 您可以提交推論設定檔作為模型,以在提交模型評估任務時進行評估。如需詳細資訊,請參閱評估 Amazon Bedrock 資源的效能。
-
提示管理:您可以在為提示管理中建立的提示產生回應時使用跨區域推論。如需詳細資訊,請參閱在 Amazon Bedrock 中使用提示管理來建構和存放可重複使用的提示
-
提示流程:在為提示產生回應時,您可以在提示流程中的提示節點中定義內嵌時,使用跨區域推論。如需詳細資訊,請參閱使用 Amazon Bedrock 流程建置端對端生成式 AI 工作流程。
若要了解如何使用推論設定檔,跨區域傳送模型調用請求,請參閱在模型調用中使用推論設定檔。
若要進一步了解跨區域推論,請參閱 Amazon Bedrock 中的跨區域推論入門
如需全域跨區域推論的詳細資訊,包括 IAM 設定和服務配額管理,請參閱 全域跨區域推論。