Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Inferensi lintas wilayah global

Inferensi lintas wilayah global memperluas inferensi lintas wilayah di luar batas geografis, memungkinkan perutean permintaan inferensi untuk mendukung komersial di Wilayah AWS seluruh dunia, mengoptimalkan sumber daya yang tersedia dan memungkinkan throughput model yang lebih tinggi.

Manfaat inferensi lintas wilayah global

Inferensi lintas wilayah global untuk Claude Sonnet 4.5 Anthropic memberikan beberapa keunggulan dibandingkan profil inferensi lintas wilayah geografis tradisional:

Pertimbangan inferensi lintas wilayah global

Perhatikan informasi berikut tentang inferensi Global Cross-region:

Persyaratan kebijakan IAM untuk inferensi lintas wilayah global

Untuk mengaktifkan inferensi lintas wilayah global bagi pengguna Anda, Anda harus menerapkan kebijakan IAM tiga bagian ke peran tersebut. Berikut ini adalah contoh kebijakan IAM untuk memberikan kontrol granular. Anda dapat mengganti <REQUESTING REGION> dalam contoh kebijakan dengan tempat Wilayah AWS Anda beroperasi.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "GrantGlobalCrisInferenceProfileRegionAccess",
            "Effect": "Allow",
            "Action": "bedrock:InvokeModel",
            "Resource": [
                "arn:aws:bedrock:<REQUESTING REGION>:<ACCOUNT>:inference-profile/global.<MODEL NAME>"
            ],
            "Condition": {
                "StringEquals": {
                    "aws:RequestedRegion": "<REQUESTING REGION>"
                }
            }
        },
        {
            "Sid": "GrantGlobalCrisInferenceProfileInRegionModelAccess",
            "Effect": "Allow",
            "Action": "bedrock:InvokeModel",
            "Resource": [
                "arn:aws:bedrock:<REQUESTING REGION>::foundation-model/<MODEL NAME>"
            ],
            "Condition": {
                "StringEquals": {
                    "aws:RequestedRegion": "<REQUESTING REGION>",
                    "bedrock:InferenceProfileArn": "arn:aws:bedrock:<REQUESTING REGION>:<ACCOUNT>:inference-profile/global.<MODEL NAME>"
                }
            }
        },
        {
            "Sid": "GrantGlobalCrisInferenceProfileGlobalModelAccess",
            "Effect": "Allow",
            "Action": "bedrock:InvokeModel",
            "Resource": [
                "arn:aws:bedrock:::foundation-model/<MODEL NAME>"
            ],
            "Condition": {
                "StringEquals": {
                    "aws:RequestedRegion": "unspecified",
                    "bedrock:InferenceProfileArn": "arn:aws:bedrock:<REQUESTING REGION>:<ACCOUNT>:inference-profile/global.<MODEL NAME>"
                }
            }
        }
    ]
}

Bagian pertama dari kebijakan memberikan akses ke profil inferensi Regional dalam permintaan Anda. Wilayah AWS Bagian kedua menyediakan akses ke sumber daya FM Regional. Bagian ketiga memberikan akses ke sumber daya FM global, yang memungkinkan kemampuan perutean lintas wilayah.

Saat menerapkan kebijakan ini, pastikan ketiga sumber daya Amazon Resource Names (ARNs) disertakan dalam pernyataan IAM Anda:

FM ARN global tidak memiliki Wilayah AWS atau akun yang ditentukan, yang disengaja dan diperlukan untuk fungsionalitas Lintas wilayah.

Nonaktifkan inferensi lintas wilayah global

Anda dapat memilih dari dua pendekatan utama untuk menerapkan kebijakan penolakan ke CRIS global untuk peran IAM tertentu, masing-masing dengan kasus penggunaan dan implikasi yang berbeda:

Saat menerapkan kebijakan penolakan, penting untuk memahami bahwa CRIS global mengubah cara aws:RequestedRegion lapangan berperilaku. Kebijakan Wilayah AWS penolakan berbasis tradisional yang menggunakan StringEquals kondisi dengan Wilayah AWS nama tertentu seperti tidak "aws:RequestedRegion": "us-west-2" akan berfungsi seperti yang diharapkan dengan CRIS global karena layanan menetapkan bidang ini global daripada tujuan Wilayah AWS sebenarnya. Namun, seperti yang disebutkan sebelumnya, "aws:RequestedRegion": "unspecified" akan menghasilkan efek penolakan.

Persyaratan Kebijakan Kontrol Layanan untuk inferensi Lintas wilayah Global

Untuk inferensi Global Lintas wilayah, jika kebijakan keamanan organisasi Anda digunakan SCPs untuk memblokir Wilayah yang tidak digunakan, Anda harus memperbarui kondisi SCP khusus wilayah Anda untuk mengizinkan akses. "aws:RequestedRegion": "unspecified" Kondisi ini khusus untuk inferensi Amazon Bedrock Global Cross-region dan memastikan bahwa permintaan dapat dialihkan ke semua Wilayah komersial yang didukung. AWS

Contoh SCP berikut memblokir semua panggilan AWS API di luar Wilayah yang disetujui sambil mengizinkan panggilan inferensi Amazon Bedrock Global Cross-region yang digunakan "unspecified" sebagai Region untuk perutean global:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "DenyAllOutsideApprovedRegions",
            "Effect": "Deny",
            "Action": "*",
            "Resource": "*",
            "Condition": {
                "StringNotEquals": {
                    "aws:RequestedRegion": [
                        "us-east-1",
                        "us-east-2",
                        "us-west-2",
                        "unspecified"
                    ]
                }
            }
        }
    ]
}

Nonaktifkan inferensi lintas wilayah global

Organizations dengan residensi data atau persyaratan kepatuhan harus menilai apakah inferensi Lintas Wilayah Global sesuai dengan kerangka kepatuhan mereka, karena permintaan dapat diproses di Wilayah komersial lain yang didukung AWS . Untuk menonaktifkan inferensi Global Cross-region secara eksplisit, terapkan kebijakan SCP berikut:

{
    "Effect": "Deny",
    "Action": "bedrock:*",
    "Resource": "*",
    "Condition": {
        "StringEquals": {
            "aws:RequestedRegion": "unspecified"
        },
        "ArnLike": {
            "bedrock:InferenceProfileArn": "arn:aws:bedrock:*:*:inference-profile/global.*"
        }
    }
}

SCP ini secara eksplisit menyangkal inferensi Lintas wilayah Global karena "aws:RequestedRegion" is "unspecified" dan "ArnLike" kondisi menargetkan profil inferensi dengan awalan di ARN. global

AWS Implementasi Control Tower

Pengeditan manual yang SCPs dikelola oleh AWS Control Tower sangat tidak disarankan karena dapat menyebabkan penyimpangan. Sebaliknya, gunakan mekanisme yang disediakan oleh Control Tower untuk mengelola pengecualian ini. Prinsip-prinsip inti melibatkan perluasan kontrol penolakan wilayah yang ada atau mengaktifkan wilayah dan kemudian menerapkan kebijakan pemblokiran bersyarat khusus.

Untuk step-by-step panduan terperinci tentang penerapan inferensi Lintas wilayah dengan Control Tower, lihat posting blog Aktifkan inferensi Amazon Bedrock Cross-region di lingkungan multi-akun. Ini mencakup perluasan penolakan Wilayah yang ada SCPs, mengaktifkan wilayah yang ditolak dengan kustom SCPs, dan menggunakan Kustomisasi untuk AWS Control Tower (CFCT) untuk menerapkan kustom sebagai infrastruktur sebagai kode. SCPs

Batas permintaan meningkat untuk inferensi lintas wilayah global

Saat menggunakan profil inferensi CRIS global, Anda dapat menggunakan CRIS global dari lebih dari 20 sumber yang didukung. Wilayah AWS Karena ini akan menjadi batas global, permintaan untuk melihat, mengelola, atau meningkatkan kuota untuk profil inferensi lintas wilayah global harus dilakukan melalui konsol Service Quotas atau Command AWS Line Interface (AWS CLI) di sumber yang diminta. Wilayah AWS

Selesaikan langkah-langkah berikut untuk meminta kenaikan batas:

Saat menghitung kenaikan kuota yang diperlukan, ingatlah untuk memperhitungkan tingkat burndown, yang didefinisikan sebagai tingkat di mana token input dan output diubah menjadi penggunaan kuota token untuk sistem throttling. Model berikut memiliki tingkat pembakaran 5x untuk token keluaran (1 token keluaran mengkonsumsi 5 token dari kuota Anda):

Untuk semua model lainnya, tingkat burndown adalah 1:1 (1 token keluaran mengkonsumsi 1 token dari kuota Anda). Untuk token masukan, rasio token terhadap kuota adalah 1:1. Perhitungan jumlah token per permintaan adalah sebagai berikut:

Input token count + Cache write input tokens + (Output token count x Burndown rate)

Gunakan inferensi Lintas Wilayah Global

Untuk menggunakan inferensi lintas wilayah global dengan Claude Sonnet 4.5 dari Anthropic, pengembang harus menyelesaikan langkah-langkah kunci berikut:

Inferensi lintas wilayah global didukung untuk:

Menerapkan inferensi lintas wilayah global

Menerapkan inferensi Lintas wilayah global dengan Claude Sonnet 4.5 Anthropic sangat mudah, hanya memerlukan beberapa perubahan pada kode aplikasi Anda yang ada. Berikut ini adalah contoh cara memperbarui kode Anda dengan Python:

import boto3
import json
bedrock = boto3.client('bedrock-runtime', region_name='us-east-1')
model_id = "global.anthropic.claude-sonnet-4-5-20250929-v1:0"  
response = bedrock.converse(
    messages=[{"role": "user", "content": [{"text": "Explain cloud computing in 2 sentences."}]}],
    modelId=model_id,
)

print("Response:", response['output']['message']['content'][0]['text'])
print("Token usage:", response['usage'])
print("Total tokens:", response['usage']['totalTokens'])