View a markdown version of this page

Inferensi lintas wilayah geografis - Amazon Bedrock

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Inferensi lintas wilayah geografis

Inferensi lintas wilayah geografis menjaga pemrosesan data dalam batas geografis tertentu (AS, UE, APAC, dll.) sambil memberikan throughput yang lebih tinggi daripada inferensi wilayah tunggal. Opsi ini sangat ideal untuk organisasi dengan persyaratan residensi data dan peraturan kepatuhan.

Pertimbangan inferensi lintas wilayah geografis

Perhatikan informasi berikut tentang inferensi Lintas wilayah Geografis:

Persyaratan kebijakan IAM untuk inferensi Lintas wilayah Geografis

Untuk mengizinkan pengguna atau peran IAM memanggil profil inferensi Lintas wilayah Geografis, Anda harus mengizinkan akses ke sumber daya berikut:

  1. Profil inferensi lintas wilayah spesifik geografi (profil ini memiliki awalan geografis seperti,,) us eu apac

  2. Model pondasi di Wilayah sumber

  3. Model pondasi di semua daerah tujuan tercantum dalam profil geografis

Contoh kebijakan berikut memberikan izin yang diperlukan untuk menggunakan model dasar Claude Sonnet 4.5 dengan profil inferensi Lintas wilayah Geografis untuk AS, di mana Wilayah sumber dan Wilayah tujuan berada, us-east-1 dan: us-east-1 us-east-2 us-west-2

{ "Version": "2012-10-17", "Statement": [ { "Sid": "GrantGeoCrisInferenceProfileAccess", "Effect": "Allow", "Action": "bedrock:InvokeModel", "Resource": [ "arn:aws:bedrock:us-east-1:<ACCOUNT_ID>:inference-profile/us.anthropic.claude-sonnet-4-5-20250929-v1:0" ] }, { "Sid": "GrantGeoCrisModelAccess", "Effect": "Allow", "Action": "bedrock:InvokeModel", "Resource": [ "arn:aws:bedrock:us-east-1::foundation-model/anthropic.claude-sonnet-4-5-20250929-v1:0", "arn:aws:bedrock:us-east-2::foundation-model/anthropic.claude-sonnet-4-5-20250929-v1:0", "arn:aws:bedrock:us-west-2::foundation-model/anthropic.claude-sonnet-4-5-20250929-v1:0" ], "Condition": { "StringEquals": { "bedrock:InferenceProfileArn": "arn:aws:bedrock:us-east-1:<ACCOUNT_ID>:inference-profile/us.anthropic.claude-sonnet-4-5-20250929-v1:0" } } } ] }

Pernyataan pertama memberikan akses bedrock:InvokeModel API ke profil inferensi Geographic Cross-region untuk permintaan yang berasal dari Region yang meminta. Pernyataan kedua memberikan akses bedrock:InvokeModel API ke model dasar di Wilayah yang meminta dan semua Wilayah tujuan yang tercantum dalam profil inferensi.

Persyaratan Kebijakan Kontrol Layanan untuk inferensi Lintas wilayah Geografis

Banyak organisasi menerapkan kontrol akses Regional melalui Service Control Policies in AWS Organizations untuk keamanan dan kepatuhan. Jika kebijakan keamanan organisasi Anda digunakan SCPs untuk memblokir Wilayah yang tidak digunakan, Anda harus memastikan bahwa kondisi SCP khusus Wilayah memungkinkan akses ke semua Wilayah tujuan yang tercantum dalam profil inferensi Lintas Wilayah Geografis untuk Wilayah sumber Anda.

Untuk inferensi Lintas wilayah Geografis, Anda perlu memahami hubungan antara Wilayah sumber (tempat Anda melakukan panggilan API) dan Wilayah tujuan (tempat permintaan dapat dirutekan). Periksa dokumentasi profil inferensi untuk mengidentifikasi semua Wilayah tujuan untuk Wilayah sumber Anda, lalu pastikan Anda SCPs mengizinkan akses ke semua Wilayah tujuan tersebut.

Misalnya, jika Anda menelepon dari us-east-1 (Wilayah sumber) menggunakan profil Geografis Anthropic Claude Sonnet 4.5 AS, permintaan dapat dialihkan ke us-east-1, us-east-2, dan us-west-2 (Wilayah tujuan). Jika SCP membatasi akses hanya ke us-east-1, inferensi lintas wilayah akan gagal saat mencoba merutekan ke us-east-2 atau us-west-2. Oleh karena itu, Anda harus mengizinkan ketiga wilayah tujuan di SCP Anda, terlepas dari Wilayah mana Anda menelepon.

Saat mengonfigurasi SCPs pengecualian Wilayah, ingatlah bahwa memblokir Wilayah tujuan apa pun di profil inferensi akan mencegah inferensi lintas wilayah berfungsi dengan baik, bahkan jika Wilayah sumber Anda tetap dapat diakses. Untuk persyaratan SCP untuk inferensi Lintas wilayah Global, lihat. Persyaratan Kebijakan Kontrol Layanan untuk inferensi Lintas wilayah Global

Untuk meningkatkan keamanan, pertimbangkan untuk menggunakan bedrock:InferenceProfileArn kondisi untuk membatasi akses ke profil inferensi tertentu. Ini memungkinkan Anda untuk memberikan akses ke Wilayah yang diperlukan sambil membatasi profil inferensi mana yang dapat digunakan.

Gunakan inferensi Lintas wilayah Geografis

Untuk menggunakan inferensi Lintas wilayah Geografis, Anda menyertakan profil inferensi saat menjalankan inferensi model dengan cara berikut:

  • Inferensi model sesuai permintaan — Tentukan ID profil inferensi sebagai modelId saat mengirim,, Converse InvokeModelInvokeModelWithResponseStream, atau permintaan. ConverseStream Profil inferensi mendefinisikan satu atau beberapa Wilayah tempat ia dapat merutekan permintaan inferensi yang berasal dari Wilayah sumber Anda. Penggunaan inferensi lintas wilayah meningkatkan throughput dan kinerja dengan merutekan permintaan pemanggilan model secara dinamis di seluruh Wilayah yang ditentukan dalam profil inferensi. Faktor routing dalam lalu lintas pengguna, permintaan dan pemanfaatan sumber daya. Untuk informasi selengkapnya, lihat Kirim petunjuk dan hasilkan tanggapan dengan inferensi model

  • Inferensi Batch — Kirim permintaan secara asinkron dengan inferensi batch dengan menentukan ID profil inferensi sebagai saat mengirim permintaan. modelId CreateModelInvocationJob Menggunakan profil inferensi memungkinkan Anda memanfaatkan komputasi di beberapa Wilayah AWS dan mencapai waktu pemrosesan yang lebih cepat untuk pekerjaan batch Anda. Setelah pekerjaan selesai, Anda dapat mengambil file output dari bucket Amazon S3 di Wilayah sumber.

  • Agen — Tentukan ID profil inferensi di foundationModel bidang dalam CreateAgentpermintaan. Untuk informasi selengkapnya, lihat Buat dan konfigurasikan agen secara manual.

  • Pembuatan respons basis pengetahuan — Anda dapat menggunakan inferensi lintas wilayah saat menghasilkan respons setelah menanyakan basis pengetahuan. Untuk informasi selengkapnya, lihat Uji basis pengetahuan Anda dengan pertanyaan dan tanggapan.

  • Evaluasi model — Anda dapat mengirimkan profil inferensi sebagai model untuk mengevaluasi saat mengirimkan pekerjaan evaluasi model. Untuk informasi selengkapnya, lihat Evaluasi kinerja sumber daya Amazon Bedrock.

  • Manajemen cepat - Anda dapat menggunakan inferensi lintas wilayah saat menghasilkan respons untuk prompt yang Anda buat di Manajemen Prompt. Untuk informasi selengkapnya, lihat Buat dan simpan petunjuk yang dapat digunakan kembali dengan manajemen Prompt di Amazon Bedrock

  • Alur prompt - Anda dapat menggunakan inferensi lintas wilayah saat menghasilkan respons untuk prompt yang Anda tentukan sebaris dalam simpul prompt dalam alur prompt. Untuk informasi selengkapnya, lihat Bangun alur kerja AI end-to-end generatif dengan Amazon Bedrock Flows.

Untuk mempelajari cara menggunakan profil inferensi untuk mengirim permintaan pemanggilan model di seluruh Wilayah, lihat. Gunakan profil inferensi dalam pemanggilan model

Untuk mempelajari lebih lanjut tentang inferensi lintas wilayah, lihat Memulai inferensi lintas wilayah di Amazon Bedrock.

Untuk informasi rinci tentang inferensi lintas wilayah global, termasuk pengaturan IAM dan manajemen kuota layanan, lihat. Inferensi lintas wilayah global