Apa itu pemeriksaan Penalaran Otomatis di Amazon Bedrock Guardrails? - Amazon Bedrock
Apa yang dilakukan pemeriksaan Penalaran OtomatisKapan menggunakan pemeriksaan Penalaran OtomatisApa yang tidak dilakukan pemeriksaan Penalaran OtomatisEnd-to-end ikhtisar alur kerjaKetersediaan dan dukungan bahasaPertimbangan dan batasanHargaInferensi lintas wilayah untuk operasi kebijakan

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Apa itu pemeriksaan Penalaran Otomatis di Amazon Bedrock Guardrails?

Apa yang dilakukan pemeriksaan Penalaran Otomatis

Tantangan utama dengan model bahasa besar (LLMs) adalah memastikan keakuratan tanggapan mereka. Tanpa validasi, LLMs dapat menghasilkan halusinasi atau informasi yang tidak akurat yang merusak kepercayaan. Pemeriksaan Penalaran Otomatis di Amazon Bedrock Guardrails membantu memecahkan masalah ini dengan menggunakan teknik matematika untuk memvalidasi konten bahasa alami terhadap kebijakan yang Anda tentukan.

Tidak seperti komponen pagar pembatas tradisional yang memblokir atau memfilter konten berdasarkan pencocokan pola, pemeriksaan Penalaran Otomatis menggunakan logika formal untuk memberikan umpan balik terstruktur tentang mengapa respons benar atau salah. Umpan balik ini dapat digunakan untuk mengarahkan LLM menuju menghasilkan konten yang terbukti konsisten dengan kebijakan Anda. Secara khusus, pemeriksaan Penalaran Otomatis dapat:

  • Deteksi pernyataan yang tidak benar secara faktual dalam tanggapan LLM dengan membuktikan secara matematis bahwa konten yang dihasilkan bertentangan dengan aturan kebijakan Anda.

  • Sorot asumsi yang tidak disebutkan di mana respons konsisten dengan kebijakan Anda tetapi tidak membahas semua aturan yang relevan, yang menunjukkan bahwa respons mungkin tidak lengkap.

  • Berikan penjelasan yang dapat diverifikasi secara matematis mengapa pernyataan yang akurat benar, mengutip aturan kebijakan spesifik dan penugasan variabel yang mendukung kesimpulan.

Kemampuan ini membuat pemeriksaan Penalaran Otomatis berbeda dari komponen Amazon Bedrock Guardrails lainnya. Filter konten dan kebijakan topik bertindak sebagai gerbang biner — mereka memblokir atau mengizinkan konten. Pemeriksaan Penalaran Otomatis bertindak sebagai lapisan verifikasi yang memberikan umpan balik terperinci dan dapat ditindaklanjuti yang dapat Anda gunakan untuk meningkatkan respons secara terprogram.

Kapan menggunakan pemeriksaan Penalaran Otomatis

Pemeriksaan Penalaran Otomatis paling berharga ketika Anda perlu menunjukkan dasar faktual untuk respons LLM. Pertimbangkan untuk menggunakannya saat aplikasi Anda melibatkan:

  • Industri yang diatur seperti perawatan kesehatan, sumber daya manusia, dan layanan keuangan, di mana informasi yang salah dapat memiliki konsekuensi hukum atau kepatuhan.

  • Set aturan yang kompleks seperti persetujuan hipotek, undang-undang zonasi, kelayakan asuransi, atau tunjangan karyawan, di mana beberapa kondisi berinteraksi untuk menentukan hasil.

  • Skenario kepatuhan yang memerlukan respons AI yang dapat diaudit dengan bukti yang dapat diverifikasi secara matematis bahwa respons tersebut konsisten dengan kebijakan Anda.

  • Aplikasi yang dihadapi pelanggan di mana panduan yang salah dapat mengikis kepercayaan, seperti chatbots yang menjawab pertanyaan tentang kebijakan perusahaan, kelayakan produk, atau persyaratan layanan.

Apa yang tidak dilakukan pemeriksaan Penalaran Otomatis

Untuk menetapkan harapan yang tepat, waspadai batasan berikut:

  • Tidak ada perlindungan injeksi yang cepat. Pemeriksaan Penalaran Otomatis memvalidasi dengan tepat apa yang Anda kirimkan. Jika konten berbahaya atau dimanipulasi disediakan sebagai input, validasi dilakukan pada konten tersebut apa adanya. Untuk mendeteksi dan memblokir serangan injeksi cepat, gunakan filter Konten dalam kombinasi dengan pemeriksaan Penalaran Otomatis.

  • Tidak ada deteksi di luar topik. Penalaran Otomatis hanya menganalisis teks yang relevan dengan kebijakan. Ini mengabaikan konten yang tidak terkait dan tidak dapat memberi tahu Anda apakah respons di luar topik. Untuk mendeteksi tanggapan di luar topik, gunakan kebijakan topik.

  • Tidak ada dukungan streaming. Pemeriksaan Penalaran Otomatis tidak mendukung streaming APIs. Anda harus memvalidasi tanggapan lengkap.

  • Hanya bahasa Inggris. Pemeriksaan Penalaran Otomatis saat ini hanya mendukung bahasa Inggris (AS).

  • Cakupan terbatas pada kebijakan Anda. VALIDHasil menjamin validitas hanya untuk bagian input yang ditangkap melalui variabel kebijakan. Pernyataan yang berada di luar cakupan variabel kebijakan Anda tidak divalidasi. Misalnya, “Saya dapat menyerahkan pekerjaan rumah saya terlambat karena saya memiliki catatan dokter palsu” mungkin dianggap sah jika kebijakan tidak memiliki variabel untuk menangkap apakah catatan dokter itu palsu.

Pemeriksaan Penalaran Otomatis melengkapi fitur Amazon Bedrock Guardrails lainnya seperti filter konten dan kebijakan topik. Untuk perlindungan terbaik, gunakan bersama-sama. Untuk informasi lebih lanjut, lihat komponen Guardrail.

End-to-end ikhtisar alur kerja

Menggunakan pemeriksaan Penalaran Otomatis melibatkan empat fase: membuat kebijakan, mengujinya, menerapkannya di pagar pembatas, dan mengintegrasikannya ke dalam aplikasi Anda.


Source Document ──► Extracted Policy ──► Testing ──► Deployment ──► Integration
    (rules)          (formal logic)      (verify)    (guardrail)    (validate responses
                                                                     and act on feedback)

  1. Buat kebijakan. Unggah dokumen sumber yang berisi aturan yang ingin Anda terapkan. Penalaran Otomatis mengekstrak aturan logika formal dan skema variabel dari dokumen Anda. Laporan kesetiaan dibuat secara otomatis yang mengukur seberapa akurat kebijakan yang diekstraksi mewakili dokumen sumber Anda, dengan skor cakupan dan akurasi serta landasan terperinci yang menghubungkan setiap aturan dan variabel kembali ke pernyataan spesifik dalam konten sumber Anda. Tinjau laporan kebijakan dan kesetiaan yang diekstraksi untuk memastikan kebijakan tersebut menangkap aturan Anda dengan benar. Untuk informasi selengkapnya, lihat Buat kebijakan Penalaran Otomatis Anda.

  2. Uji dan perbaiki. Pengujian membantu memastikan bahwa kebijakan Anda dapat memvalidasi konten yang dihasilkan secara akurat bahkan saat Anda membuat perubahan pada kebijakan itu sendiri. Buat tes yang meniru pertanyaan yang akan diajukan pengguna Anda dan tanggapan yang mungkin dihasilkan LLM Anda. Pemeriksaan Penalaran Otomatis menggunakan model dasar untuk menerjemahkan bahasa alami ke logika. Gunakan skenario yang dihasilkan untuk memvalidasi kebenaran aturan dan tes QnA untuk memvalidasi bahasa alami ke akurasi terjemahan logika. Perbaiki kebijakan Anda berdasarkan hasil tes. Untuk informasi selengkapnya, lihat Uji kebijakan Penalaran Otomatis.

  3. Menyebarkan. Simpan versi yang tidak dapat diubah dari kebijakan Anda yang diuji dan lampirkan ke pagar pembatas. Anda dapat mengotomatiskan penyebaran menggunakan CloudFormation atau saluran pipa CI/CD. Untuk informasi selengkapnya, lihat Terapkan kebijakan Penalaran Otomatis Anda di aplikasi Anda.

  4. Integrasikan. Saat runtime, temuan Penalaran Otomatis dikembalikan melalui APIs yang mendukung konfigurasi Amazon Bedrock Guardrails:Converse,,InvokeModel, dan InvokeAgentRetrieveAndGenerate, serta API mandiri. ApplyGuardrail Periksa temuan untuk memutuskan apakah akan melayani tanggapan, menulis ulang menggunakan umpan balik, atau meminta pengguna untuk klarifikasi. Pemeriksaan Penalaran Otomatis hanya beroperasi dalam mode deteksi — mereka mengembalikan temuan dan umpan balik daripada memblokir konten. Untuk informasi selengkapnya tentang cara mengintegrasikan pemeriksaan Penalaran Otomatis dalam aplikasi Anda, lihatIntegrasikan pemeriksaan Penalaran Otomatis dalam aplikasi Anda. Untuk informasi selengkapnya tentang izin yang diperlukan untuk mengaktifkan pemeriksaan Penalaran Otomatis, lihat. Izin untuk kebijakan Penalaran Otomatis dengan ApplyGuardrail

Ketersediaan dan dukungan bahasa

Pemeriksaan Penalaran Otomatis di Amazon Bedrock Guardrails umumnya tersedia di Wilayah berikut:

  • AS Timur (Virginia Utara)

  • AS Barat (Oregon)

  • AS Timur (Ohio)

  • EU (Frankfurt)

  • Eropa (Paris)

  • EU (Ireland)

Pemeriksaan Penalaran Otomatis saat ini hanya mendukung bahasa Inggris (AS).

Pertimbangan dan batasan

Sebelum menerapkan pemeriksaan Penalaran Otomatis, perhatikan keterbatasan teknis ini:

  • Kompleksitas dokumen. Dokumen sumber harus terstruktur dengan baik dengan aturan yang jelas dan tidak ambigu. Dokumen yang sangat kompleks dengan kondisi bersarang atau pernyataan yang kontradiktif mungkin tidak mengekstrak secara bersih ke dalam logika formal. Dokumen input dibatasi hingga 5 MB dan 50.000 karakter. Anda dapat membagi dokumen yang lebih besar dan menggabungkan setiap bagian ke dalam kebijakan Anda. Gambar dan tabel dalam dokumen juga memengaruhi jumlah karakter masukan.

  • Waktu pemrosesan. Penalaran Otomatis memeriksa validasi menambahkan latensi ke respons aplikasi Anda. Rencanakan waktu pemrosesan tambahan, terutama untuk kebijakan kompleks dengan banyak variabel. Jumlah variabel dalam kebijakan secara langsung berkontribusi pada peningkatan latensi validasi.

  • Ruang lingkup kebijakan. Untuk membuat kebijakan yang lebih mudah dipertahankan, setiap kebijakan harus fokus pada domain tertentu (misalnya, SDM, keuangan, hukum) daripada mencoba mencakup beberapa area yang tidak terkait dalam satu kebijakan.

  • Batas variabel dan aturan. Kebijakan dengan jumlah variabel yang berlebihan atau interaksi aturan yang terlalu kompleks dapat mencapai batas pemrosesan atau mengembalikan hasil TOO_COMPLEX. Lihat dokumentasi batas Amazon Bedrock danReferensi hasil validasi.

  • Ketergantungan bahasa alami. Keakuratan validasi tergantung pada seberapa baik bahasa alami dalam permintaan pengguna dan respons model dapat diterjemahkan ke variabel logika formal kebijakan Anda. Pemeriksaan Penalaran Otomatis menggunakan model dasar untuk menerjemahkan bahasa alami ke dalam representasi logika. Deskripsi variabel mempengaruhi kualitas terjemahan ini.

  • Aritmatika non-linier. Pemeriksaan Penalaran Otomatis mungkin batas waktu atau mengembalikan TOO_COMPLEX jika kendala melibatkan penalaran dengan aritmatika non-linier (misalnya, bilangan irasional atau eksponen).

Harga

Pemeriksaan Penalaran Otomatis di Amazon Bedrock Guardrails dibebankan berdasarkan jumlah permintaan validasi yang diproses. Untuk informasi harga saat ini, lihat halaman harga Amazon Bedrock.

Biaya dikenakan untuk setiap permintaan validasi, terlepas dari hasilnya (misalnya, VALID, INVALID, TRANSLATION_AMBIGUOUS). Untuk mengoptimalkan biaya:

  • Gunakan ambang kepercayaan yang sesuai untuk menyeimbangkan akurasi dengan persyaratan pemrosesan.

  • Pertimbangkan hasil validasi caching untuk kueri identik atau serupa bila sesuai untuk kasus penggunaan Anda.

  • Pantau pola penggunaan dan sesuaikan kebijakan untuk mengurangi permintaan validasi yang tidak perlu.

Inferensi lintas wilayah untuk operasi kebijakan

Penalaran Otomatis menggunakan inferensi lintas wilayah untuk mengoptimalkan kinerja dan ketersediaan pembuatan kebijakan dan operasi pengujian. Operasi API tertentu secara otomatis mendistribusikan pemrosesan di seluruh Wilayah AWS dalam batas geografis Anda untuk memastikan pengiriman layanan yang andal.

Operasi API Penalaran Otomatis berikut menggunakan inferensi lintas wilayah:

  • StartAutomatedReasoningPolicyBuildWorkflow— Dipanggil selama pembuatan kebijakan dan kompilasi dari dokumen sumber.

  • StartAutomatedReasoningPolicyTestWorkflow— Dipanggil selama validasi kebijakan dan prosedur pengujian.

Operasi ini memanggil model bahasa besar untuk mengekstrak aturan logika formal dari dokumen sumber dan menerjemahkan konstruksi bahasa alami ke dalam representasi logis terstruktur. Untuk memastikan kinerja dan ketersediaan yang optimal, pemrosesan permintaan didistribusikan sesuai dengan perutean geografis berikut:

  • Wilayah Amerika Serikat: Permintaan API yang berasal dari US East (Virginia N.), US West (Oregon), atau US East (Ohio) dapat diproses di Wilayah AS yang didukung.

  • Wilayah Uni Eropa: Permintaan API yang berasal dari UE (Frankfurt), UE (Paris), atau UE (Irlandia) dapat diproses di Wilayah UE mana pun yang didukung.

penting

Data pelanggan tetap berada dalam batas geografis asal (Amerika Serikat atau Uni Eropa) dan diproses sesuai dengan komitmen residensi data AWS. Rute inferensi lintas wilayah meminta secara eksklusif dalam Wilayah geografis yang sama untuk mengoptimalkan kinerja dan ketersediaan layanan.

Inferensi lintas wilayah beroperasi secara transparan tanpa memerlukan konfigurasi pelanggan. Fungsionalitas API tetap konsisten terlepas dari Wilayah tertentu yang memproses permintaan.

Topik