Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Memecahkan masalah dan menyempurnakan kebijakan Penalaran Otomatis Anda

Ketika pengujian kebijakan Penalaran Otomatis gagal — hasil sebenarnya tidak sesuai dengan hasil yang diharapkan — masalahnya ada dalam terjemahan (bahasa alami dipetakan ke variabel atau nilai yang salah) atau dalam aturan (logika kebijakan tidak cocok dengan domain Anda). Halaman ini memberikan pendekatan sistematis untuk mendiagnosis dan memperbaiki kedua jenis masalah.

Sebelum Anda memulai pemecahan masalah, pastikan Anda memahami proses validasi dua langkah (terjemahkan, lalu validasi) yang dijelaskan dalam. Terjemahan: dari bahasa alami ke logika formal Perbedaan ini adalah kunci untuk debugging yang efisien.

Alur kerja debugging

Ketika tes gagal, gunakan hasil aktual untuk mengidentifikasi jenis masalah dan melompat ke bagian yang relevan.

Perbaiki masalah terjemahan

Masalah terjemahan terjadi ketika pemeriksaan Penalaran Otomatis tidak dapat memetakan bahasa alami secara andal ke variabel kebijakan Anda. Gejala yang paling terlihat adalah TRANSLATION_AMBIGUOUS hasilnya, tetapi masalah terjemahan juga dapat menyebabkan kesalahanVALID,INVALID, atau SATISFIABLE hasil ketika variabel atau nilai yang salah ditetapkan.

Mendiagnosis hasil TRANSLATION_AMBIGUOUS

TRANSLATION_AMBIGUOUSTemuan mencakup dua bidang utama yang membantu Anda memahami ketidaksepakatan:

Periksa bidang ini untuk mengidentifikasi sumber ambiguitas tertentu, lalu terapkan perbaikan yang sesuai dari daftar berikut.

Definisi variabel yang tumpang tindih

Ketika beberapa variabel dapat secara wajar mewakili konsep yang sama, model terjemahan tidak setuju yang mana yang akan digunakan.

Gejala: options Dalam TRANSLATION_AMBIGUOUS temuan menunjukkan konsep yang sama ditetapkan untuk variabel yang berbeda. Misalnya, satu opsi menetapkan “2 tahun layanan” tenureMonths = 24 sementara yang lain menetapkannya. monthsOfService = 24

Perbaiki: Gabungkan variabel yang tumpang tindih menjadi satu variabel dengan deskripsi komprehensif. Perbarui semua aturan yang mereferensikan variabel yang dihapus untuk menggunakan yang tersisa.

Contoh:

Deskripsi variabel tidak lengkap

Deskripsi variabel yang kurang detail tentang bagaimana pengguna merujuk pada konsep dalam bahasa sehari-hari membuat sulit untuk memetakan input ke variabel yang benar.

Gejala: options Menampilkan variabel yang benar tetapi dengan nilai yang berbeda, atau terjemahan memberikan nilai yang tidak sesuai dengan apa yang pengguna katakan. Misalnya, “2 tahun” diterjemahkan menjadi tenureMonths = 2 bukannyatenureMonths = 24.

Perbaiki: Perbarui deskripsi variabel untuk menyertakan aturan konversi unit, sinonim, dan frasa alternatif. Lihat Tulis deskripsi variabel yang komprehensif panduan terperinci.

Contoh:

Pemformatan nilai yang tidak konsisten

Ambiguitas terjemahan dapat terjadi ketika sistem tidak yakin bagaimana memformat nilai seperti angka, tanggal, atau persentase.

Gejala: options Menampilkan variabel yang sama tetapi dengan format nilai yang berbeda. Misalnya, satu opsi menerjemahkan "5%" interestRate = 5 sementara yang lain menerjemahkannya ke. interestRate = 0.05

Perbaiki: Perbarui deskripsi variabel untuk menentukan format yang diharapkan dan sertakan aturan konversi. Lihat Tentukan unit dan format dalam deskripsi variabel.

Teks masukan ambigu

Terkadang masukan itu sendiri benar-benar ambigu — mengandung kata ganti yang tidak jelas, referensi yang tidak jelas, atau pernyataan yang dapat ditafsirkan dengan berbagai cara.

Gejala: options Pertunjukan interpretasi yang berbeda secara fundamental dari teks yang sama. Misalnya, “Bisakah mereka mengambil cuti?” bisa merujuk pada jenis karyawan apa pun.

Perbaiki: Jika ini adalah tes, tulis ulang input agar lebih spesifik. Saat runtime, aplikasi Anda harus meminta klarifikasi pengguna saat menerima hasil. TRANSLATION_AMBIGUOUS Untuk pola integrasi, lihatIntegrasikan pemeriksaan Penalaran Otomatis dalam aplikasi Anda.

Sesuaikan ambang kepercayaan

Jika Anda melihat TRANSLATION_AMBIGUOUS hasil untuk input yang ambigu garis batas, Anda dapat menyesuaikan ambang kepercayaan. Menurunkan ambang batas memungkinkan terjemahan dengan kesepakatan model yang lebih sedikit untuk melanjutkan ke validasi, mengurangi TRANSLATION_AMBIGUOUS hasil tetapi meningkatkan risiko terjemahan yang salah.

Perbaiki masalah aturan

Masalah aturan terjadi ketika terjemahan sudah benar tetapi logika kebijakan tidak cocok dengan domain Anda. Anda telah mengonfirmasi bahwa variabel yang tepat ditetapkan dengan nilai yang benar, tetapi hasil validasi masih salah.

Menjadi VALID ketika Anda mengharapkan TIDAK VALID

Kebijakan tersebut tidak memiliki aturan yang melarang klaim. Responsnya bertentangan dengan pengetahuan domain Anda, tetapi kebijakan mengizinkannya.

Diagnosis: Lihatlah supportingRules temuannya. Ini adalah aturan yang membuktikan klaim itu valid. Periksa apakah aturan ini benar atau apakah aturan tidak ada.

Penyebab dan perbaikan umum:

Menjadi TIDAK VALID saat Anda mengharapkan VALID

Kebijakan tersebut memiliki aturan yang salah melarang klaim.

Diagnosis: Lihatlah contradictingRules temuannya. Ini adalah aturan yang menyangkal klaim tersebut. Periksa apakah aturan ini benar.

Penyebab dan perbaikan umum:

Mendapatkan kepuasan ketika Anda mengharapkan VALID

Responsnya benar dalam beberapa kondisi tetapi tidak semua. Kebijakan ini memiliki aturan tambahan yang tidak ditangani oleh respons.

Diagnosis: Bandingkan claimsTrueScenario dan claimsFalseScenario dalam temuan. Perbedaan di antara keduanya menunjukkan kondisi yang tidak disebutkan oleh respons.

Penyebab dan perbaikan umum:

Perbaiki hasil yang mustahil

IMPOSSIBLEHasilnya berarti pemeriksaan Penalaran Otomatis tidak dapat mengevaluasi klaim karena premisnya kontradiktif atau kebijakan itu sendiri mengandung aturan yang bertentangan. Ada dua penyebab berbeda.

Kontradiksi dalam input

Input tes berisi pernyataan yang saling bertentangan. Misalnya, “Saya karyawan penuh waktu dan juga paruh waktu” menetapkan isFullTime = true dan isFullTime = false secara bersamaan, yang secara logis tidak mungkin.

Diagnosis: Periksa translation tempat dalam temuan. Cari variabel yang diberi nilai kontradiktif.

Perbaiki: Jika ini adalah tes, tulis ulang input untuk menghapus kontradiksi. Saat runtime, aplikasi Anda harus menangani IMPOSSIBLE hasil dengan meminta pengguna untuk mengklarifikasi masukannya.

Konflik dalam kebijakan

Kebijakan tersebut berisi aturan yang saling bertentangan, sehingga tidak mungkin pemeriksaan Penalaran Otomatis untuk mencapai kesimpulan untuk input yang melibatkan aturan yang bertentangan.

Diagnosis: Jika masukan valid (tidak ada premis yang kontradiktif), masalahnya ada dalam kebijakan. Periksa contradictingRules bidang dalam temuan untuk mengidentifikasi aturan mana yang bertentangan. Periksa juga laporan kualitas (lihatGunakan laporan kualitas) — ini menandai aturan yang bertentangan secara otomatis.

Penyebab dan perbaikan umum:

Gunakan anotasi untuk memperbaiki kebijakan Anda

Anotasi adalah koreksi bertarget yang Anda terapkan pada kebijakan Anda saat pengujian gagal. Alih-alih mengedit aturan dan variabel secara manual, Anda dapat menggunakan anotasi untuk menjelaskan perubahan yang Anda inginkan dan membiarkan pemeriksaan Penalaran Otomatis menerapkannya. Anotasi tersedia melalui konsol dan API.

Terapkan anotasi di konsol

Terapkan anotasi menggunakan API

Gunakan StartAutomatedReasoningPolicyBuildWorkflow API REFINE_POLICY untuk menerapkan anotasi secara terprogram. Lulus definisi kebijakan lengkap saat ini di samping anotasi.

Jenis anotasi meliputi:

Contoh: Tambahkan variabel dan aturan yang hilang menggunakan anotasi

aws bedrock start-automated-reasoning-policy-build-workflow \
  --policy-arn "arn:aws:bedrock:us-east-1:111122223333:automated-reasoning-policy/lnq5hhz70wgk" \
  --build-workflow-type REFINE_POLICY \
  --source-content "{
    \"policyDefinition\": EXISTING_POLICY_DEFINITION_JSON,
    \"workflowContent\": {
      \"policyRepairAssets\": {
        \"annotations\": [
          {
            \"addVariable\": {
              \"name\": \"tenureMonths\",
              \"type\": \"int\",
              \"description\": \"The number of complete months the employee has been continuously employed. When users mention years of service, convert to months (for example, 2 years = 24 months).\"
            }
          },
          {
            \"addRuleFromNaturalLanguage\": {
              \"naturalLanguage\": \"If an employee is full-time and has more than 12 months of tenure, then they are eligible for parental leave.\"
            }
          }
        ]
      }
    }
  }"

Contoh anotasi

Contoh 1: Perbaiki persyaratan tenurial yang hilang

Masalah: Kebijakan menyetujui cuti orang tua untuk semua karyawan penuh waktu, tetapi dokumen sumber membutuhkan 12+ bulan masa jabatan.

Contoh 2: Perbaiki variabel yang tumpang tindih yang menyebabkan TRANSLATION_AMBIGUOUS

Masalah: Dua variabel (tenureMonthsdanmonthsOfService) mewakili konsep yang sama, menyebabkan terjemahan yang tidak konsisten.

Anotasi:

Contoh 3: Perbaiki pernyataan telanjang yang menyebabkan hasil yang TIDAK MUNGKIN

Masalah: Aturannya (= eligibleForParentalLeave true) adalah pernyataan kosong yang membuat tidak mungkin input apa pun untuk mengklaim pengguna tidak memenuhi syarat.

Anotasi:

Gunakan laporan kualitas

Laporan kualitas dihasilkan setelah setiap alur kerja build dan mengidentifikasi masalah struktural dalam kebijakan Anda yang dapat menyebabkan kegagalan pengujian. Di konsol, masalah laporan kualitas muncul sebagai peringatan di halaman Definisi. Melalui API, gunakan GetAutomatedReasoningPolicyBuildWorkflowResultAssets dengan--asset-type QUALITY_REPORT.

Laporan kualitas menandai masalah berikut:

Aturan yang bertentangan

Dua atau lebih aturan mencapai kesimpulan yang kontradiktif untuk serangkaian kondisi yang sama. Aturan yang bertentangan menyebabkan kebijakan Anda mengembalikan semua IMPOSSIBLE permintaan validasi yang melibatkan aturan yang bertentangan.

Contoh: Aturan A mengatakan (=> isFullTime eligibleForLeave) dan Aturan B mengatakan(=> (<= tenureMonths 6) (not eligibleForLeave)). Untuk karyawan penuh waktu dengan masa jabatan 3 bulan, Aturan A mengatakan memenuhi syarat dan Aturan B mengatakan tidak memenuhi syarat - sebuah kontradiksi.

Perbaiki: Gabungkan aturan menjadi satu aturan dengan kondisi eksplisit:. (=> (and isFullTime (> tenureMonths 6)) eligibleForLeave) Atau hapus salah satu aturan yang saling bertentangan jika salah ditelusuri.

Variabel yang tidak digunakan

Variabel yang tidak direferensikan oleh aturan apa pun. Variabel yang tidak digunakan menambah noise pada proses penerjemahan dan dapat menyebabkan TRANSLATION_AMBIGUOUS hasil ketika mereka bersaing dengan variabel aktif serupa untuk konsep yang sama.

Fix: Hapus variabel yang tidak digunakan kecuali Anda berencana untuk menambahkan aturan yang mereferensikannya dalam iterasi future.

Nilai tipe yang tidak digunakan

Nilai dalam tipe kustom (enum) yang tidak direferensikan oleh aturan apa pun. Misalnya, jika LeaveType enum Anda memiliki nilai PARENTAL, MEDICAL, BEREAVEMENT, dan PERSONAL, tetapi tidak ada referensi aturan PRIBADI, itu ditandai sebagai tidak digunakan.

Perbaiki: Tambahkan aturan yang mereferensikan nilai yang tidak digunakan, atau hapus dari enum. Nilai yang tidak digunakan dapat menyebabkan masalah terjemahan jika input menyebutkan konsep tetapi tidak ada aturan yang menanganinya.

Set aturan terputus-putus

Kelompok aturan yang tidak berbagi variabel apa pun. Set aturan yang terputus-putus tidak selalu menjadi masalah — kebijakan Anda mungkin dengan sengaja mencakup topik independen (misalnya, meninggalkan kelayakan dan penggantian biaya). Namun, mereka dapat menunjukkan bahwa variabel kehilangan koneksi antara aturan terkait.

Kapan harus bertindak: Jika set aturan terpisah harus terkait (misalnya, keduanya berurusan dengan tunjangan karyawan tetapi menggunakan nama variabel yang berbeda untuk konsep yang sama), gabungkan variabel yang tumpang tindih untuk menghubungkannya. Jika set aturan benar-benar independen, tidak ada tindakan yang diperlukan.

Gunakan Kiro CLI untuk penyempurnaan kebijakan

Kiro CLI menyediakan antarmuka obrolan interaktif untuk mendiagnosis dan memperbaiki masalah kebijakan. Ini dapat memuat definisi kebijakan dan laporan kualitas Anda, menjelaskan mengapa pengujian gagal, menyarankan perubahan, dan menerapkan anotasi — semuanya melalui percakapan bahasa alami.

Kiro CLI sangat berguna untuk:

Contoh alur kerja:

You: The test with ID test-12345 is not returning the expected result.
     Can you load the test definition and findings, look at the policy
     definition, and explain why this test is failing?

Kiro: [analyzes the test and policy] The test expects VALID but gets
      INVALID because rule R3 requires 24 months of tenure, while the
      test input specifies 18 months. The source document says 12 months.
      Rule R3 appears to have been misextracted.

You: Can you suggest changes to fix this?

Kiro: I suggest updating rule R3 to change the tenure threshold from 24
      to 12 months. Here's the updated rule: ...

You: Looks good. Can you use the annotation APIs to submit these changes?

Kiro: [applies annotations via the API]

Untuk petunjuk lengkap tentang pengaturan dan penggunaan Kiro CLI dengan kebijakan Penalaran Otomatis, lihat. Gunakan Kiro CLI dengan kebijakan Penalaran Otomatis