翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

自動推論ポリシーをテストする

テストでは、ポリシーのルールが正しく、自動推論チェックが自然言語を正式なロジックに正確に変換できることを検証します。検証のために自然言語ステートメントを送信し、フィードバックを検査して、翻訳が正しい変数を使用し、ルールが期待される結果を生成することを確認します。

補完的なテストアプローチには、生成されたシナリオとquestion-and-answerつがあります。 QnA 各 は検証パイプラインの異なる部分をターゲットとします。推奨されるワークフローは、ルールの正確性を検証するためのシナリオから開始し、翻訳の正確性を検証するための QnA テストを追加することです。

テスト戦略: シナリオと QnA テスト

自動推論チェックは 2 つのステップでコンテンツを検証します。まず、基盤モデルが自然言語を正式なロジックに変換し、次に数学的な手法がポリシールールに照らしてロジックを検証します。各テストアプローチは、このパイプラインの異なるステップを対象としています。

生成されたシナリオ (テストルールの正確性)

生成されたシナリオでは、ポリシールールでエンコードされたセマンティクスを直接テストします。自然言語翻訳の不確実性を方程式から削除し、ルール自体が正しいかどうかを分離します。

シナリオはポリシールールから生成され、それらのルールを考慮して論理的に可能な状況を表します。これらは、正しくないlikely-to-be-wrong最も高いシナリオを最初に表面化するようにソートされます。シナリオごとに、変数の割り当てを確認し、以下を決定します。

例: ポリシーでは、在職期間が 12 か月以上のフルタイムの従業員が親休暇の対象となります。生成されたシナリオには、 が表示される場合がありますisFullTime = true, tenureMonths = 3, eligibleForParentalLeave = true。このシナリオが不可能な場合 (3 か月が 12 か月未満であるため）、サムダウンして、従業員には少なくとも 12 か月の在職期間が必要であることを説明します。これは、ルールがないか、正しくないことを示します。

シナリオを最初のテストステップとして使用します。これらは、QnA テストの記述に時間を費やす前にルールの問題を検出するのに役立ちます。

QnA テスト (テスト翻訳精度)

QnA テストでは、パイプライン全体をend-to-end。つまり、自然言語翻訳とルール検証を一緒に検証します。実際のユーザーとのやり取りを模倣し、シナリオでは検出できない翻訳の問題を検出します。

各 QnA テストは、以下で構成されます。

例: 同じ親休暇ポリシーの場合、QnA テストは input = "I've been working here for 2 years full-time。親休暇を取ることはできますか?"、出力 = 「はい、親休暇の対象となります。」、期待される結果 = VALID。これは、自動推論チェックが「2 年」を にtenureMonths = 24、「フルタイム」を に正しく変換するかどうかをテストしますisFullTime = true。

推奨されるテストワークフロー

コンソールでテストシナリオを自動的に生成する

API を使用してテストシナリオを自動的に生成する

GetAutomatedReasoningPolicyNextScenario API を使用して、ポリシーのルールに基づいて生成されたテストシナリオを取得します。

例:

aws bedrock get-automated-reasoning-policy-next-scenario \
  --policy-arn "arn:aws:bedrock:us-east-1:111122223333:automated-reasoning-policy/lnq5hhz70wgk" \
  --build-workflow-id d40fa7fc-351e-47d8-a338-53e4b3b1c690

レスポンスには、変数の割り当てと関連するポリシールールを含む生成されたシナリオが含まれます。シナリオを確認し、CreateAutomatedReasoningPolicyTestCaseAPI を使用してテストとして保存します。または、シナリオでルールの問題が明らかになった場合は、注釈 APIs を使用してフィードバックを提供します。

コンソールで QnA テストを手動で作成する

API を使用して QnA テストを作成する

CreateAutomatedReasoningPolicyTestCase API を使用して、プログラムでテストを作成します。

例:

aws bedrock create-automated-reasoning-policy-test-case \
  --policy-arn "arn:aws:bedrock:us-east-1:111122223333:automated-reasoning-policy/lnq5hhz70wgk" \
  --query-content "Can I take a leave of absence if I'm a part-time employee?" \
  --guard-content "No, only full-time employees are eligible for leave of absence." \
  --expected-aggregated-findings-result "VALID" \
  --confidence-threshold 0.8

レスポンスの例:

{
  "testCaseId": "test-12345abcde",
  "policyArn": "arn:aws:bedrock:us-east-1:111122223333:automated-reasoning-policy/lnq5hhz70wgk"
}

テストを実行する

コンソールでテストを実行する

API を使用してテストを実行する

StartAutomatedReasoningPolicyTestWorkflow API を使用してテストを実行し、GetAutomatedReasoningPolicyTestResultAPI を使用して結果を取得します。

例:

# Run tests
aws bedrock start-automated-reasoning-policy-test-workflow \
  --policy-arn "arn:aws:bedrock:us-east-1:111122223333:automated-reasoning-policy/lnq5hhz70wgk" \
  --build-workflow-id d40fa7fc-351e-47d8-a338-53e4b3b1c690

# Get results for a specific test
aws bedrock get-automated-reasoning-policy-test-result \
  --policy-arn "arn:aws:bedrock:us-east-1:111122223333:automated-reasoning-policy/lnq5hhz70wgk" \
  --build-workflow-id d40fa7fc-351e-47d8-a338-53e4b3b1c690 \
  --test-case-id test-12345abcde

レスポンスには、検証結果と実行ステータスを含む詳細なテスト結果が含まれます。ビルドワークフローのすべてのテスト結果を一覧表示するには、 ListAutomatedReasoningPolicyTestResults API を使用します。

テスト結果を理解する

テストが完了すると、一連の検出結果を受け取ります。各検出結果は、検証結果、使用される変数割り当て、結論をサポートするポリシールールとともに、テスト入力から抽出された事実クレームを表します。検出結果構造とすべての検証結果タイプの詳細な説明については、「」を参照してください結果と検証結果。

テスト結果の構造

各テスト結果には以下が含まれます。

結果の実用的な解釈

次の表は、各検証結果の実際の意味と、テストで確認したときに実行するアクションをまとめたものです。検出結果フィールドと詳細な説明を含む完全なリファレンスについては、「」を参照してください検証結果リファレンス。

失敗したテストのデバッグのヒント

テストが失敗した場合 (実際の結果が期待される結果と一致しない場合）、次の方法を使用して問題を診断します。

トラブルシューティングの詳細なガイダンスについては、「」を参照してください自動推論ポリシーのトラブルシューティングと絞り込み。