기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

자동 추론 정책 테스트

테스트는 정책의 규칙이 올바른지, 자동 추론 검사가 자연어를 공식 로직으로 정확하게 변환할 수 있는지 확인합니다. 검증을 위해 자연어 문을 전송한 다음 피드백을 검사하여 변환이 올바른 변수를 사용하고 규칙이 예상 결과를 생성하는지 확인하여 정책을 테스트합니다.

두 가지 보완적인 테스트 접근 방식, 즉 생성된 시나리오와 question-and-answer(QnA) 테스트가 있습니다. 각는 검증 파이프라인의 서로 다른 부분을 대상으로 합니다. 권장되는 워크플로는 시나리오로 시작하여 규칙 정확성을 검증한 다음 QnA 테스트를 추가하여 번역 정확도를 검증하는 것입니다.

테스트 전략: 시나리오와 QnA 테스트 비교

자동 추론 검사는 두 단계로 콘텐츠를 검증합니다. 먼저 파운데이션 모델은 자연어를 공식 로직으로 변환한 다음 수학 기법은 정책 규칙에 따라 로직을 확인합니다. 각 테스트 접근 방식은이 파이프라인의 다른 단계를 대상으로 합니다.

생성된 시나리오(테스트 규칙 정확성)

생성된 시나리오는 정책 규칙에 인코딩된 의미 체계를 직접 테스트합니다. 방정식에서 자연어 번역의 불확실성을 제거하여 규칙 자체가 올바른지 여부를 격리합니다.

시나리오는 정책 규칙에서 생성되며 이러한 규칙을 고려할 때 논리적으로 가능한 상황을 나타냅니다. 가장 likely-to-be-wrong 높은 시나리오를 먼저 표시하도록 정렬됩니다. 각 시나리오에 대해 변수 할당을 검토하고 다음을 결정합니다.

예: 정책에는 재직 기간이 12개월 이상인 정규직 직원이 육아 휴가 자격이 있다고 명시되어 있습니다. 생성된 시나리오에가 표시될 수 있습니다isFullTime = true, tenureMonths = 3, eligibleForParentalLeave = true. 이 시나리오가 가능해서는 안 되는 경우(3개월이 12개월 미만이기 때문), 직원에게 최소 12개월의 재직 기간이 필요하다고 설명해야 합니다. 이는 규칙이 누락되었거나 잘못되었음을 나타냅니다.

시나리오를 첫 번째 테스트 단계로 사용합니다. QnA 테스트 작성에 시간을 투자하기 전에 규칙 문제를 파악하는 데 도움이 됩니다.

QnA 테스트(테스트 번역 정확도)

QnA 테스트는 전체 파이프라인 end-to-end, 즉 자연어 번역과 규칙 검증을 함께 검증합니다. 실제 사용자 상호 작용을 모방하고 시나리오에서 감지할 수 없는 번역 문제를 포착합니다.

각 QnA 테스트는 다음으로 구성됩니다.

예: 동일한 육아 휴가 정책의 경우 QnA 테스트는 입력 = "여기에서 2년 동안 정규직으로 근무했습니다. 육아 휴가를 사용할 수 있나요?", 출력 = "예, 육아 휴가를 사용할 수 있습니다.", 예상 결과 = VALID. 이 테스트는 자동 추론 검사가 "2년"을 로tenureMonths = 24, "풀타임"을 로 올바르게 변환하는지 여부를 테스트합니다isFullTime = true.

권장 테스트 워크플로

콘솔에서 테스트 시나리오 자동 생성

API를 사용하여 테스트 시나리오 자동 생성

GetAutomatedReasoningPolicyNextScenario API를 사용하여 정책의 규칙에 따라 생성된 테스트 시나리오를 가져옵니다.

예:

aws bedrock get-automated-reasoning-policy-next-scenario \
  --policy-arn "arn:aws:bedrock:us-east-1:111122223333:automated-reasoning-policy/lnq5hhz70wgk" \
  --build-workflow-id d40fa7fc-351e-47d8-a338-53e4b3b1c690

응답에는 변수 할당 및 관련 정책 규칙이 있는 생성된 시나리오가 포함됩니다. 시나리오를 검토하고 CreateAutomatedReasoningPolicyTestCase API를 사용하여 테스트로 저장하거나 시나리오에서 규칙 문제가 발견되면 주석 APIs를 사용하여 피드백을 제공합니다.

콘솔에서 수동으로 QnA 테스트 생성

API를 사용하여 QnA 테스트 생성

CreateAutomatedReasoningPolicyTestCase API를 사용하여 프로그래밍 방식으로 테스트를 생성합니다.

예:

aws bedrock create-automated-reasoning-policy-test-case \
  --policy-arn "arn:aws:bedrock:us-east-1:111122223333:automated-reasoning-policy/lnq5hhz70wgk" \
  --query-content "Can I take a leave of absence if I'm a part-time employee?" \
  --guard-content "No, only full-time employees are eligible for leave of absence." \
  --expected-aggregated-findings-result "VALID" \
  --confidence-threshold 0.8

응답 예제:

{
  "testCaseId": "test-12345abcde",
  "policyArn": "arn:aws:bedrock:us-east-1:111122223333:automated-reasoning-policy/lnq5hhz70wgk"
}

테스트 실행

콘솔에서 테스트 실행

API를 사용하여 테스트 실행

StartAutomatedReasoningPolicyTestWorkflow API를 사용하여 테스트를 실행하고 GetAutomatedReasoningPolicyTestResult API를 사용하여 결과를 검색합니다.

예:

# Run tests
aws bedrock start-automated-reasoning-policy-test-workflow \
  --policy-arn "arn:aws:bedrock:us-east-1:111122223333:automated-reasoning-policy/lnq5hhz70wgk" \
  --build-workflow-id d40fa7fc-351e-47d8-a338-53e4b3b1c690

# Get results for a specific test
aws bedrock get-automated-reasoning-policy-test-result \
  --policy-arn "arn:aws:bedrock:us-east-1:111122223333:automated-reasoning-policy/lnq5hhz70wgk" \
  --build-workflow-id d40fa7fc-351e-47d8-a338-53e4b3b1c690 \
  --test-case-id test-12345abcde

응답에는 검증 결과 및 실행 상태와 함께 자세한 테스트 결과가 포함됩니다. 빌드 워크플로에 대한 모든 테스트 결과를 나열하려면 ListAutomatedReasoningPolicyTestResults API를 사용합니다.

테스트 결과 이해

테스트가 완료되면 결과 세트를 받게 됩니다. 각 결과는 검증 결과, 사용된 변수 할당 및 결론을 지원하는 정책 규칙과 함께 테스트 입력에서 추출된 사실적 클레임을 나타냅니다. 결과 구조 및 모든 검증 결과 유형에 대한 자세한 설명은 섹션을 참조하세요결과 및 검증 결과.

테스트 결과의 구조

각 테스트 결과에는 다음이 포함됩니다.

결과의 실제 해석

다음 표에는 각 검증 결과가 실제로 무엇을 의미하는지와 테스트에서 확인할 때 취해야 할 조치가 요약되어 있습니다. 결과 필드 및 자세한 설명을 포함한 전체 참조는 섹션을 참조하세요검증 결과 참조.

실패한 테스트에 대한 팁 디버깅

테스트가 실패하면(실제 결과가 예상 결과와 일치하지 않음) 다음 접근 방식을 사용하여 문제를 진단합니다.

자세한 문제 해결 지침은 섹션을 참조하세요자동 추론 정책 문제 해결 및 구체화.