View a markdown version of this page

Amazon Bedrock Guardrails에서 자동 추론 검사란 무엇입니까? - Amazon Bedrock
자동 추론 검사의 기능자동 추론 검사를 사용해야 하는 경우자동 추론 검사에서 수행하지 않는 작업End-to-end 워크플로 개요가용성 및 언어 지원제한 사항 및 고려 사항가격 책정정책 작업에 대한 교차 리전 추론

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon Bedrock Guardrails에서 자동 추론 검사란 무엇입니까?

자동 추론 검사의 기능

대규모 언어 모델(LLM)의 주요 과제는 응답의 정확성을 보장하는 것입니다. 검증이 없으면 LLMs 신뢰를 약화시키는 할루시네이션 또는 부정확한 정보를 생성할 수 있습니다. Amazon Bedrock Guardrails의 자동 추론 검사는 수학적 기법을 사용하여 자연어 콘텐츠를 정의한 정책과 비교하여 검증함으로써이 문제를 해결하는 데 도움이 됩니다.

패턴 일치를 기반으로 콘텐츠를 차단하거나 필터링하는 기존 가드레일 구성 요소와 달리 자동 추론 검사는 공식 로직을 사용하여 응답이 올바르거나 잘못된 이유에 대한 구조화된 피드백을 제공합니다. 이 피드백은 정책과 거의 일치하는 콘텐츠를 생성하기 위해 LLM을 유도하는 데 사용할 수 있습니다. 특히 자동 추론 검사는 다음을 수행할 수 있습니다.

  • 생성된 콘텐츠가 정책 규칙과 모순된다는 것을 수학적으로 증명하여 LLM 응답에서 사실적으로 충돌하는 문을 탐지합니다.

  • 응답이 정책과 일치하지만 모든 관련 규칙을 다루지 않아 응답이 불완전할 수 있는 경우 설명되지 않은 가정을 강조 표시합니다.

  • 결론을 지원하는 특정 정책 규칙 및 변수 할당을 참조하여 정확한 문이 올바른 이유에 대해 수학적으로 검증 가능한 설명을 제공합니다.

이러한 기능을 사용하면 자동 추론 검사가 다른 Amazon Bedrock Guardrails 구성 요소와 다릅니다. 콘텐츠 필터 및 주제 정책은 콘텐츠를 차단하거나 허용하는 바이너리 게이트 역할을 합니다. 자동 추론 검사는 프로그래밍 방식으로 응답을 개선하는 데 사용할 수 있는 상세하고 실행 가능한 피드백을 제공하는 확인 계층 역할을 합니다.

자동 추론 검사를 사용해야 하는 경우

자동화된 추론 검사는 LLM의 응답에 대한 사실적 근거를 입증해야 할 때 가장 유용합니다. 애플리케이션에 다음이 포함된 경우 이를 사용하는 것이 좋습니다.

  • 잘못된 정보가 법률 또는 규정 준수 결과를 초래할 수 있는 의료, 인사 및 금융 서비스와 같은 규제 대상 산업.

  • 모기지 승인, 영역법, 보험 자격 또는 직원 혜택과 같은 복잡한 규칙 세트로, 여러 조건이 상호 작용하여 결과를 결정합니다.

  • 응답이 정책과 일치한다는 수학적으로 확인 가능한 증거가 포함된 감사 가능한 AI 응답이 필요한 규정 준수 시나리오입니다.

  • 회사 정책, 제품 자격 또는 서비스 조건에 대한 질문에 답변하는 챗봇과 같이 잘못된 지침이 신뢰를 약화시킬 수 있는 고객 대면 애플리케이션입니다.

자동 추론 검사에서 수행하지 않는 작업

올바른 기대치를 설정하려면 다음 제한 사항에 유의하세요.

  • 프롬프트 주입 보호가 없습니다. 자동 추론 검사는 전송하는 내용을 정확하게 검증합니다. 악의적이거나 조작된 콘텐츠가 입력으로 제공되는 경우 해당 콘텐츠에 대해 있는 그대로 검증이 수행됩니다. 프롬프트 인젝션 공격을 탐지하고 차단하려면 콘텐츠 필터를 자동 추론 검사와 함께 사용합니다.

  • 비주제 감지가 없습니다. 자동 추론은 정책과 관련된 텍스트만 분석합니다. 관련 없는 콘텐츠를 무시하고 응답이 비주제인지 여부를 알 수 없습니다. 비주제 응답을 감지하려면 주제 정책을 사용합니다.

  • 스트리밍은 지원되지 않습니다. 자동 추론 검사는 스트리밍 APIs 지원하지 않습니다. 전체 응답을 검증해야 합니다.

  • 영어 전용. 자동 추론 검사는 현재 영어(미국)만 지원합니다.

  • 범위가 정책으로 제한됩니다. VALID 결과는 정책 변수를 통해 캡처된 입력 부분에 대해서만 유효성을 보장합니다. 정책의 변수 범위를 벗어나는 문은 검증되지 않습니다. 예를 들어 "가짜 의사 메모가 있어 숙제를 늦게 제출할 수 있습니다"는 정책에 의사 메모가 가짜인지 여부를 캡처할 변수가 없는 경우 유효한 것으로 간주될 수 있습니다.

자동 추론 검사는 콘텐츠 필터 및 주제 정책과 같은 다른 Amazon Bedrock Guardrails 기능을 보완합니다. 최상의 보호를 위해 함께 사용하세요. 자세한 내용은 핵심 구성 요소를 참조하세요.

End-to-end 워크플로 개요

자동 추론 검사 사용에는 정책 생성, 테스트, 가드레일에 배포, 애플리케이션에 통합이라는 네 단계가 포함됩니다.


Source Document ──► Extracted Policy ──► Testing ──► Deployment ──► Integration
    (rules)          (formal logic)      (verify)    (guardrail)    (validate responses
                                                                     and act on feedback)

  1. 정책을 생성합니다. 적용하려는 규칙이 포함된 소스 문서를 업로드합니다. 자동 추론은 문서에서 공식 로직 규칙과 변수 스키마를 추출합니다. 각 규칙과 변수를 소스 콘텐츠의 특정 문에 다시 연결하는 적용 범위 및 정확도 점수와 자세한 근거와 함께 추출된 정책이 소스 문서를 얼마나 정확하게 나타내는지 측정하는 충실도 보고서가 자동으로 생성됩니다. 추출된 정책 및 충실도 보고서를 검토하여 정책이 규칙을 올바르게 캡처하는지 확인합니다. 자세한 내용은 자동 추론 정책 생성 단원을 참조하십시오.

  2. 테스트 및 구체화. 테스트를 통해 정책 자체를 변경하는 동안에도 정책이 생성된 콘텐츠를 정확하게 검증할 수 있습니다. 사용자가 묻는 질문과 LLM이 생성할 수 있는 응답을 모방하는 테스트를 생성합니다. 자동 추론 검사는 기본 모델을 사용하여 자연어를 로직으로 변환합니다. 생성된 시나리오를 사용하여 규칙 정확성을 검증하고 QnA 테스트를 사용하여 논리 번역 정확도에 대한 자연어를 검증합니다. 테스트 결과를 기반으로 정책을 구체화합니다. 자세한 내용은 자동 추론 정책 테스트 단원을 참조하십시오.

  3. 배포. 테스트된 정책의 변경 불가능한 버전을 저장하고 가드레일에 연결합니다. CloudFormation 또는 CI/CD 파이프라인을 사용하여 배포를 자동화할 수 있습니다. 자세한 내용은 애플리케이션에 자동 추론 정책 배포 단원을 참조하십시오.

  4. 를 통합합니다. 런타임 시 자동 추론 조사 결과는 Amazon Bedrock Guardrails 구성 Converse, InvokeModel, InvokeAgent및 독립 실행형 APIs를 지원하는 ApplyGuardrail APIRetrieveAndGenerate를 통해 반환됩니다. 조사 결과를 검사하여 응답을 제공할지, 피드백을 사용하여 다시 작성할지 또는 사용자에게 설명을 요청합니다. 자동 추론 검사는 감지 모드에서만 작동하며 콘텐츠를 차단하는 대신 조사 결과와 피드백을 반환합니다. 애플리케이션에 자동 추론 검사를 통합하는 방법에 대한 자세한 내용은 섹션을 참조하세요애플리케이션에 자동 추론 검사 통합. 자동 추론 검사를 활성화하는 데 필요한 권한에 대한 자세한 내용은 섹션을 참조하세요ApplyGuardrail을 통한 자동 추론 정책에 대한 권한.

가용성 및 언어 지원

Amazon Bedrock Guardrails의 자동 추론 검사는 일반적으로 다음 리전에서 사용할 수 있습니다.

  • 미국 동부(버지니아 북부)

  • 미국 서부(오레곤)

  • 미국 동부(오하이오)

  • EU(프랑크푸르트)

  • EU(파리)

  • EU(아일랜드)

자동 추론 검사는 현재 영어(미국)만 지원합니다.

제한 사항 및 고려 사항

자동 추론 검사를 구현하기 전에 다음과 같은 기술적 제한 사항에 유의하세요.

  • 문서 복잡성. 소스 문서는 명확하고 모호하지 않은 규칙으로 잘 구성되어야 합니다. 중첩 조건 또는 모순되는 설명이 있는 매우 복잡한 문서는 공식 로직으로 명확하게 추출되지 않을 수 있습니다. 입력 문서의 크기는 5MB, 문자 수는 50,000자로 제한됩니다. 더 큰 문서를 분할하고 각 섹션을 정책에 병합할 수 있습니다. 문서의 이미지와 테이블도 입력 문자 수에 영향을 미칩니다.

  • 처리 시간. 자동 추론 검사 검증은 애플리케이션 응답에 지연 시간을 추가합니다. 특히 변수가 많은 복잡한 정책의 경우 추가 처리 시간을 계획합니다. 정책의 변수 수는 검증 지연 시간 증가에 직접 기여합니다.

  • 정책 범위. 유지 관리가 더 쉬운 정책을 생성하려면 각 정책은 단일 정책에서 여러 관련 없는 영역을 다루려고 하지 않고 특정 도메인(예: HR, 재무, 법률)에 집중해야 합니다.

  • 변수 및 규칙 제한. 변수 수가 많거나 규칙 상호 작용이 지나치게 복잡한 정책은 처리 한도에 도달하거나 TOO_COMPLEX 결과를 반환할 수 있습니다. Amazon Bedrock 제한 설명서 및 섹션을 참조하세요검증 결과 참조.

  • 자연어 종속성. 검증의 정확도는 사용자 프롬프트 및 모델 응답의 자연어를 정책의 공식 로직 변수로 변환할 수 있는 정도에 따라 달라집니다. 자동 추론 검사는 기본 모델을 사용하여 자연어를 로직 표현으로 변환합니다. 변수 설명은이 번역의 품질에 영향을 미칩니다.

  • 비선형 산술. 제약 조건에 비선형 산술(예: 비합리적 숫자 또는 지수)을 사용한 추론이 포함된 경우 자동 추론 검사가 시간 초과되거나 TOO_COMPLEX를 반환할 수 있습니다.

가격 책정

Amazon Bedrock Guardrails의 자동 추론 검사는 처리된 검증 요청 수에 따라 요금이 부과됩니다. 현재 요금 정보는 Amazon Bedrock 요금 페이지를 참조하세요.

결과(예: VALID, INVALID, TRANSLATION_AMBIGUOUS)에 관계없이 각 검증 요청에 대해 요금이 발생합니다. 비용 최적화:

  • 적절한 신뢰도 임계값을 사용하여 정확도와 처리 요구 사항의 균형을 맞춥니다.

  • 사용 사례에 적합한 경우 동일하거나 유사한 쿼리에 대한 캐싱 검증 결과를 고려합니다.

  • 사용량 패턴을 모니터링하고 정책을 조정하여 불필요한 검증 요청을 줄입니다.

정책 작업에 대한 교차 리전 추론

자동 추론은 교차 리전 추론을 활용하여 정책 생성 및 테스트 작업의 성능과 가용성을 최적화합니다. 특정 API 작업은 안정적인 서비스 제공을 보장하기 위해 지리적 경계 내의 AWS 리전 간에 처리를 자동으로 분산합니다.

다음 자동 추론 API 작업은 교차 리전 추론을 사용합니다.

  • StartAutomatedReasoningPolicyBuildWorkflow - 소스 문서에서 정책 생성 및 컴파일 중에 호출됩니다.

  • StartAutomatedReasoningPolicyTestWorkflow - 정책 검증 및 테스트 절차 중에 호출됩니다.

이러한 작업은 대규모 언어 모델을 간접적으로 호출하여 소스 문서에서 공식 로직 규칙을 추출하고 자연어 구문을 구조화된 논리적 표현으로 변환합니다. 최적의 성능과 가용성을 보장하기 위해 요청 처리는 다음 지리적 라우팅에 따라 배포됩니다.

  • 미국 리전: 미국 동부(버지니아 북부), 미국 서부(오리건) 또는 미국 동부(오하이오)에서 시작된 API 요청은 지원되는 모든 미국 리전에서 처리될 수 있습니다.

  • 유럽 연합 리전: EU(프랑크푸르트), EU(파리) 또는 EU(아일랜드)에서 시작된 API 요청은 지원되는 모든 EU 리전에서 처리될 수 있습니다.

중요

고객 데이터는 원래의 지리적 경계 내(미국 또는 유럽 연합)에 유지되며 AWS 데이터 레지던시 약정에 따라 처리됩니다. 교차 리전 추론은 성능 및 서비스 가용성을 최적화하기 위해 동일한 지리적 리전 내에서만 요청을 라우팅합니다.

교차 리전 추론은 고객이 구성할 필요가 없으며 투명하게 작동합니다. API 기능은 요청을 처리하는 특정 리전에 관계없이 일관성을 유지합니다.

주제