기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

애플리케이션에 자동 추론 검사 통합

가드레일에 자동 추론 정책을 배포한 후( 참조애플리케이션에 자동 추론 정책 배포) 런타임에 이를 사용하여 LLM 응답을 검증하고 피드백에 따라 조치를 취할 수 있습니다. 이 페이지에서는 검증 API를 호출하고, 결과를 프로그래밍 방식으로 해석하고, 잘못된 응답을 다시 작성하고, 명확한 질문을 하는 등의 일반적인 통합 패턴을 구현하는 방법을 설명합니다.

자동 추론 검사는 감지 모드에서만 작동하며 콘텐츠를 차단하는 대신 조사 결과와 피드백을 반환합니다. 애플리케이션은 응답을 제공하거나, 다시 작성하거나, 설명을 요청하거나, 기본 동작으로 돌아가는 등 조사 결과를 사용하여 수행할 작업을 결정할 책임이 있습니다.

통합 개요

런타임 시 통합은 다음 흐름을 따릅니다.

User question ──► LLM generates response ──► ApplyGuardrail validates response
                                                        │
                                              ┌─────────┴─────────┐
                                              │                   │
                                            VALID              Not VALID
                                              │                   │
                                              ▼                   ▼
                                        Serve response     Inspect findings
                                        to user                  │
                                                        ┌────────┴────────┐
                                                        │                 │
                                                   OTHER FINDING     TRANSLATION_
                                                      TYPES       AMBIGUOUS / SATISFIABLE
                                                        │                 │
                                                        ▼                 ▼
                                                   Rewrite using    Ask user for
                                                   AR feedback      clarification
                                                        │                 │
                                                        ▼                 ▼
                                                   Validate again   Validate with
                                                                    clarified input
    

자동 추론 조사 결과는 Amazon Bedrock Guardrails 구성을 지원하는 API를 통해 반환됩니다.

이 페이지에서는 아래에 설명된 재작성 및 설명 패턴을 구현할 수 있는 가장 유연한 기능을 제공하므로 ApplyGuardrail API에 중점을 둡니다. 다른 APIs. https://docs.aws.amazon.com/bedrock/latest/userguide/guardrails-use.html

오픈 소스 재작성 챗봇 샘플

이 페이지에 설명된 패턴을 완전히 프로덕션 방식으로 구현하려면 GitHub에서 챗봇을 재작성하는 자동 추론 검사를 참조하세요. 이 샘플 애플리케이션은 다음을 보여줍니다.

이 샘플은 React 프런트엔드가 있는 Python/Flask 백엔드를 사용하고 LLM 추론을 위해 Amazon Bedrock과 통신하고 ApplyGuardrail API를 통해 검증을 위해 Amazon Bedrock 가드레일과 통신합니다.

자동 추론 검사를 사용하여 ApplyGuardrail 호출

ApplyGuardrail API를 사용하여 가드레일에 대한 콘텐츠를 검증합니다. API는 하나 이상의 콘텐츠 블록을 수락하고 자동 추론 조사 결과를 포함하는 평가를 반환합니다.

요청 구조

예:를 사용하여 LLM 응답 검증 AWS CLI

aws bedrock-runtime apply-guardrail \
  --guardrail-identifier "your-guardrail-id" \
  --guardrail-version "1" \
  --source OUTPUT \
  --content '[
    {
      "text": {
        "text": "User: Am I eligible for parental leave if I have been working here for 2 years full-time?\nAssistant: Yes, you are eligible for parental leave."
      }
    }
  ]'

예: Python(boto3)을 사용하여 LLM 응답 검증

import boto3
import json

bedrock_runtime = boto3.client("bedrock-runtime", region_name="us-east-1")

response = bedrock_runtime.apply_guardrail(
    guardrailIdentifier="your-guardrail-id",
    guardrailVersion="1",
    source="OUTPUT",
    content=[
        {
            "text": {
                "text": (
                    "User: Am I eligible for parental leave if I have been "
                    "working here for 2 years full-time?\n"
                    "Assistant: Yes, you are eligible for parental leave."
                )
            }
        }
    ],
)

# The AR findings are in the assessments
for assessment in response.get("assessments", []):
    ar_assessment = assessment.get("automatedReasoningPolicy", {})
    findings = ar_assessment.get("findings", [])
    for finding in findings:
        # Each finding is a union — exactly one key is present
        # Possible keys: valid, invalid, satisfiable, impossible,
        #                translationAmbiguous, tooComplex, noTranslations
        print(json.dumps(finding, indent=2, default=str))

응답 구조

ApplyGuardrail 응답에는 assessments 배열이 포함됩니다. 각 평가에는 findings 배열이 있는 automatedReasoningPolicy 객체가 포함됩니다. 각 결과는 조합 유형입니다. 다음 키 중 정확히 하나가 있습니다.

각 결과 유형 및 해당 필드에 대한 자세한 설명은 섹션을 참조하세요결과 및 검증 결과.

런타임 시 AR 조사 결과 해석

프로그래밍 방식으로 자동 추론 조사 결과에 대응하려면 애플리케이션에서 조사 결과 유형, 번역 세부 정보 및 지원 또는 모순되는 규칙을 추출해야 합니다. 다음 섹션에서는 결과의 각 부분을 구문 분석하는 방법을 설명합니다.

결과 유형 결정

각 결과는 하나의 조합입니다. 정확히 하나의 키가 있습니다. 어떤 키가 존재하는지 확인하여 결과 유형을 결정합니다.

def get_finding_type(finding):
    """Return the finding type and its data from an AR finding union."""
    for finding_type in [
        "valid", "invalid", "satisfiable", "impossible",
        "translationAmbiguous", "tooComplex", "noTranslations"
    ]:
        if finding_type in finding:
            return finding_type, finding[finding_type]
    return None, None

번역 읽기

대부분의 결과 유형에는 자동 추론 검사가 자연어 입력을 공식 로직으로 변환한 방법을 보여주는 translation 객체가 포함됩니다. 번역에는 다음이 포함됩니다.

untranslatedPremises 및 untranslatedClaims를 확인하여 검증 범위를 이해합니다. VALID 결과는 번역된 클레임만 다루며 번역되지 않은 콘텐츠는 확인되지 않습니다.

지원 또는 모순 규칙 읽기

결과 유형에 따라 결과에는 결과를 설명하는 규칙이 포함됩니다.

이러한 규칙 및 시나리오는에 설명된 재작성 패턴의 주요 입력입니다AR 피드백을 사용하여 잘못된 응답 다시 쓰기.

집계 결과 확인

단일 검증 요청은 여러 결과를 반환할 수 있습니다. 전체 결과를 확인하려면 조사 결과를 심각도별로 정렬하고 최악의 결과를 선택합니다. 최악의 심각도부터 최상의 심각도 순서는 TRANSLATION_AMBIGUOUS, IMPOSSIBLE, INVALID, SATISFIABLE, 입니다VALID.

SEVERITY_ORDER = {
    "tooComplex": 0,
    "translationAmbiguous": 0,
    "impossible": 1,
    "invalid": 2,
    "satisfiable": 3,
    "valid": 4,
    "noTranslations": 5, 
}

def get_aggregate_result(findings):
    """Return the worst finding type from a list of findings."""
    worst = None
    worst_severity = float("inf")
    for finding in findings:
        finding_type, _ = get_finding_type(finding)
        severity = SEVERITY_ORDER.get(finding_type, 0)
        if severity < worst_severity:
            worst_severity = severity
            worst = finding_type
    return worst

애플리케이션에서 검증 결과 처리

집계 결과를 사용하여 애플리케이션이 다음에 수행할 작업을 결정합니다. 다음 표에는 각 결과 유형에 대한 권장 작업이 요약되어 있습니다.

AR 피드백을 사용하여 잘못된 응답 다시 쓰기

자동 추론 검사의 가장 강력한 통합 패턴은 재작성 루프입니다. 응답이 invalid 또는 인 경우 satisfiable애플리케이션은 원래 응답, 특정 결과 및 정책 규칙을 포함하는 프롬프트를 구성한 다음 LLM에 정책과 일치하도록 응답을 다시 작성하도록 요청합니다. 다시 작성된 응답이 다시 검증되고 응답이 valid되거나 최대 반복 횟수에 도달할 때까지 루프가 계속됩니다.

루프 흐름 재작성

LLM generates initial response
         │
         ▼
Validate with ApplyGuardrail ◄──────────────────┐
         │                                       │
         ▼                                       │
   ┌─────┴─────┐                                 │
   │           │                                 │
 VALID     Not VALID                             │
   │           │                                 │
   ▼           ▼                                 │
 Done    Construct rewriting prompt              │
         with findings + rules                   │
              │                                  │
              ▼                                  │
         LLM rewrites response                   │
              │                                  │
              ▼                                  │
         Max iterations? ──── No ────────────────┘
              │
             Yes
              │
              ▼
         Return best response
         with warning
      

재작성 프롬프트 구성

재작성 프롬프트에는 AR 조사 결과의 세 가지 정보가 포함되어야 합니다.

프롬프트 템플릿 재작성 예제:

The following response was checked against our policy and found to be
{finding_type}.

Original response:
{original_response}

The validation found the following issue:
- Premises (what was understood from the input): {premises}
- Claims (what was asserted): {claims}
- Contradicting rules: {contradicting_rules}

Please rewrite the response so that it is consistent with the policy document. 
Keep the same helpful tone and answer the user's question
accurately based on the rules. If you cannot provide an accurate answer
without more information, explain what additional information is needed.

모범 사례 재작성

명확한 질문하기

자동 추론 검사에서 translationAmbiguous, satisfiable또는 impossible 결과가 반환되면 LLM에 응답을 정확하게 다시 쓸 수 있는 충분한 정보가 없을 수 있습니다. 이러한 경우 애플리케이션은 사용자에게 설명을 요청한 다음 다음 검증 시도에 답변을 통합할 수 있습니다.

설명을 요청해야 하는 경우

설명 패턴

설명 흐름은 다음과 같이 작동합니다.

예: satisfiable 결과에서 명확한 질문 생성

def generate_clarifying_questions(finding_data, user_question):
    """Ask the LLM to generate clarifying questions from a SATISFIABLE finding."""
    claims_true = json.dumps(
        finding_data.get("claimsTrueScenario", {}), indent=2, default=str
    )
    claims_false = json.dumps(
        finding_data.get("claimsFalseScenario", {}), indent=2, default=str
    )

    prompt = (
        f"A user asked: {user_question}\n\n"
        f"The answer is correct when these conditions hold:\n{claims_true}\n\n"
        f"But incorrect when these conditions hold:\n{claims_false}\n\n"
        f"Generate 1-3 short, specific questions to ask the user to determine "
        f"which conditions apply to their situation. Format each question on "
        f"its own line."
    )

    return generate_response(prompt, "You are a helpful assistant.")

감사 추적 구축

자동 추론 조사 결과는 수학적으로 검증 가능한 유효성 증명을 제공합니다. 규제 산업 및 규정 준수 시나리오의 경우이 증명은 주요 차별화 요소입니다. 패턴 일치 또는 확률적 평가뿐만 아니라 특정 변수 할당이 있는 특정 정책 규칙에 대해 AI 응답이 검증되었음을 입증할 수 있습니다.

효과적인 감사 추적을 구축하려면 각 검증 요청에 대해 다음 정보를 기록합니다.

예: 감사 로그 항목 구조

{
  "timestamp": "2025-07-21T14:30:00Z",
  "request_id": "req-abc123",
  "guardrail_id": "your-guardrail-id",
  "guardrail_version": "1",
  "user_question": "Am I eligible for parental leave?",
  "llm_response": "Yes, you are eligible for parental leave.",
  "validation_result": "valid",
  "findings": [
    {
      "type": "valid",
      "premises": "isFullTime = true, tenureMonths = 24",
      "claims": "eligibleForParentalLeave = true",
      "supporting_rules": ["A1B2C3D4E5F6"]
    }
  ],
  "action_taken": "served_response",
  "rewrite_iterations": 0
}