本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
Amazon Bedrock Guardrails 中的自动推理检查是什么?
自动推理检查的用途
大型语言模型 (LLMs) 面临的一个关键挑战是确保其响应的准确性。未经验证, LLMs 可能会产生幻觉或不准确的信息,从而破坏信任。Amazon Bedrock Guardrails 中的自动推理检查通过使用数学技术根据您定义的策略来验证自然语言内容,从而帮助解决这个问题。
与基于模式匹配屏蔽或过滤内容的传统护栏组件不同,Automated Reasoning 检查使用形式逻辑来提供有关响应为何正确或不正确的结构化反馈。此反馈可用于引导法学硕士生成可证明符合您政策的内容。具体而言,自动推理检查可以:
-
通过数学证明生成的内容与@@ 您的政策规则相矛盾,检测法学硕士响应中事实上不正确的陈述。
-
突出显示未陈述的假设,即回复与您的政策一致,但未涉及所有相关规则,表示回复可能不完整。
-
提供数学上可验证的解释,说明为什么准确的陈述是正确的,并引用支持该结论的具体政策规则和变量赋值。
这些功能使自动推理检查与其他 Amazon Bedrock Guardrails 组件不同。内容过滤器和主题策略充当二进制门——它们会屏蔽或允许内容。自动推理检查充当验证层,提供详细、可操作的反馈,您可以使用这些反馈以编程方式改善响应。
何时使用自动推理检查
当你需要证明法学硕士答复的事实依据时,自动推理检查最有价值。当你的应用程序涉及以下情况时,可以考虑使用它们:
-
受监管的行业,例如医疗保健、人力资源和金融服务,在这些行业,错误的信息可能会产生法律或合规后果。
-
复杂的规则集,例如抵押贷款批准、分区法、保险资格或员工福利,其中多个条件相互作用以确定结果。
-
合规场景需要可审计的 AI 响应,并提供数学上可验证的证据,证明响应符合您的政策。
-
面向客户的应用程序,其中错误的指导可能会削弱信任,例如回答有关公司政策、产品资格或服务条款的问题的聊天机器人。
自动推理检查不起什么作用
要设定正确的期望,请注意以下限制:
-
没有即时注射保护。自动推理检查可以准确验证您发送给他们的内容。如果提供恶意或被操纵的内容作为输入,则按原样对该内容进行验证。要检测和阻止提示注入攻击,请将内容筛选条件与自动推理检查功能结合使用。
-
没有偏离主题的检测。自动推理仅分析与政策相关的文本。它会忽略不相关的内容,也无法告诉你回复是否偏离主题。要检测题外响应,请使用主题策略。
-
不支持流媒体。自动推理检查不支持直播 APIs。您必须验证完整的回复。
-
仅限英语。自动推理检查目前仅支持英语(美国)。
-
范围仅限于您的政策。
VALID结果只能保证通过策略变量捕获的输入部分的有效性。不在策略变量范围之外的语句将不会得到验证。例如,如果保单没有变量可以记录医生的记录是否为假,“我可以因为有虚假的医生记录而延迟提交作业” 可能被视为有效。
自动推理检查补充了 Amazon Bedrock Guardrails 的其他功能,例如内容筛选器和主题政策。为了获得最佳保护,请将它们一起使用。有关更多信息,请参阅护栏机制组件。
End-to-end 工作流程概述
使用自动推理检查包括四个阶段:创建策略、对其进行测试、将其部署到护栏中以及将其集成到您的应用程序中。
Source Document ──► Extracted Policy ──► Testing ──► Deployment ──► Integration (rules) (formal logic) (verify) (guardrail) (validate responses and act on feedback)
-
创建策略。上传包含您要强制执行的规则的源文档。自动推理从您的文档中提取形式逻辑规则和变量架构。系统会自动生成一份保真度报告,用于衡量提取的政策代表您的源文档的准确程度,包括覆盖率和准确性分数以及将每条规则和变量链接回源内容中的特定陈述的详细依据。查看提取的策略和保真度报告,确保策略正确反映了您的规则。有关更多信息,请参阅 创建自动推理策略。
-
测试和完善。测试有助于确保即使您对策略本身进行更改,您的策略也能准确验证生成的内容。创建模仿用户将提出的问题以及您的法学硕士可能生成的回复的测试。自动推理检查使用基础模型将自然语言转换为逻辑。使用生成的场景来验证规则的正确性,使用QnA测试来验证自然语言到逻辑的翻译准确性。根据测试结果完善您的政策。有关更多信息,请参阅 测试自动推理策略。
-
部署。保存已测试策略的不可变版本并将其附加到护栏上。您可以使用 CloudFormation 或 CI/CD 管道自动部署。有关更多信息,请参阅 在应用程序中部署自动推理策略。
-
整合。在运行时,自动推理结果将通过 APIs 支持 Amazon Bedrock Guardrails 配置:
Converse、InvokeModelInvokeAgentRetrieveAndGenerate、和,以及独立 API 返回。ApplyGuardrail检查调查结果以决定是提供响应、使用反馈重写回复,还是要求用户进行澄清。自动推理检查仅在检测模式下运行——它们返回结果和反馈,而不是屏蔽内容。有关如何在应用程序中集成自动推理检查的更多信息,请参阅在您的应用程序中集成自动推理检查。有关启用自动推理检查所需权限的更多信息,请参阅自动推理策略的权限 ApplyGuardrail。
可用性和语言支持
Amazon Bedrock Guardrails 中的自动推理检查通常适用于以下区域:
美国东部(弗吉尼亚州北部)
美国西部(俄勒冈州)
美国东部(俄亥俄州)
欧洲(法兰克福)
欧洲(巴黎)
欧洲(爱尔兰)
自动推理检查目前仅支持英语(美国)。
限制和注意事项
在实施自动推理检查之前,请注意以下技术限制:
-
文档的复杂性。源文件应结构合理,规则清晰明确。包含嵌套条件或矛盾表述的高度复杂的文档,可能无法清楚地提取为形式逻辑。输入文档的大小限制为 5 MB 和 50,000 个字符。您可以拆分较大的文档,并将每个部分合并到您的保单中。文档中的图像和表格也会影响输入字符的数量。
-
处理时间。自动推理检查验证会增加应用程序响应的延迟。计划额外的处理时间,特别是对于具有许多变量的复杂策略。策略中变量的数量直接导致验证延迟的增加。
-
政策范围。为了制定更易于维护的政策,每份政策都应侧重于特定的领域(例如,人力资源、财务、法律),而不是试图在单一政策中涵盖多个不相关的领域。
-
变量和规则限制。变量过多或规则交互过于复杂的策略可能会达到处理限制或返回 TOO_COMPLEX 结果。请参阅 Amazon Bedrock 限制文档和。验证结果参考
-
自然语言依赖。验证的准确性取决于用户提示和模型响应中的自然语言能否很好地转换为策略的形式逻辑变量。自动推理检查使用基础模型将自然语言转换为逻辑表示。可变的描述会影响这种翻译的质量。
-
非线性算术。如果约束条件涉及使用非线性算术(例如,非理性数字或指数)进行推理,则自动推理检查可能会超时或返回 TOO_COMPLEX。
定价
Amazon Bedrock 护栏中的自动推理检查功能的费用根据处理的验证请求数量计算。有关当前定价信息,请参阅 Amazon Bedrock 定价页面
每次验证请求都会产生费用,无论结果如何(例如,VALID、INVALID、TRANSLATION_AMBIGUOUS)。要优化成本,请采用以下方法:
-
使用适当的置信度阈值来平衡精度和处理要求。
-
在适合您的用例时,可以考虑缓存相同或相似查询的验证结果。
-
监控使用模式并调整政策,以减少不必要的验证请求。
用于策略操作的跨区域推理
自动推理利用跨区域推理来优化策略创建和测试操作的性能与可用性。特定 API 操作会自动将处理任务分配到您的地理边界内的各个 AWS 区域,以确保可靠的服务交付。
以下自动推理 API 操作采用了跨区域推理:
-
StartAutomatedReasoningPolicyBuildWorkflow— 在从源文档创建和编译策略时调用。 -
StartAutomatedReasoningPolicyTestWorkflow— 在策略验证和测试过程中调用。
这些操作调用大语言模型,从源文档中提取形式逻辑规则,并将自然语言构造转换为结构化逻辑表示。为确保最佳性能和可用性,系统根据以下地理路由原则分配请求处理:
-
美国区域:来自美国东部(弗吉尼亚州北部)、美国西部(俄勒冈州)或美国东部(俄亥俄州)的 API 请求可以在任何受支持的美国区域处理。
-
欧盟区域:来自欧洲地区(法兰克福)、欧洲地区(巴黎)或欧洲地区(爱尔兰)的 API 请求可以在任何受支持的欧盟区域处理。
重要
客户数据保留在原始地理边界内(美国或欧盟),并按照 AWS 数据驻留承诺进行处理。跨区域推理仅在相同地理区域内路由请求,来优化性能和服务可用性。
跨区域推理以透明方式运行,无需客户进行任何配置。无论处理请求的具体区域如何,API 功能都保持一致。