¿Qué son las comprobaciones de razonamiento automatizadas en Amazon Bedrock Guardrails? - Amazon Bedrock
¿Qué hacen las comprobaciones de razonamiento automatizadasCuándo utilizar las comprobaciones de razonamiento automatizadas¿Qué no hacen las comprobaciones de razonamiento automatizadasEnd-to-end resumen del flujo de trabajoDisponibilidad y soporte lingüísticoLimitaciones y consideracionesPreciosInferencia entre regiones para las operaciones de política

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

¿Qué son las comprobaciones de razonamiento automatizadas en Amazon Bedrock Guardrails?

¿Qué hacen las comprobaciones de razonamiento automatizadas

Un desafío clave con los modelos de lenguaje grandes (LLMs) es garantizar la precisión de sus respuestas. Sin validación, LLMs pueden producir alucinaciones o información inexacta que socava la confianza. Las comprobaciones de razonamiento automatizadas de Amazon Bedrock Guardrails ayudan a resolver este problema mediante el uso de técnicas matemáticas para validar el contenido en lenguaje natural con respecto a las políticas que usted defina.

A diferencia de los componentes tradicionales que bloquean o filtran el contenido en función de la coincidencia de patrones, las comprobaciones de razonamiento automatizadas utilizan una lógica formal para proporcionar información estructurada sobre por qué una respuesta es correcta o incorrecta. Estos comentarios se pueden utilizar para orientar un LLM hacia la generación de contenido que se demuestre que es coherente con su política. En concreto, las comprobaciones de razonamiento automatizadas pueden:

  • Detecte afirmaciones incorrectas desde el punto de vista fáctico en las respuestas de LLM demostrando matemáticamente que el contenido generado contradice las normas de su política.

  • Destaque las suposiciones no declaradas en las que una respuesta sea coherente con su política pero no aborde todas las normas pertinentes, lo que indica que la respuesta puede estar incompleta.

  • Proporcione explicaciones matemáticamente verificables de por qué las afirmaciones precisas son correctas, citando las reglas políticas específicas y las asignaciones de variables que respaldan la conclusión.

Estas capacidades hacen que las comprobaciones de razonamiento automatizadas sean diferentes a las de otros componentes de Amazon Bedrock Guardrails. Los filtros de contenido y las políticas temáticas actúan como puertas binarias: bloquean o permiten el contenido. Las comprobaciones de razonamiento automatizadas actúan como una capa de verificación que proporciona información detallada y procesable que puedes utilizar para mejorar las respuestas mediante programación.

Cuándo utilizar las comprobaciones de razonamiento automatizadas

Las comprobaciones de razonamiento automatizadas son más valiosas cuando se necesita demostrar la base fáctica de la respuesta de un LLM. Considere utilizarlos cuando su solicitud implique:

  • Industrias reguladas, como la sanidad, los recursos humanos y los servicios financieros, en las que la información incorrecta puede tener consecuencias legales o de cumplimiento.

  • Conjuntos de reglas complejas, como las aprobaciones de hipotecas, las leyes de zonificación, la elegibilidad para el seguro o las prestaciones a los empleados, en los que interactúan múltiples condiciones para determinar un resultado.

  • Escenarios de cumplimiento que requieren respuestas de IA auditables con pruebas matemáticamente verificables de que la respuesta es coherente con sus políticas.

  • Aplicaciones orientadas a los clientes en las que una orientación incorrecta podría erosionar la confianza, como los chatbots que responden a preguntas sobre las políticas de la empresa, la idoneidad de los productos o las condiciones del servicio.

¿Qué no hacen las comprobaciones de razonamiento automatizadas

Para establecer las expectativas correctas, tenga en cuenta las siguientes limitaciones:

  • No hay protección de inyección inmediata. Las comprobaciones de razonamiento automatizadas validan exactamente lo que les envías. Si se proporciona contenido malintencionado o manipulado como entrada, la validación se realiza en ese contenido tal cual. Para detectar y bloquear los ataques de inyección de peticiones, utilice filtros de contenido en combinación con las verificaciones de razonamiento automatizado.

  • Sin detección fuera de tema. El razonamiento automatizado solo analiza el texto que es relevante para la política. Ignora el contenido no relacionado y no puede decirle si una respuesta no está relacionada con el tema. Para detectar respuestas que no estén relacionadas con el tema, usa las políticas temáticas.

  • No es compatible con la transmisión. Las comprobaciones de razonamiento automatizadas no admiten la transmisión APIs. Debe validar las respuestas completas.

  • Solo en inglés. Actualmente, las comprobaciones de razonamiento automatizadas solo admiten el inglés (EE. UU.).

  • El alcance se limita a su póliza. Un VALID resultado garantiza la validez solo de las partes de la información capturadas a través de las variables de política. Las declaraciones que quedan fuera del ámbito de las variables de su política no se validan. Por ejemplo, «puedo entregar mis deberes con retraso porque tengo un certificado médico falso» podría considerarse válido si la política no incluye ninguna variable para determinar si el certificado del médico es falso.

Las comprobaciones de razonamiento automatizadas complementan otras funciones de Amazon Bedrock Guardrails, como los filtros de contenido y las políticas temáticas. Para obtener la mejor protección, úselas juntas. Para obtener más información, consulte Componentes de barreras de protección.

End-to-end resumen del flujo de trabajo

El uso de las comprobaciones de razonamiento automatizadas consta de cuatro fases: crear una política, probarla, implementarla en una barrera e integrarla en la aplicación.


Source Document ──► Extracted Policy ──► Testing ──► Deployment ──► Integration
    (rules)          (formal logic)      (verify)    (guardrail)    (validate responses
                                                                     and act on feedback)

  1. Cree una política. Cargue un documento fuente que contenga las reglas que quiere hacer cumplir. El razonamiento automatizado extrae reglas lógicas formales y un esquema de variables del documento. Se genera automáticamente un informe de fidelidad que mide la precisión con la que la política extraída representa los documentos fuente, con puntuaciones de cobertura y precisión y una base detallada que vincula cada regla y variable con las declaraciones específicas del contenido fuente. Revisa la política y el informe de fidelidad extraídos para asegurarte de que la política refleja tus reglas correctamente. Para obtener más información, consulte Creación de una política de razonamiento automatizado.

  2. Pruebe y perfeccione. Las pruebas ayudan a garantizar que su política pueda validar con precisión el contenido generado incluso cuando realice cambios en la propia política. Cree pruebas que imiten las preguntas que harán los usuarios y las respuestas que pueda generar su LLM. Las comprobaciones de razonamiento automatizadas utilizan modelos fundamentales para traducir el lenguaje natural a la lógica. Utilice los escenarios generados para validar la exactitud de las reglas y las pruebas de QnA para validar la precisión de la traducción del lenguaje natural a la lógica. Refina tu política en función de los resultados de las pruebas. Para obtener más información, consulte Prueba de una política de razonamiento automatizado.

  3. Despliegue. Guarde una versión inmutable de su política probada y adjúntela a una barandilla. Puede automatizar la implementación mediante CloudFormation canalizaciones de CI/CD. Para obtener más información, consulte Implementación de la política de razonamiento automatizado en su aplicación.

  4. Integrar. En tiempo de ejecución, se devuelven los resultados de Automated APIs Reasoning a través de una configuración de Amazon Bedrock Guardrails: ConverseInvokeModel,InvokeAgent, yRetrieveAndGenerate, además de la API independiente. ApplyGuardrail Examine los resultados para decidir si se debe entregar la respuesta, volver a escribirla con los comentarios o pedir una aclaración al usuario. Las comprobaciones de razonamiento automatizadas solo funcionan en modo de detección: devuelven los resultados y los comentarios en lugar de bloquear el contenido. Para obtener más información sobre cómo integrar las comprobaciones de razonamiento automatizadas en su aplicación, consulteIntegre las comprobaciones de razonamiento automatizadas en su aplicación. Para obtener más información sobre los permisos necesarios para habilitar las comprobaciones de razonamiento automatizadas, consultePermisos para políticas de razonamiento automatizado con ApplyGuardrail.

Disponibilidad y soporte lingüístico

Las comprobaciones de razonamiento automatizadas en Amazon Bedrock Guardrails están disponibles generalmente en las siguientes regiones:

  • Este de EE. UU. (Norte de Virginia)

  • Oeste de EE. UU. (Oregón)

  • Este de EE. UU. (Ohio)

  • UE (Fráncfort)

  • UE (París)

  • UE (Irlanda)

Actualmente, las comprobaciones de razonamiento automatizadas solo admiten el inglés (EE. UU.).

Limitaciones y consideraciones

Antes de implementar las comprobaciones de razonamiento automatizadas, ten en cuenta estas limitaciones técnicas:

  • Complejidad del documento. Los documentos fuente deben estar bien estructurados con reglas claras e inequívocas. Es posible que los documentos muy complejos con condiciones anidadas o afirmaciones contradictorias no se integren con claridad en la lógica formal. Los documentos de entrada tienen un tamaño máximo de 5 MB y 50 000 caracteres. Puede dividir documentos más grandes y combinar cada sección en su póliza. Las imágenes y las tablas de los documentos también afectan a la cantidad de caracteres introducidos.

  • Tiempo de procesamiento. La validación de las comprobaciones de razonamiento automático añade latencia a las respuestas de su solicitud. Planifique un tiempo de procesamiento adicional, especialmente en el caso de políticas complejas con muchas variables. El número de variables de una política contribuye directamente al aumento de la latencia de validación.

  • Alcance de la política. Para crear políticas que sean más fáciles de mantener, cada política debe centrarse en un ámbito específico (por ejemplo, recursos humanos, finanzas o asuntos legales) en lugar de tratar de cubrir múltiples áreas no relacionadas en una sola política.

  • Límites variables y de reglas. Las políticas con un número excesivo de variables o interacciones de reglas demasiado complejas pueden alcanzar los límites de procesamiento o devolver resultados de TOO_COMPLEX. Consulte la documentación de límites de Amazon Bedrock yReferencia de los resultados de la validación.

  • Dependencia del lenguaje natural. La precisión de la validación depende de qué tan bien se pueda traducir el lenguaje natural de las solicitudes de los usuarios y las respuestas del modelo a las variables lógicas formales de la política. Las comprobaciones de razonamiento automatizadas utilizan modelos fundamentales para traducir el lenguaje natural en representaciones lógicas. Las descripciones de las variables influyen en la calidad de esta traducción.

  • Aritmética no lineal. Las comprobaciones de razonamiento automatizadas pueden agotar el tiempo de espera o devolver TOO_COMPLEX si las restricciones implican razonar con aritmética no lineal (por ejemplo, números o exponentes irracionales).

Precios

Las verificaciones de razonamiento automatizado de Barreras de protección para Amazon Bedrock se cobran en función del número de solicitudes de validación procesadas. Para obtener información actual acerca de los precios, consulte la página Precios de Amazon Bedrock.

Se incurre en cargos por cada solicitud de validación, independientemente del resultado (por ejemplo, VALID, INVALID, TRANSLATION_AMBIGUOUS). Cómo optimizar los costos:

  • Utilice los umbrales de confianza adecuados para equilibrar la precisión con los requisitos de procesamiento.

  • Considere almacenar en caché los resultados de la validación de consultas idénticas o similares cuando sea adecuado para su caso de uso.

  • Supervise los patrones de uso y ajuste las políticas para reducir las solicitudes de validación innecesarias.

Inferencia entre regiones para las operaciones de política

El razonamiento automatizado utiliza la inferencia entre regiones para optimizar el rendimiento y la disponibilidad de las operaciones de creación y prueba de políticas. Operaciones de API específicas distribuyen automáticamente el procesamiento entre las regiones de AWS dentro de sus límites geográficos para garantizar una prestación de servicios fiable.

Las siguientes operaciones de la API de razonamiento automatizado utilizan la inferencia entre regiones:

  • StartAutomatedReasoningPolicyBuildWorkflow— Se invoca durante la creación y compilación de políticas a partir de los documentos fuente.

  • StartAutomatedReasoningPolicyTestWorkflow— Se invoca durante los procedimientos de validación y prueba de políticas.

Estas operaciones invocan modelos de lenguaje de gran tamaño para extraer reglas lógicas formales de los documentos de origen y traducir los constructos de lenguaje natural en representaciones lógicas estructuradas. Para garantizar un rendimiento y una disponibilidad óptimos, el procesamiento de las solicitudes se distribuye de acuerdo con la siguiente ruta geográfica:

  • Regiones de los Estados Unidos: las solicitudes de API originadas en Este de EE. UU. (Norte de Virginia), Oeste de EE. UU. (Oregón) o Este de EE. UU. (Ohio) se pueden procesar en cualquier región de EE. UU.

  • Regiones de la Unión Europea: las solicitudes de API que se originen en UE (Fráncfort), UE (París) o UE (Irlanda) se pueden procesar en cualquier región de la UE compatible.

importante

Los datos de los clientes permanecen dentro del límite geográfico de origen (Estados Unidos o Unión Europea) y se procesan de acuerdo con los compromisos de residencia de datos de AWS. La inferencia entre regiones enruta las solicitudes exclusivamente dentro de la misma región geográfica para optimizar el rendimiento y la disponibilidad del servicio.

La inferencia entre regiones funciona de forma transparente sin requerir la configuración del cliente. La funcionalidad de la API sigue siendo la misma independientemente de la región específica que procese la solicitud.

Temas