View a markdown version of this page

Was sind automatische Argumentationsprüfungen in Amazon Bedrock Guardrails? - Amazon Bedrock
Was bewirken automatische ArgumentationsprüfungenWann sollten automatische Argumentationsüberprüfungen eingesetzt werdenWas Automated Reasoning Checks nicht leistenEnd-to-end Überblick über den ArbeitsablaufVerfügbarkeit und SprachunterstützungEinschränkungen und ÜberlegungenPreisgestaltungRegionsübergreifende Inferenz für Richtlinienmaßnahmen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Was sind automatische Argumentationsprüfungen in Amazon Bedrock Guardrails?

Was bewirken automatische Argumentationsprüfungen

Eine zentrale Herausforderung bei großen Sprachmodellen (LLMs) besteht darin, die Genauigkeit ihrer Antworten sicherzustellen. Ohne Validierung LLMs kann es zu Halluzinationen oder ungenauen Informationen kommen, die das Vertrauen untergraben. Automatisierte Prüfungen zur Argumentation in Amazon Bedrock Guardrails helfen bei der Lösung dieses Problems, indem mathematische Techniken verwendet werden, um Inhalte in natürlicher Sprache anhand der von Ihnen definierten Richtlinien zu validieren.

Im Gegensatz zu herkömmlichen Guardrail-Komponenten, die Inhalte auf der Grundlage von Mustervergleichen blockieren oder filtern, verwendet Automated Reasoning Checks formale Logik, um strukturiertes Feedback darüber zu geben, warum eine Antwort richtig oder falsch ist. Dieses Feedback kann verwendet werden, um ein LLM dazu zu bewegen, Inhalte zu generieren, die nachweislich Ihren Richtlinien entsprechen. Insbesondere können automatisierte Argumentationsprüfungen:

  • Erkennen Sie sachlich falsche Aussagen in LLM-Antworten, indem Sie mathematisch nachweisen, dass generierte Inhalte Ihren Richtlinien widersprechen.

  • Heben Sie unausgesprochene Annahmen hervor, wenn eine Antwort Ihrer Richtlinie entspricht, aber nicht alle relevanten Regeln berücksichtigt, was darauf hindeutet, dass die Antwort möglicherweise unvollständig ist.

  • Geben Sie mathematisch überprüfbare Erklärungen dafür an, warum genaue Aussagen richtig sind, und geben Sie dabei die spezifischen politischen Regeln und Variablenzuweisungen an, die die Schlussfolgerung stützen.

Diese Funktionen unterscheiden Automated Reasoning Checks von anderen Amazon Bedrock Guardrails-Komponenten. Inhaltsfilter und Themenrichtlinien wirken wie binäre Tore — sie blockieren oder lassen Inhalte zu. Automatisierte Prüfungen zur Argumentation dienen als Überprüfungsebene, die detailliertes, umsetzbares Feedback liefert, mit dem Sie Ihre Antworten programmatisch verbessern können.

Wann sollten automatische Argumentationsüberprüfungen eingesetzt werden

Automatisierte Argumentationsprüfungen sind am wertvollsten, wenn Sie die sachliche Grundlage für die Antwort eines LLM nachweisen müssen. Erwägen Sie, sie zu verwenden, wenn Ihre Bewerbung Folgendes beinhaltet:

  • Regulierte Branchen wie Gesundheitswesen, Personalwesen und Finanzdienstleistungen, in denen falsche Informationen rechtliche oder Compliance-Konsequenzen haben können.

  • Komplexe Regelwerke wie Hypothekengenehmigungen, Zonengesetze, Versicherungsvoraussetzungen oder Leistungen an Arbeitnehmer, bei denen mehrere Bedingungen zusammenwirken, um das Ergebnis zu bestimmen.

  • Compliance-Szenarien, die überprüfbare KI-Antworten mit mathematisch verifizierbarem Nachweis erfordern, dass die Reaktion Ihren Richtlinien entspricht.

  • Kundenorientierte Anwendungen, bei denen falsche Anleitungen das Vertrauen untergraben könnten, z. B. Chatbots, die Fragen zu Unternehmensrichtlinien, Produktberechtigungen oder Servicebedingungen beantworten.

Was Automated Reasoning Checks nicht leisten

Um die richtigen Erwartungen zu wecken, sollten Sie sich der folgenden Einschränkungen bewusst sein:

  • Kein sofortiger Injektionsschutz. Automatisierte Reasoning-Checks validieren genau das, was Sie ihnen schicken. Wenn bösartige oder manipulierte Inhalte als Eingabe bereitgestellt werden, wird die Überprüfung für diesen Inhalt unverändert durchgeführt. Verwenden Sie Inhaltsfilter in Kombination mit Automated-Reasoning-Prüfungen, um Promptinjektionsangriffe zu erkennen und zu blockieren.

  • Keine Erkennung, die vom Thema abweicht. Automated Reasoning analysiert nur Text, der für die Richtlinie relevant ist. Es ignoriert Inhalte, die nichts miteinander zu tun haben, und es kann Ihnen nicht gesagt werden, ob eine Antwort nicht zum Thema gehört. Verwenden Sie Themenrichtlinien, um Antworten zu erkennen, die nicht zum Thema gehören.

  • Keine Streaming-Unterstützung. Automatisierte Argumentationsprüfungen unterstützen kein Streaming APIs. Sie müssen vollständige Antworten validieren.

  • Nur auf Englisch. Automated Reasoning Checks unterstützen derzeit nur Englisch (USA).

  • Der Geltungsbereich ist auf Ihre Police beschränkt. Ein VALID Ergebnis garantiert die Gültigkeit nur für die Teile der Eingabe, die über Richtlinienvariablen erfasst wurden. Aussagen, die nicht in den Geltungsbereich der Variablen Ihrer Richtlinie fallen, werden nicht validiert. Zum Beispiel könnte „Ich kann meine Hausaufgaben zu spät einreichen, weil ich ein gefälschtes ärztliches Attest habe“ als gültig erachtet werden, wenn die Richtlinie keine Variable enthält, mit der erfasst werden kann, ob das Attest gefälscht ist.

Automatisierte Argumentationsprüfungen ergänzen andere Funktionen von Amazon Bedrock Guardrails wie Inhaltsfilter und Themenrichtlinien. Verwenden Sie sie zusammen, um den besten Schutz zu erzielen. Weitere Informationen finden Sie unter Integritätsschutzkomponenten.

End-to-end Überblick über den Arbeitsablauf

Die Verwendung von Automated Reasoning Checks umfasst vier Phasen: das Erstellen einer Richtlinie, deren Testen, ihre Implementierung in einer Leitplanke und ihre Integration in Ihre Anwendung.


Source Document ──► Extracted Policy ──► Testing ──► Deployment ──► Integration
    (rules)          (formal logic)      (verify)    (guardrail)    (validate responses
                                                                     and act on feedback)

  1. Erstellen Sie eine Richtlinie. Laden Sie ein Quelldokument hoch, das die Regeln enthält, die Sie durchsetzen möchten. Automated Reasoning extrahiert formale Logikregeln und ein Variablenschema aus Ihrem Dokument. Es wird automatisch ein Zuverlässigkeitsbericht generiert, in dem gemessen wird, wie genau die extrahierte Richtlinie Ihre Quelldokumente wiedergibt. Dabei werden Umfang und Genauigkeit bewertet und eine detaillierte Begründung erstellt, die jede Regel und Variable mit den spezifischen Aussagen in Ihrem Quellinhalt verknüpft. Überprüfen Sie die extrahierte Richtlinie und den Treuebericht, um sicherzustellen, dass die Richtlinie Ihre Regeln korrekt erfasst. Weitere Informationen finden Sie unter Erstellen der Automated-Reasoning-Richtlinie.

  2. Testen und verfeinern. Mithilfe von Tests können Sie sicherstellen, dass Ihre Richtlinie generierte Inhalte auch dann korrekt validieren kann, wenn Sie Änderungen an der Richtlinie selbst vornehmen. Erstellen Sie Tests, die die Fragen, die Ihre Benutzer stellen werden, und die Antworten, die Ihr LLM möglicherweise generiert, nachahmen. Automatisierte Argumentationsprüfungen verwenden grundlegende Modelle, um natürliche Sprache in Logik zu übersetzen. Verwenden Sie generierte Szenarien, um die Richtigkeit von Regeln zu überprüfen, und QnA-Tests, um die Genauigkeit der Übersetzung zwischen natürlicher Sprache und Logik zu überprüfen. Verfeinern Sie Ihre Richtlinie auf der Grundlage der Testergebnisse. Weitere Informationen finden Sie unter Testen einer Automated-Reasoning-Richtlinie.

  3. Bereitstellen. Speichern Sie eine unveränderliche Version Ihrer getesteten Richtlinie und hängen Sie sie an eine Leitplanke an. Sie können die Bereitstellung mithilfe CloudFormation unserer CI/CD-Pipelines automatisieren. Weitere Informationen finden Sie unter Implementieren der Automated-Reasoning-Richtlinie in die Anwendung.

  4. Integrieren. Zur Laufzeit werden die Ergebnisse von Automated Reasoning über eine Version zurückgegeben APIs , die eine Amazon Bedrock Guardrails-Konfiguration unterstützt: ConverseInvokeModel,InvokeAgent, undRetrieveAndGenerate, sowie die eigenständige API. ApplyGuardrail Untersuchen Sie die Ergebnisse, um zu entscheiden, ob Sie die Antwort bereitstellen, sie anhand des Feedbacks neu schreiben oder den Benutzer um eine Klarstellung bitten möchten. Automatisierte Begründungsprüfungen funktionieren nur im Erkennungsmodus — sie geben Ergebnisse und Feedback zurück, anstatt Inhalte zu blockieren. Weitere Informationen darüber, wie Sie automatische Prüfungen zum Begründeverfahren in Ihre Anwendung integrieren können, finden Sie unter. Integrieren Sie automatisierte Argumentationsprüfungen in Ihre Anwendung Weitere Informationen zu den Berechtigungen, die für die Aktivierung von Automated Reasoning Checks erforderlich sind, finden Sie unter. Berechtigungen für Richtlinien für automatisiertes Denken mit ApplyGuardrail

Verfügbarkeit und Sprachunterstützung

Automated Reasoning Checks in Amazon Bedrock Guardrails ist in den folgenden Regionen allgemein verfügbar:

  • USA Ost (Nord-Virginia)

  • USA West (Oregon)

  • USA Ost (Ohio)

  • EU (Frankfurt)

  • EU (Paris)

  • EU (Irland)

Automated Reasoning Checks unterstützen derzeit nur Englisch (USA).

Einschränkungen und Überlegungen

Beachten Sie vor der Implementierung von Automated Reasoning Checks die folgenden technischen Einschränkungen:

  • Komplexität des Dokuments. Quelldokumente sollten gut strukturiert sein und klare, eindeutige Regeln enthalten. Hochkomplexe Dokumente mit verschachtelten Bedingungen oder widersprüchlichen Aussagen lassen sich möglicherweise nicht sauber in die formale Logik integrieren. Eingabedokumente sind auf eine Größe von 5 MB und 50.000 Zeichen begrenzt. Sie können größere Dokumente aufteilen und jeden Abschnitt in Ihrer Richtlinie zusammenführen. Bilder und Tabellen in Dokumenten wirken sich auch auf die Anzahl der eingegebenen Zeichen aus.

  • Bearbeitungszeit. Die Validierung von Automated Reasoning Checks erhöht die Latenz Ihrer Bewerbungsantworten. Planen Sie zusätzliche Verarbeitungszeit ein, insbesondere für komplexe Richtlinien mit vielen Variablen. Die Anzahl der Variablen in einer Richtlinie trägt direkt zur Erhöhung der Validierungslatenz bei.

  • Geltungsbereich der Richtlinie. Um Richtlinien zu entwickeln, die einfacher zu verwalten sind, sollte sich jede Richtlinie auf einen bestimmten Bereich (z. B. Personal, Finanzen, Recht) konzentrieren, anstatt zu versuchen, mehrere Bereiche, die nichts miteinander zu tun haben, in einer einzigen Richtlinie abzudecken.

  • Grenzwerte für Variablen und Regeln. Richtlinien mit einer übermäßigen Anzahl von Variablen oder zu komplexen Regelinteraktionen können auf Verarbeitungslimits stoßen oder TOO_COMPLEX-Ergebnisse zurückgeben. Weitere Informationen finden Sie in der Dokumentation zu Amazon Bedrock Limits undReferenz zu den Validierungsergebnissen.

  • Abhängigkeit von natürlicher Sprache. Die Genauigkeit der Validierung hängt davon ab, wie gut natürliche Sprache in Benutzeraufforderungen und Modellantworten in die formalen Logikvariablen Ihrer Richtlinie übersetzt werden kann. Automatisierte Argumentationsprüfungen verwenden grundlegende Modelle, um natürliche Sprache in logische Repräsentationen zu übersetzen. Variablenbeschreibungen beeinflussen die Qualität dieser Übersetzung.

  • Nichtlineare Arithmetik. Automatisierte Prüfungen des logischen Denkens können zu einer Zeitüberschreitung führen oder TOO_COMPLEX zurückgeben, wenn Einschränkungen das Argumentieren mit nichtlinearer Arithmetik beinhalten (z. B. irrationale Zahlen oder Exponenten).

Preisgestaltung

Automated-Reasoning-Prüfungen im Integritätsschutz für Amazon Bedrock werden auf Grundlage der Anzahl der bearbeiteten Bewertungsanfragen in Rechnung gestellt. Weitere Informationen finden Sie auf der Seite Amazon Bedrock – Preise.

Für jede Überprüfungsanfrage fallen Gebühren an, unabhängig vom Ergebnis (z. B. VALID, INVALID, TRANSLATION_AMBIGUOUS). So senken Sie die Kosten:

  • Verwenden Sie geeignete Konfidenzschwellen, um die Genauigkeit mit den Verarbeitungsanforderungen in Einklang zu bringen.

  • Erwägen Sie, die Validierungsergebnisse für identische oder ähnliche Abfragen zwischenzuspeichern, wenn dies für Ihren Anwendungsfall angemessen ist.

  • Überwachen Sie die Nutzungsmuster und passen Sie die Richtlinien an, um unnötige Überprüfungsanfragen zu reduzieren.

Regionsübergreifende Inferenz für Richtlinienmaßnahmen

Automated Reasoning nutzt regionsübergreifende Inferenzen, um die Leistung und Verfügbarkeit von Maßnahmen zur Erstellung und Erprobung von Richtlinien zu optimieren. Spezifische API-Operationen verteilen die Verarbeitung automatisch auf die AWS-Regionen innerhalb Ihrer geografischen Grenzen, um eine zuverlässige Servicebereitstellung zu gewährleisten.

Die folgenden API-Operationen für Automated Reasoning verwenden regionsübergreifende Inferenzen:

  • StartAutomatedReasoningPolicyBuildWorkflow— Wird bei der Erstellung und Zusammenstellung von Richtlinien aus Quelldokumenten aufgerufen.

  • StartAutomatedReasoningPolicyTestWorkflow— Wird während der Validierungs- und Testverfahren für Richtlinien aufgerufen.

Bei diesen Vorgängen werden große Sprachmodelle (LLMs) aufgerufen, um formale Logikregeln aus Quelldokumenten zu extrahieren und Konstrukte natürlicher Sprache in strukturierte logische Repräsentationen zu übersetzen. Die Anforderungsverarbeitung wird gemäß dem folgenden geografischen Routing verteilt, um optimale Leistung und Verfügbarkeit zu gewährleisten:

  • Regionen in den Vereinigten Staaten: API-Anfragen, die aus USA Ost (Nord-Virginia), USA West (Oregon) oder USA Ost (Ohio) stammen, können in jeder unterstützten Region der USA bearbeitet werden.

  • Regionen der Europäischen Union: API-Anfragen aus EU (Frankfurt), EU (Paris) oder EU (Irland) können in jeder unterstützten EU-Region bearbeitet werden.

Wichtig

Kundendaten verbleiben innerhalb der ursprünglichen geografischen Grenze (Vereinigte Staaten oder Europäische Union) und werden gemäß den AWS-Datenresidenzverpflichtungen verarbeitet. Regionsübergreifende Inferenzen leiten Anfragen ausschließlich innerhalb derselben geografischen Region weiter, um die Leistung und Serviceverfügbarkeit zu optimieren.

Die regionsübergreifende Inferenz funktioniert transparent, ohne dass eine Kundenkonfiguration erforderlich ist. Die API-Funktionalität bleibt unabhängig von der spezifischen Region, in der die Anfrage bearbeitet wird, konsistent.

Themen