Cosa sono i controlli di ragionamento automatizzato in Amazon Bedrock Guardrails? - Amazon Bedrock
Cosa fanno i controlli di ragionamento automaticoQuando utilizzare i controlli di ragionamento automaticoCosa non fanno i controlli di ragionamento automaticoEnd-to-end panoramica del flusso di lavoroDisponibilità e supporto linguisticoConsiderazioni e limitazioniPrezziInferenza tra Regioni per le operazioni delle policy

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Cosa sono i controlli di ragionamento automatizzato in Amazon Bedrock Guardrails?

Cosa fanno i controlli di ragionamento automatico

Una sfida fondamentale dei modelli linguistici di grandi dimensioni (LLMs) è garantire l'accuratezza delle loro risposte. Senza convalida, LLMs possono produrre allucinazioni o informazioni imprecise che minano la fiducia. I controlli automatici di ragionamento in Amazon Bedrock Guardrails aiutano a risolvere questo problema utilizzando tecniche matematiche per convalidare i contenuti in linguaggio naturale rispetto alle politiche definite dall'utente.

A differenza dei tradizionali componenti guardrail che bloccano o filtrano i contenuti in base alla corrispondenza dei modelli, i controlli di ragionamento automatico utilizzano la logica formale per fornire un feedback strutturato sul motivo per cui una risposta è corretta o errata. Questo feedback può essere utilizzato per indirizzare un LLM verso la generazione di contenuti che siano dimostrabilmente coerenti con la vostra politica. In particolare, i controlli di ragionamento automatizzato possono:

  • Rileva affermazioni di fatto errate nelle risposte LLM dimostrando matematicamente che il contenuto generato contraddice le regole delle politiche.

  • Evidenzia i presupposti non dichiarati in cui una risposta è coerente con la tua politica ma non rispetta tutte le regole pertinenti, indicando che la risposta potrebbe essere incompleta.

  • Fornisci spiegazioni matematicamente verificabili del motivo per cui le affermazioni accurate sono corrette, citando le regole politiche specifiche e le assegnazioni delle variabili che supportano la conclusione.

Queste funzionalità rendono i controlli di ragionamento automatico diversi dagli altri componenti di Amazon Bedrock Guardrails. I filtri di contenuto e le politiche tematiche agiscono come porte binarie: bloccano o consentono il contenuto. I controlli di ragionamento automatizzati fungono da livello di verifica che fornisce feedback dettagliati e utilizzabili per migliorare le risposte a livello di programmazione.

Quando utilizzare i controlli di ragionamento automatico

I controlli di ragionamento automatizzato sono particolarmente utili quando è necessario dimostrare la base fattuale della risposta di un LLM. Valuta la possibilità di utilizzarli quando la tua applicazione prevede:

  • Settori regolamentati come l'assistenza sanitaria, le risorse umane e i servizi finanziari, in cui informazioni errate possono avere conseguenze legali o di conformità.

  • Set di regole complesse come le approvazioni dei mutui, le leggi sulla suddivisione in zone, l'idoneità assicurativa o i benefici per i dipendenti, in cui più condizioni interagiscono per determinare un risultato.

  • Scenari di conformità che richiedono risposte di intelligenza artificiale verificabili con prove matematicamente verificabili che la risposta è coerente con le politiche aziendali.

  • Applicazioni rivolte ai clienti in cui indicazioni errate potrebbero erodere la fiducia, come i chatbot che rispondono a domande sulle politiche aziendali, sull'idoneità dei prodotti o sui termini di servizio.

Cosa non fanno i controlli di ragionamento automatico

Per stabilire le giuste aspettative, tieni presente le seguenti limitazioni:

  • Nessuna protezione da iniezione immediata. I controlli di ragionamento automatizzati convalidano esattamente ciò che invii loro. Se come input vengono forniti contenuti dannosi o manipolati, la convalida viene eseguita su tale contenuto così com'è. Per rilevare e bloccare gli attacchi di iniezione di prompt, utilizza Filtri dei contenuti in combinazione con i controlli del ragionamento automatico.

  • Nessun rilevamento fuori tema. Il ragionamento automatico analizza solo il testo pertinente alla politica. Ignora i contenuti non correlati e non può indicare se una risposta è fuori tema. Per rilevare le risposte fuori tema, utilizza le politiche tematiche.

  • Nessun supporto per lo streaming. I controlli di ragionamento automatizzato non supportano lo streaming APIs. È necessario convalidare le risposte complete.

  • Solo in inglese. I controlli di ragionamento automatizzato attualmente supportano solo l'inglese (USA).

  • Ambito limitato alla tua politica. Un VALID risultato garantisce la validità solo per le parti dell'input acquisite tramite variabili di policy. Le dichiarazioni che non rientrano nell'ambito delle variabili della politica non vengono convalidate. Ad esempio, «Posso inviare i compiti in ritardo perché ho un certificato medico falso» potrebbe essere considerato valido se la polizza non contiene alcuna variabile che consenta di stabilire se il certificato medico è falso.

I controlli di ragionamento automatizzato completano altre funzionalità di Amazon Bedrock Guardrails come i filtri dei contenuti e le politiche tematiche. Per una protezione ottimale, usali insieme. Per ulteriori informazioni, consulta Componenti di guardrail.

End-to-end panoramica del flusso di lavoro

L'utilizzo dei controlli di ragionamento automatico prevede quattro fasi: creazione di una policy, test, implementazione in un guardrail e integrazione nell'applicazione.


Source Document ──► Extracted Policy ──► Testing ──► Deployment ──► Integration
    (rules)          (formal logic)      (verify)    (guardrail)    (validate responses
                                                                     and act on feedback)

  1. Crea una politica. Carica un documento sorgente che contenga le regole che desideri applicare. Il ragionamento automatico estrae le regole logiche formali e uno schema di variabili dal documento. Viene generato automaticamente un rapporto sulla fedeltà che misura la precisione con cui la policy estratta rappresenta i documenti di origine, con punteggi di copertura e precisione e informazioni dettagliate che collegano ogni regola e variabile alle dichiarazioni specifiche del contenuto di origine. Esamina la politica e il rapporto sulla fedeltà estratti per assicurarti che la politica rispecchi correttamente le tue regole. Per ulteriori informazioni, consulta Creare una policy di ragionamento automatico.

  2. Prova e perfeziona. I test aiutano a garantire che la politica possa convalidare accuratamente i contenuti generati anche quando si apportano modifiche alla politica stessa. Crea test che imitano le domande che gli utenti porranno e le risposte che il tuo LLM potrebbe generare. I controlli di ragionamento automatizzati utilizzano modelli fondamentali per tradurre il linguaggio naturale in logica. Utilizza scenari generati per convalidare la correttezza delle regole e i test QnA per convalidare l'accuratezza della traduzione dal linguaggio naturale alla logica. Perfeziona la tua politica in base ai risultati dei test. Per ulteriori informazioni, consulta Testare una policy di ragionamento automatico.

  3. Implementa. Salva una versione immutabile della tua policy testata e collegala a un guardrail. È possibile automatizzare l'implementazione utilizzando CloudFormation le nostre pipeline CI/CD. Per ulteriori informazioni, consulta Implementare la policy di ragionamento automatico nell’applicazione.

  4. Integrare. In fase di esecuzione, i risultati di Automated Reasoning vengono restituiti tramite APIs che supporta una configurazione Amazon Bedrock Guardrails:Converse,InvokeModel, e InvokeAgentRetrieveAndGenerate, oltre all'API standalone. ApplyGuardrail Esamina i risultati per decidere se fornire la risposta, riscriverla utilizzando il feedback o chiedere chiarimenti all'utente. I controlli automatici di ragionamento funzionano solo in modalità di rilevamento: restituiscono risultati e feedback anziché bloccare i contenuti. Per ulteriori informazioni su come integrare i controlli di ragionamento automatico nell'applicazione, consulta. Integra i controlli di ragionamento automatizzato nella tua applicazione Per ulteriori informazioni sulle autorizzazioni necessarie per abilitare i controlli di ragionamento automatico, vedere. Autorizzazioni per le politiche di ragionamento automatico con ApplyGuardrail

Disponibilità e supporto linguistico

I controlli di ragionamento automatizzati in Amazon Bedrock Guardrails sono generalmente disponibili nelle seguenti regioni:

  • Stati Uniti orientali (Virginia settentrionale)

  • Stati Uniti occidentali (Oregon)

  • Stati Uniti orientali (Ohio)

  • UE (Francoforte)

  • UE (Parigi)

  • UE (Irlanda)

I controlli di ragionamento automatizzato attualmente supportano solo l'inglese (USA).

Considerazioni e limitazioni

Prima di implementare i controlli di ragionamento automatico, tieni presente queste limitazioni tecniche:

  • Complessità del documento. I documenti di origine devono essere ben strutturati con regole chiare e inequivocabili. I documenti molto complessi con condizioni annidate o affermazioni contraddittorie potrebbero non essere estratti in modo chiaro nella logica formale. I documenti di input hanno una dimensione limitata a 5 MB e 50.000 caratteri. Puoi dividere documenti più grandi e unire ogni sezione nella tua politica. Le immagini e le tabelle nei documenti influiscono anche sul numero di caratteri di input.

  • Tempo di elaborazione. La convalida dei controlli di ragionamento automatizzato aggiunge latenza alle risposte dell'applicazione. Pianifica tempi di elaborazione aggiuntivi, in particolare per politiche complesse con molte variabili. Il numero di variabili in una policy contribuisce direttamente all'aumento della latenza di convalida.

  • Ambito della politica. Per creare politiche più facili da mantenere, ogni politica dovrebbe concentrarsi su un dominio specifico (ad esempio, risorse umane, finanze, diritto) anziché cercare di coprire più aree non correlate in un'unica politica.

  • Limiti variabili e regole. Le politiche con un numero eccessivo di variabili o interazioni tra regole eccessivamente complesse possono raggiungere i limiti di elaborazione o restituire risultati TOO_COMPLEX. Consulta la documentazione sui limiti di Amazon Bedrock eRiferimento ai risultati della convalida.

  • Dipendenza dal linguaggio naturale. L'accuratezza della convalida dipende dalla capacità del linguaggio naturale contenuto nei prompt degli utenti e nelle risposte del modello di essere tradotto nelle variabili logiche formali della policy. I controlli di ragionamento automatizzato utilizzano modelli fondamentali per tradurre il linguaggio naturale in rappresentazioni logiche. Le descrizioni delle variabili influenzano la qualità di questa traduzione.

  • Aritmetica non lineare. I controlli di ragionamento automatico potrebbero scadere o restituire TOO_COMPLEX se i vincoli implicano il ragionamento con aritmetica non lineare (ad esempio, numeri o esponenti irrazionali).

Prezzi

In Guardrail per Amazon Bedrock i controlli del ragionamento automatico vengono addebitati in base al numero di richieste di convalida elaborate. Per informazioni sui prezzi correnti, consulta la pagina Prezzi di Amazon Bedrock.

Vengono addebitati costi per ogni richiesta di convalida, indipendentemente dal risultato (ad esempio VALID, INVALID, TRANSLATION_AMBIGUOUS). Per ottimizzare i costi:

  • Utilizzate soglie di confidenza appropriate per bilanciare l'accuratezza con i requisiti di elaborazione.

  • Prendi in considerazione la possibilità di memorizzare nella cache i risultati di convalida per query identiche o simili, se appropriato per il tuo caso d'uso.

  • Monitora i modelli di utilizzo e modifica le politiche per ridurre le richieste di convalida non necessarie.

Inferenza tra Regioni per le operazioni delle policy

Il ragionamento automatico utilizza l’inferenza tra Regioni per ottimizzare le prestazioni e la disponibilità delle operazioni di creazione e test delle policy. Operazioni API specifiche distribuiscono automaticamente l’elaborazione tra le Regioni AWS all’interno dei confini geografici per garantire una fornitura di servizi affidabile.

Le seguenti operazioni dell’API di ragionamento automatico utilizzano l’inferenza tra Regioni:

  • StartAutomatedReasoningPolicyBuildWorkflow— Richiamato durante la creazione e la compilazione delle politiche dai documenti di origine.

  • StartAutomatedReasoningPolicyTestWorkflow— Richiamato durante le procedure di convalida e test delle politiche.

Queste operazioni invocano modelli linguistici di grandi dimensioni per estrarre regole logiche formali dai documenti di origine e tradurre i costrutti del linguaggio naturale in rappresentazioni logiche strutturate. Per garantire prestazioni e disponibilità ottimali, l’elaborazione delle richieste viene distribuita secondo il seguente routing geografico:

  • Regioni degli Stati Uniti: le richieste API provenienti da Stati Uniti orientali (Virginia settentrionale), Stati Uniti occidentali (Oregon) o Stati Uniti orientali (Ohio) possono essere elaborate in qualsiasi Regione degli Stati Uniti supportata.

  • Regioni dell’Unione Europea: le richieste API provenienti dall’UE (Francoforte), dall’UE (Parigi) o dall’UE (Irlanda) possono essere elaborate in qualsiasi Regione dell’UE supportata.

Importante

I dati dei clienti rimangono entro il confine geografico di origine (Stati Uniti o Unione Europea) e vengono elaborati in conformità agli impegni di residenza dei dati di AWS. L’inferenza tra Regioni indirizza le richieste esclusivamente all’interno della stessa Regione geografica per ottimizzare le prestazioni e la disponibilità del servizio.

L’inferenza tra Regioni opera in modo trasparente senza richiedere alcuna configurazione da parte del cliente. La funzionalità dell’API rimane coerente indipendentemente dalla Regione specifica che elabora la richiesta.

Argomenti