Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Utilizzare il controllo di correlazione contestuale per filtrare le allucinazioni nelle risposte

Guardrail per Amazon Bedrock supporta i controlli di correlazione contestuale per rilevare e filtrare le allucinazioni nelle risposte del modello quando vengono fornite una fonte di riferimento e una query dell’utente. I casi d'uso supportati includono il riepilogo, la parafrasi e la risposta alle domande, come definito nella disciplina informatica. (I casi d'uso di QA conversazionale /Chatbot non sono supportati.)

I controlli di correlazione contestuale verificano la pertinenza di ogni blocco elaborato. Se un blocco è considerato pertinente, l'intera risposta è considerata pertinente in quanto contiene la risposta alla domanda dell'utente. Per l’API di streaming può verificarsi uno scenario in cui all’utente viene restituita una risposta non pertinente, ma viene contrassegnata come tale solo dopo la trasmissione dell’intera risposta.

Il grounding contestuale verifica i seguenti paradigmi:

Consideriamo un esempio in cui la fonte di riferimento contiene «Londra è la capitale del Regno Unito». Tokyo è la capitale del Giappone» e la domanda dell'utente è «Qual è la capitale del Giappone?». Una risposta come «La capitale del Giappone è Londra» sarà considerata infondata e di fatto errata, mentre una risposta come «La capitale del Regno Unito è Londra» sarà considerata irrilevante, anche se è corretta e fondata sulla fonte.

Punteggi e soglie di attendibilità

I controlli di correlazione contestuale generano punteggi di attendibilità corrispondenti alla correlazione e alla pertinenza per ogni risposta del modello elaborata in base all’origine e alla query dell’utente fornita. È possibile configurare soglie per filtrare le risposte del modello in base ai punteggi generati. La soglia di filtraggio determina il punteggio di attendibilità minimo consentito affinché la risposta del modello venga considerata correlata e pertinente nell’applicazione di IA generativa. Ad esempio, se la soglia di correlazione e la soglia di pertinenza sono entrambe impostate su 0,7, tutte le risposte del modello con un punteggio di correlazione o di pertinenza inferiore a 0,7 verranno considerate come allucinazioni e bloccate nell’applicazione. Man mano che aumenta la soglia di filtraggio, aumenta la probabilità di bloccare contenuti non correlati e non pertinenti e diminuisce la probabilità di vedere contenuti allucinati nell’applicazione. È possibile configurare valori di soglia relativi a correlazione e pertinenza compresi tra 0 e 0,99. Una soglia pari a 1 non è valida in quanto blocca tutti contenuti.

Per eseguire i controlli di correlazione contestuale sono necessari tre componenti: l’origine della correlazione, la query e i contenuti da proteggere (o la risposta del modello). Vengono configurati in modo diverso a seconda che si utilizzino le API Invoke, le API Converse o direttamente ApplyGuardrail.

Esempio di risposta non correlata

In questo esempio, il contenuto da proteggere è pertinente alla query ma non è correlato in quanto non utilizza correttamente l’origine della correlazione. Avrebbe un punteggio di correlazione basso.

Esempio di risposta non pertinente

In questo esempio, il contenuto da proteggere è correlato ma non pertinente. Utilizza informazioni provenienti dall’origine della correlazione ma non risponde alla query. Avrebbe un punteggio di pertinenza basso.

Esempio di risposta non correlata e non pertinente

In questo esempio, il contenuto da proteggere non è correlato e non è pertinente. Non utilizza informazioni provenienti dall’origine della correlazione e non risponde alla query. Avrebbe un punteggio di correlazione e di pertinenza basso.

Altri esempi

Consideriamo un’applicazione bancaria progettata per rispondere a domande relative a costi e commissioni.

Origine:

Sulla base della fonte precedente, possono esserci quattro scenari a seconda della query dell'utente.

Correlata e pertinente

Un-grounded ma Rilevante

Correlata ma non pertinente

Un-grounded e irrilevante

Aggiungere controlli di correlazione contestuale con la console

Chiamare il controllo di correlazione contestuale con le API Invoke

Per contrassegnare la fonte di base e la query all'interno dell'input, utilizzate i seguenti tag che funzionano allo stesso modo dei tag di input. Questi tag sono amazon-bedrock-guardrails-groundingSource_xyz eamazon-bedrock-guardrails-query_xyz, xyz dov'è il suffisso del tag. Ad esempio:

{
    "text": """
<amazon-bedrock-guardrails-groundingSource_xyz>London is the capital of UK. Tokyo is the capital of Japan. </amazon-bedrock-guardrails-groundingSource_xyz>

<amazon-bedrock-guardrails-query_xyz>What is the capital of Japan?</amazon-bedrock-guardrails-query_xyz>
""",
    "amazon-bedrock-guardrailConfig": {
        "tagSuffix": "xyz",
    },
}    
        

La risposta del modello è obbligatoria per eseguire i controlli di correlazione contestuale e quindi i controlli vengono eseguiti solo sull’output e non sul prompt.

Questi tag possono essere utilizzati insieme ai guardContent tag. I contenuti interni groundingSource e i query tag sono esclusi dalle valutazioni politiche diverse dalla base contestuale (filtri per parole, filtri per argomento, filtri per contenuti, rilevamento di informazioni sensibili).

Il comportamento delle politiche rimanenti dipende dall'uso guardContent o meno dei tag:

Per fare in modo che il contenuto della fonte di base o della query venga valutato anche in base alle politiche rimanenti, inserisci il tag di base contestuale all'interno di un tag: guardContent

<amazon-bedrock-guardrails-guardContent_xyz><amazon-bedrock-guardrails-groundingSource_xyz>London is the capital of UK. Tokyo is the capital of Japan.</amazon-bedrock-guardrails-groundingSource_xyz></amazon-bedrock-guardrails-guardContent_xyz>

<amazon-bedrock-guardrails-query_xyz>What is the capital of Japan?</amazon-bedrock-guardrails-query_xyz>
        

In questo esempio, il contenuto del grounding source viene utilizzato sia come fonte di riferimento contestuale sia valutato in base ad altre policy, poiché è anch'esso racchiuso in un tag. guardContent

Chiamata contestuale del grounding check con Converse API

Per contrassegnare l’origine della correlazione e la query per le API Converse, utilizzare il campo dei qualificatori in ogni blocco di contenuti da proteggere. Ad esempio:

[
    {
        "role": "user",
        "content": [
            {
                "guardContent": {
                    "text": {
                        "text": "London is the capital of UK. Tokyo is the capital of Japan",
                        "qualifiers": ["grounding_source"],
                    }
                }
            },
            {
                "guardContent": {
                    "text": {
                        "text": "What is the capital of Japan?",
                        "qualifiers": ["query"],
                    }
                }
            },
        ],
    }
]
        

La risposta del modello è obbligatoria per eseguire i controlli di correlazione contestuale e quindi i controlli vengono eseguiti solo sull’output e non sul prompt.

Il comportamento delle politiche diverse dal grounding contestuale dipende dai qualificatori assegnati a ciascun blocco: guardContent

Se desideri che il contenuto della tua fonte di base o della tua query venga valutato anche da altre policy di guardrail, aggiungili all'elenco dei qualificatori insieme guard_content al qualificatore di base contestuale.

ApplyGuardrail Richiamo al controllo contestuale del grounding con API

L’utilizzo del controllo di correlazione contestuale con ApplyGuardrail è simile a quello con le API Converse. Per contrassegnare l’origine della correlazione e la query per ApplyGuardrail, utilizzare il campo dei qualificatori in ogni blocco di contenuti. Tuttavia, poiché con ApplyGuardrail non viene invocato alcun modello, è necessario fornire anche un blocco di contenuti aggiuntivo con i contenuti da proteggere. Questo blocco di contenuti può essere facoltativamente qualificato con guard_content ed è equivalente alla risposta del modello nelle API Invoke* o Converse*. Ad esempio:

[
    {
        "text": {
            "text": "London is the capital of UK. Tokyo is the capital of Japan",
            "qualifiers": [
                "grounding_source"
            ]
        }
    },
    {
        "text": {
            "text": "What is the capital of Japan?",
            "qualifiers": [
                "query"
            ]
        }
    },
    {
        "text": {
            "text": "The capital of Japan is Tokyo."
        }
    }
]
        

La risposta del modello è obbligatoria per eseguire i controlli di correlazione contestuale e quindi i controlli vengono eseguiti solo sull’output e non sul prompt.

In che modo i qualificatori influiscono sulla valutazione delle politiche

I blocchi di contenuto con grounding_source o query qualificatori vengono valutati solo mediante il controllo contestuale della base. Questi blocchi sono esclusi da tutte le altre valutazioni delle politiche di Guardrail (filtri per parole, filtri per argomento, filtri per contenuti, rilevamento di informazioni sensibili e rilevamento tempestivo degli attacchi).

Per fare in modo che un blocco di contenuto venga valutato sia dal contestual grounding check che da altre policy di guardrail, usa entrambi i qualificatori insieme. Ad esempio, specificate di ["grounding_source", "guard_content"] contrassegnare un blocco di contenuto come fonte di base soggetta anche a tutte le altre politiche configurate.

Per la valutazione del contenuto mediante policy diverse dalla base contestuale, è necessario che almeno un blocco di contenuto non sia qualificato o sia esplicitamente qualificato con. guard_content Un blocco di contenuto non è qualificato quando non contiene alcun campo. qualifiers

La tabella seguente riassume il modo in cui ogni combinazione di qualificatori influisce sulla valutazione delle politiche.