翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

コンテキストグラウンディングチェックを使用して、レスポンスのハルシネーションをフィルタリングする

Amazon Bedrock のガードレールは、リファレンスソースとユーザークエリが提供されたとき、モデルレスポンスのハルシネーションを検出してフィルタリングするためのコンテキストグラウンディングチェックに対応しています。サポートされているユースケースには、コンピュータサイエンス分野で定義されている要約、言い換え、質問への回答などがあります。(対話型 QA/チャットボットのユースケースはサポートされていません）。

コンテキストグラウンディングチェックでは、処理された各チャンクの関連性をチェックします。いずれかのチャンクが関連していると見なされる場合、ユーザーのクエリに対する回答があるため、レスポンス全体が関連していると見なされます。ストリーミング API の場合は、無関係なレスポンスがユーザーに返され、レスポンス全体がストリーミングされた後にのみ無関係としてマークされるシナリオが発生する可能性があります。

コンテキストグラウンディングは、次のパラダイムをチェックします。

リファレンスソースに「ロンドンは英国の首都です。東京は日本の首都であり、ユーザークエリは「日本の首都は何ですか？」です。「日本の首都はロンドン」などのレスポンスは根拠がなく、事実上正しくないと見なされ、「英国の首都はロンドン」などのレスポンスは、正しく、ソースに基づいていても無関係と見なされます。

信頼スコアとしきい値

コンテキストグラウンディングチェックでは、提供されたソースとユーザークエリに基づいて処理された各モデルレスポンスのグラウンディングと関連性に対応する信頼スコアを生成します。しきい値を設定すると、生成されたスコアに基づいてモデルレスポンスをフィルタリングできます。フィルタリングしきい値により、生成 AI アプリケーションで根拠に基づき、関連性があると見なすことができるモデルレスポンスの最小許容信頼スコアを決定できます。例えば、グラウンディングしきい値と関連性しきい値がそれぞれ 0.7 に設定されている場合、グラウンディングスコアまたは関連性スコアが 0.7 未満のすべてのモデルレスポンスはハルシネーションとして検出され、アプリケーションでブロックされます。フィルタリングのしきい値が増加するにつれて、根拠のないコンテンツや無関係なコンテンツをブロックする可能性が高くなり、ハルシネーションであるコンテンツがアプリケーションで表示される可能性は低下します。グラウンディングと関連性の各しきい値は、0～0.99 の範囲で設定できます。しきい値 1 は、すべてのコンテンツがブロックされるため、無効です。

コンテキストグラウンディングチェックでは、グラウンディングソース、クエリ、保護するコンテンツ (またはモデルレスポンス) の 3 つのコンポーネントでチェックを実行する必要があります。これらは、Invoke API、Converse API、ApplyGuardrail のどれを直接使用しているかによって設定が異なります。

根拠のない例

この例では、保護するコンテンツはクエリに関連していますが、グラウンディングソースを正しく使用していないため、根拠づけされていません。これにより、グラウンディングスコアが低くなります。

無関係な例

この例では、保護するコンテンツは根拠づけされていますが、関連性はありません。このコンテンツはグラウンディングソースからの情報を使用しますが、クエリには応答しません。これにより、関連性スコアが低くなります。

根拠がなく無関係な例

この例では、保護するコンテンツは根拠づけされておらず、関連性もありません。このコンテンツはグラウンディングソースからの情報もクエリへの回答も使用しません。これにより、グラウンディングスコアと関連性スコアが低くなります。

その他の例

料金や請求金額に関連する質問に答えるように設計された銀行アプリケーションについて検討します。

ソース:

上記のソースに基づいて、ユーザーのクエリに応じて 4 つのシナリオがあります。

グラウンディングおよび関連性

根拠はないが関連性がある

根拠はあるが、関連性がない

根拠がなく、関連性もない

コンソールでコンテキストグラウンディングチェックを追加する

Invoke API を使用したコンテキストグラウンディングチェックの呼び出し

入力内でグラウンディングソースとクエリをマークするには、入力タグと同じように機能する次のタグを使用します。これらのタグは amazon-bedrock-guardrails-groundingSource_xyzおよび でamazon-bedrock-guardrails-query_xyz、 xyzはタグサフィックスです。例えば、次のようになります。

{
    "text": """
<amazon-bedrock-guardrails-groundingSource_xyz>London is the capital of UK. Tokyo is the capital of Japan. </amazon-bedrock-guardrails-groundingSource_xyz>

<amazon-bedrock-guardrails-query_xyz>What is the capital of Japan?</amazon-bedrock-guardrails-query_xyz>
""",
    "amazon-bedrock-guardrailConfig": {
        "tagSuffix": "xyz",
    },
}    
        

コンテキストグラウンディングチェックを実行するにはモデルレスポンスが必要であるため、チェックは、プロンプトではなく出力に対してのみ実行されます。

これらのタグは、guardContentタグと一緒に使用できます。groundingSource および query タグ内のコンテンツは、コンテキストグラウンディング (単語フィルター、トピックフィルター、コンテンツフィルター、機密情報検出) 以外のポリシー評価から除外されます。

残りのポリシーの動作は、guardContentタグを使用するかどうかによって異なります。

グラウンディングソースまたはクエリコンテンツを残りのポリシーでも評価するには、コンテキストグラウンディングタグをguardContentタグ内にネストします。

<amazon-bedrock-guardrails-guardContent_xyz><amazon-bedrock-guardrails-groundingSource_xyz>London is the capital of UK. Tokyo is the capital of Japan.</amazon-bedrock-guardrails-groundingSource_xyz></amazon-bedrock-guardrails-guardContent_xyz>

<amazon-bedrock-guardrails-query_xyz>What is the capital of Japan?</amazon-bedrock-guardrails-query_xyz>
        

この例では、グラウンディングソースコンテンツはコンテキストグラウンディングリファレンスソースとして使用され、guardContentタグでラップされるため、他のポリシーによって評価されます。

Converse API を使用したコンテキストグラウンディングチェックの呼び出し

Converse API のグラウンディングソースとクエリにマークを付けるには、各ガードコンテンツブロックの修飾子フィールドを使用します。例えば、次のようになります。

[
    {
        "role": "user",
        "content": [
            {
                "guardContent": {
                    "text": {
                        "text": "London is the capital of UK. Tokyo is the capital of Japan",
                        "qualifiers": ["grounding_source"],
                    }
                }
            },
            {
                "guardContent": {
                    "text": {
                        "text": "What is the capital of Japan?",
                        "qualifiers": ["query"],
                    }
                }
            },
        ],
    }
]
        

コンテキストグラウンディングチェックを実行するにはモデルレスポンスが必要であるため、チェックは、プロンプトではなく出力に対してのみ実行されます。

コンテキストグラウンディング以外のポリシーの動作は、各guardContentブロックに割り当てられた修飾子によって異なります。

グラウンディングソースまたはクエリコンテンツを他のガードレールポリシーでも評価する場合は、コンテキストグラウンディングguard_content修飾子とともに修飾子リストに を追加します。

ApplyGuardrail API を使用したコンテキストグラウンディングチェックの呼び出し

ApplyGuardrail でコンテキストグラウンディングチェックを使用する方法は、Converse API で使用する方法と似ています。ApplyGuardrail のグラウンディングソースとクエリにマークを付けるには、各コンテンツブロックの修飾子フィールドを使用します。ただし、モデルは ApplyGuardrail では呼び出されないため、保護するコンテンツを含む追加のコンテンツブロックも提供する必要があります。このコンテンツブロックは、オプションで guard_content で修飾でき、Invoke* または Converse* API のモデルレスポンスと同等です。例えば、次のようになります。

[
    {
        "text": {
            "text": "London is the capital of UK. Tokyo is the capital of Japan",
            "qualifiers": [
                "grounding_source"
            ]
        }
    },
    {
        "text": {
            "text": "What is the capital of Japan?",
            "qualifiers": [
                "query"
            ]
        }
    },
    {
        "text": {
            "text": "The capital of Japan is Tokyo."
        }
    }
]
        

コンテキストグラウンディングチェックを実行するにはモデルレスポンスが必要であるため、チェックは、プロンプトではなく出力に対してのみ実行されます。

修飾子がポリシー評価に与える影響

grounding_source または query 修飾子を持つコンテンツブロックは、コンテキストグラウンディングチェックによってのみ評価されます。これらのブロックは、他のすべてのガードレールポリシー評価 (単語フィルター、トピックフィルター、コンテンツフィルター、機密情報検出、プロンプト攻撃検出) から除外されます。

コンテキストグラウンディングチェックと他のガードレールポリシーの両方でコンテンツブロックを評価するには、両方の修飾子を一緒に使用します。例えば、コンテンツブロックを他のすべての設定済みポリシーの対象となるグラウンディングソースとしてマーク["grounding_source", "guard_content"]するように を指定します。

コンテキストグラウンディング以外のポリシーでコンテンツを評価するには、少なくとも 1 つのコンテンツブロックが非修飾であるか、 で明示的に修飾されている必要がありますguard_content。コンテンツブロックに qualifiersフィールドがない場合、コンテンツブロックは修飾されません。

次の表は、各修飾子の組み合わせがポリシー評価にどのように影響するかをまとめたものです。