Amazon Bedrock ガードレールの自動推論チェックとは - Amazon Bedrock
自動推論チェックの動作自動推論チェックを使用するタイミング自動推論チェックで実行されないことEnd-to-endワークフローの概要可用性と言語のサポート制約事項と考慮事項料金ポリシーオペレーションのクロスリージョン推論

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon Bedrock ガードレールの自動推論チェックとは

自動推論チェックの動作

大規模言語モデル (LLM) の主な課題は、レスポンスの精度を確保することです。検証しないと、LLMs信頼を損なう幻覚や不正確な情報を生成する可能性があります。Amazon Bedrock ガードレールの自動推論チェックは、数学的手法を使用して自然言語のコンテンツを定義したポリシーに照らして検証することで、この問題を解決するのに役立ちます。

パターンマッチングに基づいてコンテンツをブロックまたはフィルタリングする従来のガードレールコンポーネントとは異なり、Automated Reasoning チェックは正式なロジックを使用して、レスポンスが正しいか正しくないかについて構造化されたフィードバックを提供します。このフィードバックは、LLM をポリシーと明らかに整合性のあるコンテンツの生成に誘導するために使用できます。具体的には、自動推論チェックは次のことができます。

  • 生成されたコンテンツがポリシールールと矛盾していることを数学的に証明することで、LLM レスポンスの事実に基づくインコーレスステートメントを検出します。

  • レスポンスがポリシーと一致しているが、関連するすべてのルールに対処していない、レスポンスが不完全である可能性があることを示す、未記載の仮定を強調します。

  • 結論を裏付ける特定のポリシールールと変数の割り当てを引用して、正確なステートメントが正しい理由について数学的に検証可能な説明を提供します。

これらの機能により、自動推論チェックは他の Amazon Bedrock ガードレールコンポーネントとは異なります。コンテンツフィルターとトピックポリシーはバイナリゲートとして機能し、コンテンツをブロックまたは許可します。自動推論チェックは検証レイヤーとして機能し、応答をプログラムで改善するために使用できる詳細で実用的なフィードバックを提供します。

自動推論チェックを使用するタイミング

自動推論チェックは、LLM のレスポンスの事実に基づく根拠を示す必要がある場合に最も役立ちます。アプリケーションに以下が含まれる場合は、これらを使用することを検討してください。

  • 医療、人事、金融サービスなどの規制対象業界では、誤った情報が法的またはコンプライアンス上の影響を及ぼす可能性があります。

  • 住宅ローンの承認、ゾーン法、保険資格、従業員の利益などの複雑なルールセット。複数の条件が相互作用して結果を判断します。

  • 対応がポリシーと一致していることを数学的に検証可能な証拠を含む、監査可能な AI 対応を必要とするコンプライアンスシナリオ。

  • 会社のポリシー、製品の適格性、サービス条件に関する質問に回答するチャットボットなど、誤ったガイダンスが信頼を損なう可能性がある顧客向けアプリケーション。

自動推論チェックで実行されないこと

適切な期待を設定するには、次の制限に注意してください。

  • プロンプトインジェクション保護はありません。自動推論チェックは、送信した内容を正確に検証します。悪意のあるコンテンツまたは操作されたコンテンツが入力として提供される場合、検証はそのコンテンツに対してそのまま実行されます。プロンプトインジェクション攻撃を検出してブロックするには、コンテンツフィルターを自動推論チェックと組み合わせて使用します。

  • トピック外の検出はありません。自動推論は、ポリシーに関連するテキストのみを分析します。無関係なコンテンツは無視され、レスポンスがトピック外であるかどうかはわかりません。トピック外のレスポンスを検出するには、トピックポリシーを使用します。

  • ストリーミングはサポートされていません。自動推論チェックはストリーミング APIs をサポートしていません。完全なレスポンスを検証する必要があります。

  • 英語のみ。自動推論チェックは現在、英語 (米国) のみをサポートしています。

  • スコープはポリシーに限定されます。VALID 結果は、ポリシー変数を介してキャプチャされた入力の部分に対してのみ有効性を保証します。ポリシーの変数の範囲外のステートメントは検証されません。たとえば、「偽の医者のメモがあるので宿題を遅らせることができます」は、医者のメモが偽であるかどうかをキャプチャする変数がポリシーにない場合、有効と見なされる可能性があります。

自動推論チェックは、コンテンツフィルターやトピックポリシーなどの他の Amazon Bedrock ガードレール機能を補完します。最適な保護を得るには、それらを一緒に使用します。詳細については、「ガードレールコンポーネント」を参照してください。

End-to-endワークフローの概要

自動推論チェックの使用には、ポリシーの作成、テスト、ガードレールへのデプロイ、アプリケーションへの統合の 4 つのフェーズが含まれます。


Source Document ──► Extracted Policy ──► Testing ──► Deployment ──► Integration
    (rules)          (formal logic)      (verify)    (guardrail)    (validate responses
                                                                     and act on feedback)

  1. ポリシーを作成します。適用するルールを含むソースドキュメントをアップロードします。Automated Reasoning は、ドキュメントから正式なロジックルールと変数のスキーマを抽出します。抽出されたポリシーがソースドキュメントをどのように正確に表すかを測定する忠実度レポートが自動的に生成され、各ルールと変数をソースコンテンツ内の特定のステートメントにリンクするカバレッジスコアと精度スコアと詳細なグラウンディングが表示されます。抽出されたポリシーと忠実度レポートを確認して、ポリシーがルールを正しくキャプチャしていることを確認します。詳細については、「自動推論ポリシーを作成する」を参照してください。

  2. テストして絞り込みます。テストは、ポリシー自体を変更しても、生成されたコンテンツをポリシーが正確に検証できるようにするのに役立ちます。ユーザーが尋ねる質問と LLM が生成する可能性のあるレスポンスを模倣するテストを作成します。自動推論チェックでは、基礎モデルを使用して自然言語をロジックに変換します。生成されたシナリオを使用してルールの正確性を検証し、QnA テストを使用して自然言語からロジックへの変換の精度を検証します。テスト結果に基づいてポリシーを絞り込みます。詳細については、「自動推論ポリシーをテストする」を参照してください。

  3. デプロイします。テスト済みポリシーのイミュータブルバージョンを保存し、ガードレールにアタッチします。 CloudFormation または CI/CD パイプラインを使用してデプロイを自動化できます。詳細については、「自動推論ポリシーをアプリケーションでデプロイする」を参照してください。

  4. 統合します。実行時に、Automated Reasoning の検出結果は、Amazon Bedrock ガードレール設定をサポートする APIs、Converse、InvokeModelInvokeAgent、およびスタンドアロン ApplyGuardrail API を通じて返RetrieveAndGenerateされます。検出結果を調べて、レスポンスを提供するか、フィードバックを使用して書き換えるか、ユーザーに明確化を求めるかを決定します。自動推論チェックは検出モードでのみ動作し、コンテンツをブロックするのではなく、検出結果とフィードバックを返します。自動推論チェックをアプリケーションに統合する方法の詳細については、「」を参照してください自動推論チェックをアプリケーションに統合する。自動推論チェックを有効にするために必要なアクセス許可の詳細については、「」を参照してくださいApplyGuardrail を使用した自動推論ポリシーのアクセス許可。

可用性と言語のサポート

Amazon Bedrock ガードレールの自動推論チェックは、次のリージョンで一般利用可能です。

  • 米国東部 (バージニア北部)

  • 米国西部 (オレゴン)

  • 米国東部 (オハイオ)

  • 欧州（フランクフルト）

  • 欧州 (パリ)

  • 欧州（アイルランド）

自動推論チェックは現在、英語 (米国) のみをサポートしています。

制約事項と考慮事項

自動推論チェックを実装する前に、以下の技術的な制限に注意してください。

  • ドキュメントの複雑さ。ソースドキュメントは明確であいまいなルールで適切に構造化する必要があります。ネストされた条件または矛盾するステートメントを持つ非常に複雑なドキュメントは、形式論理にクリーンに抽出されない場合があります。入力ドキュメントのサイズは 5 MB、50,000 文字に制限されています。大きなドキュメントを分割し、各セクションをポリシーにマージできます。ドキュメント内のイメージとテーブルも入力文字数に影響します。

  • 処理時間。自動推論チェックの検証は、アプリケーションのレスポンスにレイテンシーを追加します。特に変数が多い複雑なポリシーでは、追加の処理時間を計画します。ポリシー内の変数の数は、検証レイテンシーの増加に直接影響します。

  • ポリシーの範囲。管理しやすいポリシーを作成するには、各ポリシーは、1 つのポリシーで複数の関連しない領域をカバーするのではなく、特定のドメイン (人事、財務、法務など) に焦点を当てる必要があります。

  • 変数とルールの制限。変数が多すぎたり、ルールインタラクションが複雑すぎるポリシーは、処理制限に達したり、TOO_COMPLEX の結果を返したりする可能性があります。「Amazon Bedrock の制限に関するドキュメント」および「」を参照してください検証結果リファレンス。

  • 自然言語の依存関係。検証の精度は、ユーザープロンプトとモデルレスポンスの自然言語をポリシーの正式なロジック変数に変換できるかどうかによって異なります。自動推論チェックでは、基礎モデルを使用して自然言語を論理表現に変換します。変数の説明は、この翻訳の品質に影響します。

  • 非線形算術。制約に非線形算術 (不合理な数値や指数など) による推論が含まれる場合、自動推論チェックはタイムアウトしたり TOO_COMPLEX を返したりすることがあります。

料金

Amazon Bedrock ガードレールの自動推論チェックは、処理された検証リクエストの数に基づいて課金されます。現在の料金については、「Amazon Bedrock の料金」ページを参照してください。

結果 (VALID、INVALID、TRANSLATION_AMBIGUOUS など) に関係なく、検証リクエストごとに料金が発生します。以下を実行してコストを最適化します。

  • 適切な信頼度しきい値を使用して、精度と処理要件のバランスを取ります。

  • ユースケースに適した場合は、同一または類似のクエリの検証結果をキャッシュすることを検討してください。

  • 使用パターンをモニタリングし、ポリシーを調整して、不要な検証リクエストを減らします。

ポリシーオペレーションのクロスリージョン推論

自動推論は、クロスリージョン推論を活用して、ポリシーの作成およびテストオペレーションのパフォーマンスと可用性を最適化します。特定の API オペレーションは、信頼性の高いサービス提供を確保するために、地理的境界内の AWS リージョン全体に処理を自動的に分散します。

次の自動推論 API オペレーションでは、クロスリージョン推論を使用します。

  • StartAutomatedReasoningPolicyBuildWorkflow — ポリシーの作成時とソースドキュメントからのコンパイル時に呼び出されます。

  • StartAutomatedReasoningPolicyTestWorkflow — ポリシーの検証およびテスト手順中に呼び出されます。

これらのオペレーションは、大規模言語モデルを呼び出して、ソースドキュメントから形式論理ルールを抽出し、自然言語コンストラクトを構造化された論理表現に翻訳します。最適なパフォーマンスと可用性を確保するために、リクエスト処理は次の地理的ルーティングに従って分散されます。

  • 米国リージョン: 米国東部 (バージニア北部)、米国西部 (オレゴン)、または米国東部 (オハイオ) を起点とする API リクエストは、サポートされている任意の米国リージョンで処理できます。

  • 欧州連合リージョン: EU (フランクフルト)、EU (パリ)、または EU (アイルランド) を起点とする API リクエストは、サポートされている任意の EU リージョンで処理できます。

重要

顧客データは発信元の地理的境界 (米国または欧州連合) 内にとどまり、AWS データレジデンシーのコミットメントに従って処理されます。クロスリージョン推論は、パフォーマンスとサービスの可用性を最適化するために、同じ地理的リージョン内でのみリクエストをルーティングします。

クロスリージョン推論は、顧客設定を必要とせずに透過的に動作します。API 機能は、リクエストを処理する特定のリージョンに関係なく、一貫性を維持します。

トピック