自然言語を OpenSearch と Elasticsearch のクエリ向けにクエリ DSL に変換する

このパターンでは、環境を設定し、テキストからクエリへの変換を実装するためのステップバイステップガイドとして Jupyter Notebook を使用します。

Amazon Bedrock を使用して LLM にアクセスします。これは自然言語を解釈し、適切なクエリを生成するために不可欠です。

このソリューションは、Amazon OpenSearch Service と連携するように設計されています。Elasticsearch でも同様のプロセスに従うことが可能で、生成されたクエリを同様の検索エンジンに適用できる可能性があります。

Jupyter Notebook への精通。Jupyter Notebook 環境でコードを移動および実行する方法の基本的な理解。

Python 環境。必要なライブラリがインストールされた、動作中の Python 環境 (Python 3.x を推奨)。

Elasticsearch または OpenSearch の知識。アーキテクチャやクエリの実行方法など、Elasticsearch または OpenSearch の基本的な知識。

AWS アカウント。 Amazon Bedrock およびその他の関連サービスにアクセス AWS アカウント するためのアクティブな 。

ライブラリと依存関係。 AWS インタラクションboto3や LLM 統合に必要なその他の依存関係など、ノートブックに記載されている特定のライブラリのインストール。

Amazon Bedrock のモデルアクセス。このパターンでは、Anthropic の Claude LLM を 3 つ使用します。Amazon Bedrock コンソールを開き、[モデルアクセス]を選択します。次の画面で、[特定のモデルを有効にする]を選択し、次の 3 つのモデルを選択します。

適切な IAM ポリシーと IAM ロール。でノートブックを実行するには AWS アカウント、 AWS Identity and Access Management (IAM) ロールに SagemakerFullAccessポリシーと、「追加情報」セクションで提供されているポリシーが必要です。このポリシーには、 という名前を付けることができますAPGtext2querydslpolicy。このポリシーには、リストされている 3 つの Claude モデルへのサブスクライブが含まれています。

概念実証のステータス。このプロジェクトは主に概念実証 (PoC) を目的としています。これは、LLM を使用して自然言語クエリをクエリ DSL に変換する潜在能力を示すものですが、完全に最適化されておらず、本番環境には対応していない可能性があります。

モデルの制限:

コンテキストウィンドウの制約。Amazon Bedrock で利用可能な LLM を使用する場合は、コンテキストウィンドウの制限に注意してください。

Claude モデル (2024 年 9 月現在):

Amazon Bedrock のその他のモデルでは、コンテキストウィンドウのサイズが異なる場合があります。最新情報については、最新のドキュメントを参照してください。

モデルの可用性。Amazon Bedrock における特定のモデルの可用性は異なる場合があります。このソリューションを実装する前に、必要なモデルにアクセスできることを確認してください。

その他の制限事項

OpenSearch バージョンの互換性。OpenSearch は、メジャーバージョン内で下位互換性を維持します。例えば、次のようになります。

ただし、可能な限り、クライアントとクラスターの両方で同じマイナーバージョンを使用することをお勧めします。

OpenSearch API の互換性。OpenSearch は、ほとんどのオペレーションで Elasticsearch OSS 7.10.2 との API 互換性を維持しています。ただし、特に新しいバージョンでは、いくつかの相違点が存在します。

OpenSearch のアップグレードに関する考慮事項:

Elasticsearch のバージョン。クエリ構文や機能はメジャーバージョン間で変更される可能性があるため、使用している Elasticsearch のメジャーバージョンが重要です。現在、最新の安定バージョンは Elasticsearch 8.x です。クエリが特定の Elasticsearch バージョンと互換性があることを確認してください。

Elasticsearch クエリ DSL ライブラリのバージョン。Elasticsearch の Python 用クエリ DSL ライブラリを使用している場合は、そのバージョンが Elasticsearch のバージョンと一致していることを確認してください。例えば、次のようになります。

クライアントライブラリのバージョン。公式の Elasticsearch クライアントを使用する場合も言語固有のクライアントを使用する場合も、Elasticsearch バージョンと互換性があることを確認してください。

クエリ DSL のバージョン。クエリ DSL は Elasticsearch バージョンとともに進化します。一部のクエリタイプまたはパラメータは、バージョンによって廃止されたり、導入されたりする可能性があります。

マッピングのバージョン。インデックスのマッピングを定義する方法やバージョン間で変更する方法です。特定の Elasticsearch バージョンのマッピングに関するドキュメントを必ず確認してください。

分析ツールのバージョン。アナライザー、トークナイザ、またはその他のテキスト分析ツールを使用している場合、バージョンによって動作や可用性が変わる可能性があります。

コンテナ化:

サーバーレスアーキテクチャ:

非同期処理:

キャッシュ:

モニタリングとログ記録:

セキュリティ強化:

マルチリージョンデプロイ:

Amazon SageMaker AI ノートブックは、機械学習開発用のフルマネージド型 Jupyter Notebook です。このパターンでは、Amazon SageMaker AI のデータ探索、モデル開発、実験のためのインタラクティブな環境としてノートブックを使用します。ノートブックは、他の SageMaker AI 機能や とシームレスに統合できます AWS のサービス。

「Python」は汎用のコンピュータプログラミング言語です。このパターンでは、Python をコア言語として使用してソリューションを実装します。

Amazon Bedrock は、主要な AI スタートアップや Amazon が提供する高パフォーマンスな基盤モデル (FM) を、統合 API を通じて利用できるようにするフルマネージド型サービスです。Amazon Bedrock は、自然言語処理用の LLM へのアクセスを提供します。このパターンでは、Anthropic Claude 3 モデルを使用します。

AWS SDK for Python (Boto3) は、Amazon Bedrock AWS のサービスを含む Python アプリケーション、ライブラリ、またはスクリプトを と統合するのに役立つソフトウェア開発キットです。

「Amazon OpenSearch Service」は、AWS クラウドにおける OpenSearch クラスターのデプロイ、オペレーション、スケーリングを支援するマネージドサービスです。このパターンでは、クエリ DSL を生成するためのターゲットシステムとして OpenSearch Service を使用します。

Amazon Bedrock にアクセスするための適切な AWS 認証情報とアクセス許可の必要性

AWS のサービス および LLMs の使用に関連する潜在的なコスト

クエリ DSL を理解して、生成されたクエリを検証し、必要に応じて変更することが重要です。

Query DSL (OpenSearch ドキュメント)

「Amazon OpenSearch Service」

OpenSearch Serverless コレクション

Amazon Bedrock ドキュメント

Amazon SageMaker AI ドキュメント

AWS SDK for Python (Boto3) ドキュメント

フューショットプロンプト: フューショットプロンプトは、Amazon Bedrock での Claude 3 モデルのパフォーマンスを向上させる強力な手法です。このアプローチでは、モデルに同様のタスクの実行を求める前に、小数の例を提供して望ましい入出力動作を示します。Amazon Bedrock で Claude 3 モデルを使用すると、特定のフォーマット、推論パターン、またはドメイン知識を必要とするタスクにおいて、フューショットプロンプトが特に効果的になります。この手法を実装するには、通常、サンプルセクションと実際のクエリの 2 つの主要コンポーネントでプロンプトを構成します。セクションの例にはタスクを説明する 1 つ以上の入出力ペアが含まれており、クエリセクションにはレスポンスが必要な新しい入力が表示されます。この方法は、Claude 3 がコンテキストと期待される出力形式を理解するのに役立ちます。多くの場合、より正確で一貫性のあるレスポンスが得られるようになります。

例:

"query": {
  "bool": {
    "must": [
      {"match": {"post_type": "recipe"}},
      {"range": {"likes_count": {"gte": 100}}},
      {"exists": {"field": "media_urls"}}
    ]
  }
}
Question: Find all recipe posts that have at least 100 likes and include media URLs.

システムプロンプト: Amazon Bedrock の Claude 3 モデルは、フューショットプロンプトに加えてシステムプロンプトの使用もサポートしています。システムプロンプトでは、特定のユーザー入力を提示する前に、モデルに対して全体的なコンテキスト、指示、またはガイドラインを示すことができます。トーンの設定、モデルのロールの定義、会話全体における制約事項を確立する場合に特に役立ちます。Amazon Bedrock で Claude 3 とともにシステムプロンプトを使用するには、API リクエストの system パラメータに含めます。これはユーザーメッセージとは別のものであり、インタラクション全体に適用されます。詳細なシステムプロンプトは、コンテキストの設定やモデルのガイドラインの提供に使用されます。

例:

You are an expert query dsl generator. Your task is to take an input question and generate a query dsl to answer the question. Use the schemas and data below to generate the query.

Schemas: [schema details]
Data: [sample data]
Guidelines: 
- Ensure the generated query adheres to DSL query syntax
- Do not create new mappings or other items that aren't included in the provided schemas.

構造化された出力: JSON や XML タグ内など、特定の形式で出力を提供するようモデルに指示できます。

例:

Put the query in json tags

プロンプトチェイニング: ノートブックは、生成された合成データを使用して質問の例を作成するなど、ある LLM 呼び出しの出力を別の LLM 呼び出しの入力として使用します。

コンテキストプロビジョニング: スキーマやサンプルデータなどの関連コンテキストがプロンプトに表示されます。

例:

Schemas: [schema details]
Data: [sample data]

タスク固有のプロンプト: 合成データの生成、質問の例の作成、自然言語クエリからクエリ DSL への変換など、特定のタスクに対して異なるプロンプトが作成されます。

テスト問題生成の例:

Your task is to generate 5 example questions users can ask the health app based on provided schemas and data. Only include the questions generated in the response.