Traduza a linguagem natural em consultas DSL para consultas OpenSearch e Elasticsearch

O padrão usa um notebook Jupyter como step-by-step guia para configurar o ambiente e implementar a text-to-query conversão.

Ele usa o Amazon Bedrock para acessar LLMs, que são cruciais para interpretar a linguagem natural e gerar consultas apropriadas.

A solução foi projetada para funcionar com o Amazon OpenSearch Service. Você pode seguir um processo semelhante para o Elasticsearch, e é possível adaptar as consultas geradas para mecanismos de pesquisa semelhantes.

Familiaridade com cadernos Jupyter. Compreensão básica de como navegar e executar código em um ambiente de caderno Jupyter.

Ambiente Python. Um ambiente Python funcional, preferencialmente Python 3.x, com as bibliotecas necessárias instaladas.

Elasticsearch ou OpenSearch conhecimento. Conhecimento básico do Elasticsearch or OpenSearch, incluindo sua arquitetura e como realizar consultas.

Conta da AWS. Um ativo Conta da AWS para acessar o Amazon Bedrock e outros serviços relacionados.

Bibliotecas e dependências. Instalação de bibliotecas específicas mencionadas no notebook, como boto3 para AWS interação e quaisquer outras dependências necessárias para a integração do LLM.

Acesso a modelos no Amazon Bedrock. Esse padrão usa três Claude LLMs da Anthropic. Abra o console do Amazon Bedrock e escolha Acesso a modelos. Na próxima tela, escolha Habilitar modelos específicos e selecione estes três modelos:

Políticas do IAM e perfil do IAM adequados. Para executar o notebook em um Conta da AWS, sua função AWS Identity and Access Management (IAM) requer a SagemakerFullAccess política, bem como a política fornecida na seção Informações adicionais, que você pode nomearAPGtext2querydslpolicy. Essa política inclui a assinatura dos três modelos do Claude listados.

Status da prova de conceito. Este projeto serve principalmente como uma prova de conceito (PoC). Ele demonstra o potencial do uso LLMs para converter consultas de linguagem natural em DSL de consulta, mas pode não estar totalmente otimizado ou pronto para produção.

Limitações do modelo:

Restrições da janela de contexto. Ao usar os LLMs que estão disponíveis no Amazon Bedrock, esteja ciente das limitações da janela de contexto:

Modelos do Claude (em setembro de 2024):

Outros modelos no Amazon Bedrock podem ter tamanhos de janela de contexto diferentes. Para obter as informações mais atualizadas, consulte a documentação mais recente.

Disponibilidade do modelo. A disponibilidade de modelos específicos no Amazon Bedrock pode variar. Certifique-se de ter acesso aos modelos necessários antes de implementar essa solução.

Limitações adicionais

OpenSearch compatibilidade de versões. OpenSearch mantém a compatibilidade com versões anteriores nas versões principais. Por exemplo:

No entanto, é sempre melhor usar a mesma versão secundária para o cliente e o cluster, quando possível.

OpenSearch Compatibilidade de API. OpenSearch mantém a compatibilidade da API com o Elasticsearch OSS 7.10.2 para a maioria das operações. No entanto, existem algumas diferenças, especialmente nas versões mais recentes.

OpenSearch considerações de atualização:

Versão do Elasticsearch. A versão principal do Elasticsearch que você está usando é crucial, pois a sintaxe e os recursos da consulta podem mudar entre as versões principais. Atualmente, a versão estável mais recente é o Elasticsearch 8.x. Certifique-se de que as consultas sejam compatíveis com sua versão específica do Elasticsearch.

Versão da biblioteca de query DSL do Elasticsearch. Se você estiver usando a biblioteca de Python de query DSL do Elasticsearch, certifique-se de que a versão corresponda à sua versão do Elasticsearch. Por exemplo:

Versões da biblioteca do cliente. Se você estiver usando o cliente oficial do Elasticsearch ou um cliente específico de linguagem, certifique-se de que ele seja compatível com sua versão do Elasticsearch.

Versão da query DSL. A query DSL evolui com as versões do Elasticsearch. Alguns tipos ou parâmetros de consulta podem estar obsoletos ou serem introduzidos em versões diferentes.

Versão de mapeamento. A maneira de definir mapeamentos para os índices pode mudar entre as versões. Sempre verifique a documentação de mapeamento para sua versão específica do Elasticsearch.

Versões de ferramentas de análise. Se você estiver usando analisadores, tokenizadores ou outras ferramentas de análise de texto, o comportamento ou a disponibilidade deles pode mudar entre as versões.

Conteinerização:

Arquitetura com tecnologia sem servidor:

Processamento assíncrono:

Armazenamento em cache:

Monitoramento e registro em log:

Melhorias de segurança:

Implantação multirregião:

Os notebooks Amazon SageMaker AI são notebooks Jupyter totalmente gerenciados para desenvolvimento de aprendizado de máquina. Esse padrão usa notebooks como um ambiente interativo para exploração de dados, desenvolvimento de modelos e experimentação na Amazon SageMaker AI. Os notebooks oferecem integração perfeita com outros recursos de SageMaker IA e. Serviços da AWS

Python é uma linguagem de programação de computador de uso geral. Este padrão usa Python como a linguagem principal para implementar a solução.

O Amazon Bedrock é um serviço totalmente gerenciado que disponibiliza modelos básicos de alto desempenho (FMs) das principais startups de IA e da Amazon para seu uso por meio de uma API unificada. O Amazon Bedrock fornece acesso ao processamento LLMs de linguagem natural. Este padrão usa modelos da Anthropic para o Claude 3.

AWS SDK para Python (Boto3)é um kit de desenvolvimento de software que ajuda você a integrar seu aplicativo, biblioteca ou script em Python, incluindo o Amazon Serviços da AWS Bedrock.

O Amazon OpenSearch Service é um serviço gerenciado que ajuda você a implantar, operar e escalar clusters de OpenSearch serviços na nuvem da AWS. Esse padrão usa o OpenSearch Service como o sistema de destino para gerar a consulta DSL.

A necessidade de AWS credenciais e permissões adequadas para acessar o Amazon Bedrock

Custos potenciais associados ao uso Serviços da AWS e LLMs

A importância de ter conhecimento em query DSL para validar e possivelmente modificar as consultas geradas

Consulta DSL (OpenSearch documentação)

Documentação OpenSearch do Amazon Service

OpenSearch Coleções sem servidor

Documentação do Amazon Bedrock

Documentação da Amazon SageMaker AI

AWS SDK para Python (Boto3) documentação

Prompts few-shot: a geração de prompts few-shot é uma técnica poderosa para melhorar a performance dos modelos do Claude 3 no Amazon Bedrock. Essa abordagem envolve fornecer ao modelo um pequeno número de exemplos que demonstram o input/output comportamento desejado antes de solicitar que ele execute uma tarefa semelhante. Quando você usa modelos do Claude 3 no Amazon Bedrock, os prompts few-shot podem ser particularmente eficazes para tarefas que exigem formatação específica, padrões de raciocínio ou conhecimento de domínio. Para implementar essa técnica, você normalmente estrutura seu prompt com dois componentes principais: a seção de exemplo e a consulta real. A seção de exemplo contém um ou mais input/output pares que ilustram a tarefa, e a seção de consulta apresenta a nova entrada para a qual você deseja uma resposta. Esse método ajuda o Claude 3 a entender o contexto e o formato de saída esperado e geralmente resulta em uma resposta mais precisa e consistente.

Exemplo:

"query": {
  "bool": {
    "must": [
      {"match": {"post_type": "recipe"}},
      {"range": {"likes_count": {"gte": 100}}},
      {"exists": {"field": "media_urls"}}
    ]
  }
}
Question: Find all recipe posts that have at least 100 likes and include media URLs.

Prompts do sistema: além de alguns prompts few-shot, os modelos do Claude 3 no Amazon Bedrock também oferecem suporte ao uso de prompts do sistema. Os prompts do sistema são uma forma de fornecer contexto geral, instruções ou diretrizes ao modelo antes de apresentá-lo com entradas específicas do usuário. Eles são particularmente úteis para definir o tom, definir o perfil do modelo ou estabelecer restrições para toda a conversa. Para usar um prompt do sistema com o Claude 3 no Amazon Bedrock, inclua o parâmetro system da sua solicitação de API. Esse processo é separado das mensagens do usuário e se aplica a toda a interação. Os prompts detalhados do sistema são usados para definir o contexto e fornecer diretrizes para o modelo.

Exemplo:

You are an expert query dsl generator. Your task is to take an input question and generate a query dsl to answer the question. Use the schemas and data below to generate the query.

Schemas: [schema details]
Data: [sample data]
Guidelines: 
- Ensure the generated query adheres to DSL query syntax
- Do not create new mappings or other items that aren't included in the provided schemas.

Saída estruturada: você pode instruir o modelo a fornecer a saída em formatos específicos, como JSON ou em marcações XML.

Exemplo:

Put the query in json tags

Encadeamento de prompts: o caderno usa a saída de uma chamada de LLM como entrada para outra, como usar dados sintéticos gerados para criar exemplos de perguntas.

Fornecimento de contexto: o contexto relevante, incluindo esquemas e dados de amostra, é fornecido nos prompts.

Exemplo:

Schemas: [schema details]
Data: [sample data]

Prompts de tarefas específicas: prompts diferentes são criados para tarefas específicas, como gerar dados sintéticos, criar exemplos de perguntas e converter consultas em linguagem natural em query DSL.

Exemplo para gerar perguntas de teste:

Your task is to generate 5 example questions users can ask the health app based on provided schemas and data. Only include the questions generated in the response.