Observabilidade de IA generativa - Amazon CloudWatch

Observabilidade de IA generativa

Com o Amazon CloudWatch, é possível verificar as workloads de IA generativa, incluindo os agentes do Amazon Bedrock AgentCore, e obter insights sobre a performance, a integridade e a precisão da IA. O CloudWatch disponibiliza visualizações configuradas previamente sobre a latência, o uso e os erros referentes às workloads de IA, permitindo a detecção mais rápida de problemas em componentes como modelos e agentes. O rastreamento abrangente de prompt ajuda você a identificar rapidamente problemas em componentes como bases de conhecimento, ferramentas e modelos. Os recursos de monitoramento por IA do CloudWatch são compatíveis com estruturas conhecidas de orquestração por IA generativa, como AWS Strands, LangChain e LangGraph, oferecendo flexibilidade na escolha da estrutura.

A funcionalidade de observabilidade de IA generativa do CloudWatch possibilita que você:

  • Avalie a qualidade e a precisão das aplicações de IA em grande escala por meio de monitoramento automatizado, o que reduz os requisitos de revisão manual capturando os resultados do modelo, as métricas de qualidade de resposta e as interações com o usuário final

  • Monitore as invocações de modelos, os agentes (gerenciados, com hospedagem própria e de entidades externas), as bases de conhecimento, as barreiras de proteção e as ferramentas.

  • Avance da fase de experimentação com agentes para a implementação em ambientes de produção de aplicações inovadoras de IA generativa, ao mesmo em que garante alta qualidade, performance e confiabilidade. Para saber mais, consulte O que é o Amazon Bedrock AgentCore?

  • Identifique rapidamente a origem dos erros usando o rastreamento abrangente de prompt, as métricas selecionadas e os logs.

  • Solucione problemas em toda a sua aplicação de IA generativa e na infraestrutura subjacente, aproveitando as ferramentas de observabilidade já existentes do CloudWatch, como o Application Signals, os alarmes, os painéis, a proteção de dados sensíveis e o Logs Insights.

  • Obtenha acesso aos rastreamentos de prompt enquanto usa o Amazon Bedrock e envie rastreamentos estruturados de modelos provenientes de entidades externas para o CloudWatch com o uso do SDK do ADOT. Para obter informações sobre como adicionar observabilidade ao agente ou à ferramenta do Amazon Bedrock AgentCore, consulte Amazon Bedrock AgentCore.

A observabilidade por IA generativa do CloudWatch fornece dois recursos pré-compilados:

nota

Você pode usar o painel Invocação de modelos usando qualquer modelo para inferência no Amazon Bedrock.

  • Invocações de modelos: painel de métricas detalhadas de utilização de modelos, consumo de tokens e uma tabela de logs de invocação selecionados para visualizar o conteúdo detalhado de entrada e saída das inferências do modelo

  • Agentes do Amazon Bedrock AgentCore: métricas de performance e decisão para os primitivos do Amazon Bedrock AgentCore, como agentes, memória, ferramentas incorporadas, gateways e identidade

As principais métricas disponíveis nesses painéis incluem:

  • Número total e médio de invocações

  • Uso de tokens (incluindo o uso total, médio por consulta, de entrada e de saída)

  • Latência (incluindo a latência média e os percentis P90 e P99)

  • Taxas de erro e eventos de controle de utilização

  • Atribuição de custos por aplicação, perfil do usuário ou usuário específico

Tópicos