View a markdown version of this page

CloudWatch SageMaker AI Insights - Amazon CloudWatch
Capacidades geraisArquitetura e fluxo de dadosComo acessarPré-requisitosPreços

CloudWatch SageMaker AI Insights

Use o CloudWatch SageMaker AI Insights para monitorar e solucionar problemas de endpoints de inferência do SageMaker AI em grande escala. O painel exibe métricas e visualizações selecionadas em três visualizações — Desempenho, Capacidade e Confiabilidade — para que você possa identificar problemas rapidamente, otimizar a utilização de recursos e garantir alta disponibilidade em seus endpoints.

O SageMaker AI Insights é compatível com o monitoramento de vários tipos de endpoints (endpoints de modelo único e endpoints baseados em componentes de inferência (IC)) e estruturas de inferência (vLLM, SGLang, TensorRT‐LLM).

Para conferir os conceitos básicos do SageMaker AI Insights, consulte os tópicos a seguir.

Tópicos

Capacidades gerais

  • Coleta nativa do OpenTelemetry. As métricas são coletadas através de um coletor OTel, que extrai os endpoints do Prometheus a partir de DCGM (métricas de GPU), exportadores de nós (CPU, memória, disco) e contêineres de estrutura de inferência (vLLM, SGLang).

  • Rótulos dimensionais ricos. Cada métrica inclui rótulos como aws.sagemaker.endpoint.name, aws.sagemaker.inference_component.name, @resource.host.id, @resource.cloud.availability_zone e @resource.host.type.

  • Atribuição por GPU. As métricas de GPU (DCGM) incluem atribuição por componente de inferência para instâncias multilocatárias.

  • Métricas da estrutura de inferência. Métricas nativas de vLLM e SGLang — tokens por segundo, tempo até o primeiro token (TTFT), latência entre tokens, utilização do cache KV, profundidade da fila, tamanho do lote — sem instrumentação personalizada.

  • Suporte a consultas PromQL. Consulte no CloudWatch, no CloudWatch Query Studio ou no Amazon Managed Grafana.

  • Frequência de coleta configurável. Definir por meio de MetricPublishFrequencyInSeconds (10, 30, 60, 120, 180, 240 ou 300 segundos; padrão 60). As métricas do ambiente de gerenciamento são orientadas por eventos.

Arquitetura e fluxo de dados

  1. O contêiner do modelo, o exportador DCGM e o exportador de nós expõem métricas compatíveis com o Prometheus na instância.

  2. O OTel Collector coleta esses endpoints e enriquece cada métrica com rótulos (nome do endpoint, nome do IC, ID da instância, AZ).

  3. Métricas enriquecidas são exportadas via OTLP para o CloudWatch.

  4. As métricas podem ser consultadas via PromQL no CloudWatch.

┌─────────────────────────────────────────────────────────────────┐
│  SageMaker Endpoint Instance                                      │
│                                                                   │
│  ┌──────────────┐  ┌──────────────┐  ┌──────────────────────┐    │
│  │ Model        │  │ DCGM         │  │ Node Exporter        │    │
│  │ Container    │  │ Exporter     │  │ (CPU/Mem/Disk)       │    │
│  │ (vLLM/SGLang)│  │ (GPU)        │  │                      │    │
│  └──────┬───────┘  └──────┬───────┘  └──────────┬───────────┘    │
│         │                 │                     │                 │
│         └─────────────────┼─────────────────────┘                 │
│                           ▼                                       │
│              ┌─────────────────────────┐                          │
│              │   OTel Collector        │                          │
│              │   (scrape + enrich)     │                          │
│              └────────────┬────────────┘                          │
└───────────────────────────┼───────────────────────────────────────┘
                            │ OTLP
                            ▼
              ┌─────────────────────────┐
              │   Amazon CloudWatch     │
              │   (PromQL-queryable)    │
              └─────────────────────────┘

Como acessar

Você pode abrir o SageMaker AI Insights a partir do console do SageMaker AI usando qualquer um dos seguintes caminhos.

Origem Ação Destino
Console do SageMaker AI → Lista de endpoints Escolha o Open SageMaker AI Insights Painel em nível de frota (sem filtro)
Console do SageMaker AI → página de detalhes do endpoint Escolha Exibir no SageMaker AI Insights Painel filtrado para esse endpoint
Console do SageMaker AI → guia IC → Por linha IC Escolha Métricas Painel filtrado para endpoint e componente de inferência

Você também pode navegar diretamente pelo console do CloudWatch escolhendo Monitoramento de infraestrutura → SageMaker AI Insights.

Pré-requisitos

  • Ao menos um endpoint de inferência do SageMaker AI no status InService

  • EnableDetailedObservability definido como true na configuração do endpoint (padrão para novos endpoints)

  • Enriquecimento do OTel habilitado na sua conta

  • As permissões cloudwatch:GetMetricData e cloudwatch:ListMetrics do IAM

Para obter mais informações, consulte Conceitos básicos do CloudWatch SageMaker AI Insights.

Preços

A ingestão de métricas do CloudWatch OpenTelemetry se aplica. Para obter mais informações, consulte Preços do Amazon CloudWatch.