View a markdown version of this page

CloudWatch SageMaker AI Insights - Amazon CloudWatch
关键功能架构和数据流如何访问先决条件定价

CloudWatch SageMaker AI Insights

使用 CloudWatch SageMaker AI Insights 大规模监控和排查 SageMaker AI 推理端点。控制面板通过性能、容量和可靠性三个视图，显示精选指标和可视化效果，帮助您快速识别问题、优化资源利用率并确保各端点的高可用性。

SageMaker AI Insights 支持跨端点类型 [单模型端点和基于推理组件（IC）的端点] 和推理框架（vLLM、SGLang、TensorRT-LLM）进行监控。

要开始使用 SageMaker AI Insights，请参阅以下主题。

主题

关键功能

  • OpenTelemetry 原生集合。指标通过 OTel Collector 收集，该收集器从 DCGM（GPU 指标）、节点导出器（CPU、内存、磁盘）和推理框架容器（vLLM、SGLang）的 Prometheus 端点进行抓取。

  • 丰富的维度标签。每个指标都包含标签，例如 aws.sagemaker.endpoint.name、aws.sagemaker.inference_component.name、@resource.host.id、@resource.cloud.availability_zone 和 @resource.host.type。

  • 每 GPU 归因。GPU 指标（DCGM）包含多租户实例中每个推理组件的归因信息。

  • 推理框架指标。原生 vLLM 和 SGLang 指标，包括每秒令牌数、生成第一个令牌的用时（TTFT）、令牌间延迟、KV 缓存利用率、队列深度、批量大小，无需自定义检测即可使用。

  • PromQL 查询支持。在 CloudWatch、CloudWatch Query Studio 或 Amazon Managed Grafana 中查询。

  • 可配置的抓取频率。通过 MetricPublishFrequencyInSeconds 设置（10、30、60、120、180、240 或 300 秒；默认 60 秒）。控制面板指标由事件驱动。

架构和数据流

  1. 模型容器、DCGM 导出器和节点导出器会在实例上公开与 Prometheus 兼容的指标。

  2. oTel Collector 会抓取这些端点，并为每个指标补充标签信息（端点名称、IC 名称、实例 ID、可用区）。

  3. 补充后的指标通过 OTLP 导出到 CloudWatch。

  4. 您可以在 CloudWatch 中通过 PromQL 查询指标。

┌─────────────────────────────────────────────────────────────────┐
│  SageMaker Endpoint Instance                                      │
│                                                                   │
│  ┌──────────────┐  ┌──────────────┐  ┌──────────────────────┐    │
│  │ Model        │  │ DCGM         │  │ Node Exporter        │    │
│  │ Container    │  │ Exporter     │  │ (CPU/Mem/Disk)       │    │
│  │ (vLLM/SGLang)│  │ (GPU)        │  │                      │    │
│  └──────┬───────┘  └──────┬───────┘  └──────────┬───────────┘    │
│         │                 │                     │                 │
│         └─────────────────┼─────────────────────┘                 │
│                           ▼                                       │
│              ┌─────────────────────────┐                          │
│              │   OTel Collector        │                          │
│              │   (scrape + enrich)     │                          │
│              └────────────┬────────────┘                          │
└───────────────────────────┼───────────────────────────────────────┘
                            │ OTLP
                            ▼
              ┌─────────────────────────┐
              │   Amazon CloudWatch     │
              │   (PromQL-queryable)    │
              └─────────────────────────┘

如何访问

您可以通过以下任一途径从 SageMaker AI 控制台打开 SageMaker AI Insights。

来源 处理建议 目标
SageMaker AI 控制台 → 端点列表 选择 Open SageMaker AI Insights 实例集级别控制面板（无筛选条件）
SageMaker AI 控制台 → 端点详情页面 选择在 SageMaker AI Insights 中查看 控制面板已筛选到该端点
SageMaker AI 控制台 → IC 选项卡 → 每个 IC 行 选择指标 控制面板已筛选到端点和推理组件

您也可以选择基础设施监控 → SageMaker AI Insights，通过 CloudWatch 控制台直接进入。

先决条件

  • 至少有一个处于 InService 状态的 SageMaker AI 推理端点

  • 在端点配置中 EnableDetailedObservability 设置为 true（新端点默认启用）

  • 账户中已启用 OTel 补充功能

  • 具有 cloudwatch:GetMetricData 和 cloudwatch:ListMetrics IAM 权限

有关更多信息，请参阅 开始使用 CloudWatch SageMaker AI Insights。

定价

适用 CloudWatch OpenTelemetry 指标摄取费用。有关更多信息，请参阅 Amazon CloudWatch 定价。