# CloudWatch SageMaker AI Insights
<a name="SageMaker-Insights"></a>

使用 CloudWatch SageMaker AI Insights 大规模监控和排查 SageMaker AI 推理端点。控制面板通过**性能**、**容量**和**可靠性**三个视图，显示精选指标和可视化效果，帮助您快速识别问题、优化资源利用率并确保各端点的高可用性。

SageMaker AI Insights 支持跨端点类型 [单模型端点和基于推理组件（IC）的端点] 和推理框架（vLLM、SGLang、TensorRT-LLM）进行监控。

要开始使用 SageMaker AI Insights，请参阅以下主题。

**主题**
+ [开始使用 CloudWatch SageMaker AI Insights](SageMaker-AI-Insights-Get-Started.md)
+ [SageMaker AI Insights 控制面板](SageMaker-AI-Insights-Dashboard.md)
+ [SageMaker AI Insights OpenTelemetry 指标参考](SageMaker-AI-Insights-Metrics.md)
+ [对 SageMaker AI Insights 进行故障排除](SageMaker-AI-Insights-Troubleshooting.md)

## 关键功能
<a name="SageMaker-AI-Insights-capabilities"></a>
+ **OpenTelemetry 原生集合。**指标通过 OTel Collector 收集，该收集器从 DCGM（GPU 指标）、节点导出器（CPU、内存、磁盘）和推理框架容器（vLLM、SGLang）的 Prometheus 端点进行抓取。
+ **丰富的维度标签。**每个指标都包含标签，例如 `aws.sagemaker.endpoint.name`、`aws.sagemaker.inference_component.name`、`@resource.host.id`、`@resource.cloud.availability_zone` 和 `@resource.host.type`。
+ **每 GPU 归因。**GPU 指标（DCGM）包含多租户实例中每个推理组件的归因信息。
+ **推理框架指标。**原生 vLLM 和 SGLang 指标，包括每秒令牌数、生成第一个令牌的用时（TTFT）、令牌间延迟、KV 缓存利用率、队列深度、批量大小，无需自定义检测即可使用。
+ **PromQL 查询支持。**在 CloudWatch、CloudWatch Query Studio 或 Amazon Managed Grafana 中查询。
+ **可配置的抓取频率。**通过 `MetricPublishFrequencyInSeconds` 设置（10、30、60、120、180、240 或 300 秒；默认 60 秒）。控制面板指标由事件驱动。

## 架构和数据流
<a name="SageMaker-AI-Insights-architecture"></a>

1. **模型容器**、**DCGM 导出器**和**节点导出器**会在实例上公开与 Prometheus 兼容的指标。

1. **oTel Collector** 会抓取这些端点，并为每个指标补充标签信息（端点名称、IC 名称、实例 ID、可用区）。

1. 补充后的指标**通过 OTLP 导出**到 CloudWatch。

1. 您可以在 CloudWatch 中**通过 PromQL 查询**指标。

```
┌─────────────────────────────────────────────────────────────────┐
│  SageMaker Endpoint Instance                                      │
│                                                                   │
│  ┌──────────────┐  ┌──────────────┐  ┌──────────────────────┐    │
│  │ Model        │  │ DCGM         │  │ Node Exporter        │    │
│  │ Container    │  │ Exporter     │  │ (CPU/Mem/Disk)       │    │
│  │ (vLLM/SGLang)│  │ (GPU)        │  │                      │    │
│  └──────┬───────┘  └──────┬───────┘  └──────────┬───────────┘    │
│         │                 │                     │                 │
│         └─────────────────┼─────────────────────┘                 │
│                           ▼                                       │
│              ┌─────────────────────────┐                          │
│              │   OTel Collector        │                          │
│              │   (scrape + enrich)     │                          │
│              └────────────┬────────────┘                          │
└───────────────────────────┼───────────────────────────────────────┘
                            │ OTLP
                            ▼
              ┌─────────────────────────┐
              │   Amazon CloudWatch     │
              │   (PromQL-queryable)    │
              └─────────────────────────┘
```

## 如何访问
<a name="SageMaker-AI-Insights-access"></a>

您可以通过以下任一途径从 SageMaker AI 控制台打开 SageMaker AI Insights。


| 来源 | 处理建议 | 目标 | 
| --- | --- | --- | 
| SageMaker AI 控制台 → 端点列表 | 选择 Open SageMaker AI Insights | 实例集级别控制面板（无筛选条件） | 
| SageMaker AI 控制台 → 端点详情页面 | 选择在 SageMaker AI Insights 中查看 | 控制面板已筛选到该端点 | 
| SageMaker AI 控制台 → IC 选项卡 → 每个 IC 行 | 选择指标 | 控制面板已筛选到端点和推理组件 | 

您也可以选择**基础设施监控** → **SageMaker AI Insights**，通过 CloudWatch 控制台直接进入。

## 先决条件
<a name="SageMaker-AI-Insights-prerequisites"></a>
+ 至少有一个处于 `InService` 状态的 SageMaker AI 推理端点
+ 在端点配置中 `EnableDetailedObservability` 设置为 `true`（新端点默认启用）
+ 账户中已启用 OTel 补充功能
+ 具有 `cloudwatch:GetMetricData` 和 `cloudwatch:ListMetrics` IAM 权限

有关更多信息，请参阅 [开始使用 CloudWatch SageMaker AI Insights](SageMaker-AI-Insights-Get-Started.md)。

## 定价
<a name="SageMaker-AI-Insights-pricing"></a>

适用 CloudWatch OpenTelemetry 指标摄取费用。有关更多信息，请参阅 [Amazon CloudWatch 定价](https://aws.amazon.com/cloudwatch/pricing/)。