SageMaker AI Insights 控制面板
SageMaker AI Insights 控制面板分为三个选项卡：性能、容量和可靠性。每个选项卡都提供了推理端点运行状况的重点视图。
控制面板布局
摘要栏
控制面板顶部的摘要栏显示整个实例集的总计数字。
| 指标 | 说明 |
|---|---|
| Invocations | 所选时间范围内所有端点的总调用次数 |
| 实例 | 当前提供流量的实例总数 |
| 推理组件 | 所有端点的推理组件总数 |
| 平均 AZ 偏差 | 平均可用区分布不平衡（0% = 完美平衡） |
筛选器面板
| 筛选条件 | 说明 |
|---|---|
| 端点 | 为实例集视图选择特定的端点或所有端点 |
| 实例 | 选择特定实例（需要先选择端点） |
| 推理组件 | 选择特定 IC 进行精细过滤 |
深入研究
SageMaker AI Insights 支持渐进式深入研究。
实例集级别（默认）：显示所有端点，汇总指标已聚合
端点级别：从筛选器面板中选择端点或在任何表格中选择端点链接
IC 级别：从筛选器面板中选择推理组件
与 SageMaker AI 控制台交叉链接
选择一个端点名称，以在 SageMaker AI 控制台中打开端点详细信息页面。
选择查看日志，打开筛选到该端点或 IC 的 CloudWatch Logs。
在 SageMaker AI 控制台中，对于每个 IC 行，选择在 SageMaker AI Insights 中查看，或者指标。
访问控制面板
您可以从控制台中的多个位置访问 SageMaker AI Insights 控制面板。
-
在端点列表页面：选择在 SageMaker AI Insights 中查看，在不应用任何筛选条件的情况下在实例集级别打开控制面板。
-
在端点详细信息页面：选择在 SageMaker AI Insights 中查看，打开筛选到该端点的控制面板。
-
在推理组件详细信息页面：选择在 SageMaker AI Insights 中查看，打开筛选到该端点和推理组件的控制面板。
直接导航：CloudWatch 控制台 → 基础设施监控 → SageMaker AI Insights。
“性能”选项卡
性能选项卡回答了“运行状况是否正常？” 和“为何运行速度缓慢？”这两个问题：涵盖从顶部的全实例集运行状况流动至底部的每个 IC 诊断。
- 性能运行状况
-
按 AZ 分组的蜂巢图，显示实例、IC 副本和端点的警报状态，一目了然。
- 实例性能表
-
按实例统计的细分，显示 TTFT（P50/P99）、输出 TPS（平均值/最大值）、并发请求（实时/最大值）和 KV 缓存利用率。
- 令牌流式传输
-
按框架细分的时间序列图表，显示 TTFT 与令牌间延迟（ITL），支持 P50/P99 百分位切换。
- 令牌吞吐量
-
按框架细分的每秒输入和输出令牌数，支持输入/输出、百分位数和按实例的视图切换。
- 引擎和请求压力
-
KV 缓存利用率（%）、运行中请求数和等待中请求数随时间变化的趋势：这些都是推理引擎的关键饱和信号。
- 流量分配
-
按实例或按 IC 副本统计的表格，显示每分钟调用次数、4XX 错误率和 5XX 错误率，用于识别路由不均衡。
- 错误构成随时间变化的趋势
-
折线图，按 IC 显示 4XX、5XX 及流中错误率随时间变化的趋势。
- 延迟细分随时间变化的趋势
-
堆叠面积图，带有“调用”（模型延迟 + 开销延迟）和“流式传输”（首分块模型延迟 + 首分块开销延迟）选项卡，支持 P50/P90 百分位切换。
容量选项卡
容量选项卡回答了“我有余量吗？” 以及“我的硬件运行状况是否正常？”这两个问题：显示实际利用率与预留容量的比较。
- 容量运行状况
-
与性能选项卡相同的蜂巢图，显示实例、IC 副本和端点的警报状态。
- 实例容量表
-
按实例显示的 GPU、GPU 显存、CPU、内存和磁盘利用率条形图。
- 实例集利用率
-
时序图，显示每个实例的 CPU、GPU、GPU 显存、内存和磁盘利用率，支持实例、IC 副本和端点视图的切换。
可靠性选项卡
可靠性选项卡回答了“它是否具有韧性？” 以及“为什么扩缩失败？”这两个问题：涵盖可用区分布、扩缩行为和预置事件。
- 可用区分配
-
条形图，显示每个可用区的实例或 IC 副本数，用于验证高可用性（HA）合规性。
- 冷启动结构分解
-
水平堆叠条形图，显示预置时间的细分，包括模型下载、GPU 负载、容器启动和平台开销（仅限 IC 端点）。
- ICE 诊断
-
容量不足错误（ICE）计数随时间变化的趋势，并附有事件表，其中包含时间、端点、失败的实例类型和失败的 AZ。非零值表示存在容量限制。
