# SageMaker AI Insights 控制面板
<a name="SageMaker-AI-Insights-Dashboard"></a>

SageMaker AI Insights 控制面板分为三个选项卡：**性能**、**容量**和**可靠性**。每个选项卡都提供了推理端点运行状况的重点视图。

## 控制面板布局
<a name="SageMaker-AI-Insights-Dashboard-layout"></a>

### 摘要栏
<a name="SageMaker-AI-Insights-Dashboard-summary-bar"></a>

控制面板顶部的摘要栏显示整个实例集的总计数字。

![SageMaker AI Insights 控制面板标题带有摘要栏，显示调用、实例、推理组件和平均 AZ 偏差。](http://docs.aws.amazon.com/zh_cn/AmazonCloudWatch/latest/monitoring/images/smai_New_Insights_Dashbaord.png)



| 指标 | 说明 | 
| --- | --- | 
| Invocations | 所选时间范围内所有端点的总调用次数 | 
| 实例 | 当前提供流量的实例总数 | 
| 推理组件 | 所有端点的推理组件总数 | 
| 平均 AZ 偏差 | 平均可用区分布不平衡（0% = 完美平衡） | 

### 筛选器面板
<a name="SageMaker-AI-Insights-Dashboard-filters"></a>


| 筛选条件 | 说明 | 
| --- | --- | 
| 端点 | 为实例集视图选择特定的端点或所有端点 | 
| 实例 | 选择特定实例（需要先选择端点） | 
| 推理组件 | 选择特定 IC 进行精细过滤 | 

### 深入研究
<a name="SageMaker-AI-Insights-Dashboard-drill-down"></a>

SageMaker AI Insights 支持渐进式深入研究。

1. **实例集级别**（默认）：显示所有端点，汇总指标已聚合

1. **端点级别**：从筛选器面板中选择端点或在任何表格中选择端点链接

1. **IC 级别**：从筛选器面板中选择推理组件

### 与 SageMaker AI 控制台交叉链接
<a name="SageMaker-AI-Insights-Dashboard-cross-linking"></a>
+ 选择一个端点名称，以在 SageMaker AI 控制台中打开端点详细信息页面。
+ 选择**查看日志**，打开筛选到该端点或 IC 的 CloudWatch Logs。
+ 在 SageMaker AI 控制台中，对于每个 IC 行，选择**在 SageMaker AI Insights 中查看**，或者**指标**。

## 访问控制面板
<a name="SageMaker-AI-Insights-Dashboard-accessing"></a>

您可以从控制台中的多个位置访问 SageMaker AI Insights 控制面板。
+ **在端点列表页面：**选择**在 SageMaker AI Insights 中查看**，在不应用任何筛选条件的情况下在实例集级别打开控制面板。  
![端点列表页面，显示“在 SageMaker AI Insights 中查看”按钮。](http://docs.aws.amazon.com/zh_cn/AmazonCloudWatch/latest/monitoring/images/smai_Observability_Enabled_page.png)
+ **在端点详细信息页面：**选择**在 SageMaker AI Insights 中查看**，打开筛选到该端点的控制面板。  
![端点详细信息页面，显示“在 SageMaker AI Insights 中查看”按钮。](http://docs.aws.amazon.com/zh_cn/AmazonCloudWatch/latest/monitoring/images/smai_Endpoint_detail_page.png)
+ **在推理组件详细信息页面：**选择**在 SageMaker AI Insights 中查看**，打开筛选到该端点和推理组件的控制面板。  
![推理组件详细信息页面，显示“在 SageMaker AI Insights 中查看”按钮。](http://docs.aws.amazon.com/zh_cn/AmazonCloudWatch/latest/monitoring/images/smai_IC_Detaild_page.png)
+ **直接导航：**CloudWatch 控制台 → **基础设施监控** → **SageMaker AI Insights**。

## “性能”选项卡
<a name="SageMaker-AI-Insights-Dashboard-performance"></a>

**性能**选项卡回答了“运行状况是否正常？” 和“为何运行速度缓慢？”这两个问题：涵盖从顶部的全实例集运行状况流动至底部的每个 IC 诊断。

性能运行状况  
按 AZ 分组的蜂巢图，显示实例、IC 副本和端点的警报状态，一目了然。  

![性能运行状况蜂巢图，显示 AZ 的警报状态。](http://docs.aws.amazon.com/zh_cn/AmazonCloudWatch/latest/monitoring/images/smai_Performance_health_AZ_honey_comb.png)


实例性能表  
按实例统计的细分，显示 TTFT（P50/P99）、输出 TPS（平均值/最大值）、并发请求（实时/最大值）和 KV 缓存利用率。  

![实例性能表，显示 TTFT、输出 TPS、并发请求和 KV 缓存。](http://docs.aws.amazon.com/zh_cn/AmazonCloudWatch/latest/monitoring/images/smai_Instance_health_performance_tab.png)


令牌流式传输  
按框架细分的时间序列图表，显示 TTFT 与令牌间延迟（ITL），支持 P50/P99 百分位切换。  

![令牌流式传输图表，显示 TTFT 和 ITL P50/P99 百分位随时间变化的趋势。](http://docs.aws.amazon.com/zh_cn/AmazonCloudWatch/latest/monitoring/images/smai_Token_streaming.png)


令牌吞吐量  
按框架细分的每秒输入和输出令牌数，支持输入/输出、百分位数和按实例的视图切换。  

![令牌吞吐量图表，显示每秒输入和输出令牌数。](http://docs.aws.amazon.com/zh_cn/AmazonCloudWatch/latest/monitoring/images/smai_Token_throughput.png)


引擎和请求压力  
KV 缓存利用率（%）、运行中请求数和等待中请求数随时间变化的趋势：这些都是推理引擎的关键饱和信号。  

![引擎和请求压力面板，显示 KV 缓存、运行中请求数和等待中请求数。](http://docs.aws.amazon.com/zh_cn/AmazonCloudWatch/latest/monitoring/images/smai_Engine_and_request_pressure.png)


流量分配  
按实例或按 IC 副本统计的表格，显示每分钟调用次数、4XX 错误率和 5XX 错误率，用于识别路由不均衡。  

![流量分布表，按实例显示每分钟调用次数、4XX 错误率和 5XX 错误率。](http://docs.aws.amazon.com/zh_cn/AmazonCloudWatch/latest/monitoring/images/smai_Traffic_distribution.png)


错误构成随时间变化的趋势  
折线图，按 IC 显示 4XX、5XX 及流中错误率随时间变化的趋势。  

![错误构成随时间变化的折线图，显示 4XX、5XX 和流中错误。](http://docs.aws.amazon.com/zh_cn/AmazonCloudWatch/latest/monitoring/images/smai_Error_mix_over_time.png)


延迟细分随时间变化的趋势  
堆叠面积图，带有“调用”（模型延迟 \+ 开销延迟）和“流式传输”（首分块模型延迟 \+ 首分块开销延迟）选项卡，支持 P50/P90 百分位切换。  

![延迟细分随时间变化的堆叠面积图，显示模型延迟和开销延迟。](http://docs.aws.amazon.com/zh_cn/AmazonCloudWatch/latest/monitoring/images/smai_Latency_breakdown_over_time.png)


## 容量选项卡
<a name="SageMaker-AI-Insights-Dashboard-capacity"></a>

**容量**选项卡回答了“我有余量吗？” 以及“我的硬件运行状况是否正常？”这两个问题：显示实际利用率与预留容量的比较。

容量运行状况  
与**性能**选项卡相同的蜂巢图，显示实例、IC 副本和端点的警报状态。  

![容量运行状况蜂巢图，按 AZ 显示警报状态。](http://docs.aws.amazon.com/zh_cn/AmazonCloudWatch/latest/monitoring/images/smai_Capacity_health_honey_comb.png)


实例容量表  
按实例显示的 GPU、GPU 显存、CPU、内存和磁盘利用率条形图。  

![实例容量表，显示 GPU、GPU 显存、CPU、内存和磁盘利用率。](http://docs.aws.amazon.com/zh_cn/AmazonCloudWatch/latest/monitoring/images/smai_Instance_health_capacity_tab.png)


实例集利用率  
时序图，显示每个实例的 CPU、GPU、GPU 显存、内存和磁盘利用率，支持实例、IC 副本和端点视图的切换。  

![实例集利用率图表，显示每个实例的 CPU、GPU、GPU 显存、内存和磁盘利用率随时间变化的趋势。](http://docs.aws.amazon.com/zh_cn/AmazonCloudWatch/latest/monitoring/images/smai_Fleet_Util.png)


## 可靠性选项卡
<a name="SageMaker-AI-Insights-Dashboard-reliability"></a>

**可靠性**选项卡回答了“它是否具有韧性？” 以及“为什么扩缩失败？”这两个问题：涵盖可用区分布、扩缩行为和预置事件。

可用区分配  
条形图，显示每个可用区的实例或 IC 副本数，用于验证高可用性（HA）合规性。  

![可用区分布条形图，显示每个可用区的实例数。](http://docs.aws.amazon.com/zh_cn/AmazonCloudWatch/latest/monitoring/images/smai_AZ_distribution.png)


冷启动结构分解  
水平堆叠条形图，显示预置时间的细分，包括模型下载、GPU 负载、容器启动和平台开销（仅限 IC 端点）。  

![冷启动结构分解，显示模型下载、GPU 负载、容器启动和平台开销。](http://docs.aws.amazon.com/zh_cn/AmazonCloudWatch/latest/monitoring/images/smai_Cold_start_anatomy.png)


ICE 诊断  
容量不足错误（ICE）计数随时间变化的趋势，并附有事件表，其中包含时间、端点、失败的实例类型和失败的 AZ。非零值表示存在容量限制。  

![ICE 诊断面板，显示 ICE 计数随时间的变化趋势以及事件表。](http://docs.aws.amazon.com/zh_cn/AmazonCloudWatch/latest/monitoring/images/smai_ICE_events.png)