本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

# CloudWatch SageMaker AI Insights
<a name="SageMaker-Insights"></a>

使用 CloudWatch SageMaker AI Insights 大規模監控和疑難排解 SageMaker AI 推論端點。儀表板會在效能****、**容量**和**可靠性**這三個檢視中顯示精心策劃的指標和視覺化效果，讓您可以快速識別問題、最佳化資源使用率，並確保端點的高可用性。

SageMaker AI Insights 支援跨端點類型 （單一模型端點和推論元件 (IC) 型端點） 和推論架構 (vLLM、SGLang、TensorRT‐LLM) 進行監控。

若要開始使用 SageMaker AI Insights，請參閱下列主題。

**主題**
+ [CloudWatch SageMaker AI Insights 入門](SageMaker-AI-Insights-Get-Started.md)
+ [SageMaker AI Insights 儀表板](SageMaker-AI-Insights-Dashboard.md)
+ [SageMaker AI Insights OpenTelemetry 指標參考](SageMaker-AI-Insights-Metrics.md)
+ [疑難排解 SageMaker AI Insights](SageMaker-AI-Insights-Troubleshooting.md)

## 關鍵功能
<a name="SageMaker-AI-Insights-capabilities"></a>
+ **OpenTelemetry 原生集合。**使用從 DCGM (GPU 指標）、節點匯出器 (CPU、記憶體、磁碟） 和推論架構容器 (vLLM、SGLang) 抓取 Prometheus 端點的 OTel 收集器收集指標。
+ **豐富的維度標籤。**每個指標都包含標籤，例如 `aws.sagemaker.endpoint.name`、`aws.sagemaker.inference_component.name`、`@resource.cloud.availability_zone`、 `@resource.host.id`和 `@resource.host.type`。
+ **每個 GPU 屬性。**GPU 指標 (DCGM) 包含多租用戶執行個體的每個推論元件屬性。
+ **推論架構指標。**原生 vLLM 和 SGLang 指標 — 每秒權杖數、首次權杖時間 (TTFT)、權杖間延遲、KV 快取使用率、佇列深度、批次大小 — 無需自訂檢測。
+ **PromQL 查詢支援。**CloudWatch、CloudWatch Query Studio 或 Amazon Managed Grafana 中的查詢。
+ **可設定的湊集頻率。**透過 設定 `MetricPublishFrequencyInSeconds`(10、30、60、120、180、240 或 300 秒；預設值為 60)。控制平面指標是事件驅動的。

## 架構和資料流程
<a name="SageMaker-AI-Insights-architecture"></a>

1. **模型容器**、**DCGM 匯出程式**和**節點匯出程式**會在執行個體上公開 Prometheus 相容指標。

1. **OTel 收集器**會抓取這些端點，並使用標籤 （端點名稱、IC 名稱、執行個體 ID、AZ) 充實每個指標。

1. 豐富的指標會透過 **OTLP 匯出**至 CloudWatch。

1. 指標可透過 CloudWatch 中的 ** PromQL 查詢**。

```
┌─────────────────────────────────────────────────────────────────┐
│  SageMaker Endpoint Instance                                      │
│                                                                   │
│  ┌──────────────┐  ┌──────────────┐  ┌──────────────────────┐    │
│  │ Model        │  │ DCGM         │  │ Node Exporter        │    │
│  │ Container    │  │ Exporter     │  │ (CPU/Mem/Disk)       │    │
│  │ (vLLM/SGLang)│  │ (GPU)        │  │                      │    │
│  └──────┬───────┘  └──────┬───────┘  └──────────┬───────────┘    │
│         │                 │                     │                 │
│         └─────────────────┼─────────────────────┘                 │
│                           ▼                                       │
│              ┌─────────────────────────┐                          │
│              │   OTel Collector        │                          │
│              │   (scrape + enrich)     │                          │
│              └────────────┬────────────┘                          │
└───────────────────────────┼───────────────────────────────────────┘
                            │ OTLP
                            ▼
              ┌─────────────────────────┐
              │   Amazon CloudWatch     │
              │   (PromQL-queryable)    │
              └─────────────────────────┘
```

## 如何存取
<a name="SageMaker-AI-Insights-access"></a>

您可以使用下列任一路徑，從 SageMaker AI 主控台開啟 SageMaker AI Insights。


| 來源 | Action | 目標 | 
| --- | --- | --- | 
| SageMaker AI 主控台 → 端點清單 | 選擇開啟 SageMaker AI Insights | 機群層級儀表板 （無篩選條件） | 
| SageMaker AI 主控台 → 端點詳細資訊頁面 | 在  SageMaker AI Insights 中選擇檢視 | 篩選至該端點的儀表板 | 
| SageMaker AI 主控台 → IC 索引標籤 → 每個 IC 資料列 | 選擇指標 | 篩選至端點和推論元件的儀表板 | 

您也可以選擇**基礎設施監控** → **SageMaker AI Insights**，直接導覽 CloudWatch 主控台。

## 先決條件
<a name="SageMaker-AI-Insights-prerequisites"></a>
+ 狀態中至少有一個 SageMaker AI 推論端點 `InService` 
+ `EnableDetailedObservability` 在端點組態`true`上將 設定為 （新端點的預設值）
+ 您的帳戶已啟用 OTel 擴充功能
+ `cloudwatch:GetMetricData` 和 IAM `cloudwatch:ListMetrics` 許可

如需詳細資訊，請參閱[CloudWatch SageMaker AI Insights 入門](SageMaker-AI-Insights-Get-Started.md)。

## 定價
<a name="SageMaker-AI-Insights-pricing"></a>

套用 CloudWatch OpenTelemetry 指標擷取。如需詳細資訊，請參閱 [Amazon CloudWatch 定價](https://aws.amazon.com/cloudwatch/pricing/)。