View a markdown version of this page

CloudWatch SageMaker AI Insights - Amazon CloudWatch
關鍵功能架構和資料流程如何存取先決條件定價

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

CloudWatch SageMaker AI Insights

使用 CloudWatch SageMaker AI Insights 大規模監控和疑難排解 SageMaker AI 推論端點。儀表板會在效能、容量和可靠性這三個檢視中顯示精心策劃的指標和視覺化效果，讓您可以快速識別問題、最佳化資源使用率，並確保端點的高可用性。

SageMaker AI Insights 支援跨端點類型 （單一模型端點和推論元件 (IC) 型端點） 和推論架構 (vLLM、SGLang、TensorRT‐LLM) 進行監控。

若要開始使用 SageMaker AI Insights，請參閱下列主題。

主題

關鍵功能

  • OpenTelemetry 原生集合。使用從 DCGM (GPU 指標）、節點匯出器 (CPU、記憶體、磁碟） 和推論架構容器 (vLLM、SGLang) 抓取 Prometheus 端點的 OTel 收集器收集指標。

  • 豐富的維度標籤。每個指標都包含標籤，例如 aws.sagemaker.endpoint.name、aws.sagemaker.inference_component.name、@resource.cloud.availability_zone、 @resource.host.id和 @resource.host.type。

  • 每個 GPU 屬性。GPU 指標 (DCGM) 包含多租用戶執行個體的每個推論元件屬性。

  • 推論架構指標。原生 vLLM 和 SGLang 指標 — 每秒權杖數、首次權杖時間 (TTFT)、權杖間延遲、KV 快取使用率、佇列深度、批次大小 — 無需自訂檢測。

  • PromQL 查詢支援。CloudWatch、CloudWatch Query Studio 或 Amazon Managed Grafana 中的查詢。

  • 可設定的湊集頻率。透過 設定 MetricPublishFrequencyInSeconds(10、30、60、120、180、240 或 300 秒；預設值為 60)。控制平面指標是事件驅動的。

架構和資料流程

  1. 模型容器、DCGM 匯出程式和節點匯出程式會在執行個體上公開 Prometheus 相容指標。

  2. OTel 收集器會抓取這些端點，並使用標籤 （端點名稱、IC 名稱、執行個體 ID、AZ) 充實每個指標。

  3. 豐富的指標會透過 OTLP 匯出至 CloudWatch。

  4. 指標可透過 CloudWatch 中的 PromQL 查詢。

┌─────────────────────────────────────────────────────────────────┐
│  SageMaker Endpoint Instance                                      │
│                                                                   │
│  ┌──────────────┐  ┌──────────────┐  ┌──────────────────────┐    │
│  │ Model        │  │ DCGM         │  │ Node Exporter        │    │
│  │ Container    │  │ Exporter     │  │ (CPU/Mem/Disk)       │    │
│  │ (vLLM/SGLang)│  │ (GPU)        │  │                      │    │
│  └──────┬───────┘  └──────┬───────┘  └──────────┬───────────┘    │
│         │                 │                     │                 │
│         └─────────────────┼─────────────────────┘                 │
│                           ▼                                       │
│              ┌─────────────────────────┐                          │
│              │   OTel Collector        │                          │
│              │   (scrape + enrich)     │                          │
│              └────────────┬────────────┘                          │
└───────────────────────────┼───────────────────────────────────────┘
                            │ OTLP
                            ▼
              ┌─────────────────────────┐
              │   Amazon CloudWatch     │
              │   (PromQL-queryable)    │
              └─────────────────────────┘

如何存取

您可以使用下列任一路徑，從 SageMaker AI 主控台開啟 SageMaker AI Insights。

來源 Action 目標
SageMaker AI 主控台 → 端點清單 選擇開啟 SageMaker AI Insights 機群層級儀表板 （無篩選條件）
SageMaker AI 主控台 → 端點詳細資訊頁面 在 SageMaker AI Insights 中選擇檢視 篩選至該端點的儀表板
SageMaker AI 主控台 → IC 索引標籤 → 每個 IC 資料列 選擇指標 篩選至端點和推論元件的儀表板

您也可以選擇基礎設施監控 → SageMaker AI Insights，直接導覽 CloudWatch 主控台。

先決條件

  • 狀態中至少有一個 SageMaker AI 推論端點 InService

  • EnableDetailedObservability 在端點組態true上將 設定為 （新端點的預設值）

  • 您的帳戶已啟用 OTel 擴充功能

  • cloudwatch:GetMetricData 和 IAM cloudwatch:ListMetrics 許可

如需詳細資訊，請參閱CloudWatch SageMaker AI Insights 入門。

定價

套用 CloudWatch OpenTelemetry 指標擷取。如需詳細資訊，請參閱 Amazon CloudWatch 定價。