View a markdown version of this page

CloudWatch SageMaker AI Insights - Amazon CloudWatch
主な機能アーキテクチャとデータフローアクセス方法前提条件料金

CloudWatch SageMaker AI Insights

CloudWatch SageMaker AI Insights を使用して、SageMaker AI 推論エンドポイントを大規模にモニタリングおよびトラブルシューティングします。ダッシュボードには、[パフォーマンス]、[キャパシティ]、[信頼性] の 3 つのビュー全体で精選されたメトリクスと可視化が表示されるため、問題をすばやく特定し、リソース使用率を最適化して、エンドポイント全体で高可用性を確保できます。

SageMaker AI Insights は、エンドポイントタイプ (単一モデルエンドポイントと推論コンポーネント (IC) ベースのエンドポイント) と推論フレームワーク (vLLM、SGLang、TensorRT‐LLM) 全体のモニタリングをサポートしています。

SageMaker AI Insights の使用を開始するには、次のトピックを参照してください。

トピック

主な機能

  • OpenTelemetry ネイティブの収集。メトリクスは、DCGM (GPU メトリクス）、ノードエクスポーター (CPU、メモリ、ディスク）、推論フレームワークコンテナ (vLLM、SGLang) から Prometheus エンドポイントをスクレイプする OTel Collector を使用して収集されます。

  • 豊富なディメンションラベル。すべてのメトリクスには、aws.sagemaker.endpoint.name、aws.sagemaker.inference_component.name、@resource.host.id、@resource.cloud.availability_zone、@resource.host.type などのラベルが含まれます。

  • GPU ごとの属性。GPU メトリクス (DCGM) には、マルチテナントインスタンスの推論コンポーネントごとの属性が含まれます。

  • 推論フレームワークメトリクス。ネイティブ vLLM および SGLang メトリクス (1 秒あたりのトークン数、最初のトークンまでの時間 (TTFT)、トークン間レイテンシー、KV キャッシュ使用率、キュー深度、バッチサイズ) カスタム計測なし。

  • PromQL クエリのサポート。CloudWatch、CloudWatch Query Studio、または Amazon Managed Grafana でのクエリ。

  • 設定可能なスクレイプ頻度。MetricPublishFrequencyInSeconds を通じて設定します (10、30、60、120、180、240、または 300 秒、デフォルトは 60)。コントロールプレーンメトリクスはイベント駆動型です。

アーキテクチャとデータフロー

  1. モデルコンテナ、DCGM エクスポーター、ノードエクスポーターは、インスタンスで Prometheus 互換メトリクスを公開します。

  2. OTel Collector はこれらのエンドポイントをスクレイプし、各メトリクスをラベル (エンドポイント名、IC 名、インスタンス ID、AZ) で充実化します。

  3. 充実化されたメトリクスは、CloudWatch に OTLP を介してエクスポートされます。

  4. メトリクスは CloudWatch で PromQL を介してクエリできます。

┌─────────────────────────────────────────────────────────────────┐
│  SageMaker Endpoint Instance                                      │
│                                                                   │
│  ┌──────────────┐  ┌──────────────┐  ┌──────────────────────┐    │
│  │ Model        │  │ DCGM         │  │ Node Exporter        │    │
│  │ Container    │  │ Exporter     │  │ (CPU/Mem/Disk)       │    │
│  │ (vLLM/SGLang)│  │ (GPU)        │  │                      │    │
│  └──────┬───────┘  └──────┬───────┘  └──────────┬───────────┘    │
│         │                 │                     │                 │
│         └─────────────────┼─────────────────────┘                 │
│                           ▼                                       │
│              ┌─────────────────────────┐                          │
│              │   OTel Collector        │                          │
│              │   (scrape + enrich)     │                          │
│              └────────────┬────────────┘                          │
└───────────────────────────┼───────────────────────────────────────┘
                            │ OTLP
                            ▼
              ┌─────────────────────────┐
              │   Amazon CloudWatch     │
              │   (PromQL-queryable)    │
              └─────────────────────────┘

アクセス方法

次のいずれかのパスを使用して、SageMaker AI コンソールから SageMaker AI Insights を開くことができます。

ソース アクション 送信先
SageMaker AI コンソール → [エンドポイント] リスト [SageMaker AI Insights を開く] を選択 フリートレベルのダッシュボード (フィルターなし)
SageMaker AI コンソール → エンドポイントの詳細ページ [SageMaker AI Insights で表示] を選択 そのエンドポイントにフィルタリングされたダッシュボード
SageMaker AI コンソール → [IC] タブ → IC ごとの行 [メトリクス] を選択 エンドポイントと推論コンポーネントにフィルタリングされたダッシュボード

[インフラストラクチャモニタリング] → [SageMaker AI Insights] を選択して、CloudWatch コンソールから直接移動することもできます。

前提条件

  • InService ステータスに少なくとも 1 つの SageMaker AI 推論エンドポイント

  • エンドポイント設定で EnableDetailedObservability を true に設定 (新しいエンドポイントのデフォルト)

  • アカウントで有効化された OTel 充実化

  • cloudwatch:GetMetricData および cloudwatch:ListMetrics IAM アクセス許可

詳細については、「CloudWatch SageMaker AI Insights の使用を開始する」を参照してください。

料金

CloudWatch OpenTelemetry メトリクスの取り込みが適用されます。詳細については、Amazon CloudWatch 料金表をご覧ください。