# CloudWatch SageMaker AI Insights
CloudWatch SageMaker AI Insights を使用して、SageMaker AI 推論エンドポイントを大規模にモニタリングおよびトラブルシューティングします。ダッシュボードには、**[パフォーマンス]**、**[キャパシティ]**、**[信頼性]** の 3 つのビュー全体で精選されたメトリクスと可視化が表示されるため、問題をすばやく特定し、リソース使用率を最適化して、エンドポイント全体で高可用性を確保できます。
SageMaker AI Insights は、エンドポイントタイプ (単一モデルエンドポイントと推論コンポーネント (IC) ベースのエンドポイント) と推論フレームワーク (vLLM、SGLang、TensorRT‐LLM) 全体のモニタリングをサポートしています。
SageMaker AI Insights の使用を開始するには、次のトピックを参照してください。
**トピック**
+ [CloudWatch SageMaker AI Insights の使用を開始する](SageMaker-AI-Insights-Get-Started.md)
+ [SageMaker AI Insights ダッシュボード](SageMaker-AI-Insights-Dashboard.md)
+ [SageMaker AI Insights OpenTelemetry メトリクスリファレンス](SageMaker-AI-Insights-Metrics.md)
+ [SageMaker AI Insights のトラブルシューティング](SageMaker-AI-Insights-Troubleshooting.md)
## 主な機能
+ **OpenTelemetry ネイティブの収集。**メトリクスは、DCGM (GPU メトリクス）、ノードエクスポーター (CPU、メモリ、ディスク）、推論フレームワークコンテナ (vLLM、SGLang) から Prometheus エンドポイントをスクレイプする OTel Collector を使用して収集されます。
+ **豊富なディメンションラベル。**すべてのメトリクスには、`aws.sagemaker.endpoint.name`、`aws.sagemaker.inference_component.name`、`@resource.host.id`、`@resource.cloud.availability_zone`、`@resource.host.type` などのラベルが含まれます。
+ **GPU ごとの属性。**GPU メトリクス (DCGM) には、マルチテナントインスタンスの推論コンポーネントごとの属性が含まれます。
+ **推論フレームワークメトリクス。**ネイティブ vLLM および SGLang メトリクス (1 秒あたりのトークン数、最初のトークンまでの時間 (TTFT)、トークン間レイテンシー、KV キャッシュ使用率、キュー深度、バッチサイズ) カスタム計測なし。
+ **PromQL クエリのサポート。**CloudWatch、CloudWatch Query Studio、または Amazon Managed Grafana でのクエリ。
+ **設定可能なスクレイプ頻度。**`MetricPublishFrequencyInSeconds` を通じて設定します (10、30、60、120、180、240、または 300 秒、デフォルトは 60)。コントロールプレーンメトリクスはイベント駆動型です。
## アーキテクチャとデータフロー
1. **モデルコンテナ**、**DCGM エクスポーター**、**ノードエクスポーター**は、インスタンスで Prometheus 互換メトリクスを公開します。
1. **OTel Collector** はこれらのエンドポイントをスクレイプし、各メトリクスをラベル (エンドポイント名、IC 名、インスタンス ID、AZ) で充実化します。
1. 充実化されたメトリクスは、CloudWatch に **OTLP を介してエクスポート**されます。
1. メトリクスは CloudWatch で **PromQL を介してクエリできます**。
```
┌─────────────────────────────────────────────────────────────────┐
│ SageMaker Endpoint Instance │
│ │
│ ┌──────────────┐ ┌──────────────┐ ┌──────────────────────┐ │
│ │ Model │ │ DCGM │ │ Node Exporter │ │
│ │ Container │ │ Exporter │ │ (CPU/Mem/Disk) │ │
│ │ (vLLM/SGLang)│ │ (GPU) │ │ │ │
│ └──────┬───────┘ └──────┬───────┘ └──────────┬───────────┘ │
│ │ │ │ │
│ └─────────────────┼─────────────────────┘ │
│ ▼ │
│ ┌─────────────────────────┐ │
│ │ OTel Collector │ │
│ │ (scrape + enrich) │ │
│ └────────────┬────────────┘ │
└───────────────────────────┼───────────────────────────────────────┘
│ OTLP
▼
┌─────────────────────────┐
│ Amazon CloudWatch │
│ (PromQL-queryable) │
└─────────────────────────┘
```
## アクセス方法
次のいずれかのパスを使用して、SageMaker AI コンソールから SageMaker AI Insights を開くことができます。
| ソース | アクション | 送信先 |
| --- | --- | --- |
| SageMaker AI コンソール → [エンドポイント] リスト | [SageMaker AI Insights を開く] を選択 | フリートレベルのダッシュボード (フィルターなし) |
| SageMaker AI コンソール → エンドポイントの詳細ページ | [SageMaker AI Insights で表示] を選択 | そのエンドポイントにフィルタリングされたダッシュボード |
| SageMaker AI コンソール → [IC] タブ → IC ごとの行 | [メトリクス] を選択 | エンドポイントと推論コンポーネントにフィルタリングされたダッシュボード |
**[インフラストラクチャモニタリング]** → **[SageMaker AI Insights]** を選択して、CloudWatch コンソールから直接移動することもできます。
## 前提条件
+ `InService` ステータスに少なくとも 1 つの SageMaker AI 推論エンドポイント
+ エンドポイント設定で `EnableDetailedObservability` を `true` に設定 (新しいエンドポイントのデフォルト)
+ アカウントで有効化された OTel 充実化
+ `cloudwatch:GetMetricData` および `cloudwatch:ListMetrics` IAM アクセス許可
詳細については、「[CloudWatch SageMaker AI Insights の使用を開始する](SageMaker-AI-Insights-Get-Started.md)」を参照してください。
## 料金
CloudWatch OpenTelemetry メトリクスの取り込みが適用されます。詳細については、[Amazon CloudWatch 料金表](https://aws.amazon.com/cloudwatch/pricing/)をご覧ください。