# SageMaker AI Insights ダッシュボード
SageMaker AI Insights ダッシュボードは、**[パフォーマンス]**、**[キャパシティ]**、および **[信頼性]** の 3 つのタブで構成されています。各タブでは、推論エンドポイントの状態に焦点を当てた情報を確認できます。
## ダッシュボードレイアウト
### 概要バー
ダッシュボードの上部にある概要バーには、フリート全体の合計値が表示されます。
| メトリクス | 説明 |
| --- | --- |
| 呼び出し | 選択した時間範囲内における、すべてのエンドポイントでの合計呼び出し回数 |
| インスタンス | 現在トラフィックを処理しているインスタンスの総数 |
| 推論コンポーネント | すべてのエンドポイントにわたる推論コンポーネントの総数 |
| 平均 AZ スキュー | アベイラビリティーゾーンの分散における平均不均衡値 (0% = 完全に均衡) |
### フィルターパネル
| フィルター | 説明 |
| --- | --- |
| Endpoint | フリートビューの特定のエンドポイントまたは [すべてのエンドポイント] を選択する |
| インスタンス | 特定のインスタンスを選択する (最初に選択したエンドポイントが必要) |
| 推論コンポーネント | 詳細なフィルタリングを行うために特定の IC を選択する |
### ドリルダウン
SageMaker AI Insights はプログレッシブドリルダウンをサポートしています。
1. **フリートレベル** (デフォルト) – すべてのエンドポイントが表示され、概要メトリクスが集計されます
1. **エンドポイントレベル** – フィルターパネルからエンドポイントを選択するか、任意のテーブルでエンドポイントリンクを選択します
1. **IC レベル** – フィルターパネルから推論コンポーネントを選択します
### SageMaker AI コンソールとのクロスリンク
+ エンドポイント名を選択して、SageMaker AI コンソールでエンドポイントの詳細ページを開きます。
+ **[ログの表示]** を選択して、そのエンドポイントまたは IC にフィルタリングされた CloudWatch Logs を開きます。
+ SageMaker AI コンソールで、 IC ごとの行について **[View in SageMaker AI Insights]** または **[メトリクス]** を選択します。
## ダッシュボードへのアクセス
コンソールの複数の場所から SageMaker AI Insights ダッシュボードにアクセスできます。
+ **エンドポイントリストページから:** **[View in SageMaker AI Insights]** を選択し、フィルターが適用されていない状態でフリートレベルのダッシュボードを開きます。
![[View in SageMaker AI Insights] ボタンが表示されているエンドポイントリストページ。](http://docs.aws.amazon.com/ja_jp/AmazonCloudWatch/latest/monitoring/images/smai_Observability_Enabled_page.png)
+ **エンドポイント詳細ページから:** **[View in SageMaker AI Insights]** を選択して、そのエンドポイントにフィルタリングされたダッシュボードを開きます。
![[View in SageMaker AI Insights] ボタンが表示されているエンドポイント詳細ページ。](http://docs.aws.amazon.com/ja_jp/AmazonCloudWatch/latest/monitoring/images/smai_Endpoint_detail_page.png)
+ **推論コンポーネント詳細ページから:** **[View in SageMaker AI Insights]** を選択して、そのエンドポイントと推論コンポーネントにフィルタリングされたダッシュボードを開きます。
![[View in SageMaker AI Insights] ボタンが表示されている推論コンポーネント詳細ページ。](http://docs.aws.amazon.com/ja_jp/AmazonCloudWatch/latest/monitoring/images/smai_IC_Detaild_page.png)
+ **直接移動:** CloudWatch コンソールで **[インフラストラクチャモニタリング]**、**[SageMaker AI Insights]** を順に選択します。
## [パフォーマンス] タブ
**[パフォーマンス]** タブは、「健全な状態なのか?」 「遅い理由は何なのか?」といった疑問に答えるものです。画面上部ではフリート全体の健全性を示し、下部に向かって IC 単位の診断情報へと展開する構成になっています。
パフォーマンス状態
AZ 別にグループ化されたハニカム形式の表示により、インスタンス、IC コピー、およびエンドポイントのアラーム状態を一目で確認できます。
インスタンスパフォーマンステーブル
TTFT (P50/P99)、出力 TPS (平均/最大)、同時リクエスト数 (ライブ/最大)、および KV キャッシュ使用率を示すインスタンスごとの内訳。
トークンストリーミング
フレームワーク別に、TTFT とトークン間レイテンシー (ITL) を表示する時系列グラフ (P50/P99 トグル機能付き)。
トークンスループット
フレームワーク別の 1 秒あたりの入出力トークン数 (入力/出力、パーセンタイル、およびインスタンス別の各ビューを切り替えるトグル機能付き)。
エンジン圧力とリクエスト圧力
推論エンジンの飽和状態を示す重要な指標である、KV キャッシュ使用率 (%)、実行中のリクエスト数、および待機中のリクエスト数の経時的推移。
トラフィック分散
ルーティングの不均衡を特定するために、インスタンスごとまたは IC コピーごとの呼び出し数 (1 分あたり)、4XX エラー率、および 5XX エラー率を表示するテーブル。
エラー内訳の経時的推移
IC ごとの 4XX、5XX、および中間ストリームエラー率の経時的推移を示す折れ線グラフ。
レイテンシー内訳の経時的推移
呼び出し (モデルレイテンシー \+ オーバーヘッドレイテンシー) 用タブとストリーミング (最初のチャンクモデル \+ 最初のチャンクオーバーヘッド) 用タブを備えた積み上げ面グラフ (P50/P90 トグル機能付き)。
## [キャパシティ] タブ
**[キャパシティ]** タブは、「ヘッドルームがあるか?」 「ハードウェアは健全か?」といった疑問に答えるもので、リザーブドキャパシティと比較した実際の使用率が表示されています。
キャパシティの状態
**[パフォーマンス]** タブと同様のハニカム形式の可視化表示で、インスタンス、IC コピー、およびエンドポイントのアラーム状態を示します。
インスタンスキャパシティテーブル
GPU、GPU メモリ、CPU、メモリ、およびディスクのインスタンスあたりの使用率バー。
フリート使用率
インスタンスごとの CPU、GPU、GPU メモリ、メモリ、およびディスク使用率を示す時系列データ (インスタンス、IC コピー、およびエンドポイントの各ビューを切り替えるトグル機能付き)。
## [信頼性] タブ
**[信頼性]** タブは、「回復力はあるか?」 「スケーリングに失敗したのはなぜか?」といった疑問に答えるもので、AZ 分散、スケーリング動作、およびプロビジョニングイベントに関する情報を確認できます。
アベイラビリティーゾーンの分散
高可用性 (HA) コンプライアンスを検証するための、AZ あたりのインスタンスまたは IC コピー数を示す棒グラフ。
コールドスタート構造
プロビジョニング時間の内訳 (モデルのダウンロード、GPU の読み込み、コンテナの起動、およびプラットフォームのオーバーヘッド) を示す水平積み上げバー (IC エンドポイントのみ)。
ICE 診断
容量不足エラー (ICE) 数の経時的推移と、エンドポイント、失敗したインスタンスタイプ、および失敗した AZ を表示するイベントテーブル。ゼロ以外の値は、容量の制約を示しています。
