View a markdown version of this page

SageMaker AI Insights ダッシュボード - Amazon CloudWatch
ダッシュボードレイアウトダッシュボードへのアクセス[パフォーマンス] タブ[キャパシティ] タブ[信頼性] タブ

SageMaker AI Insights ダッシュボード

SageMaker AI Insights ダッシュボードは、[パフォーマンス]、[キャパシティ]、および [信頼性] の 3 つのタブで構成されています。各タブでは、推論エンドポイントの状態に焦点を当てた情報を確認できます。

ダッシュボードレイアウト

概要バー

ダッシュボードの上部にある概要バーには、フリート全体の合計値が表示されます。

呼び出し、インスタンス、推論コンポーネント、および平均 AZ スキューを示す概要バーを含む SageMaker AI Insights ダッシュボードヘッダー。
メトリクス説明
呼び出し選択した時間範囲内における、すべてのエンドポイントでの合計呼び出し回数
インスタンス現在トラフィックを処理しているインスタンスの総数
推論コンポーネントすべてのエンドポイントにわたる推論コンポーネントの総数
平均 AZ スキューアベイラビリティーゾーンの分散における平均不均衡値 (0% = 完全に均衡)

フィルターパネル

フィルター説明
Endpointフリートビューの特定のエンドポイントまたは [すべてのエンドポイント] を選択する
インスタンス特定のインスタンスを選択する (最初に選択したエンドポイントが必要)
推論コンポーネント詳細なフィルタリングを行うために特定の IC を選択する

ドリルダウン

SageMaker AI Insights はプログレッシブドリルダウンをサポートしています。

  1. フリートレベル (デフォルト) – すべてのエンドポイントが表示され、概要メトリクスが集計されます

  2. エンドポイントレベル – フィルターパネルからエンドポイントを選択するか、任意のテーブルでエンドポイントリンクを選択します

  3. IC レベル – フィルターパネルから推論コンポーネントを選択します

SageMaker AI コンソールとのクロスリンク

  • エンドポイント名を選択して、SageMaker AI コンソールでエンドポイントの詳細ページを開きます。

  • [ログの表示] を選択して、そのエンドポイントまたは IC にフィルタリングされた CloudWatch Logs を開きます。

  • SageMaker AI コンソールで、 IC ごとの行について [View in SageMaker AI Insights] または [メトリクス] を選択します。

ダッシュボードへのアクセス

コンソールの複数の場所から SageMaker AI Insights ダッシュボードにアクセスできます。

  • エンドポイントリストページから: [View in SageMaker AI Insights] を選択し、フィルターが適用されていない状態でフリートレベルのダッシュボードを開きます。

    [View in SageMaker AI Insights] ボタンが表示されているエンドポイントリストページ。

  • エンドポイント詳細ページから: [View in SageMaker AI Insights] を選択して、そのエンドポイントにフィルタリングされたダッシュボードを開きます。

    [View in SageMaker AI Insights] ボタンが表示されているエンドポイント詳細ページ。

  • 推論コンポーネント詳細ページから: [View in SageMaker AI Insights] を選択して、そのエンドポイントと推論コンポーネントにフィルタリングされたダッシュボードを開きます。

    [View in SageMaker AI Insights] ボタンが表示されている推論コンポーネント詳細ページ。

  • 直接移動: CloudWatch コンソールで [インフラストラクチャモニタリング]、[SageMaker AI Insights] を順に選択します。

[パフォーマンス] タブ

[パフォーマンス] タブは、「健全な状態なのか?」 「遅い理由は何なのか?」といった疑問に答えるものです。画面上部ではフリート全体の健全性を示し、下部に向かって IC 単位の診断情報へと展開する構成になっています。

パフォーマンス状態

AZ 別にグループ化されたハニカム形式の表示により、インスタンス、IC コピー、およびエンドポイントのアラーム状態を一目で確認できます。

パフォーマンス状態がハニカム形式で表示され、AZ 別アラーム状態を示しています。
インスタンスパフォーマンステーブル

TTFT (P50/P99)、出力 TPS (平均/最大)、同時リクエスト数 (ライブ/最大)、および KV キャッシュ使用率を示すインスタンスごとの内訳。

TTFT、出力 TPS、同時リクエスト数、および KV キャッシュを示すインスタンスパフォーマンステーブル。
トークンストリーミング

フレームワーク別に、TTFT とトークン間レイテンシー (ITL) を表示する時系列グラフ (P50/P99 トグル機能付き)。

TTFT と ITL の P50/P99 の経時的推移を示すトークンストリーミンググラフ。
トークンスループット

フレームワーク別の 1 秒あたりの入出力トークン数 (入力/出力、パーセンタイル、およびインスタンス別の各ビューを切り替えるトグル機能付き)。

1 秒あたりの入出力トークン数を示すトークンスループットグラフ。
エンジン圧力とリクエスト圧力

推論エンジンの飽和状態を示す重要な指標である、KV キャッシュ使用率 (%)、実行中のリクエスト数、および待機中のリクエスト数の経時的推移。

KV キャッシュ、実行中のリクエスト数、および待機中のリクエスト数を示すエンジン圧力とリクエスト圧力のパネル。
トラフィック分散

ルーティングの不均衡を特定するために、インスタンスごとまたは IC コピーごとの呼び出し数 (1 分あたり)、4XX エラー率、および 5XX エラー率を表示するテーブル。

インスタンス別の呼び出し数 (1 分あたり)、4XX エラー率、および 5XX エラー率を示すトラフィック分散テーブル。
エラー内訳の経時的推移

IC ごとの 4XX、5XX、および中間ストリームエラー率の経時的推移を示す折れ線グラフ。

エラー内訳の経時的推移を把握できる折れ線グラフで、4XX、5XX、および中間ストリームエラー率示しています。
レイテンシー内訳の経時的推移

呼び出し (モデルレイテンシー + オーバーヘッドレイテンシー) 用タブとストリーミング (最初のチャンクモデル + 最初のチャンクオーバーヘッド) 用タブを備えた積み上げ面グラフ (P50/P90 トグル機能付き)。

レイテンシー内訳の経時的推移を把握できる積み上げ面グラフで、モデルレイテンシーとオーバーヘッドレイテンシーを示しています。

[キャパシティ] タブ

[キャパシティ] タブは、「ヘッドルームがあるか?」 「ハードウェアは健全か?」といった疑問に答えるもので、リザーブドキャパシティと比較した実際の使用率が表示されています。

キャパシティの状態

[パフォーマンス] タブと同様のハニカム形式の可視化表示で、インスタンス、IC コピー、およびエンドポイントのアラーム状態を示します。

キャパシティ状態がハニカム形式で表示され、AZ 別アラーム状態を示しています。
インスタンスキャパシティテーブル

GPU、GPU メモリ、CPU、メモリ、およびディスクのインスタンスあたりの使用率バー。

GPU、GPU メモリ、CPU、メモリ、およびディスク使用率を示すインスタンスキャパシティテーブル。
フリート使用率

インスタンスごとの CPU、GPU、GPU メモリ、メモリ、およびディスク使用率を示す時系列データ (インスタンス、IC コピー、およびエンドポイントの各ビューを切り替えるトグル機能付き)。

インスタンスあたりの CPU、GPU、GPU メモリ、メモリ、及びディスク使用率の経時的推移を示すフリート使用率グラフ。

[信頼性] タブ

[信頼性] タブは、「回復力はあるか?」 「スケーリングに失敗したのはなぜか?」といった疑問に答えるもので、AZ 分散、スケーリング動作、およびプロビジョニングイベントに関する情報を確認できます。

アベイラビリティーゾーンの分散

高可用性 (HA) コンプライアンスを検証するための、AZ あたりのインスタンスまたは IC コピー数を示す棒グラフ。

アベイラビリティーゾーン分散を可視化できる棒グラフで、AZ あたりのインスタンス数を示します。
コールドスタート構造

プロビジョニング時間の内訳 (モデルのダウンロード、GPU の読み込み、コンテナの起動、およびプラットフォームのオーバーヘッド) を示す水平積み上げバー (IC エンドポイントのみ)。

モデルのダウンロード、GPU の読み込み、コンテナの起動、およびプラットフォームのオーバーヘッドを示すコールドスタート構造。
ICE 診断

容量不足エラー (ICE) 数の経時的推移と、エンドポイント、失敗したインスタンスタイプ、および失敗した AZ を表示するイベントテーブル。ゼロ以外の値は、容量の制約を示しています。

ICE 数の経時的推移とイベントテーブルを示す ICE 診断パネル。