# SageMaker AI Insights 대시보드
<a name="SageMaker-AI-Insights-Dashboard"></a>

SageMaker AI Insights 대시보드는 **성능**, **용량** 및 **신뢰성**이라는 3가지 탭으로 구성되어 있습니다. 각 탭은 추론 엔드포인트 상태를 집중적으로 보여줍니다.

## 대시보드 레이아웃
<a name="SageMaker-AI-Insights-Dashboard-layout"></a>

### 요약 표시줄
<a name="SageMaker-AI-Insights-Dashboard-summary-bar"></a>

대시보드 상단의 요약 표시줄에는 플릿 전체 합계가 표시됩니다.

![호출, 인스턴스, 추론 구성 요소 및 평균 AZ 편차를 보여주는 요약 표시줄이 있는 SageMaker AI Insights 대시보드 헤더입니다.](http://docs.aws.amazon.com/ko_kr/AmazonCloudWatch/latest/monitoring/images/smai_New_Insights_Dashbaord.png)



| 지표 | 설명 | 
| --- | --- | 
| Invocations | 선택한 시간 범위의 모든 엔드포인트에 대한 총 호출 | 
| 인스턴스 | 현재 트래픽을 처리하는 총 인스턴스 수 | 
| 추론 구성 요소 | 모든 엔드포인트의 총 추론 구성 요소 수 | 
| 평균 AZ 편차 | 평균 가용 영역 분포 불균형(0% = 완벽하게 균형 유지) | 

### 필터 패널
<a name="SageMaker-AI-Insights-Dashboard-filters"></a>


| 필터 | 설명 | 
| --- | --- | 
| 엔드포인트 | 플릿 뷰에 대한 특정 엔드포인트 또는 모든 엔드포인트 선택 | 
| Instance | 특정 인스턴스 선택(먼저 선택한 엔드포인트 필요) | 
| 추론 구성 요소 | 세분화된 필터링을 위한 특정 IC 선택 | 

### 드릴다운
<a name="SageMaker-AI-Insights-Dashboard-drill-down"></a>

SageMaker AI Insights는 점진적 드릴다운을 지원합니다.

1. **플릿 수준**(기본값) - 모든 엔드포인트가 표시되고 요약 지표가 집계됨

1. **엔드포인트 수준** - 필터 패널에서 엔드포인트를 선택하거나 테이블에서 엔드포인트 링크를 선택합니다.

1. **IC 수준** - 필터 패널에서 추론 구성 요소 선택

### SageMaker AI 콘솔과의 교차 연결
<a name="SageMaker-AI-Insights-Dashboard-cross-linking"></a>
+ 엔드포인트 이름을 선택하여 SageMaker AI 콘솔에서 엔드포인트 세부 정보 페이지를 엽니다.
+ **로그 보기**를 선택하여 해당 엔드포인트 또는 IC로 필터링된 CloudWatch Logs를 엽니다.
+ SageMaker AI 콘솔에서 ** SageMaker AI Insights에서 보기**를 선택하거나 IC당 행에 대한 **지표**를 선택합니다.

## 대시보드 액세스
<a name="SageMaker-AI-Insights-Dashboard-accessing"></a>

콘솔의 여러 위치에서 SageMaker AI Insights 대시보드에 액세스할 수 있습니다.
+ **엔드포인트 목록 페이지에서:** **SageMaker AI Insights에서 보기**를 선택하여 적용된 필터 없이 플릿 수준에서 대시보드를 엽니다.  
![SageMaker AI Insights에서 보기 버튼을 보여주는 엔드포인트 목록 페이지입니다.](http://docs.aws.amazon.com/ko_kr/AmazonCloudWatch/latest/monitoring/images/smai_Observability_Enabled_page.png)
+ **엔드포인트 세부 정보 페이지에서:** **SageMaker AI Insights에서 보기**를 선택하여 해당 엔드포인트로 필터링된 대시보드를 엽니다.  
![SageMaker AI Insights에서 보기 버튼을 보여주는 엔드포인트 세부 정보 페이지입니다.](http://docs.aws.amazon.com/ko_kr/AmazonCloudWatch/latest/monitoring/images/smai_Endpoint_detail_page.png)
+ **추론 구성 요소 세부 정보 페이지에서:** **SageMaker AI Insights에서 보기**를 선택하여 해당 엔드포인트 및 추론 구성 요소로 필터링된 대시보드를 엽니다.  
![SageMaker AI Insights에서 보기 버튼을 보여주는 추론 구성 요소 세부 정보 페이지입니다.](http://docs.aws.amazon.com/ko_kr/AmazonCloudWatch/latest/monitoring/images/smai_IC_Detaild_page.png)
+ **직접 탐색:** CloudWatch 콘솔 → **인프라 모니터링** → **SageMaker AI Insights**.

## 성능 탭
<a name="SageMaker-AI-Insights-Dashboard-performance"></a>

**성능** 탭에서는 "정상인가요?" 및 "속도가 느린 이유는 무엇인가요?"에 대한 답변을 확인할 수 있으며, 상단에는 플릿 전체 상태에 대한 정보가 표시되고 하단에는 IC별 진단이 표시됩니다.

성능 상태  
인스턴스, IC 복사본 및 엔드포인트에 대한 경보 상태를 한눈에 보여주는 AZ별로 그룹화된 Honeycombs입니다.  

![AZ별 경보 상태를 보여주는 성능 상태 honeycombs입니다.](http://docs.aws.amazon.com/ko_kr/AmazonCloudWatch/latest/monitoring/images/smai_Performance_health_AZ_honey_comb.png)


인스턴스 성능 테이블  
TTFT(P50/P99), 출력 TPS(평균/최대), 동시 요청(실시간/최대) 및 KV 캐시 사용률을 보여주는 인스턴스당 분석입니다.  

![TTFT, 출력 TPS, 동시 요청 및 KV 캐시를 보여주는 인스턴스 성능 테이블입니다.](http://docs.aws.amazon.com/ko_kr/AmazonCloudWatch/latest/monitoring/images/smai_Instance_health_performance_tab.png)


토큰 스트리밍  
프레임워크별로 구분된 P50/P99 토글이 있는 TTFT 및 토큰 간 지연 시간(ITL)을 보여주는 시계열 차트입니다.  

![시간 경과에 따른 TTFT 및 ITL P50/P99를 보여주는 토큰 스트리밍 차트입니다.](http://docs.aws.amazon.com/ko_kr/AmazonCloudWatch/latest/monitoring/images/smai_Token_streaming.png)


토큰 처리량  
입력/출력, 백분위수, 인스턴스당 뷰 토글을 사용한 프레임워크별 초당 입력 및 출력 토큰입니다.  

![초당 입력 및 출력 토큰을 보여주는 토큰 처리량 차트입니다.](http://docs.aws.amazon.com/ko_kr/AmazonCloudWatch/latest/monitoring/images/smai_Token_throughput.png)


엔진 및 요청 압력  
KV 캐시 사용률(%), 실행 중인 요청 및 시간 경과에 따른 대기 요청 등 추론 엔진에 대한 주요 포화 신호입니다.  

![KV 캐시, 실행 중인 요청 및 대기 중인 요청을 보여주는 엔진 및 요청 압력 패널입니다.](http://docs.aws.amazon.com/ko_kr/AmazonCloudWatch/latest/monitoring/images/smai_Engine_and_request_pressure.png)


트래픽 분산  
라우팅 불균형을 식별하기 위한 분당 호출, 4XX 비율 및 5XX 비율을 보여주는 인스턴스당 또는 IC당 복사 테이블입니다.  

![인스턴스별 분당 호출, 4XX 속도 및 5XX 속도를 보여주는 트래픽 분산 테이블입니다.](http://docs.aws.amazon.com/ko_kr/AmazonCloudWatch/latest/monitoring/images/smai_Traffic_distribution.png)


시간 경과에 따른 오류 혼합  
IC당 시간 경과에 따른 4XX, 5XX 및 미드스트림 오류율을 보여주는 선 차트입니다.  

![4XX, 5XX 및 미드스트림 오류를 보여주는 시간 경과에 따른 오류 혼합 선 차트입니다.](http://docs.aws.amazon.com/ko_kr/AmazonCloudWatch/latest/monitoring/images/smai_Error_mix_over_time.png)


시간 경과에 따른 지연 시간 분석  
P50/P90 토글을 사용하여 호출(모델 지연 시간 \+ 오버헤드 지연 시간) 및 스트리밍(첫 번째 청크 모델 \+ 첫 번째 청크 오버헤드)에 대한 탭이 있는 누적 영역 차트입니다.  

![모델 지연 시간 및 오버헤드 지연 시간을 보여주는 시간 경과에 따른 지연 시간 분석 누적 영역 차트입니다.](http://docs.aws.amazon.com/ko_kr/AmazonCloudWatch/latest/monitoring/images/smai_Latency_breakdown_over_time.png)


## 용량 탭
<a name="SageMaker-AI-Insights-Dashboard-capacity"></a>

**용량** 탭에서는 "헤드룸이 있나요?" 및 "내 하드웨어가 정상인가요?"에 대한 답변을 확인할 수 있으며, 예약 용량과 비교하여 실제 사용률을 보여줍니다.

용량 상태  
인스턴스, IC 복사본 및 엔드포인트에 대한 경보 상태를 보여주는 **성능** 탭과 동일한 honeycomb 시각화입니다.  

![AZ별 경보 상태를 보여주는 용량 상태 honeycombs입니다.](http://docs.aws.amazon.com/ko_kr/AmazonCloudWatch/latest/monitoring/images/smai_Capacity_health_honey_comb.png)


인스턴스 용량 테이블  
GPU, GPU 메모리, CPU, 메모리 및 디스크의 인스턴스당 사용률 막대입니다.  

![GPU, GPU 메모리, CPU, 메모리 및 디스크 사용률을 보여주는 인스턴스 용량 테이블입니다.](http://docs.aws.amazon.com/ko_kr/AmazonCloudWatch/latest/monitoring/images/smai_Instance_health_capacity_tab.png)


플릿 사용률  
인스턴스, IC 복사본 및 엔드포인트 뷰에 대한 토글을 사용하여 인스턴스당 CPU, GPU, GPU 메모리, 메모리 및 디스크 사용률을 보여주는 시계열입니다.  

![시간 경과에 따른 인스턴스별 CPU, GPU, GPU 메모리, 메모리 및 디스크 사용률을 보여주는 플릿 사용률 차트입니다.](http://docs.aws.amazon.com/ko_kr/AmazonCloudWatch/latest/monitoring/images/smai_Fleet_Util.png)


## 신뢰성 탭
<a name="SageMaker-AI-Insights-Dashboard-reliability"></a>

**신뢰성** 탭에서는 "탄력적인가요?" 및 "조정이 실패한 이유는 무엇인가요?"에 대한 답변을 확인할 수 있으며, AZ 분산, 조정 동작 및 프로비저닝 이벤트를 다룹니다.

가용 영역 배포  
고가용성(HA) 규정 준수를 검증하기 위해 AZ당 인스턴스 또는 IC 복사 수를 보여주는 막대 차트입니다.  

![AZ당 인스턴스 수를 보여주는 가용 영역 분포 막대 차트입니다.](http://docs.aws.amazon.com/ko_kr/AmazonCloudWatch/latest/monitoring/images/smai_AZ_distribution.png)


콜드 스타트 구조  
프로비저닝 시간을 모델 다운로드, GPU 로드, 컨테이너 시작 및 플랫폼 오버헤드(IC 엔드포인트만 해당)로 분류한 수평 스택 막대입니다.  

![모델 다운로드, GPU 로드, 컨테이너 시작 및 플랫폼 오버헤드를 보여주는 콜드 스타트 구조입니다.](http://docs.aws.amazon.com/ko_kr/AmazonCloudWatch/latest/monitoring/images/smai_Cold_start_anatomy.png)


ICE 진단  
시간, 엔드포인트, 실패한 인스턴스 유형 및 실패한 AZ를 보여주는 이벤트 테이블과 시간 경과에 따른 용량 부족 오류(ICE) 수입니다. 0이 아닌 값은 용량 제약 조건을 나타냅니다.  

![시간 경과에 따른 ICE 수와 이벤트 테이블을 보여주는 ICE 진단 패널입니다.](http://docs.aws.amazon.com/ko_kr/AmazonCloudWatch/latest/monitoring/images/smai_ICE_events.png)