View a markdown version of this page

SageMaker AI Insights 대시보드 - Amazon CloudWatch
대시보드 레이아웃대시보드 액세스성능 탭용량 탭신뢰성 탭

SageMaker AI Insights 대시보드

SageMaker AI Insights 대시보드는 성능, 용량 및 신뢰성이라는 3가지 탭으로 구성되어 있습니다. 각 탭은 추론 엔드포인트 상태를 집중적으로 보여줍니다.

대시보드 레이아웃

요약 표시줄

대시보드 상단의 요약 표시줄에는 플릿 전체 합계가 표시됩니다.

호출, 인스턴스, 추론 구성 요소 및 평균 AZ 편차를 보여주는 요약 표시줄이 있는 SageMaker AI Insights 대시보드 헤더입니다.
지표설명
Invocations선택한 시간 범위의 모든 엔드포인트에 대한 총 호출
인스턴스현재 트래픽을 처리하는 총 인스턴스 수
추론 구성 요소모든 엔드포인트의 총 추론 구성 요소 수
평균 AZ 편차평균 가용 영역 분포 불균형(0% = 완벽하게 균형 유지)

필터 패널

필터설명
엔드포인트플릿 뷰에 대한 특정 엔드포인트 또는 모든 엔드포인트 선택
Instance특정 인스턴스 선택(먼저 선택한 엔드포인트 필요)
추론 구성 요소세분화된 필터링을 위한 특정 IC 선택

드릴다운

SageMaker AI Insights는 점진적 드릴다운을 지원합니다.

  1. 플릿 수준(기본값) - 모든 엔드포인트가 표시되고 요약 지표가 집계됨

  2. 엔드포인트 수준 - 필터 패널에서 엔드포인트를 선택하거나 테이블에서 엔드포인트 링크를 선택합니다.

  3. IC 수준 - 필터 패널에서 추론 구성 요소 선택

SageMaker AI 콘솔과의 교차 연결

  • 엔드포인트 이름을 선택하여 SageMaker AI 콘솔에서 엔드포인트 세부 정보 페이지를 엽니다.

  • 로그 보기를 선택하여 해당 엔드포인트 또는 IC로 필터링된 CloudWatch Logs를 엽니다.

  • SageMaker AI 콘솔에서 SageMaker AI Insights에서 보기를 선택하거나 IC당 행에 대한 지표를 선택합니다.

대시보드 액세스

콘솔의 여러 위치에서 SageMaker AI Insights 대시보드에 액세스할 수 있습니다.

  • 엔드포인트 목록 페이지에서: SageMaker AI Insights에서 보기를 선택하여 적용된 필터 없이 플릿 수준에서 대시보드를 엽니다.

    SageMaker AI Insights에서 보기 버튼을 보여주는 엔드포인트 목록 페이지입니다.

  • 엔드포인트 세부 정보 페이지에서: SageMaker AI Insights에서 보기를 선택하여 해당 엔드포인트로 필터링된 대시보드를 엽니다.

    SageMaker AI Insights에서 보기 버튼을 보여주는 엔드포인트 세부 정보 페이지입니다.

  • 추론 구성 요소 세부 정보 페이지에서: SageMaker AI Insights에서 보기를 선택하여 해당 엔드포인트 및 추론 구성 요소로 필터링된 대시보드를 엽니다.

    SageMaker AI Insights에서 보기 버튼을 보여주는 추론 구성 요소 세부 정보 페이지입니다.

  • 직접 탐색: CloudWatch 콘솔 → 인프라 모니터링 → SageMaker AI Insights.

성능 탭

성능 탭에서는 "정상인가요?" 및 "속도가 느린 이유는 무엇인가요?"에 대한 답변을 확인할 수 있으며, 상단에는 플릿 전체 상태에 대한 정보가 표시되고 하단에는 IC별 진단이 표시됩니다.

성능 상태

인스턴스, IC 복사본 및 엔드포인트에 대한 경보 상태를 한눈에 보여주는 AZ별로 그룹화된 Honeycombs입니다.

AZ별 경보 상태를 보여주는 성능 상태 honeycombs입니다.
인스턴스 성능 테이블

TTFT(P50/P99), 출력 TPS(평균/최대), 동시 요청(실시간/최대) 및 KV 캐시 사용률을 보여주는 인스턴스당 분석입니다.

TTFT, 출력 TPS, 동시 요청 및 KV 캐시를 보여주는 인스턴스 성능 테이블입니다.
토큰 스트리밍

프레임워크별로 구분된 P50/P99 토글이 있는 TTFT 및 토큰 간 지연 시간(ITL)을 보여주는 시계열 차트입니다.

시간 경과에 따른 TTFT 및 ITL P50/P99를 보여주는 토큰 스트리밍 차트입니다.
토큰 처리량

입력/출력, 백분위수, 인스턴스당 뷰 토글을 사용한 프레임워크별 초당 입력 및 출력 토큰입니다.

초당 입력 및 출력 토큰을 보여주는 토큰 처리량 차트입니다.
엔진 및 요청 압력

KV 캐시 사용률(%), 실행 중인 요청 및 시간 경과에 따른 대기 요청 등 추론 엔진에 대한 주요 포화 신호입니다.

KV 캐시, 실행 중인 요청 및 대기 중인 요청을 보여주는 엔진 및 요청 압력 패널입니다.
트래픽 분산

라우팅 불균형을 식별하기 위한 분당 호출, 4XX 비율 및 5XX 비율을 보여주는 인스턴스당 또는 IC당 복사 테이블입니다.

인스턴스별 분당 호출, 4XX 속도 및 5XX 속도를 보여주는 트래픽 분산 테이블입니다.
시간 경과에 따른 오류 혼합

IC당 시간 경과에 따른 4XX, 5XX 및 미드스트림 오류율을 보여주는 선 차트입니다.

4XX, 5XX 및 미드스트림 오류를 보여주는 시간 경과에 따른 오류 혼합 선 차트입니다.
시간 경과에 따른 지연 시간 분석

P50/P90 토글을 사용하여 호출(모델 지연 시간 + 오버헤드 지연 시간) 및 스트리밍(첫 번째 청크 모델 + 첫 번째 청크 오버헤드)에 대한 탭이 있는 누적 영역 차트입니다.

모델 지연 시간 및 오버헤드 지연 시간을 보여주는 시간 경과에 따른 지연 시간 분석 누적 영역 차트입니다.

용량 탭

용량 탭에서는 "헤드룸이 있나요?" 및 "내 하드웨어가 정상인가요?"에 대한 답변을 확인할 수 있으며, 예약 용량과 비교하여 실제 사용률을 보여줍니다.

용량 상태

인스턴스, IC 복사본 및 엔드포인트에 대한 경보 상태를 보여주는 성능 탭과 동일한 honeycomb 시각화입니다.

AZ별 경보 상태를 보여주는 용량 상태 honeycombs입니다.
인스턴스 용량 테이블

GPU, GPU 메모리, CPU, 메모리 및 디스크의 인스턴스당 사용률 막대입니다.

GPU, GPU 메모리, CPU, 메모리 및 디스크 사용률을 보여주는 인스턴스 용량 테이블입니다.
플릿 사용률

인스턴스, IC 복사본 및 엔드포인트 뷰에 대한 토글을 사용하여 인스턴스당 CPU, GPU, GPU 메모리, 메모리 및 디스크 사용률을 보여주는 시계열입니다.

시간 경과에 따른 인스턴스별 CPU, GPU, GPU 메모리, 메모리 및 디스크 사용률을 보여주는 플릿 사용률 차트입니다.

신뢰성 탭

신뢰성 탭에서는 "탄력적인가요?" 및 "조정이 실패한 이유는 무엇인가요?"에 대한 답변을 확인할 수 있으며, AZ 분산, 조정 동작 및 프로비저닝 이벤트를 다룹니다.

가용 영역 배포

고가용성(HA) 규정 준수를 검증하기 위해 AZ당 인스턴스 또는 IC 복사 수를 보여주는 막대 차트입니다.

AZ당 인스턴스 수를 보여주는 가용 영역 분포 막대 차트입니다.
콜드 스타트 구조

프로비저닝 시간을 모델 다운로드, GPU 로드, 컨테이너 시작 및 플랫폼 오버헤드(IC 엔드포인트만 해당)로 분류한 수평 스택 막대입니다.

모델 다운로드, GPU 로드, 컨테이너 시작 및 플랫폼 오버헤드를 보여주는 콜드 스타트 구조입니다.
ICE 진단

시간, 엔드포인트, 실패한 인스턴스 유형 및 실패한 AZ를 보여주는 이벤트 테이블과 시간 경과에 따른 용량 부족 오류(ICE) 수입니다. 0이 아닌 값은 용량 제약 조건을 나타냅니다.

시간 경과에 따른 ICE 수와 이벤트 테이블을 보여주는 ICE 진단 패널입니다.