View a markdown version of this page

CloudWatch SageMaker AI Insights - Amazon CloudWatch
주요 기능아키텍처 및 데이터 흐름액세스하는 방법사전 조건가격 책정

CloudWatch SageMaker AI Insights

CloudWatch SageMaker AI Insights를 사용하여 SageMaker AI 추론 엔드포인트를 대규모로 모니터링하고 문제를 해결합니다. 대시보드는 성능, 용량 및 신뢰성이라는 3가지 뷰에 대해 선별된 지표와 시각화를 표시하므로 문제를 신속하게 식별하고 리소스 사용률을 최적화하며 엔드포인트 전반에서 고가용성을 보장할 수 있습니다.

SageMaker AI Insights는 엔드포인트 유형(단일 모델 엔드포인트 및 추론 구성 요소(IC) 기반 엔드포인트) 및 추론 프레임워크(vLLM, SGLang, TensorRT‐LLM) 전반의 모니터링을 지원합니다.

SageMaker AI Insights를 시작하려면 다음 주제를 참조하세요.

주제

주요 기능

  • OpenTelemetry - 네이티브 수집. 지표는 DCGM(GPU 지표), 노드 내보내기(CPU, 메모리, 디스크), 추론 프레임워크 컨테이너(vLLM, SGLang)에서 Prometheus 엔드포인트를 스크레이프하는 OTel Collector를 사용하여 수집됩니다.

  • 풍부한 차원 레이블. 모든 지표에는 aws.sagemaker.endpoint.name, aws.sagemaker.inference_component.name, @resource.host.id, @resource.cloud.availability_zone, @resource.host.type 등의 레이블이 포함됩니다.

  • GPU당 속성. GPU 지표(DCGM)에는 다중 테넌트 인스턴스에 대한 추론 구성 요소별 속성이 포함됩니다.

  • 추론 프레임워크 지표. 기본 vLLM 및 SGLang 지표 - 사용자 지정 계측 없이 초당 토큰 수, 첫 번째 토큰까지의 시간(TTFT), 토큰 간 지연 시간, KV 캐시 사용률, 대기열 깊이, 배치 크기를 제공합니다.

  • PromQL 쿼리 지원. CloudWatch, CloudWatch Query Studio 또는 Amazon Managed Grafana에서 쿼리합니다.

  • 구성 가능한 스크레이프 빈도. MetricPublishFrequencyInSeconds를 통해 설정합니다(10, 30, 60, 120, 180, 240 또는 300초, 기본값 60). 컨트롤 플레인 지표는 이벤트 기반입니다.

아키텍처 및 데이터 흐름

  1. 모델 컨테이너, DCGM 내보내기 및 노드 내보내기는 인스턴스에서 Prometheus 호환 지표를 노출합니다.

  2. OTel Collector는 이러한 엔드포인트를 스크레이프하고 레이블(엔드포인트 이름, IC 이름, 인스턴스 ID, AZ)로 각 지표를 보강합니다.

  3. 보강된 지표는 OTLP를 통해 CloudWatch로 내보내집니다.

  4. 지표는 CloudWatch의 PromQL을 통해 쿼리할 수 있습니다.

┌─────────────────────────────────────────────────────────────────┐
│  SageMaker Endpoint Instance                                      │
│                                                                   │
│  ┌──────────────┐  ┌──────────────┐  ┌──────────────────────┐    │
│  │ Model        │  │ DCGM         │  │ Node Exporter        │    │
│  │ Container    │  │ Exporter     │  │ (CPU/Mem/Disk)       │    │
│  │ (vLLM/SGLang)│  │ (GPU)        │  │                      │    │
│  └──────┬───────┘  └──────┬───────┘  └──────────┬───────────┘    │
│         │                 │                     │                 │
│         └─────────────────┼─────────────────────┘                 │
│                           ▼                                       │
│              ┌─────────────────────────┐                          │
│              │   OTel Collector        │                          │
│              │   (scrape + enrich)     │                          │
│              └────────────┬────────────┘                          │
└───────────────────────────┼───────────────────────────────────────┘
                            │ OTLP
                            ▼
              ┌─────────────────────────┐
              │   Amazon CloudWatch     │
              │   (PromQL-queryable)    │
              └─────────────────────────┘

액세스하는 방법

다음 경로 중 하나를 사용하여 SageMaker AI 콘솔에서 SageMaker AI Insights를 열 수 있습니다.

소스 작업 Destination
SageMaker AI 콘솔 → 엔드포인트 목록 SageMaker AI Insights 열기를 선택합니다. 플릿 수준 대시보드(필터 없음)
SageMaker AI 콘솔 → 엔드포인트 세부 정보 페이지 SageMaker AI Insights에서 보기 선택 해당 엔드포인트로 필터링된 대시보드
SageMaker AI 콘솔 → IC 탭 → IC별 행 지표 선택 엔드포인트 및 추론 구성 요소로 필터링된 대시보드

인프라 모니터링 → SageMaker AI Insights를 선택하여 CloudWatch 콘솔을 통해 직접 탐색할 수도 있습니다.

사전 조건

  • InService 상태의 하나 이상의 SageMaker AI 추론 엔드포인트

  • 엔드포인트 구성에서 EnableDetailedObservability를 true로 설정(새 엔드포인트의 경우 기본값)

  • 계정에서 활성화된 OTel 보강

  • cloudwatch:GetMetricData 및 cloudwatch:ListMetrics IAM 권한

자세한 내용은 CloudWatch SageMaker AI Insights 시작하기 섹션을 참조하세요.

가격 책정

CloudWatch OpenTelemetry 지표 수집이 적용됩니다. 자세한 내용은 Amazon CloudWatch 요금을 참조하세요.