# CloudWatch SageMaker AI Insights
CloudWatch SageMaker AI Insights를 사용하여 SageMaker AI 추론 엔드포인트를 대규모로 모니터링하고 문제를 해결합니다. 대시보드는 **성능**, **용량** 및 **신뢰성**이라는 3가지 뷰에 대해 선별된 지표와 시각화를 표시하므로 문제를 신속하게 식별하고 리소스 사용률을 최적화하며 엔드포인트 전반에서 고가용성을 보장할 수 있습니다.
SageMaker AI Insights는 엔드포인트 유형(단일 모델 엔드포인트 및 추론 구성 요소(IC) 기반 엔드포인트) 및 추론 프레임워크(vLLM, SGLang, TensorRT‐LLM) 전반의 모니터링을 지원합니다.
SageMaker AI Insights를 시작하려면 다음 주제를 참조하세요.
**주제**
+ [CloudWatch SageMaker AI Insights 시작하기](SageMaker-AI-Insights-Get-Started.md)
+ [SageMaker AI Insights 대시보드](SageMaker-AI-Insights-Dashboard.md)
+ [SageMaker AI Insights OpenTelemetry 지표 참조](SageMaker-AI-Insights-Metrics.md)
+ [SageMaker AI Insights 문제 해결](SageMaker-AI-Insights-Troubleshooting.md)
## 주요 기능
+ **OpenTelemetry - 네이티브 수집.** 지표는 DCGM(GPU 지표), 노드 내보내기(CPU, 메모리, 디스크), 추론 프레임워크 컨테이너(vLLM, SGLang)에서 Prometheus 엔드포인트를 스크레이프하는 OTel Collector를 사용하여 수집됩니다.
+ **풍부한 차원 레이블.** 모든 지표에는 `aws.sagemaker.endpoint.name`, `aws.sagemaker.inference_component.name`, `@resource.host.id`, `@resource.cloud.availability_zone`, `@resource.host.type` 등의 레이블이 포함됩니다.
+ **GPU당 속성.** GPU 지표(DCGM)에는 다중 테넌트 인스턴스에 대한 추론 구성 요소별 속성이 포함됩니다.
+ **추론 프레임워크 지표.** 기본 vLLM 및 SGLang 지표 - 사용자 지정 계측 없이 초당 토큰 수, 첫 번째 토큰까지의 시간(TTFT), 토큰 간 지연 시간, KV 캐시 사용률, 대기열 깊이, 배치 크기를 제공합니다.
+ **PromQL 쿼리 지원.** CloudWatch, CloudWatch Query Studio 또는 Amazon Managed Grafana에서 쿼리합니다.
+ **구성 가능한 스크레이프 빈도.** `MetricPublishFrequencyInSeconds`를 통해 설정합니다(10, 30, 60, 120, 180, 240 또는 300초, 기본값 60). 컨트롤 플레인 지표는 이벤트 기반입니다.
## 아키텍처 및 데이터 흐름
1. **모델 컨테이너**, **DCGM 내보내기** 및 **노드 내보내기**는 인스턴스에서 Prometheus 호환 지표를 노출합니다.
1. **OTel Collector**는 이러한 엔드포인트를 스크레이프하고 레이블(엔드포인트 이름, IC 이름, 인스턴스 ID, AZ)로 각 지표를 보강합니다.
1. 보강된 지표는 **OTLP를 통해 CloudWatch로 내보내집니다**.
1. 지표는 CloudWatch의 **PromQL을 통해 쿼리할 수 있습니다**.
```
┌─────────────────────────────────────────────────────────────────┐
│ SageMaker Endpoint Instance │
│ │
│ ┌──────────────┐ ┌──────────────┐ ┌──────────────────────┐ │
│ │ Model │ │ DCGM │ │ Node Exporter │ │
│ │ Container │ │ Exporter │ │ (CPU/Mem/Disk) │ │
│ │ (vLLM/SGLang)│ │ (GPU) │ │ │ │
│ └──────┬───────┘ └──────┬───────┘ └──────────┬───────────┘ │
│ │ │ │ │
│ └─────────────────┼─────────────────────┘ │
│ ▼ │
│ ┌─────────────────────────┐ │
│ │ OTel Collector │ │
│ │ (scrape + enrich) │ │
│ └────────────┬────────────┘ │
└───────────────────────────┼───────────────────────────────────────┘
│ OTLP
▼
┌─────────────────────────┐
│ Amazon CloudWatch │
│ (PromQL-queryable) │
└─────────────────────────┘
```
## 액세스하는 방법
다음 경로 중 하나를 사용하여 SageMaker AI 콘솔에서 SageMaker AI Insights를 열 수 있습니다.
| 소스 | 작업 | Destination |
| --- | --- | --- |
| SageMaker AI 콘솔 → 엔드포인트 목록 | SageMaker AI Insights 열기를 선택합니다. | 플릿 수준 대시보드(필터 없음) |
| SageMaker AI 콘솔 → 엔드포인트 세부 정보 페이지 | SageMaker AI Insights에서 보기 선택 | 해당 엔드포인트로 필터링된 대시보드 |
| SageMaker AI 콘솔 → IC 탭 → IC별 행 | 지표 선택 | 엔드포인트 및 추론 구성 요소로 필터링된 대시보드 |
**인프라 모니터링** → **SageMaker AI Insights**를 선택하여 CloudWatch 콘솔을 통해 직접 탐색할 수도 있습니다.
## 사전 조건
+ `InService` 상태의 하나 이상의 SageMaker AI 추론 엔드포인트
+ 엔드포인트 구성에서 `EnableDetailedObservability`를 `true`로 설정(새 엔드포인트의 경우 기본값)
+ 계정에서 활성화된 OTel 보강
+ `cloudwatch:GetMetricData` 및 `cloudwatch:ListMetrics` IAM 권한
자세한 내용은 [CloudWatch SageMaker AI Insights 시작하기](SageMaker-AI-Insights-Get-Started.md) 섹션을 참조하세요.
## 가격 책정
CloudWatch OpenTelemetry 지표 수집이 적용됩니다. 자세한 내용은 [Amazon CloudWatch 요금](https://aws.amazon.com/cloudwatch/pricing/)을 참조하세요.