SageMaker AI Insights 문제 해결
다음 섹션에서는 CloudWatch SageMaker AI Insights 대시보드의 일반적인 문제와 해결 방법을 설명합니다. 문제가 여기에 나열되지 않은 경우 엔드포인트가 InService이고 계정에서 OTel 보강이 활성화되어 있는지 확인합니다.
대시보드에 모든 패널에 대한 "데이터 없음"이 표시됨
원인: 계정에서 OTel 보강이 활성화되지 않았습니다.
해결 방법:
CloudWatch 콘솔을 열고 설정을 선택합니다.
OTel 지표 보강을 활성화합니다.
원격 측정을 위한 리소스 태그를 활성화합니다.
지표가 흐르기 시작할 때까지 2~3분 정도 기다립니다.
또는 다음 AWS CLI 명령을 사용하여 OTel 보강을 활성화합니다.
aws cloudwatch start-otel-enrichment aws observabilityadmin start-telemetry-enrichment
TTFT, TPS 및 KV 캐시 열에 대시가 표시됨
원인: 이러한 지표는 vLLM 또는 SGLang 프레임워크를 사용하는 엔드포인트에서만 사용할 수 있습니다. 다른 프레임워크(TensorRT‐LLM, 사용자 지정 컨테이너)를 사용하는 엔드포인트는 이러한 지표를 내보내지 않습니다.
해결 방법: 조치가 필요하지 않습니다. 이는 예상되는 동작입니다.
SageMaker AI Insights에서 Database Insights로 리디렉션
원인: 일부 계정에서 알려진 문제입니다.
해결 방법: 리디렉션된 URL에서 instances를 endpoints로 바꿉니다. 그러면 대시보드가 올바르게 로드됩니다.
대시보드가 로드되지만 0개의 호출이 표시됨
원인: 엔드포인트가 InService이지만 트래픽을 수신하지 않거나 선택한 시간 범위에 호출이 없습니다.
해결 방법:
엔드포인트로 테스트 호출을 전송합니다.
시간 범위를 트래픽이 활성화된 기간으로 조정합니다.
지표가 CloudWatch에는 표시되지만 SageMaker AI Insights에는 표시되지 않음
원인: 엔드포인트 구성에서 EnableDetailedObservability가 true로 설정되지 않았을 수 있습니다.
해결 방법: 다음 명령을 사용하여 엔드포인트 구성을 확인합니다.
aws sagemaker describe-endpoint-config --endpoint-config-namename# Look for "EnableDetailedObservability": true
조정 이벤트 테이블이 비어 있음
원인: Application Auto Scaling이 구성되지 않거나 선택한 시간 범위에서 조정 이벤트가 발생하지 않았습니다.
해결 방법:
엔드포인트에 대한 Auto Scaling 정책을 구성합니다.
조정 이벤트가 발생한 기간을 포함하도록 시간 범위를 조정합니다.
