对 SageMaker AI Insights 进行故障排除
以下各节描述了 CloudWatch SageMaker AI Insights 控制面板的常见问题和解决方案。如果您的问题未在此处列出,请确认您的端点是否为 InService,并检查您的账户中是否启用了 OTel 充实功能。
对于所有面板,控制面板均显示“无数据”
原因:您的账户中未启用 OTel 充实功能。
解决方法:
打开 CloudWatch 控制台,然后选择设置。
启用 OTel 指标充实功能。
启用遥测数据资源标签功能。
等待 2–3 分钟,让指标开始流动。
或者,使用以下 AWS CLI 命令启用 OTel 扩展。
aws cloudwatch start-otel-enrichment aws observabilityadmin start-telemetry-enrichment
TTFT、TPS 和 KV 缓存列显示为短横线
原因:这些指标仅适用于使用 vLLM 或 SGLang 框架的端点。使用其他框架(TensorRT‐LLM、自定义容器)的端点不会发出这些指标。
解决方案:无需采取任何措施:这是预期的行为。
SageMaker AI Insights 重定向到数据库洞察
原因:某些账户存在已知问题。
解决方法:在重定向的 URL 中,将 instances 替换为 endpoints。控制面板随即将正确加载。
控制面板已加载但显示 0 次调用
原因:端点处于 InService 状态但未接收流量,或者所选时间范围没有调用。
解决方法:
向端点发送测试调用。
将时间范围调整为流量活跃的周期。
指标显示在 CloudWatch 中,但未显示在 SageMaker AI Insights 中
原因:EnableDetailedObservability 在端点配置上可能未设置为 true。
解决方案:使用以下命令验证端点配置。
aws sagemaker describe-endpoint-config --endpoint-config-namename# Look for "EnableDetailedObservability": true
扩缩事件表为空
原因:未配置应用程序 Auto Scaling,或者在所选时间范围内未发生任何扩缩事件。
解决方法:
为您的端点配置自动扩缩策略。
调整时间范围以包括发生扩缩事件的周期。