View a markdown version of this page

对 SageMaker AI Insights 进行故障排除 - Amazon CloudWatch

对 SageMaker AI Insights 进行故障排除

以下各节描述了 CloudWatch SageMaker AI Insights 控制面板的常见问题和解决方案。如果您的问题未在此处列出,请确认您的端点是否为 InService,并检查您的账户中是否启用了 OTel 充实功能。

对于所有面板,控制面板均显示“无数据”

原因:您的账户中未启用 OTel 充实功能。

解决方法:

  1. 打开 CloudWatch 控制台,然后选择设置

  2. 启用 OTel 指标充实功能。

  3. 启用遥测数据资源标签功能。

  4. 等待 2–3 分钟,让指标开始流动。

或者,使用以下 AWS CLI 命令启用 OTel 扩展。

aws cloudwatch start-otel-enrichment aws observabilityadmin start-telemetry-enrichment

TTFT、TPS 和 KV 缓存列显示为短横线

原因:这些指标仅适用于使用 vLLM 或 SGLang 框架的端点。使用其他框架(TensorRT‐LLM、自定义容器)的端点不会发出这些指标。

解决方案:无需采取任何措施:这是预期的行为。

SageMaker AI Insights 重定向到数据库洞察

原因:某些账户存在已知问题。

解决方法:在重定向的 URL 中,将 instances 替换为 endpoints。控制面板随即将正确加载。

控制面板已加载但显示 0 次调用

原因:端点处于 InService 状态但未接收流量,或者所选时间范围没有调用。

解决方法:

  • 向端点发送测试调用。

  • 将时间范围调整为流量活跃的周期。

指标显示在 CloudWatch 中,但未显示在 SageMaker AI Insights 中

原因:EnableDetailedObservability 在端点配置上可能未设置为 true

解决方案:使用以下命令验证端点配置。

aws sagemaker describe-endpoint-config --endpoint-config-name name # Look for "EnableDetailedObservability": true

扩缩事件表为空

原因:未配置应用程序 Auto Scaling,或者在所选时间范围内未发生任何扩缩事件。

解决方法:

  • 为您的端点配置自动扩缩策略。

  • 调整时间范围以包括发生扩缩事件的周期。