View a markdown version of this page

CloudWatch SageMaker Wawasan AI - Amazon CloudWatch
Kemampuan kunciArsitektur dan aliran dataCara mengaksesPrasyaratHarga

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

CloudWatch SageMaker Wawasan AI

Gunakan CloudWatch SageMaker AI Insights untuk memantau dan memecahkan masalah titik akhir inferensi SageMaker AI dalam skala besar. Dasbor menampilkan metrik dan visualisasi yang dikurasi di tiga tampilan — Kinerja, Kapasitas, dan Keandalan — sehingga Anda dapat dengan cepat mengidentifikasi masalah, mengoptimalkan pemanfaatan sumber daya, dan memastikan ketersediaan tinggi di seluruh titik akhir Anda.

SageMaker AI Insights mendukung pemantauan di seluruh jenis titik akhir (titik akhir model tunggal dan titik akhir berbasis komponen inferensi (IC)) dan kerangka kerja inferensi (VllM, SGlang, Tensorrt-LLM).

Untuk memulai SageMaker AI Insights, lihat topik berikut.

Topik

Kemampuan kunci

  • OpenTelemetry-koleksi asli. Metrik dikumpulkan menggunakan Kolektor OTel yang mengikis titik akhir Prometheus dari DCGM (metrik GPU), eksportir node (CPU, memori, disk), dan wadah kerangka inferensi (VllM, SGLang).

  • Label dimensi kaya. Setiap metrik mencakup label sepertiaws.sagemaker.endpoint.name,aws.sagemaker.inference_component.name,@resource.host.id,@resource.cloud.availability_zone, dan@resource.host.type.

  • Atribusi per-GPU. Metrik GPU (DCGM) mencakup atribusi per-inferensi-komponen untuk instance multi-penyewa.

  • Metrik kerangka inferensi. Metrik VLLm dan SGLang asli — token per detik, token waktu ke pertama (TTFT), latensi antar-token, pemanfaatan cache KV, kedalaman antrian, ukuran batch — tanpa instrumentasi khusus.

  • Dukungan kueri PromQL. Kueri di CloudWatch, Studio CloudWatch Kueri, atau Grafana Terkelola Amazon.

  • Frekuensi gesekan yang dapat dikonfigurasi. Atur melalui MetricPublishFrequencyInSeconds (10, 30, 60, 120, 180, 240, atau 300 detik; default 60). Metrik bidang kontrol digerakkan oleh peristiwa.

Arsitektur dan aliran data

  1. Wadah model, eksportir DCGM, dan pengekspor node mengekspos metrik yang kompatibel dengan Prometheus pada instance.

  2. Kolektor OTel mengikis titik akhir ini dan memperkaya setiap metrik dengan label (nama titik akhir, nama IC, ID instance, AZ).

  3. Metrik yang diperkaya diekspor melalui OTLP ke. CloudWatch

  4. Metrik dapat ditanyakan melalui PromQL in. CloudWatch

┌─────────────────────────────────────────────────────────────────┐
│  SageMaker Endpoint Instance                                      │
│                                                                   │
│  ┌──────────────┐  ┌──────────────┐  ┌──────────────────────┐    │
│  │ Model        │  │ DCGM         │  │ Node Exporter        │    │
│  │ Container    │  │ Exporter     │  │ (CPU/Mem/Disk)       │    │
│  │ (vLLM/SGLang)│  │ (GPU)        │  │                      │    │
│  └──────┬───────┘  └──────┬───────┘  └──────────┬───────────┘    │
│         │                 │                     │                 │
│         └─────────────────┼─────────────────────┘                 │
│                           ▼                                       │
│              ┌─────────────────────────┐                          │
│              │   OTel Collector        │                          │
│              │   (scrape + enrich)     │                          │
│              └────────────┬────────────┘                          │
└───────────────────────────┼───────────────────────────────────────┘
                            │ OTLP
                            ▼
              ┌─────────────────────────┐
              │   Amazon CloudWatch     │
              │   (PromQL-queryable)    │
              └─────────────────────────┘

Cara mengakses

Anda dapat membuka SageMaker AI Insights dari konsol SageMaker AI dengan menggunakan salah satu jalur berikut.

Sumber Tindakan Destinasi
SageMaker Konsol AI → Daftar titik akhir Pilih Open SageMaker AI Insights Dasbor tingkat armada (tanpa filter)
SageMaker Konsol AI → halaman detail titik akhir Pilih Lihat di SageMaker AI Insights Dasbor difilter ke titik akhir itu
SageMaker Konsol AI → tab IC → Per-baris IC Pilih Metrik Dasbor difilter ke titik akhir dan komponen inferensi

Anda juga dapat menavigasi langsung melalui CloudWatch konsol dengan memilih Pemantauan infrastruktur → SageMaker AI Insights.

Prasyarat

  • Setidaknya satu titik akhir inferensi SageMaker AI dalam status InService

  • EnableDetailedObservabilitydiatur ke true pada konfigurasi titik akhir (default untuk titik akhir baru)

  • Pengayaan OTel diaktifkan di akun Anda

  • Izin cloudwatch:GetMetricData dan cloudwatch:ListMetrics IAM

Untuk informasi selengkapnya, lihat CloudWatch SageMaker Memulai AI Insights.

Harga

CloudWatch OpenTelemetry konsumsi metrik berlaku. Untuk informasi selengkapnya, lihat CloudWatch Harga Amazon.