Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

# CloudWatch SageMaker Wawasan AI
<a name="SageMaker-Insights"></a>

Gunakan CloudWatch SageMaker AI Insights untuk memantau dan memecahkan masalah titik akhir inferensi SageMaker AI dalam skala besar. Dasbor menampilkan metrik dan visualisasi yang dikurasi di tiga tampilan — **Kinerja**, **Kapasitas**, dan **Keandalan** — sehingga Anda dapat dengan cepat mengidentifikasi masalah, mengoptimalkan pemanfaatan sumber daya, dan memastikan ketersediaan tinggi di seluruh titik akhir Anda.

SageMaker AI Insights mendukung pemantauan di seluruh jenis titik akhir (titik akhir model tunggal dan titik akhir berbasis komponen inferensi (IC)) dan kerangka kerja inferensi (VllM, SGlang, Tensorrt-LLM).

Untuk memulai SageMaker AI Insights, lihat topik berikut.

**Topik**
+ [CloudWatch SageMaker Memulai AI Insights](SageMaker-AI-Insights-Get-Started.md)
+ [SageMaker Dasbor Wawasan AI](SageMaker-AI-Insights-Dashboard.md)
+ [SageMaker Referensi OpenTelemetry metrik AI Insights](SageMaker-AI-Insights-Metrics.md)
+ [Memecahkan Masalah Wawasan AI SageMaker](SageMaker-AI-Insights-Troubleshooting.md)

## Kemampuan kunci
<a name="SageMaker-AI-Insights-capabilities"></a>
+ **OpenTelemetry-koleksi asli.** Metrik dikumpulkan menggunakan Kolektor OTel yang mengikis titik akhir Prometheus dari DCGM (metrik GPU), eksportir node (CPU, memori, disk), dan wadah kerangka inferensi (VllM, SGLang).
+ **Label dimensi kaya.** Setiap metrik mencakup label seperti`aws.sagemaker.endpoint.name`,`aws.sagemaker.inference_component.name`,`@resource.host.id`,`@resource.cloud.availability_zone`, dan`@resource.host.type`.
+ **Atribusi per-GPU.** Metrik GPU (DCGM) mencakup atribusi per-inferensi-komponen untuk instance multi-penyewa.
+ **Metrik kerangka inferensi.** Metrik VLLm dan SGLang asli — token per detik, token waktu ke pertama (TTFT), latensi antar-token, pemanfaatan cache KV, kedalaman antrian, ukuran batch — tanpa instrumentasi khusus.
+ **Dukungan kueri PromQL.** Kueri di CloudWatch, Studio CloudWatch Kueri, atau Grafana Terkelola Amazon.
+ **Frekuensi gesekan yang dapat dikonfigurasi.** Atur melalui `MetricPublishFrequencyInSeconds` (10, 30, 60, 120, 180, 240, atau 300 detik; default 60). Metrik bidang kontrol digerakkan oleh peristiwa.

## Arsitektur dan aliran data
<a name="SageMaker-AI-Insights-architecture"></a>

1. **Wadah model**, eksportir **DCGM, dan pengekspor** **node** mengekspos metrik yang kompatibel dengan Prometheus pada instance.

1. **Kolektor OTel** mengikis titik akhir ini dan memperkaya setiap metrik dengan label (nama titik akhir, nama IC, ID instance, AZ).

1. Metrik yang diperkaya **diekspor** melalui OTLP ke. CloudWatch

1. Metrik **dapat ditanyakan melalui PromQL** in. CloudWatch

```
┌─────────────────────────────────────────────────────────────────┐
│  SageMaker Endpoint Instance                                      │
│                                                                   │
│  ┌──────────────┐  ┌──────────────┐  ┌──────────────────────┐    │
│  │ Model        │  │ DCGM         │  │ Node Exporter        │    │
│  │ Container    │  │ Exporter     │  │ (CPU/Mem/Disk)       │    │
│  │ (vLLM/SGLang)│  │ (GPU)        │  │                      │    │
│  └──────┬───────┘  └──────┬───────┘  └──────────┬───────────┘    │
│         │                 │                     │                 │
│         └─────────────────┼─────────────────────┘                 │
│                           ▼                                       │
│              ┌─────────────────────────┐                          │
│              │   OTel Collector        │                          │
│              │   (scrape + enrich)     │                          │
│              └────────────┬────────────┘                          │
└───────────────────────────┼───────────────────────────────────────┘
                            │ OTLP
                            ▼
              ┌─────────────────────────┐
              │   Amazon CloudWatch     │
              │   (PromQL-queryable)    │
              └─────────────────────────┘
```

## Cara mengakses
<a name="SageMaker-AI-Insights-access"></a>

Anda dapat membuka SageMaker AI Insights dari konsol SageMaker AI dengan menggunakan salah satu jalur berikut.


| Sumber | Tindakan | Destinasi | 
| --- | --- | --- | 
| SageMaker Konsol AI → Daftar titik akhir | Pilih Open SageMaker AI Insights | Dasbor tingkat armada (tanpa filter) | 
| SageMaker Konsol AI → halaman detail titik akhir | Pilih Lihat di SageMaker AI Insights | Dasbor difilter ke titik akhir itu | 
| SageMaker Konsol AI → tab IC → Per-baris IC | Pilih Metrik | Dasbor difilter ke titik akhir dan komponen inferensi | 

Anda juga dapat menavigasi langsung melalui CloudWatch konsol dengan memilih **Pemantauan infrastruktur** → **SageMaker AI Insights**.

## Prasyarat
<a name="SageMaker-AI-Insights-prerequisites"></a>
+ Setidaknya satu titik akhir inferensi SageMaker AI dalam status `InService`
+ `EnableDetailedObservability`diatur ke `true` pada konfigurasi titik akhir (default untuk titik akhir baru)
+ Pengayaan OTel diaktifkan di akun Anda
+ Izin `cloudwatch:GetMetricData` dan `cloudwatch:ListMetrics` IAM

Untuk informasi selengkapnya, lihat [CloudWatch SageMaker Memulai AI Insights](SageMaker-AI-Insights-Get-Started.md).

## Harga
<a name="SageMaker-AI-Insights-pricing"></a>

CloudWatch OpenTelemetry konsumsi metrik berlaku. Untuk informasi selengkapnya, lihat [ CloudWatch Harga Amazon](https://aws.amazon.com/cloudwatch/pricing/).