Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
SageMaker Dasbor Wawasan AI
Dasbor SageMaker AI Insights disusun menjadi tiga tab: Kinerja, Kapasitas, dan Keandalan. Setiap tab memberikan tampilan terfokus dari kesehatan titik akhir inferensi Anda.
Tata letak dasbor
Bilah ringkasan
Bilah ringkasan di bagian atas dasbor menunjukkan total lebar armada.
| Metrik | Deskripsi |
|---|---|
| Invokasi | Total pemanggilan di semua titik akhir dalam rentang waktu yang dipilih |
| Contoh | Jumlah total instans yang saat ini melayani lalu lintas |
| Komponen Inferensi | Jumlah total komponen inferensi di semua titik akhir |
| Rata-rata AZ Skew | Ketidakseimbangan distribusi zona ketersediaan rata-rata (0% = seimbang sempurna) |
Panel filter
| Filter | Deskripsi |
|---|---|
| Titik akhir | Pilih titik akhir tertentu atau Semua titik akhir untuk tampilan armada |
| Instans | Pilih instance tertentu (memerlukan titik akhir yang dipilih terlebih dahulu) |
| Komponen inferensi | Pilih IC khusus untuk penyaringan granular |
Drill-down
SageMaker AI Insights mendukung penelusuran progresif.
Tingkat armada (default) —semua titik akhir terlihat, metrik ringkasan digabungkan
Tingkat titik akhir —pilih titik akhir dari panel filter atau pilih tautan titik akhir di tabel apa pun
Tingkat IC —pilih komponen inferensi dari panel filter
Cross-linking dengan konsol SageMaker AI
Pilih nama titik akhir untuk membuka halaman detail titik akhir di konsol SageMaker AI.
Pilih Lihat log untuk membuka CloudWatch Log yang difilter ke titik akhir atau IC tersebut.
Dari konsol SageMaker AI, pilih View in SageMaker AI Insights atau Metrics untuk baris per -IC.
Mengakses dasbor
Anda dapat mengakses dasbor SageMaker AI Insights dari beberapa lokasi di konsol.
-
Dari halaman daftar Endpoints: Pilih View in SageMaker AI Insights untuk membuka dasbor di level armada tanpa filter yang diterapkan.
-
Dari halaman detail titik akhir: Pilih Lihat di Wawasan SageMaker AI untuk membuka dasbor yang difilter ke titik akhir tersebut.
-
Dari halaman detail komponen inferensi: Pilih View in SageMaker AI Insights untuk membuka dasbor yang difilter ke titik akhir dan komponen inferensi tersebut.
Navigasi langsung: CloudWatch konsol → Pemantauan infrastruktur → SageMaker AI Insights.
Tab kinerja
Tab Kinerja menjawab “apakah itu sehat?” dan “mengapa lambat?” —mengalir dari kesehatan armada di bagian atas ke diagnostik per-IC di bagian bawah.
- Kesehatan kinerja
-
Honeycomb dikelompokkan berdasarkan AZ yang menampilkan status alarm untuk instans, salinan IC, dan titik akhir secara sekilas.
- Tabel kinerja instance
-
Perincian per instance yang menunjukkan TTFT (P50/P99), output TPS (), permintaan bersamaan (avg/max), dan pemanfaatan cache live/max KV.
- Streaming Token
-
Bagan deret waktu yang menunjukkan TTFT dan latensi antar-token (ITL) dengan sakelar, dipecah berdasarkan kerangka kerja. P50/P99
- Throughput token
-
Input dan output token per detik berdasarkan framework, dengan toggle for Input/Output, Percentiles, dan By instance views.
- Mesin dan permintaan tekanan
-
Pemanfaatan cache KV (%), menjalankan permintaan, dan permintaan tunggu dari waktu ke waktu—sinyal saturasi kunci untuk mesin inferensi.
- Distribusi lalu lintas
-
Tabel per instance atau per-IC ‐ Copy yang menampilkan pemanggilan per menit, tingkat 4XX, dan tingkat 5XX untuk mengidentifikasi ketidakseimbangan perutean.
- Kesalahan campuran dari waktu ke waktu
-
Bagan garis yang menunjukkan tingkat kesalahan 4XX, 5XX, dan aliran tengah dari waktu ke waktu per IC.
- Kerusakan latensi dari waktu ke waktu
-
Bagan area bertumpuk dengan tab untuk Invoke (latensi model+latensi overhead) dan Streaming (model potongan pertama+overhead potongan pertama), dengan sakelar. P50/P90
Tab kapasitas
Tab Kapasitas menjawab “apakah saya memiliki ruang kepala?” dan “apakah perangkat keras saya sehat?” —menunjukkan pemanfaatan aktual dibandingkan dengan kapasitas cadangan.
- Kapasitas kesehatan
-
Visualisasi sarang lebah yang sama dengan tab Performance, menampilkan status alarm untuk instance, salinan IC, dan titik akhir.
- Tabel kapasitas instans
-
Bilah pemanfaatan per instance untuk GPU, memori GPU, CPU, memori, dan disk.
- Pemanfaatan armada
-
Time-series yang menampilkan CPU, GPU, memori GPU, memori, dan pemanfaatan disk per instance, dengan sakelar untuk Instance, salinan IC, dan tampilan Endpoint.
Tab keandalan
Tab Keandalan menjawab “apakah tangguh?” dan “mengapa penskalaan gagal?” —meliputi distribusi AZ, perilaku penskalaan, dan peristiwa penyediaan.
- Distribusi Zona Ketersediaan
-
Bagan batang yang menunjukkan contoh atau jumlah salinan IC per AZ untuk memvalidasi kepatuhan ketersediaan tinggi (HA).
- Anatomi awal dingin
-
Bilah bertumpuk horizontal yang menunjukkan rincian waktu penyediaan menjadi unduhan model, beban GPU, start kontainer, dan overhead platform (hanya titik akhir IC).
- Diagnostik ICE
-
Kesalahan Kapasitas Tidak Cukup (ICE) dihitung dari waktu ke waktu dengan tabel peristiwa yang menunjukkan waktu, titik akhir, jenis instans yang gagal, dan AZ yang gagal. Nilai bukan nol menunjukkan kendala kapasitas.
