Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

# SageMaker Dasbor Wawasan AI
<a name="SageMaker-AI-Insights-Dashboard"></a>

**Dasbor SageMaker AI Insights disusun menjadi tiga tab: **Kinerja**, **Kapasitas**, dan Keandalan.** Setiap tab memberikan tampilan terfokus dari kesehatan titik akhir inferensi Anda.

## Tata letak dasbor
<a name="SageMaker-AI-Insights-Dashboard-layout"></a>

### Bilah ringkasan
<a name="SageMaker-AI-Insights-Dashboard-summary-bar"></a>

Bilah ringkasan di bagian atas dasbor menunjukkan total lebar armada.

![SageMaker Header dasbor AI Insights dengan bilah ringkasan yang menampilkan Invocations, Instances, Inference Components, dan Avg AZ Skew.](http://docs.aws.amazon.com/id_id/AmazonCloudWatch/latest/monitoring/images/smai_New_Insights_Dashbaord.png)



| Metrik | Deskripsi | 
| --- | --- | 
| Invokasi | Total pemanggilan di semua titik akhir dalam rentang waktu yang dipilih | 
| Contoh | Jumlah total instans yang saat ini melayani lalu lintas | 
| Komponen Inferensi | Jumlah total komponen inferensi di semua titik akhir | 
| Rata-rata AZ Skew | Ketidakseimbangan distribusi zona ketersediaan rata-rata (0% = seimbang sempurna) | 

### Panel filter
<a name="SageMaker-AI-Insights-Dashboard-filters"></a>


| Filter | Deskripsi | 
| --- | --- | 
| Titik akhir | Pilih titik akhir tertentu atau Semua titik akhir untuk tampilan armada | 
| Instans | Pilih instance tertentu (memerlukan titik akhir yang dipilih terlebih dahulu) | 
| Komponen inferensi | Pilih IC khusus untuk penyaringan granular | 

### Drill-down
<a name="SageMaker-AI-Insights-Dashboard-drill-down"></a>

SageMaker AI Insights mendukung penelusuran progresif.

1. **Tingkat armada** (default) —semua titik akhir terlihat, metrik ringkasan digabungkan

1. **Tingkat titik akhir** —pilih titik akhir dari panel filter atau pilih tautan titik akhir di tabel apa pun

1. **Tingkat IC** —pilih komponen inferensi dari panel filter

### Cross-linking dengan konsol SageMaker AI
<a name="SageMaker-AI-Insights-Dashboard-cross-linking"></a>
+ Pilih nama titik akhir untuk membuka halaman detail titik akhir di konsol SageMaker AI.
+ Pilih **Lihat log** untuk membuka CloudWatch Log yang difilter ke titik akhir atau IC tersebut.
+ Dari konsol SageMaker AI, pilih **View in SageMaker AI Insights** atau **Metrics untuk baris** per -IC.

## Mengakses dasbor
<a name="SageMaker-AI-Insights-Dashboard-accessing"></a>

Anda dapat mengakses dasbor SageMaker AI Insights dari beberapa lokasi di konsol.
+ **Dari halaman daftar Endpoints:** Pilih **View in SageMaker AI Insights** untuk membuka dasbor di level armada tanpa filter yang diterapkan.  
![Halaman daftar titik akhir yang menampilkan tombol View in SageMaker AI Insights.](http://docs.aws.amazon.com/id_id/AmazonCloudWatch/latest/monitoring/images/smai_Observability_Enabled_page.png)
+ **Dari halaman detail titik akhir:** Pilih **Lihat di Wawasan SageMaker AI** untuk membuka dasbor yang difilter ke titik akhir tersebut.  
![Halaman detail titik akhir yang menampilkan tombol View in SageMaker AI Insights.](http://docs.aws.amazon.com/id_id/AmazonCloudWatch/latest/monitoring/images/smai_Endpoint_detail_page.png)
+ **Dari halaman detail komponen inferensi:** Pilih **View in SageMaker AI Insights** untuk membuka dasbor yang difilter ke titik akhir dan komponen inferensi tersebut.  
![Halaman detail komponen inferensi yang menampilkan tombol View in SageMaker AI Insights.](http://docs.aws.amazon.com/id_id/AmazonCloudWatch/latest/monitoring/images/smai_IC_Detaild_page.png)
+ **Navigasi langsung:** CloudWatch konsol → **Pemantauan infrastruktur** → **SageMaker AI Insights**.

## Tab kinerja
<a name="SageMaker-AI-Insights-Dashboard-performance"></a>

Tab **Kinerja** menjawab “apakah itu sehat?” dan “mengapa lambat?” —mengalir dari kesehatan armada di bagian atas ke diagnostik per-IC di bagian bawah.

Kesehatan kinerja  
Honeycomb dikelompokkan berdasarkan AZ yang menampilkan status alarm untuk instans, salinan IC, dan titik akhir secara sekilas.  

![Sarang lebah kesehatan kinerja menunjukkan status alarm oleh AZ.](http://docs.aws.amazon.com/id_id/AmazonCloudWatch/latest/monitoring/images/smai_Performance_health_AZ_honey_comb.png)


Tabel kinerja instance  
Perincian per instance yang menunjukkan TTFT (P50/P99), output TPS (), permintaan bersamaan (avg/max), dan pemanfaatan cache live/max KV.  

![Tabel kinerja instans yang menampilkan TTFT, TPS keluaran, permintaan bersamaan, dan cache KV.](http://docs.aws.amazon.com/id_id/AmazonCloudWatch/latest/monitoring/images/smai_Instance_health_performance_tab.png)


Streaming Token  
Bagan deret waktu yang menunjukkan TTFT dan latensi antar-token (ITL) dengan sakelar, dipecah berdasarkan kerangka kerja. P50/P99   

![Grafik streaming token menunjukkan TTFT dan ITL P50/P99 dari waktu ke waktu.](http://docs.aws.amazon.com/id_id/AmazonCloudWatch/latest/monitoring/images/smai_Token_streaming.png)


Throughput token  
Input dan output token per detik berdasarkan framework, dengan toggle for Input/Output, Percentiles, dan By instance views.  

![Bagan throughput token yang menunjukkan token input dan output per detik.](http://docs.aws.amazon.com/id_id/AmazonCloudWatch/latest/monitoring/images/smai_Token_throughput.png)


Mesin dan permintaan tekanan  
Pemanfaatan cache KV (%), menjalankan permintaan, dan permintaan tunggu dari waktu ke waktu—sinyal saturasi kunci untuk mesin inferensi.  

![Mesin dan panel tekanan permintaan menampilkan cache KV, permintaan yang sedang berjalan, dan permintaan menunggu.](http://docs.aws.amazon.com/id_id/AmazonCloudWatch/latest/monitoring/images/smai_Engine_and_request_pressure.png)


Distribusi lalu lintas  
Tabel per instance atau per-IC ‐ Copy yang menampilkan pemanggilan per menit, tingkat 4XX, dan tingkat 5XX untuk mengidentifikasi ketidakseimbangan perutean.  

![Tabel distribusi lalu lintas yang menunjukkan pemanggilan per menit, tarif 4XX, dan tarif 5XX berdasarkan contoh.](http://docs.aws.amazon.com/id_id/AmazonCloudWatch/latest/monitoring/images/smai_Traffic_distribution.png)


Kesalahan campuran dari waktu ke waktu  
Bagan garis yang menunjukkan tingkat kesalahan 4XX, 5XX, dan aliran tengah dari waktu ke waktu per IC.  

![Campuran kesalahan sepanjang bagan garis waktu yang menunjukkan kesalahan 4XX, 5XX, dan mid-stream.](http://docs.aws.amazon.com/id_id/AmazonCloudWatch/latest/monitoring/images/smai_Error_mix_over_time.png)


Kerusakan latensi dari waktu ke waktu  
Bagan area bertumpuk dengan tab untuk Invoke (latensi model\+latensi overhead) dan Streaming (model potongan pertama\+overhead potongan pertama), dengan sakelar. P50/P90   

![Rincian latensi dari bagan area bertumpuk waktu yang menunjukkan latensi model dan latensi overhead.](http://docs.aws.amazon.com/id_id/AmazonCloudWatch/latest/monitoring/images/smai_Latency_breakdown_over_time.png)


## Tab kapasitas
<a name="SageMaker-AI-Insights-Dashboard-capacity"></a>

Tab **Kapasitas** menjawab “apakah saya memiliki ruang kepala?” dan “apakah perangkat keras saya sehat?” —menunjukkan pemanfaatan aktual dibandingkan dengan kapasitas cadangan.

Kapasitas kesehatan  
Visualisasi sarang lebah yang sama dengan tab **Performance**, menampilkan status alarm untuk instance, salinan IC, dan titik akhir.  

![Kapasitas sarang lebah kesehatan menunjukkan status alarm oleh AZ.](http://docs.aws.amazon.com/id_id/AmazonCloudWatch/latest/monitoring/images/smai_Capacity_health_honey_comb.png)


Tabel kapasitas instans  
Bilah pemanfaatan per instance untuk GPU, memori GPU, CPU, memori, dan disk.  

![Tabel kapasitas instans menunjukkan GPU, memori GPU, CPU, memori, dan pemanfaatan disk.](http://docs.aws.amazon.com/id_id/AmazonCloudWatch/latest/monitoring/images/smai_Instance_health_capacity_tab.png)


Pemanfaatan armada  
Time-series yang menampilkan CPU, GPU, memori GPU, memori, dan pemanfaatan disk per instance, dengan sakelar untuk Instance, salinan IC, dan tampilan Endpoint.  

![Bagan pemanfaatan armada yang menunjukkan CPU, GPU, memori GPU, memori, dan pemanfaatan disk per instance dari waktu ke waktu.](http://docs.aws.amazon.com/id_id/AmazonCloudWatch/latest/monitoring/images/smai_Fleet_Util.png)


## Tab keandalan
<a name="SageMaker-AI-Insights-Dashboard-reliability"></a>

Tab **Keandalan** menjawab “apakah tangguh?” dan “mengapa penskalaan gagal?” —meliputi distribusi AZ, perilaku penskalaan, dan peristiwa penyediaan.

Distribusi Zona Ketersediaan  
Bagan batang yang menunjukkan contoh atau jumlah salinan IC per AZ untuk memvalidasi kepatuhan ketersediaan tinggi (HA).  

![Bagan batang distribusi Availability Zone yang menunjukkan jumlah instance per AZ.](http://docs.aws.amazon.com/id_id/AmazonCloudWatch/latest/monitoring/images/smai_AZ_distribution.png)


Anatomi awal dingin  
Bilah bertumpuk horizontal yang menunjukkan rincian waktu penyediaan menjadi unduhan model, beban GPU, start kontainer, dan overhead platform (hanya titik akhir IC).  

![Anatomi start dingin yang menunjukkan unduhan model, beban GPU, start kontainer, dan overhead platform.](http://docs.aws.amazon.com/id_id/AmazonCloudWatch/latest/monitoring/images/smai_Cold_start_anatomy.png)


Diagnostik ICE  
Kesalahan Kapasitas Tidak Cukup (ICE) dihitung dari waktu ke waktu dengan tabel peristiwa yang menunjukkan waktu, titik akhir, jenis instans yang gagal, dan AZ yang gagal. Nilai bukan nol menunjukkan kendala kapasitas.  

![Panel diagnostik ICE menunjukkan jumlah ICE dari waktu ke waktu dan tabel acara.](http://docs.aws.amazon.com/id_id/AmazonCloudWatch/latest/monitoring/images/smai_ICE_events.png)