Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
SageMaker Referensi OpenTelemetry metrik AI Insights
Bagian ini memberikan daftar lengkap OpenTelemetry metrik yang dipancarkan oleh pengamatan terperinci SageMaker AI. Observabilitas terperinci dibangun di atas OpenTelemetry (OTel) dan mengumpulkan metrik operasional berbutir halus dari lapisan kerangka kerja GPU, node, dan inferensi, menerbitkannya dengan label kaya. CloudWatch
Observabilitas terperinci menerbitkan metrik OpenTelemetry (OTel) melalui OTLP. CloudWatch Ini bukan metrik Prometheus. Metrik disimpan secara asli CloudWatch sebagai data metrik OTel dan dapat dikueri menggunakan sintaks PromQL.
Account-level metrik agregat
| Metrik | Tipe | Deskripsi |
|---|
TotalEndpoints | Agregat | Hitungan semua titik akhir di akun |
TotalICs | Agregat | Hitungan semua komponen inferensi |
TotalGPUs | Agregat | Hitungan semua GPU (berasal dariDCGM_FI_DEV_GPU_UTIL) |
Endpoint-level metrik
| Metrik | Tipe | Deskripsi |
|---|
InstanceCountPerEndpoint | Agregat | Jumlah instans yang melayani lalu lintas |
InstancesPerAZ | Agregat | Contoh per zona ketersediaan |
EmptyInstanceCount | Agregat | Instans tanpa IC ditempatkan |
ScalingAction | Mentah | Acara penskalaan () in/out |
ICECount | Mentah | Jumlah Kesalahan Kapasitas Tidak Cukup |
CPUUtilization(EP) | Agregat | Endpoint-level Pemanfaatan CPU |
MemoryUtilization(EP) | Agregat | Endpoint-level pemanfaatan memori |
DiskUtilization(EP) | Agregat | Endpoint-level pemanfaatan disk |
E2EScalingLatency | Mentah | End-to-end durasi penskalaan |
RebalancingType | Mentah | Jenis acara penyeimbangan kembali |
RebalancingDuration | Mentah | Durasi penyeimbangan kembali (detik) |
RebalancingCopiesMoved | Mentah | Salinan IC dipindahkan selama penyeimbangan kembali |
AZSkewDelta | Mentah | Ketidakseimbangan distribusi AZ |
InstancesReleased | Mentah | Instans dibebaskan dengan menyeimbangkan kembali |
Metrik kerangka inferensi (Vllm/SGLang)
| Metrik | Tipe | Deskripsi |
|---|
InputTokensPerSecond | Agregat | Tingkat token masukan |
OutputTokensPerSecond | Agregat | Tingkat token keluaran |
TotalTPS | Agregat | Total token per detik |
TPSUtilization | Agregat | Persentase pemanfaatan TPS |
TTFT | Mentah | Token Waktu ke Pertama (histogram) |
InterTokenLatency | Mentah | Inter-Token Latensi (histogram) |
KVCacheUtilization | Mentah | Persentase penggunaan cache KV |
QueueDepth | Mentah | Permintaan menunggu (antrian) |
BatchSize | Mentah | Menjalankan permintaan (dalam penerbangan) |
TPSPerInstance | Agregat | TPS dikumpulkan per instance |
ConcurrentReqsPerCopy | Mentah | Per-copy permintaan dalam penerbangan |
FirstChunkLatencyPerIC | Mentah | TTFT untuk IC |
4XXErrorRatePerIC | Agregat | Kesalahan klien per IC |
5XXErrorRatePerIC | Agregat | Kesalahan server per IC |
TTFTPerIC | Mentah | TTFT disaring oleh IC |
ITLPerIC | Mentah | ITL disaring oleh IC |
InputTPSPerIC | Agregat | Masukan TPS untuk IC |
OutputTPSPerIC | Agregat | Output TPS untuk IC |
KVCachePerIC | Mentah | Cache KV per IC |
ModelErrorBreakdown | Agregat | Kesalahan kerusakan berdasarkan jenis |
TTFTdan InterTokenLatency bergantung pada kerangka kerja dan hanya didukung untuk VllM dan sgLang.
Metrik GPU (DCGM)
Metrik ini dikumpulkan dari eksportir NVIDIA Data Center GPU Manager (DCGM). Mereka tersedia di semua titik akhir GPU terlepas dari kerangka inferensi.
| Metrik | Tipe | Deskripsi |
|---|
DCGM_FI_DEV_GPU_UTIL | Mentah | Pemanfaatan GPU (%) |
DCGM_FI_DEV_MEM_COPY_UTIL | Mentah | Pemanfaatan salinan memori (%) |
DCGM_FI_DEV_GPU_TEMP | Mentah | Suhu GPU (° C) |
DCGM_FI_DEV_MEMORY_TEMP | Mentah | Suhu memori (° C) |
DCGM_FI_DEV_FB_FREE | Mentah | Memori Framebuffer bebas (byte) |
DCGM_FI_DEV_FB_USED | Mentah | Memori Framebuffer yang digunakan (byte) |
DCGM_FI_DEV_SM_ACTIVE | Mentah | Streaming multiprosesor aktif (%) |
Metrik simpul (contoh)
Metrik ini dikumpulkan dari pengekspor node. Mereka menyediakan visibilitas tingkat instance ke CPU, memori, dan pemanfaatan disk.
| Metrik | Tipe | Deskripsi |
|---|
node_cpu_seconds_total | Mentah | Waktu CPU per mode per inti (detik) |
node_memory_MemTotal_bytes | Mentah | Total memori (byte) |
node_memory_MemAvailable_bytes | Mentah | Memori yang tersedia (byte) |
node_filesystem_size_bytes | Mentah | Ukuran total sistem file (byte) |
node_filesystem_avail_bytes | Mentah | Sistem file ruang yang tersedia (byte) |
Metrik penempatan HA dan IC
| Metrik | Tipe | Deskripsi |
|---|
ICCopyCountPerAZ | Agregat | Salinan IC per AZ |
ICCopiesPerAZ | Agregat | Salinan IC per AZ (pandangan alternatif) |
AZSkewScore | Agregat | Skor ketidakseimbangan AZ |
AZBalanceScore | Agregat | Endpoint-level keseimbangan |
ICDensityPerAZ | Agregat | Kepadatan IC per AZ |
ICCopiesPerInstance | Agregat | Salinan IC per instance |
ICListPerInstance | Agregat | IC mana pada instance mana |
Metrik siklus hidup dan penyediaan
| Metrik | Tipe | Deskripsi |
|---|
ModelDownloadTime | Mentah | Saatnya Amazon S3 untuk mengunduh instans |
GPULoadTime | Mentah | Saatnya bobot ke memori GPU |
ContainerStartDuration | Mentah | Kontainer mulai untuk pemeriksaan kesehatan |
ColdStartDuration | Mentah | End-to-end: penciptaan untuk pemanggilan pertama |
Metrik hanya tersedia sebagai metrik CloudWatch klasik
Metrik berikut hanya tersedia sebagai metrik CloudWatch klasik (namespace dan model dimensi) dan memerlukan pengayaan OTel untuk muncul sebagai metrik. OpenTelemetry
| Metrik | Catatan |
|---|
InvocationsPerIC | Diblokir dari OpenTelemetry emisi langsung |
InvocationsPerCopy | Diblokir |
ModelLatencyPerIC | Diblokir — gunakan vllm:e2e_request_latency_seconds sebagai alternatif OTel |
OverheadLatencyPerIC | Diblokir |
MidStreamErrorsPerIC | Diblokir (hanya streaming dua arah) |
