Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
SageMaker Referenz zu KI OpenTelemetry Insights-Metriken
Dieser Abschnitt enthält eine umfassende Liste der OpenTelemetry Metriken, die von der detaillierten SageMaker KI-Observability generiert werden. Detailed Observability basiert auf OpenTelemetry (OTel) und sammelt feinkörnige Betriebsmetriken aus den Ebenen GPU, Knoten und Inferenz-Framework und veröffentlicht sie mit ausführlichen Labels. CloudWatch
Detailed Observability veröffentlicht OpenTelemetry (oTEL) -Metriken über OTLP. CloudWatch Dies sind keine Prometheus-Metriken. Die Metriken werden nativ CloudWatch als oTEL-Metrikdaten gespeichert und können mithilfe der PromQL-Syntax abgefragt werden.
Account-level aggregierte Metriken
| Metrik | Typ | Description |
|---|
TotalEndpoints | Aggregate | Anzahl aller Endpunkte im Konto |
TotalICs | Aggregate | Anzahl aller Inferenzkomponenten |
TotalGPUs | Aggregate | Anzahl aller GPUs (abgeleitet von) DCGM_FI_DEV_GPU_UTIL |
Endpoint-level Metriken
| Metrik | Typ | Description |
|---|
InstanceCountPerEndpoint | Aggregate | Anzahl der Instanzen, die Traffic bedienen |
InstancesPerAZ | Aggregate | Instanzen pro Verfügbarkeitszone |
EmptyInstanceCount | Aggregate | Instanzen ohne platzierte ICs |
ScalingAction | Raw | Skalierungsereignis (in/out) |
ICECount | Raw | Anzahl unzureichender Kapazitätsfehler |
CPUUtilization(EP) | Aggregate | Endpoint-level CPU-Auslastung |
MemoryUtilization(EP) | Aggregate | Endpoint-level Speichernutzung |
DiskUtilization(EP) | Aggregate | Endpoint-level Festplattenauslastung |
E2EScalingLatency | Raw | End-to-end Dauer der Skalierung |
RebalancingType | Raw | Art des Ausgleichsereignisses |
RebalancingDuration | Raw | Dauer des Ausgleichs (Sekunden) |
RebalancingCopiesMoved | Raw | IC-Kopien wurden beim Rebalancing verschoben |
AZSkewDelta | Raw | Ungleichgewicht bei der AZ-Verteilung |
InstancesReleased | Raw | Durch das Rebalancing freigegebene Instanzen |
Metriken des Inferenz-Frameworks (vLLM/SGLang)
| Metrik | Typ | Description |
|---|
InputTokensPerSecond | Aggregate | Rate des Eingabe-Tokens |
OutputTokensPerSecond | Aggregate | Rate des Ausgangstokens |
TotalTPS | Aggregate | Gesamtzahl der Tokens pro Sekunde |
TPSUtilization | Aggregate | Prozentsatz der TPS-Auslastung |
TTFT | Raw | Zeit bis zum ersten Token (Histogramm) |
InterTokenLatency | Raw | Inter-Token Latenz (Histogramm) |
KVCacheUtilization | Raw | Prozentsatz der KV-Cache-Nutzung |
QueueDepth | Raw | Wartende Anfragen (Warteschlange) |
BatchSize | Raw | Laufende Anfragen (während des Fluges) |
TPSPerInstance | Aggregate | TPS, aggregiert pro Instanz |
ConcurrentReqsPerCopy | Raw | Per-copy Anfragen während des Fluges |
FirstChunkLatencyPerIC | Raw | TTFT pro IC |
4XXErrorRatePerIC | Aggregate | Client-Fehler pro IC |
5XXErrorRatePerIC | Aggregate | Serverfehler pro IC |
TTFTPerIC | Raw | Von IC gefiltertes TTFT |
ITLPerIC | Raw | ITL gefiltert nach IC |
InputTPSPerIC | Aggregate | Geben Sie TPS pro IC ein |
OutputTPSPerIC | Aggregate | Ausgang TPS pro IC |
KVCachePerIC | Raw | KV-Cache pro IC |
ModelErrorBreakdown | Aggregate | Aufschlüsselung der Fehler nach Typ |
TTFTund InterTokenLatency sind vom Framework abhängig und werden nur für vLLM und SGLang unterstützt.
GPU-Metriken (DCGM)
Diese Metriken werden vom NVIDIA Data Center GPU Manager (DCGM) -Exporter erfasst. Sie sind auf allen GPU-Endpunkten verfügbar, unabhängig vom Inferenz-Framework.
| Metrik | Typ | Description |
|---|
DCGM_FI_DEV_GPU_UTIL | Raw | GPU-Auslastung (%) |
DCGM_FI_DEV_MEM_COPY_UTIL | Raw | Auslastung von Speicherkopien (%) |
DCGM_FI_DEV_GPU_TEMP | Raw | GPU-Temperatur (°C) |
DCGM_FI_DEV_MEMORY_TEMP | Raw | Speichertemperatur (°C) |
DCGM_FI_DEV_FB_FREE | Raw | Freier Framebuffer-Speicher (Byte) |
DCGM_FI_DEV_FB_USED | Raw | Verwendeter Framebuffer-Speicher (Byte) |
DCGM_FI_DEV_SM_ACTIVE | Raw | Streaming-Multiprozessor aktiv (%) |
Metriken für Knoten (Instanz)
Diese Metriken werden vom Node Exporter gesammelt. Sie bieten Einblick in die CPU-, Arbeitsspeicher- und Festplattenauslastung auf Instanzebene.
| Metrik | Typ | Description |
|---|
node_cpu_seconds_total | Raw | CPU-Zeit pro Modus pro Kern (Sekunden) |
node_memory_MemTotal_bytes | Raw | Gesamtspeicher (Byte) |
node_memory_MemAvailable_bytes | Raw | Verfügbarer Speicher (Byte) |
node_filesystem_size_bytes | Raw | Gesamtgröße des Dateisystems (Byte) |
node_filesystem_avail_bytes | Raw | Verfügbarer Speicherplatz im Dateisystem (Byte) |
Kennzahlen zur HA- und IC-Platzierung
| Metrik | Typ | Description |
|---|
ICCopyCountPerAZ | Aggregate | IC-Kopien pro AZ |
ICCopiesPerAZ | Aggregate | IC-Kopien pro AZ (alternative Ansicht) |
AZSkewScore | Aggregate | AZ-Ungleichgewichtswert |
AZBalanceScore | Aggregate | Endpoint-level Gleichgewicht |
ICDensityPerAZ | Aggregate | IC-Dichte pro AZ |
ICCopiesPerInstance | Aggregate | IC-Kopien pro Instanz |
ICListPerInstance | Aggregate | Welche ICs auf welcher Instanz |
Metriken zum Lebenszyklus und zur Bereitstellung
| Metrik | Typ | Description |
|---|
ModelDownloadTime | Raw | Zeit für den Instanz-Download von Amazon S3 |
GPULoadTime | Raw | Zeit für Gewichtungen im GPU-Speicher |
ContainerStartDuration | Raw | Beginn der Integritätsprüfung des Containers |
ColdStartDuration | Raw | End-to-end: Erstellung bis zum ersten Aufruf |
Metriken sind nur als CloudWatch klassische Metriken verfügbar
Die folgenden Metriken sind nur als CloudWatch klassische Metriken (Namespace und Dimensionsmodell) verfügbar und erfordern eine oTEL-Anreicherung, um als OpenTelemetry Metriken angezeigt zu werden.
| Metrik | Hinweise |
|---|
InvocationsPerIC | Gegen direkte Emission gesperrt OpenTelemetry |
InvocationsPerCopy | Blocked |
ModelLatencyPerIC | Blockiert — vllm:e2e_request_latency_seconds als oTEL-Alternative verwenden |
OverheadLatencyPerIC | Blocked |
MidStreamErrorsPerIC | Blockiert (nur bidirektionales Streaming) |
