Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
# SageMaker Dashboard di AI Insights
**La dashboard di SageMaker AI Insights è organizzata in tre schede: **Prestazioni**, **Capacità** e Affidabilità.** Ogni scheda offre una visione mirata dello stato degli endpoint di inferenza.
## Layout del dashboard
### Barra di riassunto
La barra di riepilogo nella parte superiore della dashboard mostra i totali dell'intero parco veicoli.
| Metrica | Description |
| --- | --- |
| Invocazioni | Richiamazioni totali su tutti gli endpoint nell'intervallo di tempo selezionato |
| Istanze | Numero totale di istanze che attualmente servono traffico |
| Componenti di inferenza | Numero totale di componenti di inferenza su tutti gli endpoint |
| Inclinazione media A-Z | Squilibrio medio nella distribuzione delle zone di disponibilità (0% = perfettamente bilanciato) |
### Pannello dei filtri
| Filtro | Description |
| --- | --- |
| Endpoint | Seleziona un endpoint specifico o Tutti gli endpoint per la visualizzazione della flotta |
| Istanza | Seleziona un'istanza specifica (richiede che sia stato prima selezionato un endpoint) |
| Componente di inferenza | Seleziona un IC specifico per il filtraggio granulare |
### Drill-down
SageMaker AI Insights supporta il drill-down progressivo.
1. **Livello di flotta** (impostazione predefinita): tutti gli endpoint sono visibili, metriche di riepilogo aggregate
1. **Livello di endpoint**: seleziona un endpoint dal pannello dei filtri o scegli un link endpoint in qualsiasi tabella
1. **Livello IC**: seleziona un componente di inferenza dal pannello dei filtri
### Cross-linking con la console AI SageMaker
+ Scegli il nome di un endpoint per aprire la pagina dei dettagli dell'endpoint nella console SageMaker AI.
+ Scegli **Visualizza registri per aprire i** CloudWatch registri filtrati in base a quell'endpoint o IC.
+ Dalla console SageMaker AI, scegli **Visualizza in SageMaker AI Insights** o **Metrics** per una riga per IC.
## Accesso al pannello di controllo
Puoi accedere alla dashboard di SageMaker AI Insights da più posizioni nella console.
+ **Dalla pagina dell'elenco degli endpoint:** scegli **Visualizza in SageMaker AI Insights** per aprire la dashboard a livello di flotta senza applicare filtri.
+ **Dalla pagina dei dettagli dell'endpoint:** scegli **Visualizza in SageMaker AI Insights** per aprire la dashboard filtrata in base a quell'endpoint.
+ **Dalla pagina dei dettagli del componente di inferenza:** scegli **Visualizza in SageMaker AI Insights** per aprire la dashboard filtrata in base all'endpoint e al componente di inferenza.
+ **Navigazione diretta:** CloudWatch console → **Monitoraggio dell'infrastruttura** → **SageMaker AI Insights**.
## Scheda Prestazioni
La scheda **Prestazioni** risponde «è salutare?» e «perché è lento?» —passando dalla diagnostica dell'intero parco macchine, nella parte superiore, alla diagnostica Per‐IC nella parte inferiore.
Stato delle prestazioni
Honeycomb raggruppati per AZ che mostrano lo stato di allarme per istanze, copie IC ed endpoint a colpo d'occhio.
Tabella delle prestazioni delle istanze
Analisi per istanza che mostra TTFT (P50/P99), output TPS (), richieste concorrenti (avg/max) e utilizzo della cache KVlive/max.
Streaming di token
Grafico delle serie temporali che mostra TTFT e la latenza tra token (ITL) con un P50/P99 interruttore, suddiviso per framework.
Produttività dei token
Token di input e output al secondo per framework, con opzioni per le visualizzazioni Percentili e Per Input/Output istanza.
Motore e pressione di richiesta
Utilizzo della cache KV (%), richieste in esecuzione e richieste in attesa nel tempo: segnali di saturazione chiave per il motore di inferenza.
Distribuzione del traffico
Tabella per istanza o per copia IC che mostra le chiamate al minuto, la frequenza 4XX e la frequenza 5XX per identificare gli squilibri di routing.
Miscela di errori nel tempo
Grafico a linee che mostra i tassi di errore 4XX, 5XX e mid‐stream nel tempo per IC.
Ripartizione della latenza nel tempo
Grafico ad area in pila con schede per Invoke (latenza del modello\+latenza generale) e Streaming (modello del primo blocco \+ sovraccarico del primo blocco), con interruttore. P50/P90
## Scheda Capacità
La scheda **Capacità** risponde «ho spazio per la testa?» e «il mio hardware è integro?» —che mostra l'utilizzo effettivo rispetto alla capacità riservata.
Stato della capacità
La stessa visualizzazione a nido d'ape della scheda **Prestazioni**, che mostra lo stato di allarme per istanze, copie IC ed endpoint.
Tabella della capacità delle istanze
Barre di utilizzo per istanza per GPU, memoria GPU, CPU, memoria e disco.
Utilizzo del parco veicoli
Serie temporali che mostrano l'utilizzo di CPU, GPU, memoria GPU, memoria e disco per istanza, con opzioni per istanze, copie IC e visualizzazioni degli endpoint.
## Scheda Affidabilità
La scheda **Affidabilità** risponde «è resiliente?» e «perché la scalabilità non è riuscita?» —copre la distribuzione AZ, il comportamento di scalabilità e gli eventi di provisioning.
Distribuzione delle zone di disponibilità
Grafico a barre che mostra il numero di istanze o copie IC per AZ per convalidare la conformità all'alta disponibilità (HA).
Anatomia con avviamento a freddo
Barra impilata orizzontale che mostra la ripartizione del tempo di provisioning in download del modello, carico della GPU, avvio del contenitore e sovraccarico della piattaforma (solo endpoint IC).
Diagnostica ICE
Conteggio degli errori di capacità (ICE) insufficiente nel tempo con una tabella degli eventi che mostra l'ora, l'endpoint, il tipo di istanza non riuscita e la zona di errore. I valori diversi da zero indicano vincoli di capacità.
