

# Painel do SageMaker AI Insights
<a name="SageMaker-AI-Insights-Dashboard"></a>

O painel do SageMaker AI Insights é organizado em três guias: **Desempenho**, **Capacidade** e **Confiabilidade**. Cada guia fornece uma visão focada da integridade do seu endpoint de inferência.

## Layout do painel
<a name="SageMaker-AI-Insights-Dashboard-layout"></a>

### Barra de resumo
<a name="SageMaker-AI-Insights-Dashboard-summary-bar"></a>

A barra de resumo na parte superior do painel mostra os totais de toda a frota.

![Cabeçalho do painel do SageMaker AI Insights com barra de resumo mostrando invocações, instâncias, componentes de inferência e Avg AZ Skew.](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/smai_New_Insights_Dashbaord.png)



| Métrica | Descrição | 
| --- | --- | 
| Invocations | Total de invocações em todos os endpoints no intervalo de tempo selecionado | 
| Instâncias | Número total de instâncias que atendem ao tráfego | 
| Componentes de inferência | Número total de componentes de inferência em todos os endpoints | 
| Avg AZ Skew | Desequilíbrio médio na distribuição da zona de disponibilidade (0% = perfeitamente equilibrado) | 

### Painel de filtros
<a name="SageMaker-AI-Insights-Dashboard-filters"></a>


| Filtro | Descrição | 
| --- | --- | 
| Endpoint | Selecione um endpoint específico ou Todos os endpoints para a visualização da frota | 
| Instância | Selecione uma instância específica (requer que um endpoint seja selecionado primeiro) | 
| Componente de inferência | Selecione um IC específico para filtragem granular | 

### Detalhar
<a name="SageMaker-AI-Insights-Dashboard-drill-down"></a>

O SageMaker AI Insights é compatível com o detalhamento progressivo.

1. **Nível da frota** (padrão): todos os endpoints visíveis, métricas resumidas agregadas

1. **Nível do endpoint**: selecione um endpoint no painel de filtro ou escolha um link de endpoint em qualquer tabela

1. **Nível de IC**: selecione um componente de inferência no painel de filtro

### Vinculação cruzada com o console do SageMaker AI
<a name="SageMaker-AI-Insights-Dashboard-cross-linking"></a>
+ Selecione um nome de endpoint para abrir a página de detalhes do endpoint no console do SageMaker AI.
+ Escolha **Exibir logs** para abrir os logs do CloudWatch Logs filtrados para esse endpoint ou IC.
+ No console do SageMaker AI, escolha **Exibir no SageMaker AI Insights** ou **Métricas** para uma linha por IC.

## Acessar o painel
<a name="SageMaker-AI-Insights-Dashboard-accessing"></a>

Você pode acessar o painel do SageMaker AI Insights de vários locais no console.
+ **Na página da lista de endpoints:** escolha **Exibir no SageMaker AI Insights** para abrir o painel no nível da frota sem a aplicação de filtros.  
![Página de listagem de endpoints mostrando o botão Exibir no SageMaker AI Insights.](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/smai_Observability_Enabled_page.png)
+ **Na página de detalhes do endpoint:** escolha **Exibir no SageMaker AI Insights** para abrir o painel filtrado para esse endpoint.  
![Página de detalhes do endpoint mostrando o botão Exibir no SageMaker AI Insights.](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/smai_Endpoint_detail_page.png)
+ **Na página de detalhes do componente de inferência:** escolha **Exibir no SageMaker AI Insights** para abrir o painel filtrado para esse endpoint e componente de inferência.  
![Página de detalhes do componente de inferência mostrando o botão Exibir no SageMaker AI Insights.](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/smai_IC_Detaild_page.png)
+ **Navegação direta:** console do CloudWatch → **Monitoramento da infraestrutura** → **SageMaker AI Insights**.

## Guia Desempenho
<a name="SageMaker-AI-Insights-Dashboard-performance"></a>

A guia **Desempenho** responde a “está íntegro?” e “por que está lento?” — fluindo da integridade de toda a frota na parte superior para o diagnóstico por IC na parte inferior.

Integridade do desempenho  
Hexágonos agrupados por AZ, mostrando rapidamente o estado dos alarmes das instâncias, cópias de IC e endpoints.  

![Combinações de desempenho e integridade mostrando o estado dos alarmes por AZ.](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/smai_Performance_health_AZ_honey_comb.png)


Tabela de desempenho da instância  
Detalhamento por instância mostrando TTFT (P50/P99), TPS de saída (avg/max), solicitações simultâneas (live/max) e utilização do cache em KV.  

![Tabela de desempenho da instância mostrando TTFT, TPS de saída, solicitações simultâneas e cache KV.](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/smai_Instance_health_performance_tab.png)


Transmissão de tokens  
Gráfico de séries temporais mostrando TTFT e latência entre tokens (ITL) com uma alternância P50/P99, dividida por estrutura.  

![Gráfico de transmissão de tokens mostrando TTFT e ITL P50/P99 ao longo do tempo.](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/smai_Token_streaming.png)


Throughput do token  
Tokens de entrada e saída por segundo por estrutura, com alternâncias para visualizações de entrada/saída, percentis e por instância.  

![Gráfico de throughput de tokens mostrando tokens de entrada e saída por segundo.](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/smai_Token_throughput.png)


Carga do mecanismo e da solicitação  
Utilização do cache KV (%), solicitações em execução e solicitações em espera ao longo do tempo — principais sinais de saturação para o mecanismo de inferência.  

![Painel de carga do mecanismo e da solicitação mostrando cache de KV, solicitações em execução e solicitações em espera.](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/smai_Engine_and_request_pressure.png)


Distribuição de tráfego  
Tabela por instância ou por cópia de IC mostrando invocações por minuto, taxa 4XX e taxa 5XX para identificar desequilíbrios de roteamento.  

![Tabela de distribuição de tráfego mostrando invocações por minuto, taxa de 4XX e taxa de 5XX por instância.](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/smai_Traffic_distribution.png)


Mistura de erros ao longo do tempo  
Gráfico de linhas mostrando taxas de erro de 4XX, 5XX e durante o processamento ao longo do tempo por IC.  

![Mistura de erros ao longo do gráfico da linha do tempo mostrando erros 4XX, 5XX e durante o processamento.](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/smai_Error_mix_over_time.png)


Detalhamento da latência ao longo do tempo  
Gráfico de áreas empilhadas com guias para Invocar (latência do modelo \+ latência de sobrecarga) e Transmissão (modelo do primeiro bloco \+ sobrecarga do primeiro bloco), com uma alternância P50/P90.  

![Detalhamento da latência ao longo do tempo. Gráfico de áreas empilhadas mostrando a latência do modelo e a latência da sobrecarga.](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/smai_Latency_breakdown_over_time.png)


## Guia Capacidade
<a name="SageMaker-AI-Insights-Dashboard-capacity"></a>

A guia **Capacidade** responde a “eu tenho espaço livre?” e “meu hardware está íntegro?” — mostrando a utilização real em comparação com a capacidade reservada.

Integridade da capacidade  
A mesma visualização em hexágono da guia **Desempenho**, mostrando o estado do alarme para instâncias, cópias de IC e endpoints.  

![Hexágonos de integridade da capacidade mostrando o estado de alarme por AZ.](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/smai_Capacity_health_honey_comb.png)


Tabela de capacidade de instância  
Barras de utilização por instância para GPU, memória de GPU, CPU, memória e disco.  

![Tabela de capacidade de instância mostrando utilização de GPU, memória de GPU, CPU, memória e disco.](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/smai_Instance_health_capacity_tab.png)


Utilização da frota  
Séries temporais mostrando utilização de CPU, GPU, memória de GPU, memória e disco por instância, com opções para instâncias, cópias de IC e visualizações de endpoint.  

![Gráfico de utilização da frota que mostra a utilização de CPU, GPU, memória de GPU, memória e disco por instância ao longo do tempo.](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/smai_Fleet_Util.png)


## Guia Confiabilidade
<a name="SageMaker-AI-Insights-Dashboard-reliability"></a>

A guia **Confiabilidade** responde a “é resiliente?” e “por que o escalonamento falhou?” — abrangendo a distribuição de AZ, o comportamento de escalabilidade e os eventos de provisionamento.

Distribuição de zonas de disponibilidade  
Gráfico de barras mostrando a contagem de instâncias ou cópias do IC por AZ para validar a conformidade com a alta disponibilidade (HA).  

![Gráfico de barras de distribuição da zona de disponibilidade mostrando a contagem de instâncias por AZ.](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/smai_AZ_distribution.png)


Anatomia da inicialização a frio  
Barra horizontal empilhada mostrando a divisão do tempo de provisionamento em download do modelo, carga da GPU, início do contêiner e sobrecarga da plataforma (somente endpoints IC).  

![Anatomia da inicialização a frio mostrando o download do modelo, a carga da GPU, a inicialização do contêiner e a sobrecarga da plataforma.](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/smai_Cold_start_anatomy.png)


Diagnósticos do ICE  
Contagem insuficiente de erros de capacidade (ICE) ao longo do tempo com uma tabela de eventos mostrando hora, endpoint, tipo de instância com falha e AZ com falha. Valores diferentes de zero indicam restrições de capacidade.  

![Painel de diagnósticos de ICE mostrando a contagem de ICE ao longo do tempo e uma tabela de eventos.](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/smai_ICE_events.png)
