Monitorar as métricas do Apache Spark com o CloudWatch - Amazon Athena

Monitorar as métricas do Apache Spark com o CloudWatch

O Athena publica métricas relacionadas a cálculos no Amazon CloudWatch quando a opção Publish CloudWatch metrics para seu grupo de trabalho habilitado para Spark está selecionada. É possível criar painéis personalizados, definir alarmes e acionar métricas no console do CloudWatch.

O Athena publica a seguinte métrica no console do CloudWatch sob o namespace AmazonAthenaForApacheSpark:

  • DPUCount: a quantidade de DPUs consumidas durante a sessão para executar os cálculos.

Essa métrica tem as seguintes dimensões:

  • SessionId: o ID da sessão para a qual os cálculos são enviados.

  • WorkGroup: o nome do grupo de trabalho.

Para visualizar as métricas para grupos de trabalho habilitados para Spark no console do Amazon CloudWatch

  1. Abra o console do CloudWatch, em https://console.aws.amazon.com/cloudwatch/.

  2. No painel de navegação, escolha Metrics (Métricas), All metrics (Todas as métricas).

  3. Selecione o namespace AmazonAthenaForApacheSpark.

Para exibir métricas com a CLI

  • Execute um destes procedimentos:

    • Para listar as métricas dos grupos de trabalho habilitados para Spark do Athena, abra uma solicitação de comando e use o comando a seguir:

      aws cloudwatch list-metrics --namespace "AmazonAthenaForApacheSpark"

    • Para listar todas as métricas disponíveis, use o comando a seguir:

      aws cloudwatch list-metrics

Se você habilitou as métricas do CloudWatch em seu grupo de trabalho habilitado para Spark do Athena, o Athena enviará a métrica a seguir para o CloudWatch por grupo de trabalho. A métrica usa o namespace AmazonAthenaForApacheSpark.

Nome da métrica Descrição
DPUCount A quantidade de DPUs (unidades de processamento de dados) consumidas durante a sessão para executar os cálculos. Uma DPU é uma medida relativa do poder de processamento que consiste em uma capacidade computacional de 4 vCPUs e 16 GB de memória.

Essa métrica tem as seguintes dimensões.

Dimensão Descrição
SessionId

O ID da sessão para a qual os cálculos são enviados.
WorkGroup

O nome do grupo de trabalho.

Na versão de lançamento do Apache Spark versão 3.5, se você tiver habilitado as métricas do CloudWatch em seu grupo de trabalho do Athena Spark, o Athena enviará a métrica a seguir para o CloudWatch. A métrica usa o namespace AmazonAthenaForApacheSpark.

Name (Nome) Descrição
DPUConsumed O número de DPUs consumidas ativamente por consultas em um estado RUNNING em um momento específico em um grupo de trabalho.

Essa métrica tem as seguintes dimensões.

Dimensão Descrição
Conta

O ID da conta da AWS.
WorkGroup

O nome do grupo de trabalho.