As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
# Monitorando o EMR com HBase a Amazon CloudWatch
A partir do EMR 7.0, o Amazon EMR fornece o CloudWatch Amazon Agent para enviar métricas para o Prometheus CloudWatch ou para o Prometheus, substituindo o sistema de monitoramento Ganglia. Você pode encontrar mais detalhes no [Amazon CloudWatch Agent Configuration Guide](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/AmazonCloudWatchAgent-config-700.html).
O agente CloudWatch Amazon do EMR 7.0 forneceu integração básica e configurá-la exigiu esforço manual, como baixar componentes e usar ações de bootstrap. No entanto, a partir do EMR 7.1, o processo é simplificado. O uso do Amazon CloudWatch Agent no EMR 7.1 facilita o monitoramento de métricas em nível de sistema e específicas do aplicativo, incluindo aquelas para. HBase Ao usar a API de configuração do EMR, você pode configurar e personalizar rapidamente o processo de coleta de métricas e escolher para onde enviar os dados, seja para a Amazon ou para a Prometheus. CloudWatch Essa flexibilidade ajuda você a acompanhar de perto seus HBase clusters, garantindo que eles funcionem sem problemas e com eficiência.
Usando a API de configuração do EMR para lidar com toda a configuração, tornando o processo muito mais fácil. O CloudWatch agente no EMR 7.1 oferece suporte a três tipos principais de métricas:
+ **Métricas do sistema**: incluem indicadores-chave de performance do sistema, como: uso de CPU, uso de disco, uso de memória, E/S de rede, processos e uso de swap.
+ Métricas do **Hadoop Daemon — Essas métricas** estão relacionadas aos vários componentes do Hadoop, incluindo: DataNode métricas, métricas, métricas do YARN e métricas do NodeManager YARN. NameNode ResourceManager
+ **HBase Métricas** — Essas métricas fornecem informações sobre o desempenho HBase do: métricas HBase principais, métricas do servidor HBase regional, métricas do servidor HBase REST e métricas do HBase Thrift Server.
------
#### [ Using the AWS CLI ]
Todas as métricas do Hadoop HBase são baseadas em JMX, o que significa que elas usam extensões de gerenciamento Java para fornecer informações detalhadas. Veja como você pode configurar o Amazon CloudWatch Agent para monitorar HBase:
+ Consulte os [pré-requisitos](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/AmazonCloudWatchAgent-create.html) antes de criar um cluster com o Amazon Agent. CloudWatch Use um comando `create-cluster` semelhante ao exemplo que aparece após essa lista.
+ Consulte as [configurações](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/AmazonCloudWatchAgent-config.html) compatíveis com um HBase cluster.
+ Consulte o exemplo a seguir para ver exemplos de configurações para configurar o HBase monitoramento. Consulte as configurações de exemplo para a entrada `--configuration`.
```
aws emr create-cluster --name "HBase cluster with CloudWatch agent" \
--release-label emr-7.1.0 \
--applications Name=HBase Name=AmazonCloudWatchAgent \
--ec2-attributes KeyName=myKey --instance-type m7g.2xlarge \
--configurations file://./configurations.json \
--instance-count 3 --use-default-roles
```
Para obter mais informações sobre configurações de amostra JSON para métricas, consulte [Configurar métricas](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hbase-setting-up-metrics.html).
------
#### [ Using the console ]
Para criar um cluster com o CloudWatch agente da Amazon a partir do console, execute estas etapas:
**Crie um cluster com o CloudWatch agente a partir do console**
1. [Faça login no e abra Console de gerenciamento da AWS o console do Amazon EMR em https://console.aws.amazon.com /emr.](https://console.aws.amazon.com/emr)
1. Selecione **Criar cluster**.
1. Em **Nome e aplicações**, escolha uma versão 7.0.0 ou superior do Amazon EMR.
1. Em **Pacote de aplicativos**, selecione HBase os aplicativos adicionais que você deseja instalar em seu cluster e inclua o CloudWatch agente em suas seleções.
1. Expanda **Configurações de software**. Você poderá inserir a configuração diretamente usando JSON ou uma sintaxe abreviada demonstrada no texto sombreado no console. Caso contrário, você pode fornecer um URI do Amazon S3 para um arquivo com um objeto JSON `Configurations`. Para obter mais informações sobre configurações de amostra JSON para métricas, consulte [Configurar métricas](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hbase-setting-up-metrics.html).
1. Prossiga com a criação do cluster para atender às necessidades do seu caso de uso.
------
# Configurar métricas
Para monitorar o HBase Master, você pode configurar o Amazon CloudWatch Agent para coletar métricas específicas.
1. **Configurando métricas HBase principais** — Para monitorar o HBase Master, você pode configurar o Amazon CloudWatch Agent para coletar métricas específicas. Este é um exemplo de configuração para monitorar as atividades do Gerenciador de atribuições Master:
```
[
{
"Classification": "emr-metrics",
"Properties": {},
"Configurations": [
{
"Classification": "emr-hbase-master-metrics",
"Properties": {
"Hadoop:service=HBase,name=Master,sub=AssignmentManager": "AssignFailedCount,AssignSubmittedCount",
"otel.metric.export.interval": "30000"
},
"Configurations": []
}
]
}
]
```
Nesta configuração:
+ Especificamos o MBean (`Hadoop:service=HBase,name=Master,sub=AssignmentManager`) para coletar métricas como `AssignFailedCount` `AssignSubmittedCount` e.
+ Definimos o intervalo para coletar essas métricas a cada 30 segundos (30.000 milissegundos).
1. **Configurando métricas do servidor de HBase região** — Para monitorar servidores de HBase região, configure o CloudWatch agente da seguinte forma:
```
[
{
"Classification": "emr-metrics",
"Properties": {},
"Configurations": [
{
"Classification": "emr-hbase-region-server-metrics",
"Properties": {
"Hadoop:service=HBase,name=RegionServer,sub=IPC": "numActiveHandler,numActivePriorityHandler",
"otel.metric.export.interval": "30000"
},
"Configurations": []
}
]
}
]
```
Esta configuração:
+ Monitora manipuladores ativos no Region Server (`numActiveHandler`, `numActivePriorityHandler`).
+ Usa um intervalo de 30 segundos para coleta de métricas.
1. **Configurando métricas do servidor HBase REST** — Para monitorar a interface HBase REST, você pode usar a seguinte configuração:
```
[
{
"Classification": "emr-metrics",
"Properties": {},
"Configurations": [
{
"Classification": "emr-hbase-rest-server-metrics",
"Properties": {
"Hadoop:service=HBase,name=REST": "successfulPut,successfulScanCount",
"otel.metric.export.interval": "30000"
},
"Configurations": []
}
]
}
]
```
Neste exemplo, o CloudWatch agente coleta métricas sobre operações PUT bem-sucedidas e contagens de escaneamento a cada 30 segundos.
1. **Configurando métricas do HBase Thrift Server** — Para monitorar o HBase Thrift Server, você pode configurar métricas com uma configuração como a seguinte:
```
[
{
"Classification": "emr-metrics",
"Properties": {},
"Configurations": [
{
"Classification": "emr-hbase-thrift-server-metrics",
"Properties": {
"Hadoop:service=HBase,name=Thrift,sub=ThriftOne": "BatchGet_max,BatchGet_mean",
"otel.metric.export.interval": "30000"
},
"Configurations": []
}
]
}
]
```
Essa configuração rastreia os tempos máximos e médios das operações GET em lote no Thrift Server.
# Usar o destino de métricas
Com o EMR 7.1, você tem a opção de enviar seus dados de métricas para a Amazon ou o CloudWatch Amazon Managed Service for Prometheus. Essa opção permite uma integração perfeita com diferentes ferramentas de monitoramento, com base em suas necessidades.
## Enviando métricas para a Amazon CloudWatch
Para enviar métricas para CloudWatch, use esta configuração:
```
[
{
"Classification": "emr-metrics",
"Properties": {
"metrics_destination": "cloudwatch"
},
"Configurations": []
}
]
```
## Envio de métricas ao Amazon Managed Service para Prometheus
Se preferir usar o Prometheus, defina o destino e forneça a URL do endpoint:
```
[
{
"Classification": "emr-metrics",
"Properties": {
"metrics_destination": "prometheus",
"prometheus_endpoint": "https://aps-workspaces.region.amazonaws.com/workspaces/workspace_id/api/v1/remote_write"
},
"Configurations": []
}
]
```
`region`Substitua pela sua AWS região e pelo `workspace_id` ID do espaço de trabalho Prometheus. Essa configuração direciona suas HBase métricas para o Prometheus usando o endpoint especificado.
Com a configuração acima, você pode ver as métricas abaixo na guia **Monitoramento**.