Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
# Surveillance de l'EMR HBase avec Amazon CloudWatch
À partir d'EMR 7.0, Amazon EMR fournit l' CloudWatch agent Amazon pour envoyer des métriques à Prometheus ou à CloudWatch Prometheus, en remplacement du système de surveillance Ganglia. Vous trouverez plus de détails dans le [guide de configuration de CloudWatch l'agent Amazon](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/AmazonCloudWatchAgent-config-700.html).
L' CloudWatch agent Amazon EMR 7.0 a fourni une intégration de base et sa configuration a nécessité des efforts manuels, tels que le téléchargement de composants et l'utilisation d'actions de démarrage. Cependant, à partir de la version 7.1 de l'EMR, le processus est simplifié. L'utilisation de l' CloudWatch agent Amazon dans EMR 7.1 permet de surveiller facilement les métriques au niveau du système et spécifiques à l'application, y compris celles pour. HBase En utilisant l'API de configuration EMR, vous pouvez rapidement configurer et personnaliser le processus de collecte des métriques, et choisir où envoyer les données, que ce soit à Amazon CloudWatch ou à Prometheus. Cette flexibilité vous permet de surveiller de près vos HBase clusters, afin de garantir leur bon fonctionnement et leur efficacité.
Utiliser l'API de configuration EMR pour gérer l'ensemble de la configuration, ce qui rend le processus beaucoup plus fluide. Dans EMR 7.1, l' CloudWatch agent prend en charge trois principaux types de métriques :
+ **Mesures du système** : elles incluent des indicateurs clés des performances du système, tels que : l'utilisation du processeur, l'utilisation du disque, l'utilisation de la mémoire, les E/S réseau, les processus et l'utilisation du swap.
+ Métriques du **démon Hadoop : ces métriques** concernent les différents composants de Hadoop, notamment : les métriques, les DataNode métriques, les métriques YARN et NameNode les NodeManager métriques YARN. ResourceManager
+ **HBase Métriques** — Ces mesures fournissent des informations sur HBase les performances : métriques HBase principales, métriques du serveur HBase régional, métriques du serveur HBase REST et métriques du serveur HBase Thrift.
------
#### [ Using the AWS CLI ]
Toutes les métriques pour Hadoop et Hadoop HBase sont basées sur JMX, ce qui signifie qu'ils utilisent des extensions de gestion Java pour fournir des informations détaillées. Voici comment configurer Amazon CloudWatch Agent pour surveiller HBase :
+ Reportez-vous à la section [Conditions préalables](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/AmazonCloudWatchAgent-create.html) avant de créer un cluster avec Amazon CloudWatch Agent. Utilisez une `create-cluster` commande similaire à l'exemple qui apparaît après cette liste.
+ Reportez-vous aux [configurations](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/AmazonCloudWatchAgent-config.html) prises en charge pour un HBase cluster.
+ Reportez-vous à l'exemple ci-dessous pour des exemples de configurations pour configurer HBase la surveillance. Reportez-vous aux exemples de configurations pour l'`--configuration`entrée.
```
aws emr create-cluster --name "HBase cluster with CloudWatch agent" \
--release-label emr-7.1.0 \
--applications Name=HBase Name=AmazonCloudWatchAgent \
--ec2-attributes KeyName=myKey --instance-type m7g.2xlarge \
--configurations file://./configurations.json \
--instance-count 3 --use-default-roles
```
Pour plus d'informations sur les exemples de configurations JSON pour les métriques, voir [Configurer les métriques](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hbase-setting-up-metrics.html).
------
#### [ Using the console ]
Pour créer un cluster avec CloudWatch l'agent Amazon depuis la console, procédez comme suit :
**Création d'un cluster avec l' CloudWatch agent depuis la console**
1. [Connectez-vous au et ouvrez la AWS Management Console console Amazon EMR à l'adresse /emr. https://console.aws.amazon.com](https://console.aws.amazon.com/emr)
1. Choisissez **Créer un cluster**.
1. Sous **Nom et applications**, choisissez Amazon EMR 7.0.0 ou version ultérieure.
1. Sous **Ensemble d'applications**, sélectionnez HBase les applications supplémentaires que vous souhaitez installer sur votre cluster, et incluez CloudWatch un agent dans vos sélections.
1. Développez **les paramètres du logiciel**. Vous pouvez ensuite saisir la configuration directement à l'aide de JSON ou d’une syntaxe raccourcie présentée dans le texte ombré dans la console. Sinon, vous pouvez fournir un URI Amazon S3 pour un fichier avec un objet JSON `Configurations`. Pour plus d'informations sur les exemples de configurations JSON pour les métriques, voir [Configurer les métriques](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hbase-setting-up-metrics.html).
1. Procédez à la création du cluster adapté à votre cas d’utilisation.
------
# Configurer des métriques
Pour surveiller le HBase Master, vous pouvez configurer Amazon CloudWatch Agent pour collecter des métriques spécifiques.
1. **Configuration des métriques HBase principales** — Pour surveiller les métriques HBase principales, vous pouvez configurer Amazon CloudWatch Agent pour collecter des métriques spécifiques. Voici un exemple de configuration pour suivre les activités du responsable des missions principales :
```
[
{
"Classification": "emr-metrics",
"Properties": {},
"Configurations": [
{
"Classification": "emr-hbase-master-metrics",
"Properties": {
"Hadoop:service=HBase,name=Master,sub=AssignmentManager": "AssignFailedCount,AssignSubmittedCount",
"otel.metric.export.interval": "30000"
},
"Configurations": []
}
]
}
]
```
Dans cette configuration :
+ Nous spécifiez le MBean (`Hadoop:service=HBase,name=Master,sub=AssignmentManager`) pour collecter des métriques telles que `AssignFailedCount` et`AssignSubmittedCount`.
+ Nous avons défini l'intervalle pour collecter ces métriques toutes les 30 secondes (30 000 millisecondes).
1. **Configuration des métriques des serveurs HBase régionaux** : pour surveiller les serveurs HBase régionaux, configurez l' CloudWatch agent comme suit :
```
[
{
"Classification": "emr-metrics",
"Properties": {},
"Configurations": [
{
"Classification": "emr-hbase-region-server-metrics",
"Properties": {
"Hadoop:service=HBase,name=RegionServer,sub=IPC": "numActiveHandler,numActivePriorityHandler",
"otel.metric.export.interval": "30000"
},
"Configurations": []
}
]
}
]
```
Cette configuration :
+ Surveille les gestionnaires actifs sur le serveur de région (`numActiveHandler`,`numActivePriorityHandler`).
+ Utilise un intervalle de 30 secondes pour la collecte des métriques.
1. **Configuration des métriques du serveur HBase REST** — Pour surveiller l'interface HBase REST, vous pouvez utiliser la configuration suivante :
```
[
{
"Classification": "emr-metrics",
"Properties": {},
"Configurations": [
{
"Classification": "emr-hbase-rest-server-metrics",
"Properties": {
"Hadoop:service=HBase,name=REST": "successfulPut,successfulScanCount",
"otel.metric.export.interval": "30000"
},
"Configurations": []
}
]
}
]
```
Dans cet exemple, l' CloudWatch agent collecte des mesures relatives aux opérations PUT réussies et compte le nombre de scans toutes les 30 secondes.
1. **Configuration des métriques du serveur HBase Thrift** — Pour surveiller le HBase Thrift Server, vous pouvez configurer les métriques avec une configuration telle que la suivante :
```
[
{
"Classification": "emr-metrics",
"Properties": {},
"Configurations": [
{
"Classification": "emr-hbase-thrift-server-metrics",
"Properties": {
"Hadoop:service=HBase,name=Thrift,sub=ThriftOne": "BatchGet_max,BatchGet_mean",
"otel.metric.export.interval": "30000"
},
"Configurations": []
}
]
}
]
```
Cette configuration permet de suivre les temps maximum et moyen des opérations GET par lots sur le serveur Thrift.
# Utilisation de la destination des métriques
Avec EMR 7.1, vous avez la possibilité d'envoyer vos données métriques à Amazon ou à CloudWatch Amazon Managed Service for Prometheus. Ce choix vous permet de vous intégrer facilement aux différents outils de surveillance, en fonction de vos besoins.
## Envoi de métriques à Amazon CloudWatch
Pour envoyer des métriques à CloudWatch, utilisez cette configuration :
```
[
{
"Classification": "emr-metrics",
"Properties": {
"metrics_destination": "cloudwatch"
},
"Configurations": []
}
]
```
## Envoi de métriques à Amazon Managed Service pour Prometheus
Si vous préférez utiliser Prometheus, définissez la destination et fournissez l'URL du point de terminaison :
```
[
{
"Classification": "emr-metrics",
"Properties": {
"metrics_destination": "prometheus",
"prometheus_endpoint": "https://aps-workspaces.region.amazonaws.com/workspaces/workspace_id/api/v1/remote_write"
},
"Configurations": []
}
]
```
`region`Remplacez-le par votre AWS région et par votre `workspace_id` identifiant d'espace de travail Prometheus. Cette configuration dirige vos HBase métriques vers Prometheus en utilisant le point de terminaison spécifié.
Avec la configuration ci-dessus, vous pouvez voir les métriques ci-dessous sous l'onglet **Surveillance**.