Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés. # Supervisión de EMR con Amazon HBase CloudWatch A partir de EMR 7.0, Amazon EMR proporciona el Amazon CloudWatch Agent para enviar las métricas o CloudWatch Prometheus, en sustitución del sistema de monitorización Ganglia. Encontrarás más detalles en la [Guía de configuración de Amazon CloudWatch Agent](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/AmazonCloudWatchAgent-config-700.html). El CloudWatch agente Amazon EMR 7.0 proporcionaba una integración básica y su configuración requería un esfuerzo manual, como descargar componentes y utilizar acciones de arranque. Sin embargo, a partir de EMR 7.1, el proceso se simplifica. El uso de Amazon CloudWatch Agent en EMR 7.1 facilita la supervisión de las métricas específicas del sistema y de la aplicación, incluidas las de. HBase Al usar la API de configuración de EMR, puede configurar y personalizar rápidamente el proceso de recopilación de métricas y elegir dónde enviar los datos, ya sea a Amazon CloudWatch o Prometheus. Esta flexibilidad le ayuda a vigilar de cerca sus HBase clústeres, lo que garantiza que funcionen sin problemas y de manera eficiente. El uso de la API de configuración de EMR para gestionar toda la configuración facilita mucho el proceso. El CloudWatch agente de EMR 7.1 admite tres tipos principales de métricas: + **Métricas del sistema**: incluyen indicadores clave del rendimiento del sistema, como el uso de la CPU, el uso del disco, el uso de la memoria, las E/S de la red, los procesos y el uso del intercambio. + **Métricas de Hadoop Daemon**: estas métricas se refieren a los distintos componentes de Hadoop, que incluyen: DataNode métricas, métricas, métricas YARN y NameNode métricas YARN NodeManager . ResourceManager + **HBase Métricas**: estas métricas proporcionan información sobre el rendimiento: métricas HBase maestras, métricas HBase de servidores HBase regionales, métricas de servidores HBase REST y métricas de Thrift Server. HBase ------ #### [ Using the AWS CLI ] Todas las métricas de Hadoop HBase están basadas en JMX, lo que significa que utilizan Java Management Extensions para proporcionar información detallada. Así es como puedes configurar Amazon CloudWatch Agent para que supervise HBase: + Consulta los [requisitos previos](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/AmazonCloudWatchAgent-create.html) antes de crear un clúster con Amazon CloudWatch Agent. Utilice un comando `create-cluster` similar al ejemplo que aparece después de esta lista. + Consulte las [configuraciones](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/AmazonCloudWatchAgent-config.html) compatibles con un HBase clúster. + Consulte el ejemplo siguiente para ver ejemplos de configuraciones para configurar la HBase supervisión. Consulte los ejemplos de configuraciones para la entrada `--configuration`. ``` aws emr create-cluster --name "HBase cluster with CloudWatch agent" \ --release-label emr-7.1.0 \ --applications Name=HBase Name=AmazonCloudWatchAgent \ --ec2-attributes KeyName=myKey --instance-type m7g.2xlarge \ --configurations file://./configurations.json \ --instance-count 3 --use-default-roles ``` Para obtener más información sobre los ejemplos de configuraciones de JSON para las métricas, consulte [Set up metrics](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hbase-setting-up-metrics.html). ------ #### [ Using the console ] Para crear un clúster con el CloudWatch agente de Amazon desde la consola, sigue estos pasos: **Cree un clúster con el CloudWatch agente desde la consola** 1. [Inicie sesión en y abra la Consola de administración de AWS consola de Amazon EMR en https://console.aws.amazon.com /emr.](https://console.aws.amazon.com/emr) 1. Elija **Create cluster**. 1. En **Nombre y aplicaciones**, elija la versión de Amazon EMR 7.0.0 o posterior. 1. En **Paquete de aplicaciones**, seleccione HBase las aplicaciones adicionales que desee instalar en su clúster e incluya el CloudWatch agente en sus selecciones. 1. Amplíe la **configuración del software**. A continuación, puede introducir la configuración directamente a través de JSON o una sintaxis abreviada mostrada en el texto en sombra en la consola. De lo contrario, puede proporcionar una URI de Amazon S3 para un archivo con un objeto `Configurations` de JSON. Para obtener más información sobre los ejemplos de configuraciones de JSON para las métricas, consulte [Configuración de métricas](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hbase-setting-up-metrics.html). 1. Continúe con la creación del clúster que se ajuste a las necesidades del caso de uso. ------ # Configuración de métricas Para supervisar el HBase Master, puedes configurar Amazon CloudWatch Agent para que recopile métricas específicas. 1. **Configuración de métricas HBase maestras**: para monitorear la métrica HBase maestra, puedes configurar Amazon CloudWatch Agent para que recopile métricas específicas. A continuación, se muestra un ejemplo de configuración para realizar un seguimiento de las actividades del administrador de tareas maestro: ``` [ { "Classification": "emr-metrics", "Properties": {}, "Configurations": [ { "Classification": "emr-hbase-master-metrics", "Properties": { "Hadoop:service=HBase,name=Master,sub=AssignmentManager": "AssignFailedCount,AssignSubmittedCount", "otel.metric.export.interval": "30000" }, "Configurations": [] } ] } ] ``` En esta configuración: + Especificamos el MBean (`Hadoop:service=HBase,name=Master,sub=AssignmentManager`) para recopilar métricas como `AssignFailedCount` y`AssignSubmittedCount`. + Establecemos el intervalo para recopilar estas métricas cada 30 segundos (30000 milisegundos). 1. **Configuración de las métricas del servidor HBase regional**: para monitorear los servidores HBase regionales, configure el CloudWatch agente de la siguiente manera: ``` [ { "Classification": "emr-metrics", "Properties": {}, "Configurations": [ { "Classification": "emr-hbase-region-server-metrics", "Properties": { "Hadoop:service=HBase,name=RegionServer,sub=IPC": "numActiveHandler,numActivePriorityHandler", "otel.metric.export.interval": "30000" }, "Configurations": [] } ] } ] ``` Esta configuración: + Supervisa los controladores activos en el servidor de región (`numActiveHandler` y `numActivePriorityHandler`). + Utiliza un intervalo de 30 segundos para la recopilación de métricas. 1. **Configuración de las métricas del servidor HBase REST**: para monitorear la interfaz HBase REST, puede usar la siguiente configuración: ``` [ { "Classification": "emr-metrics", "Properties": {}, "Configurations": [ { "Classification": "emr-hbase-rest-server-metrics", "Properties": { "Hadoop:service=HBase,name=REST": "successfulPut,successfulScanCount", "otel.metric.export.interval": "30000" }, "Configurations": [] } ] } ] ``` En este ejemplo, el CloudWatch agente recopila métricas sobre las operaciones PUT correctas y escanea los recuentos cada 30 segundos. 1. **Configuración de las métricas de HBase Thrift Server**: para supervisar el HBase Thrift Server, puede configurar las métricas con una configuración como la siguiente: ``` [ { "Classification": "emr-metrics", "Properties": {}, "Configurations": [ { "Classification": "emr-hbase-thrift-server-metrics", "Properties": { "Hadoop:service=HBase,name=Thrift,sub=ThriftOne": "BatchGet_max,BatchGet_mean", "otel.metric.export.interval": "30000" }, "Configurations": [] } ] } ] ``` Esta configuración registra los tiempos máximos y medios de las operaciones GET por lotes en el servidor Thrift. # Uso del destino de las métricas Con EMR 7.1, tiene la opción de enviar los datos de sus métricas a Amazon o CloudWatch Amazon Managed Service for Prometheus. Esta opción le permite integrarse sin problemas con diferentes herramientas de monitoreo, en función de sus necesidades. ## Envío de métricas a Amazon CloudWatch Para enviar las métricas a CloudWatch, usa esta configuración: ``` [ { "Classification": "emr-metrics", "Properties": { "metrics_destination": "cloudwatch" }, "Configurations": [] } ] ``` ## Envío de métricas a Amazon Managed Service para Prometheus Si prefiere usar Prometheus, establezca el destino y proporcione la URL del punto de conexión: ``` [ { "Classification": "emr-metrics", "Properties": { "metrics_destination": "prometheus", "prometheus_endpoint": "https://aps-workspaces.region.amazonaws.com/workspaces/workspace_id/api/v1/remote_write" }, "Configurations": [] } ] ``` `region`Sustitúyala por tu AWS región y por tu `workspace_id` ID de espacio de trabajo de Prometheus. Esta configuración dirige sus HBase métricas a Prometheus mediante el punto final especificado. Con la configuración anterior, puede ver las siguientes métricas en la pestaña **Supervisión**.