Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Características y capacidades
Plataformas admitidas
-
Lenguajes: aplicaciones Python y Scala Spark
-
Plataformas de destino: Amazon EMR en EC2, EMR sin servidor, EMR en EKS y Glue AWS
Cómo funciona
Cuando tu aplicación Spark falle, puedes usar el agente de solución de problemas para investigar automáticamente qué es lo que ha fallado. Analiza los registros de eventos, los mensajes de error y el uso de recursos de Spark para identificar el problema exacto, ya sea que el ejecutor de Spark se quede sin memoria, un error de configuración o un error de código.
Cuando le pides a un mensaje en lenguaje natural que analice tu carga de trabajo en Spark, el agente se conecta a los recursos de tu plataforma y extrae funciones (entre las que se incluyen los registros de eventos de Spark, los planes de consultas, los cronogramas de los ejecutores, el seguimiento de los registros, las configuraciones y las métricas):
-
Activado EMR-EC2: se conecta a la interfaz de usuario persistente de EMR para el clúster
-
On Glue: crea el contexto de la interfaz de usuario de Spark de Glue Studio para el trabajo
-
Activado EMR-Serverless: se conecta al servidor de historial de EMR-Serverless Spark para realizar el trabajo
-
En EMR o EKS: se conecta a la interfaz de usuario persistente de EMR para el trabajo.
-
El agente también analiza las trazas de la pila de errores y los detalles de configuración para proporcionarle información útil.
En el caso de las cargas de trabajo fallidas, recibirá una explicación clara de la causa raíz y los pasos específicos para solucionarla. Si el agente detecta un problema relacionado con el código, proporciona automáticamente recomendaciones de código para mostrarle exactamente qué es lo que debe cambiar en el código. También puedes solicitar sugerencias a nivel de código directamente en cualquier momento sin necesidad de realizar un análisis completo.
Regiones disponibles
El agente de solución de problemas de Spark está disponible en las siguientes regiones:
-
Asia-Pacífico: Tokio (ap-northeast-1), Seúl (ap-northeast-2), Singapur (ap-southeast-1), Sídney (ap-southeast-2) y Bombay (ap-south-1)
-
América del Norte: Canadá (ca-central-1)
-
Europa: Estocolmo (eu-north-1), Irlanda (eu-west-1), Londres (eu-west-2), París (eu-west-3) y Frankfurt (eu-central-1)
-
América del Sur: São Paulo (sa-east-1)
-
Estados Unidos: norte de Virginia (us-east-1), Ohio (us-east-2) y Oregón (us-west-2)
Alcance de la solución de problemas de Spark y requisitos de usuario
-
Estados de carga de trabajo de Spark compatibles: las herramientas solo admitirán respuestas para cargas de trabajo de Spark fallidas.
-
Interfaz de usuario persistente de EMR: al analizar Amazon EMR en EC2 y EMR en cargas de trabajo de EKS, la herramienta de análisis intentará conectarse a la interfaz de usuario persistente de EMR para recuperar información clave de Spark. Las consideraciones sobre la interfaz de usuario persistente de EMR se documentan aquí.
-
Interfaz de usuario de Glue Studio Spark: al analizar las cargas de trabajo de AWS Glue, la herramienta de análisis intentará recuperar la información clave de Spark analizando los registros de eventos de Spark del usuario de Amazon S3. El tamaño máximo permitido del registro de eventos de Spark está documentado aquí: 512 MB y 2 GB para los registros sucesivos.
-
Recomendaciones de código: solo se admite para las cargas de trabajo Amazon EMR en EC2, EMR Serverless, EMR en EKS y Glue AWS PySpark
-
Recursos regionales: el agente de solución de problemas de Spark es regional y utiliza los recursos de EMR subyacentes de esa región para el proceso de solución de problemas. Cross-region no se admite la solución de problemas.
