Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Descripción del comportamiento de las aplicaciones en EMR sin servidor
En esta sección se describe el comportamiento de envío de trabajos, la configuración de la capacidad para el escalado y los ajustes de configuración del trabajador para EMR sin servidor.
Comportamiento predeterminado de la aplicación
Auto-start— De forma predeterminada, una aplicación está configurada para que se inicie automáticamente al enviar el trabajo. Puede desactivar esta característica.
Auto-stop— De forma predeterminada, una aplicación está configurada para detenerse automáticamente cuando está inactiva durante 15 minutos. Cuando una aplicación cambia al estado STOPPED, libera cualquier capacidad preinicializada configurada. Puede modificar la cantidad de tiempo de inactividad antes de que una aplicación se detenga automáticamente o puede desactivar esta característica.
Capacidad máxima
Puede configurar la capacidad máxima hasta la que puede escalarse verticalmente una aplicación. Puede especificar la capacidad máxima en términos de CPU, memoria (GB) y disco (GB).
nota
Se recomienda configurar la capacidad máxima para que sea proporcional a los tamaños de los trabajadores admitidos multiplicando el número de trabajadores por sus tamaños. Por ejemplo, si desea limitar la aplicación a 50 trabajadores con 2 vCPU, 16 GB de memoria y 20 GB de disco, establezca la capacidad máxima en 100 vCPU, 800 GB de memoria y 1000 GB de disco.
Configuraciones de trabajadores admitidas
La siguiente tabla muestra las configuraciones y los tamaños de trabajadores admitidos que se pueden especificar para EMR sin servidor. Configure diferentes tamaños para los controladores y los ejecutores en función de las necesidades de su carga de trabajo.
| CPU | Memoria | Almacenamiento efímero predeterminado |
|---|---|---|
|
1 vCPU |
Mínimo 2 GB, máximo 8 GB, en incrementos de 1 GB |
20 GB-200 GB |
|
2 vCPU |
Mínimo 4 GB, máximo 16 GB, en incrementos de 1 GB |
20 GB-200 GB |
|
4 vCPU |
Mínimo 8 GB, máximo 30 GB, en incrementos de 1 GB |
20 GB-200 GB |
|
8 vCPU |
Mínimo 16 GB, máximo 60 GB, en incrementos de 4 GB |
20 GB-200 GB |
|
16 vCPU |
Mínimo 32 GB, máximo 120 GB, en incrementos de 8 GB |
20 GB-200 GB |
|
32 vCPU |
Tres valores discretos: 60 GB, 120 GB o 244 GB |
20 GB-200 GB |
CPU: cada trabajador puede tener 1, 2, 4, 8, 16 o 32 vCPU.
Memoria: cada trabajador tiene memoria, especificada en GB, dentro de los límites indicados en la tabla anterior. Los trabajos de Spark tienen una sobrecarga de memoria, lo que significa que la memoria que utilizan es superior a los tamaños de contenedor especificados. Esta sobrecarga se especifica con las propiedades spark.driver.memoryOverhead y spark.executor.memoryOverhead. La sobrecarga tiene un valor predeterminado del 10 % de la memoria del contenedor, con un mínimo de 384 MB. Debe tener en cuenta esta sobrecarga al elegir el tamaño de los trabajadores.
Por ejemplo, si elije 4 vCPU para su instancia de trabajador y una capacidad de almacenamiento preinicializada de 30 GB, establezca un valor de aproximadamente 27 GB como memoria ejecutora para su trabajo de Spark. Esto maximiza el uso de la capacidad preinicializada. La memoria utilizable es de 27 GB, más un 10 % de 27 GB (2,7 GB), para un total de 29,7 GB.
Para los trabajadores con 32 vCPU, la memoria de trabajo debe coincidir con una de las tres configuraciones discretas: 60 GB, 120 GB o 244 GB. EMR Serverless valida la solicitud de memoria total (memoria configurada por Spark más sobrecarga de memoria) y rechaza los trabajos cuyo total no se ajuste a una de las tres configuraciones. spark.executor.memoryjunto con la sobrecarga de memoria (valor predeterminado del 10%), deben estar dentro de los 8 GB de la configuración de memoria de trabajo admitida. Por ejemplo, se rechazará un trabajo de Spark que solicite un servidor de 32 vCPU spark.executor.memory establecido en 100 GB porque el total de 110 GB (después de añadir la sobrecarga predeterminada del 10%) no está dentro de los 8 GB del tamaño de trabajador de 120 GB admitido. En este caso, spark.executor.memory se aceptarán valores dentro del rango de 102 GB a 109 GB.
Disco: puede configurar a cada trabajador con discos de almacenamiento temporal con un tamaño mínimo de 20 GB y uno máximo de 200 GB. Solo paga por el almacenamiento adicional de más de 20 GB que configure por trabajador.
