View a markdown version of this page

Uso de la clasificación de valores predeterminados de contenedores de Amazon EMR - Amazon EMR
Descripción general de Ejemplos

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Uso de la clasificación de valores predeterminados de contenedores de Amazon EMR

Descripción general de

Las siguientes configuraciones están disponibles en la clasificación emr-containers-defaults:

job-start-timeout

De forma predeterminada, se agota el tiempo de espera de un trabajo si no se puede iniciar y espera en estado de SUBMITTED durante 15 minutos. Esta configuración cambia la cantidad de segundos que se deben esperar antes de que se agote el trabajo.

executor.logging

Activa o deshabilita el registro en los módulos ejecutores. Cuando se establece esta opción, DISABLED el contenedor de registro se elimina de los módulos ejecutores, lo que deshabilita cualquier registro de los módulos especificados en ellosmonitoringConfiguration, como o. s3MonitoringConfiguration cloudWatchMonitoringConfiguration Si esta configuración no está establecida o se establece en cualquier otro valor, se habilita el inicio de sesión en los pods ejecutores.

logging.image

Establece una imagen personalizada que se usará en el contenedor de registro de los pods del controlador y del ejecutor.

logging.request.cores

Establece un valor personalizado para el número CPUs, en unidades de CPU, del contenedor de registro de los módulos del controlador y del ejecutor. No se establece de forma predeterminada.

logging.request.memory

Establece un valor personalizado para la cantidad de memoria, en bytes, del contenedor de registro de los pods del controlador y del ejecutor. De forma predeterminada, se establece en 512 Mi. Un mebibyte es una unidad de medida similar a un megabyte.

Ejemplos de clasificación de remitentes de trabajos

Solicitud de StartJobRun con tiempo de espera de trabajo personalizado

{
  "name": "spark-python", 
  "virtualClusterId": "virtual-cluster-id", 
  "executionRoleArn": "execution-role-arn", 
  "releaseLabel": "emr-6.11.0-latest", 
  "jobDriver": {
    "sparkSubmitJobDriver": {
      "entryPoint": "s3://S3-prefix/trip-count.py"
    }
  }, 
  "configurationOverrides": {
    "applicationConfiguration": [
      {
        "classification": "emr-containers-defaults", 
        "properties": {
          "job-start-timeout": "1800"
        }
      }
    ], 
    "monitoringConfiguration": {
      "cloudWatchMonitoringConfiguration": {
        "logGroupName": "/emr-containers/jobs", 
        "logStreamNamePrefix": "demo"
      }, 
      "s3MonitoringConfiguration": {
        "logUri": "s3://joblogs"
      }
    }
  }
}

StartJobRunsolicitud con el registro deshabilitado para los pods de ejecución

"configurationOverrides": {
  "applicationConfiguration": [
    {
      "classification": "emr-containers-defaults", 
      "properties": {
        "executor.logging": "DISABLED"
      }
    }
  ], 
  "monitoringConfiguration": {
    "cloudWatchMonitoringConfiguration": {
      "logGroupName": "/emr-containers/jobs", 
      "logStreamNamePrefix": "demo"
    }, 
    "s3MonitoringConfiguration": {
      "logUri": "s3://joblogs"
    }
  }
}

StartJobRunsolicitud con imagen de contenedor de registro personalizado, CPU y memoria para los módulos de controlador y ejecutor

"configurationOverrides": {
  "applicationConfiguration": [
    {
      "classification": "emr-containers-defaults", 
      "properties": {
        "logging.image": "YOUR_ECR_IMAGE_URL",
        "logging.request.memory": "200Mi",
        "logging.request.cores": "0.5"
      }
    }
  ], 
  "monitoringConfiguration": {
    "cloudWatchMonitoringConfiguration": {
      "logGroupName": "/emr-containers/jobs", 
      "logStreamNamePrefix": "demo"
    }, 
    "s3MonitoringConfiguration": {
      "logUri": "s3://joblogs"
    }
  }
}