View a markdown version of this page

Usar a classificação de padrões do contêiner do Amazon EMR - Amazon EMR
Visão geral do Exemplos

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Usar a classificação de padrões do contêiner do Amazon EMR

Visão geral do

As seguintes configurações estão disponíveis na classificação emr-containers-defaults:

job-start-timeout

Por padrão, um trabalho atingirá o tempo limite se não puder ser iniciado e esperar no estado SUBMITTED por 15 minutos. Essa configuração altera o número de segundos de espera antes da expiração da tarefa.

executor.logging

Ativa ou desativa o registro nos pods do executor. Quando isso é definido como, DISABLED o contêiner de registro é removido dos pods do executor, o que desativará qualquer registro desses pods especificados nomonitoringConfiguration, como ou. s3MonitoringConfiguration cloudWatchMonitoringConfiguration Quando essa configuração não está definida ou está definida com qualquer outro valor, o registro nos pods do executor é ativado.

logging.image

Define uma imagem personalizada a ser utilizada para o contêiner de registro em log nos pods do driver e do executor.

logging.request.cores

Define um valor personalizado para o número CPUs, em unidades de CPU, do contêiner de registro nos pods do driver e do executor. Isso não é definido por padrão.

logging.request.memory

Define um valor personalizado para a quantidade de memória, em bytes, para o contêiner de registro em log nos pods do driver e do executor. Por padrão, ela é definida como 512Mi. Um mebibyte é uma unidade de medida semelhante a um megabyte.

Exemplos de classificação de envio de trabalho

Solicitação StartJobRun com tempo limite de trabalho personalizado

{
  "name": "spark-python", 
  "virtualClusterId": "virtual-cluster-id", 
  "executionRoleArn": "execution-role-arn", 
  "releaseLabel": "emr-6.11.0-latest", 
  "jobDriver": {
    "sparkSubmitJobDriver": {
      "entryPoint": "s3://S3-prefix/trip-count.py"
    }
  }, 
  "configurationOverrides": {
    "applicationConfiguration": [
      {
        "classification": "emr-containers-defaults", 
        "properties": {
          "job-start-timeout": "1800"
        }
      }
    ], 
    "monitoringConfiguration": {
      "cloudWatchMonitoringConfiguration": {
        "logGroupName": "/emr-containers/jobs", 
        "logStreamNamePrefix": "demo"
      }, 
      "s3MonitoringConfiguration": {
        "logUri": "s3://joblogs"
      }
    }
  }
}

StartJobRunsolicitação com registro desativado para pods de executores

"configurationOverrides": {
  "applicationConfiguration": [
    {
      "classification": "emr-containers-defaults", 
      "properties": {
        "executor.logging": "DISABLED"
      }
    }
  ], 
  "monitoringConfiguration": {
    "cloudWatchMonitoringConfiguration": {
      "logGroupName": "/emr-containers/jobs", 
      "logStreamNamePrefix": "demo"
    }, 
    "s3MonitoringConfiguration": {
      "logUri": "s3://joblogs"
    }
  }
}

StartJobRunsolicitação com imagem de contêiner de registro personalizada, CPU e memória para os pods de driver e executor

"configurationOverrides": {
  "applicationConfiguration": [
    {
      "classification": "emr-containers-defaults", 
      "properties": {
        "logging.image": "YOUR_ECR_IMAGE_URL",
        "logging.request.memory": "200Mi",
        "logging.request.cores": "0.5"
      }
    }
  ], 
  "monitoringConfiguration": {
    "cloudWatchMonitoringConfiguration": {
      "logGroupName": "/emr-containers/jobs", 
      "logStreamNamePrefix": "demo"
    }, 
    "s3MonitoringConfiguration": {
      "logUri": "s3://joblogs"
    }
  }
}