Utilizzo della classificazione delle impostazioni predefinite dei container Amazon EMR - Amazon EMR
Panoramica di Esempi

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Utilizzo della classificazione delle impostazioni predefinite dei container Amazon EMR

Panoramica di

Le seguenti impostazioni sono disponibili nella classificazione: emr-containers-defaults

job-start-timeout

Per impostazione predefinita, un processo scade se non può essere avviato e rimane nello SUBMITTED stato per 15 minuti. Questa configurazione modifica il numero di secondi di attesa prima del timeout del processo.

executor.logging

Abilita o disabilita la registrazione sugli executor pod. Quando questa opzione è impostata su, DISABLED il contenitore di registrazione viene rimosso dai pod dell'executor, il che disabiliterà qualsiasi registrazione per questi pod specificati in, ad esempio o. monitoringConfiguration s3MonitoringConfiguration cloudWatchMonitoringConfiguration Quando questa impostazione non è impostata o è impostata su un altro valore, la registrazione sugli executor pod è abilitata.

logging.image

Imposta un'immagine personalizzata da utilizzare per il contenitore di registrazione sui pod del driver e dell'executor.

logging.request.cores

Imposta un valore personalizzato per il numero di CPUs, in unità CPU, per il contenitore di registrazione sui driver e sui pod dell'executor. Per impostazione predefinita, questo valore non è impostato.

logging.request.memory

Imposta un valore personalizzato per la quantità di memoria, in byte, per il contenitore di registrazione sui pod driver e executor. Per impostazione predefinita, questo valore è impostato su 512 Mi. Un mebibyte è un'unità di misura simile a un megabyte.

Esempi di classificazione del mittente di processi

StartJobRunrichiesta con timeout di lavoro personalizzato

{
  "name": "spark-python", 
  "virtualClusterId": "virtual-cluster-id", 
  "executionRoleArn": "execution-role-arn", 
  "releaseLabel": "emr-6.11.0-latest", 
  "jobDriver": {
    "sparkSubmitJobDriver": {
      "entryPoint": "s3://S3-prefix/trip-count.py"
    }
  }, 
  "configurationOverrides": {
    "applicationConfiguration": [
      {
        "classification": "emr-containers-defaults", 
        "properties": {
          "job-start-timeout": "1800"
        }
      }
    ], 
    "monitoringConfiguration": {
      "cloudWatchMonitoringConfiguration": {
        "logGroupName": "/emr-containers/jobs", 
        "logStreamNamePrefix": "demo"
      }, 
      "s3MonitoringConfiguration": {
        "logUri": "s3://joblogs"
      }
    }
  }
}

StartJobRunrichiesta con registrazione disabilitata per gli executor pod

"configurationOverrides": {
  "applicationConfiguration": [
    {
      "classification": "emr-containers-defaults", 
      "properties": {
        "executor.logging": "DISABLED"
      }
    }
  ], 
  "monitoringConfiguration": {
    "cloudWatchMonitoringConfiguration": {
      "logGroupName": "/emr-containers/jobs", 
      "logStreamNamePrefix": "demo"
    }, 
    "s3MonitoringConfiguration": {
      "logUri": "s3://joblogs"
    }
  }
}

StartJobRunrichiesta con immagine del contenitore di registrazione personalizzata, CPU e memoria per i driver e gli executor pod

"configurationOverrides": {
  "applicationConfiguration": [
    {
      "classification": "emr-containers-defaults", 
      "properties": {
        "logging.image": "YOUR_ECR_IMAGE_URL",
        "logging.request.memory": "200Mi",
        "logging.request.cores": "0.5"
      }
    }
  ], 
  "monitoringConfiguration": {
    "cloudWatchMonitoringConfiguration": {
      "logGroupName": "/emr-containers/jobs", 
      "logStreamNamePrefix": "demo"
    }, 
    "s3MonitoringConfiguration": {
      "logUri": "s3://joblogs"
    }
  }
}