View a markdown version of this page

Utilisation de la classification par défaut des conteneurs Amazon EMR - Amazon EMR
Présentation de Exemples

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Utilisation de la classification par défaut des conteneurs Amazon EMR

Présentation de

Les paramètres suivants sont disponibles dans la emr-containers-defaults classification :

job-start-timeout

Par défaut, une tâche expirera si elle ne peut pas démarrer et qu'elle attend dans son SUBMITTED état pendant 15 minutes. Cette configuration modifie le nombre de secondes à attendre avant l'expiration de la tâche.

executor.logging

Active ou désactive la journalisation sur les pods de l'exécuteur. Lorsque ce paramètre est défini sur, DISABLED le conteneur de journalisation est supprimé des pods de l'exécuteur, ce qui désactivera toute journalisation pour ces pods spécifiés dans lemonitoringConfiguration, tel que s3MonitoringConfiguration oucloudWatchMonitoringConfiguration. Lorsque ce paramètre n'est pas défini ou qu'il est défini sur une autre valeur, la connexion aux pods de l'exécuteur est activée.

logging.image

Définit une image personnalisée à utiliser pour le conteneur de journalisation sur les modules pilote et exécuteur.

logging.request.cores

Définit une valeur personnalisée pour le nombre CPUs, en unités de processeur, du conteneur de journalisation sur les pods pilote et exécuteur. Par défaut, ce paramètre n'est pas défini.

logging.request.memory

Définit une valeur personnalisée pour la quantité de mémoire, en octets, pour le conteneur de journalisation sur les pods pilote et exécuteur. Par défaut, ce paramètre est réglé sur 512 Mi. Un mébioctet est une unité de mesure similaire à un mégaoctet.

Exemples de classification des soumissionnaires de tâches

StartJobRundemande avec délai d'expiration de tâche personnalisé

{
  "name": "spark-python", 
  "virtualClusterId": "virtual-cluster-id", 
  "executionRoleArn": "execution-role-arn", 
  "releaseLabel": "emr-6.11.0-latest", 
  "jobDriver": {
    "sparkSubmitJobDriver": {
      "entryPoint": "s3://S3-prefix/trip-count.py"
    }
  }, 
  "configurationOverrides": {
    "applicationConfiguration": [
      {
        "classification": "emr-containers-defaults", 
        "properties": {
          "job-start-timeout": "1800"
        }
      }
    ], 
    "monitoringConfiguration": {
      "cloudWatchMonitoringConfiguration": {
        "logGroupName": "/emr-containers/jobs", 
        "logStreamNamePrefix": "demo"
      }, 
      "s3MonitoringConfiguration": {
        "logUri": "s3://joblogs"
      }
    }
  }
}

StartJobRundemande avec journalisation désactivée pour les modules d'exécution

"configurationOverrides": {
  "applicationConfiguration": [
    {
      "classification": "emr-containers-defaults", 
      "properties": {
        "executor.logging": "DISABLED"
      }
    }
  ], 
  "monitoringConfiguration": {
    "cloudWatchMonitoringConfiguration": {
      "logGroupName": "/emr-containers/jobs", 
      "logStreamNamePrefix": "demo"
    }, 
    "s3MonitoringConfiguration": {
      "logUri": "s3://joblogs"
    }
  }
}

StartJobRundemande avec image du conteneur de journalisation personnalisé, processeur et mémoire pour les pods pilote et exécuteur

"configurationOverrides": {
  "applicationConfiguration": [
    {
      "classification": "emr-containers-defaults", 
      "properties": {
        "logging.image": "YOUR_ECR_IMAGE_URL",
        "logging.request.memory": "200Mi",
        "logging.request.cores": "0.5"
      }
    }
  ], 
  "monitoringConfiguration": {
    "cloudWatchMonitoringConfiguration": {
      "logGroupName": "/emr-containers/jobs", 
      "logStreamNamePrefix": "demo"
    }, 
    "s3MonitoringConfiguration": {
      "logUri": "s3://joblogs"
    }
  }
}