View a markdown version of this page

Amazon EMR 컨테이너 기본 분류 사용 - Amazon EMR
개요예제

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon EMR 컨테이너 기본 분류 사용

개요

emr-containers-defaults 분류에서 사용할 수 있는 설정은 다음과 같습니다.

job-start-timeout

기본적으로, 작업을 시작할 수 없고 SUBMITTED 상태로 15분 동안 대기하면 작업이 시간 초과됩니다. 이 구성은 작업 시간이 초과되기 전에 대기할 초 수를 변경합니다.

executor.logging

실행기 포드에 대한 로깅을 활성화하거나 비활성화합니다. 이 값을 로 설정하면 DISABLED 로깅 컨테이너가 실행기 포드에서 제거되어 s3MonitoringConfiguration 또는 monitoringConfiguration와 같이에 지정된 이러한 포드에 대한 로깅이 비활성화됩니다cloudWatchMonitoringConfiguration. 이 설정이 설정되지 않았거나 다른 값으로 설정된 경우 실행기 포드에 대한 로깅이 활성화됩니다.

logging.image

드라이버 및 실행기 포드의 로깅 컨테이너에 사용할 사용자 지정 이미지를 설정합니다.

logging.request.cores

드라이버 및 실행기 포드의 CPU 수의 사용자 지정 값을 CPU 단위로 설정합니다. 기본적으로 이 값은 설정되어 있지 않습니다.

logging.request.memory

드라이버 및 실행기 포드에서 로깅 컨테이너에 할당할 메모리 양(바이트 단위)에 대한 사용자 지정 값을 설정합니다. 기본적으로 이 값은 512Mi로 설정되어 있습니다. 메비바이트는 메가바이트와 유사한 측정 단위입니다.

작업 제출자 분류 예제

사용자 지정 작업 제한 시간이 있는 StartJobRun 요청

{
  "name": "spark-python", 
  "virtualClusterId": "virtual-cluster-id", 
  "executionRoleArn": "execution-role-arn", 
  "releaseLabel": "emr-6.11.0-latest", 
  "jobDriver": {
    "sparkSubmitJobDriver": {
      "entryPoint": "s3://S3-prefix/trip-count.py"
    }
  }, 
  "configurationOverrides": {
    "applicationConfiguration": [
      {
        "classification": "emr-containers-defaults", 
        "properties": {
          "job-start-timeout": "1800"
        }
      }
    ], 
    "monitoringConfiguration": {
      "cloudWatchMonitoringConfiguration": {
        "logGroupName": "/emr-containers/jobs", 
        "logStreamNamePrefix": "demo"
      }, 
      "s3MonitoringConfiguration": {
        "logUri": "s3://joblogs"
      }
    }
  }
}

StartJobRun 실행기 포드에 대해 로깅이 비활성화된 요청

"configurationOverrides": {
  "applicationConfiguration": [
    {
      "classification": "emr-containers-defaults", 
      "properties": {
        "executor.logging": "DISABLED"
      }
    }
  ], 
  "monitoringConfiguration": {
    "cloudWatchMonitoringConfiguration": {
      "logGroupName": "/emr-containers/jobs", 
      "logStreamNamePrefix": "demo"
    }, 
    "s3MonitoringConfiguration": {
      "logUri": "s3://joblogs"
    }
  }
}

StartJobRun 드라이버 및 실행기 포드에 대한 사용자 지정 로깅 컨테이너 이미지, CPU 및 메모리를 사용한 요청

"configurationOverrides": {
  "applicationConfiguration": [
    {
      "classification": "emr-containers-defaults", 
      "properties": {
        "logging.image": "YOUR_ECR_IMAGE_URL",
        "logging.request.memory": "200Mi",
        "logging.request.cores": "0.5"
      }
    }
  ], 
  "monitoringConfiguration": {
    "cloudWatchMonitoringConfiguration": {
      "logGroupName": "/emr-containers/jobs", 
      "logStreamNamePrefix": "demo"
    }, 
    "s3MonitoringConfiguration": {
      "logUri": "s3://joblogs"
    }
  }
}