View a markdown version of this page

Amazon EMR コンテナのデフォルト分類の使用 - Amazon EMR
概要:例

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon EMR コンテナのデフォルト分類の使用

概要:

emr-containers-defaults 分類では以下の設定が可能です:

job-start-timeout

デフォルトでは、ジョブが開始できず、 SUBMITTED 状態で 15 分間待機することにより、ジョブはタイムアウトします。この設定では、ジョブがタイムアウトするまで待機する秒数を変更します。

executor.logging

エグゼキュターポッドのログ記録を有効または無効にします。これを に設定する DISABLEDと、エグゼキュターポッドからログコンテナが削除され、 s3MonitoringConfigurationや などmonitoringConfiguration、 で指定されたこれらのポッドのログ記録が無効になりますcloudWatchMonitoringConfiguration。この設定が設定されていないか、他の値に設定されている場合、エグゼキュターポッドでのログ記録が有効になります。

logging.image

ドライバーポッドとエグゼキュターポッドのログ記録コンテナに使用するカスタムイメージを設定します。

logging.request.cores

ドライバーポッドとエグゼキュターポッドのログ記録コンテナの CPU 数のカスタム値を CPU 単位で設定します。デフォルトでは、これは設定されていません。

logging.request.memory

ドライバーポッドとエグゼキュターポッドのログ記録コンテナのメモリ量のカスタム値をバイト単位で設定します。デフォルトでは、512Mi に設定されています。メビバイトは、メガバイトに似た測定単位です。

ジョブ送信者の分類例

カスタムジョブタイムアウトによる StartJobRun リクエスト

{
  "name": "spark-python", 
  "virtualClusterId": "virtual-cluster-id", 
  "executionRoleArn": "execution-role-arn", 
  "releaseLabel": "emr-6.11.0-latest", 
  "jobDriver": {
    "sparkSubmitJobDriver": {
      "entryPoint": "s3://S3-prefix/trip-count.py"
    }
  }, 
  "configurationOverrides": {
    "applicationConfiguration": [
      {
        "classification": "emr-containers-defaults", 
        "properties": {
          "job-start-timeout": "1800"
        }
      }
    ], 
    "monitoringConfiguration": {
      "cloudWatchMonitoringConfiguration": {
        "logGroupName": "/emr-containers/jobs", 
        "logStreamNamePrefix": "demo"
      }, 
      "s3MonitoringConfiguration": {
        "logUri": "s3://joblogs"
      }
    }
  }
}

StartJobRun エグゼキュターポッドのログ記録が無効になっている リクエスト

"configurationOverrides": {
  "applicationConfiguration": [
    {
      "classification": "emr-containers-defaults", 
      "properties": {
        "executor.logging": "DISABLED"
      }
    }
  ], 
  "monitoringConfiguration": {
    "cloudWatchMonitoringConfiguration": {
      "logGroupName": "/emr-containers/jobs", 
      "logStreamNamePrefix": "demo"
    }, 
    "s3MonitoringConfiguration": {
      "logUri": "s3://joblogs"
    }
  }
}

StartJobRun ドライバーポッドとエグゼキュターポッドのカスタムログ記録コンテナイメージ、CPU、メモリを使用した リクエスト

"configurationOverrides": {
  "applicationConfiguration": [
    {
      "classification": "emr-containers-defaults", 
      "properties": {
        "logging.image": "YOUR_ECR_IMAGE_URL",
        "logging.request.memory": "200Mi",
        "logging.request.cores": "0.5"
      }
    }
  ], 
  "monitoringConfiguration": {
    "cloudWatchMonitoringConfiguration": {
      "logGroupName": "/emr-containers/jobs", 
      "logStreamNamePrefix": "demo"
    }, 
    "s3MonitoringConfiguration": {
      "logUri": "s3://joblogs"
    }
  }
}