기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다. # EMR Serverless 모니터링 이 섹션에서는 Amazon EMR Serverless 애플리케이션 및 작업을 모니터링하는 방법을 다룹니다. **Topics** + [EMR Serverless 애플리케이션 및 작업 모니터링](app-job-metrics.md) + [Amazon Managed Service for Prometheus를 사용하여 Spark 지표 모니터링](monitor-with-prometheus.md) + [EMR Serverless 사용 지표](monitoring-usage.md) # EMR Serverless 애플리케이션 및 작업 모니터링 EMR Serverless에 대한 Amazon CloudWatch 지표를 사용하면 1분 CloudWatch 지표를 수신하고 CloudWatch 대시보드에 액세스하여 거의 실시간에 가까운 EMR Serverless 애플리케이션의 작업 및 성능에 액세스할 수 있습니다. EMR Serverless는 매분 CloudWatch로 지표를 전송합니다. EMR Serverless는 애플리케이션 수준과 작업, 작업자 유형 및 용량 할당 유형 수준에서 이러한 지표를 내보냅니다. 시작하려면 [EMR Serverless GitHub 리포지토리](https://github.com/aws-samples/emr-serverless-samples/tree/main/cloudformation/emr-serverless-cloudwatch-dashboard/)에서 제공하는 EMR Serverless CloudWatch 대시보드 템플릿을 사용하고 배포합니다. **참고** [EMR Serverless 대화형 워크로드](interactive-workloads.md)에서는 애플리케이션 수준 모니터링만 활성화되며, 새로운 작업자 유형 차원(`Spark_Kernel`)을 포함합니다. 대화형 워크로드를 모니터링 및 디버깅하기 위해 [EMR Studio Workspace 내](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-studio-debug.html#emr-studio-debug-serverless)에서 로그 및 Apache Spark UI에 액세스할 수 있습니다. ## 지표 모니터링 **중요** 지표 표시를 재구성하여 `ApplicationName` 및 `JobName`을 차원으로 추가합니다. 릴리스 7.10 이상에서는 이전 지표가 더 이상 업데이트되지 않습니다. EMR 릴리스 7.10 이하의 경우 이전 지표를 계속 사용할 수 있습니다. **현재 차원** 아래 표에서는 `AWS/EMR Serverless` 네임스페이스 내에서 사용할 수 있는 EMR Serverless 차원을 설명합니다. **EMR Serverless 지표의 차원** | 차원 | 설명 | | --- | --- | | ApplicationId | 애플리케이션 ID를 사용하여 EMR Serverless 애플리케이션의 모든 지표를 필터링합니다. | | ApplicationName | 이름을 사용하여 EMR Serverless 애플리케이션의 모든 지표를 필터링합니다. 이름이 지정되지 않거나 ASCII가 아닌 문자가 포함된 경우 **[지정되지 않음]**으로 게시됩니다. | | JobId | EMR Serverless의 모든 메트릭을 작업 실행 ID로 필터링합니다. | | JobName | 이름을 사용하여 실행되는 EMR Serverless 작업의 모든 메트릭에 대한 필터입니다. 이름이 지정되지 않거나 ASCII가 아닌 문자가 포함된 경우 **[지정되지 않음]**으로 게시됩니다. | | WorkerType | 주어진 작업자 유형의 모든 지표를 필터링합니다. 예를 들어, Spark 작업에 대해 `SPARK_DRIVER` 및 `SPARK_EXECUTORS`를 필터링할 수 있습니다. | | CapacityAllocationType | 주어진 용량 할당 유형의 모든 지표를 필터링합니다. 예를 들어, 사전 초기화된 용량에 대해서는 `PreInitCapacity`, 이와 모든 항목에 대해서는 `OnDemandCapacity`를 필터링할 수 있습니다. | ## 애플리케이션 수준 모니터링 Amazon CloudWatch 지표를 사용하여 EMR Serverless 애플리케이션 수준에서 용량 사용량을 모니터링할 수 있습니다. 또한 CloudWatch 대시보드에서 애플리케이션 용량 사용량을 모니터링하도록 단일 보기를 설정할 수도 있습니다. **EMR Serverless 애플리케이션 지표** | 지표 | 설명 | 단위 | 측정 기준 | | --- | --- | --- | --- | | MaxCPUAllowed | 애플리케이션에 대해 허용되는 최대 CPU. | vCPU | ApplicationId, ApplicationName | | MaxMemoryAllowed | 애플리케이션에 대해 허용되는 GB 단위의 최대 메모리. | 기가바이트(GB) | ApplicationId, ApplicationName | | MaxStorageAllowed | 애플리케이션에 대해 허용되는 GB 단위의 최대 스토리지. | 기가바이트(GB) | ApplicationId, ApplicationName | | CPUAllocated | 할당된 총 vCPU 수. | vCPU | ApplicationId, ApplicationName, WorkerType, CapacityAllocationType | | IdleWorkerCount | 유휴 상태인 총 작업자 수. | 개수 | ApplicationId, ApplicationName, WorkerType, CapacityAllocationType | | MemoryAllocated | 할당된 GB 단위의 총 메모리. | 기가바이트(GB) | ApplicationId, ApplicationName, WorkerType, CapacityAllocationType | | PendingCreationWorkerCount | 생성 보류 중인 총 작업자 수. | 개수 | ApplicationId, ApplicationName, WorkerType, CapacityAllocationType | | RunningWorkerCount | 애플리케이션에서 사용 중인 총 작업자 수. | 개수 | ApplicationId, ApplicationName, WorkerType, CapacityAllocationType | | StorageAllocated | 할당된 GB 단위의 총 디스크 스토리지. | 기가바이트(GB) | ApplicationId, ApplicationName, WorkerType, CapacityAllocationType | | TotalWorkerCount | 사용 가능한 총 작업자 수. | 개수 | ApplicationId, ApplicationName, WorkerType, CapacityAllocationType | ## 작업 수준 모니터링 Amazon EMR Serverless는 1분마다 Amazon CloudWatch 로 다음과 같은 작업 수준 지표를 전송합니다. 작업 실행 상태별로 집계 작업 실행의 지표 값에 액세스할 수 있습니다. 각 지표의 단위는 *개수*입니다. **EMR Serverless 작업 수준 지표** | 지표 | 설명 | 측정 기준 | | --- | --- | --- | | SubmittedJobs | 제출됨 상태의 최대 작업 수. | ApplicationId, ApplicationName | | PendingJobs | 보류 중 상태의 작업 수. | ApplicationId, ApplicationName | | ScheduledJobs | 예약된 상태의 작업 수. | ApplicationId, ApplicationName | | RunningJobs | 실행 중 상태의 작업 수. | ApplicationId, ApplicationName | | SuccessJobs | 성공 상태의 작업 수. | ApplicationId, ApplicationName | | FailedJobs | 실패 상태의 작업 수. | ApplicationId, ApplicationName | | CancellingJobs | 취소 중 상태의 작업 수. | ApplicationId, ApplicationName | | CancelledJobs | 취소됨 상태의 작업 수. | ApplicationId, ApplicationName | 엔진별 애플리케이션 UI를 사용하여 EMR Serverless의 실행 중인 작업 및 완료된 작업에 대한 엔진별 지표를 모니터링할 수 있습니다. 실행 중인 작업의 UI에 접근하면 실시간 업데이트가 적용된 라이브 애플리케이션 UI가 표시됩니다. 완료된 작업의 UI에 접근하면 영구 앱 UI가 표시됩니다. **작업 실행** EMR Serverless의 실행 중인 작업에 대해서는 엔진별 지표를 제공하는 실시간 인터페이스에 액세스할 수 있습니다. Apache Spark UI 또는 Hive Tez UI를 사용하여 작업을 모니터링하고 디버깅할 수 있습니다. 이러한 UI에 액세스하려면 EMR Studio 콘솔을 사용하거나 AWS Command Line Interface를 사용하여 보안 URL 엔드포인트를 요청합니다. **작업 완료됨** 완료된 EMR Serverless 작업의 경우 Spark 기록 서버 또는 영구 Hive Tez UI를 사용하여 Spark 또는 Hive 작업 실행에 대한 작업 세부 정보, 단계, 태스크 및 지표에 액세스할 수 있습니다. 이러한 UI에 액세스하려면 EMR Studio 콘솔을 사용하거나 AWS Command Line Interface를 사용하여 보안 URL 엔드포인트를 요청합니다. ## 작업 작업자 수준 모니터링 Amazon EMR Serverless는 `AWS/EMRServerless` 네임스페이스 및 `Job Worker Metrics` 지표 그룹에서 사용할 수 있는 다음과 같은 작업 작업자 수준 지표를 Amazon CloudWatch로 전송합니다. EMR Serverless는 작업 수준, 작업자 유형 및 용량 할당 유형 수준에서 작업이 실행되는 동안 개별 작업자로부터 데이터 포인트를 수집합니다. `ApplicationId`를 차원으로 사용하여 동일한 애플리케이션에 속하는 여러 작업을 모니터링할 수 있습니다. **참고** Amazon CloudWatch 콘솔에서 지표를 볼 때 EMR Serverless 작업에서 사용하는 총 CPU 및 메모리를 보려면 통계를 합계로, 기간을 1분으로 사용합니다. **EMR Serverless 작업 작업자 수준 지표** | 지표 | 설명 | 단위 | 측정 기준 | | --- | --- | --- | --- | | WorkerCpuAllocated | 작업 실행에서 작업자에 대해 할당된 총 vCPU 코어 수. | vCPU | JobId, JobName, ApplicationId, ApplicationName, WorkerType, 및 CapacityAllocationType | | WorkerCpuUsed | 작업 실행에서 작업자가 활용하는 총 vCPU 코어 수. | vCPU | JobId, JobName, ApplicationId, ApplicationName, WorkerType, 및 CapacityAllocationType | | WorkerMemoryAllocated | 작업 실행에서 작업자에 대해 할당된 GB 단위의 총 메모리. | 기가바이트(GB) | JobId, JobName, ApplicationId, ApplicationName, WorkerType, 및 CapacityAllocationType | | WorkerMemoryUsed | 작업 실행에서 작업자가 활용하는 GB 단위의 총 메모리. | 기가바이트(GB) | JobId, JobName, ApplicationId, ApplicationName, WorkerType, 및 CapacityAllocationType | | WorkerEphemeralStorageAllocated | 작업 실행에서 작업자에 대해 할당된 임시 스토리지의 바이트 수. | 기가바이트(GB) | JobId, JobName, ApplicationId, ApplicationName, WorkerType, 및 CapacityAllocationType | | WorkerEphemeralStorageUsed | 작업 실행에서 작업자가 활용하는 임시 스토리지의 바이트 수. | 기가바이트(GB) | JobId, JobName, ApplicationId, ApplicationName, WorkerType, 및 CapacityAllocationType | | WorkerStorageReadBytes | 작업 실행에서 작업자가 스토리지에서 읽은 바이트 수. | 바이트 | JobId, JobName, ApplicationId, ApplicationName, WorkerType, 및 CapacityAllocationType | | WorkerStorageWriteBytes | 작업 실행에서 작업자의 스토리지에 쓴 바이트 수. | 바이트 | JobId, JobName, ApplicationId, ApplicationName, WorkerType, 및 CapacityAllocationType | 아래 단계에서는 다양한 유형의 지표에 액세스하는 방법을 설명합니다. ------ #### [ Console ] **콘솔을 사용하여 애플리케이션 UI에 액세스하는 방법** 1. [콘솔에서 시작하기](https://docs.aws.amazon.com/emr/latest/EMR-Serverless-UserGuide/getting-started.html#gs-console)의 지침에 따라 EMR Studio에서 EMR Serverless 애플리케이션으로 이동합니다. 1. 실행 중인 작업에 대한 엔진별 애플리케이션 UI 및 로그에 액세스하려면 다음을 수행합니다. 1. `RUNNING` 상태의 작업을 선택합니다. 1. **애플리케이션 세부 정보** 페이지에서 작업을 선택하거나 작업에 대한 **작업 세부 정보** 페이지로 이동합니다. 1. **UI 표시** 드롭다운 메뉴에서 **Spark UI** 또는 **Hive Tez UI**를 선택하여 작업 유형에 맞는 애플리케이션 UI로 이동합니다. 1. Spark 엔진 로그에 액세스하려면 Spark UI의 **실행기** 탭으로 이동하여 드라이버의 **로그** 링크를 선택합니다. Hive 엔진 로그에 액세스하려면 Hive Tez UI에서 적절한 DAG에 대한 **로그** 링크를 선택합니다. 1. 완료된 작업에 대한 엔진별 애플리케이션 UI 및 로그에 액세스하려면 다음을 수행합니다. 1. `SUCCESS` 상태의 작업을 선택합니다. 1. 애플리케이션의 **애플리케이션 세부 정보** 페이지에서 작업을 선택하거나 작업의 **작업 세부 정보** 페이지로 이동합니다. 1. **UI 표시** 드롭다운 메뉴에서 **Spark 기록 서버** 또는 **영구 Hive Tez UI**를 선택하여 작업 유형에 맞는 애플리케이션 UI로 이동합니다. 1. Spark 엔진 로그에 액세스하려면 Spark UI의 **실행기** 탭으로 이동하여 드라이버의 **로그** 링크를 선택합니다. Hive 엔진 로그에 액세스하려면 Hive Tez UI에서 적절한 DAG에 대한 **로그** 링크를 선택합니다. ------ #### [ AWS CLI ] **를 사용하여 애플리케이션 UI에 액세스하려면 AWS CLI** + 실행 중인 작업과 완료된 작업에 대해 애플리케이션 UI에 액세스하는 데 사용할 수 있는 URL을 생성하려면 `GetDashboardForJobRun` API를 직접 호출합니다. ``` aws emr-serverless get-dashboard-for-job-run / --application-id / --job-run-id ``` 생성하는 URL은 1시간 동안 유효합니다. ------ # Amazon Managed Service for Prometheus를 사용하여 Spark 지표 모니터링 Amazon EMR 릴리스 7.1.0 이상에서는 Amazon Managed Service for Prometheus에 EMR Serverless를 통합하여 EMR Serverless 작업 및 애플리케이션에 대한 Apache Spark 지표를 수집할 수 있습니다. 이 통합은 콘솔, AWS EMR Serverless API 또는를 사용하여 작업을 제출하거나 애플리케이션을 생성할 때 사용할 수 있습니다 AWS CLI. ## 사전 조건 Amazon Managed Service for Prometheus에 Spark 지표를 전달하려면 먼저 다음 사전 조건을 완료합니다. + [Amazon Managed Service for Prometheus WorkSpace를 생성합니다.](https://docs.aws.amazon.com/prometheus/latest/userguide/AMP-onboard-create-workspace.html) 이 Workspace는 수집 엔드포인트 역할을 합니다. **엔드포인트 - 원격 쓰기 URL**에 표시되는 URL을 기록합니다. EMR Serverless 애플리케이션을 생성하는 경우 URL을 지정해야 합니다. + 모니터링 목적으로 Amazon Managed Service for Prometheus에 작업에 대한 액세스 권한을 부여하려면 작업 실행 역할에 다음 정책을 추가합니다. ``` { "Sid": "AccessToPrometheus", "Effect": "Allow", "Action": ["aps:RemoteWrite"], "Resource": "arn:aws:aps:::workspace/" } ``` ## 설정 **AWS 콘솔을 사용하여 Amazon Managed Service for Prometheus와 통합된 애플리케이션을 생성하려면** 1. 애플리케이션을 생성하려면 [Amazon EMR Serverless 시작하기](https://docs.aws.amazon.com/emr/latest/EMR-Serverless-UserGuide/getting-started.html )를 참조하세요. 1. 애플리케이션을 생성하는 동안 **사용자 지정 설정 사용**을 선택한 다음, 구성하려는 필드에 정보를 지정하여 애플리케이션을 구성합니다. 1. **애플리케이션 로그 및 지표**에서 **Amazon Managed Service for Prometheus에 엔진 지표 전달**을 선택한 다음, 원격 쓰기 URL을 지정합니다. 1. 원하는 다른 구성 설정을 지정한 다음, **애플리케이션 생성 및 시작**을 선택합니다. ** AWS CLI 또는 EMR Serverless API 사용** AWS CLI 또는 `create-application` `start-job-run` 명령을 실행할 때 또는 EMR Serverless API를 사용하여 EMR Serverless 애플리케이션을 Amazon Managed Service for Prometheus와 통합할 수도 있습니다. ------ #### [ create-application ] ``` aws emr-serverless create-application \ --release-label emr-7.1.0 \ --type "SPARK" \ --monitoring-configuration '{ "prometheusMonitoringConfiguration": { "remoteWriteUrl": "https://aps-workspaces..amazonaws.com/workspaces//api/v1/remote_write" } }' ``` ------ #### [ start-job-run ] ``` aws emr-serverless start-job-run \ --application-id \ --execution-role-arn \ --job-driver '{ "sparkSubmit": { "entryPoint": "local:///usr/lib/spark/examples/src/main/python/pi.py", "entryPointArguments": ["10000"], "sparkSubmitParameters": "--conf spark.dynamicAllocation.maxExecutors=10" } }' \ --configuration-overrides '{ "monitoringConfiguration": { "prometheusMonitoringConfiguration": { "remoteWriteUrl": "https://aps-workspaces..amazonaws.com/workspaces//api/v1/remote_write" } } }' ``` ------ 명령에 `prometheusMonitoringConfiguration`을 포함하면 EMR Serverless가 Spark 지표를 수집하고 Amazon Managed Service for Prometheus의 `remoteWriteUrl` 엔드포인트에 쓰는 에이전트와 함께 Spark 작업을 실행해야 함을 나타냅니다. 그런 다음, 시각화, 알림 및 분석을 위해 Amazon Managed Service for Prometheus의 Spark 지표를 사용할 수 있습니다. ## 고급 구성 속성 EMR Serverless는 Spark 내 구성 요소(`PrometheusServlet`)를 사용하여 Spark 지표를 수집하고 성능 데이터를 Amazon Managed Service for Prometheus와 호환되는 데이터로 변환합니다. 기본적으로 EMR Serverless는 Spark에서 기본값을 설정하고 `PrometheusMonitoringConfiguration`을 사용하여 작업을 제출할 때 드라이버 및 실행기 지표를 구문 분석합니다. 다음 표에서는 Amazon Managed Service for Prometheus로 지표를 전송하는 Spark 작업을 제출하는 경우 구성할 수 있는 모든 속성을 설명합니다. | Spark 속성 | 기본값 | 설명 | | --- | --- | --- | | spark.metrics.conf.\$1.sink.prometheusServlet.class | org.apache.spark.metrics.sink.PrometheusServlet | Spark가 Amazon Managed Service for Prometheus로 지표를 전송하는 데 사용하는 클래스. 기본 동작을 재정의하려면 사용자 지정 클래스를 지정합니다. | | spark.metrics.conf.\$1.source.jvm.class | org.apache.spark.metrics.source.JvmSource | Spark가 기본 Java 가상 머신에서 중요한 지표를 수집하고 전송하는 데 사용하는 클래스. JVM 지표 수집을 중지하려면 빈 문자열(예: `""`)로 설정하여 이 속성을 비활성화합니다. 기본 동작을 재정의하려면 사용자 지정 클래스를 지정합니다. | | spark.metrics.conf.driver.sink.prometheusServlet.path | /metrics/prometheus | Amazon Managed Service for Prometheus가 드라이버에서 지표를 수집하는 데 사용하는 고유한 URL. 기본 동작을 재정의하려면 자체 경로를 지정합니다. 드라이버 지표 수집을 중지하려면 빈 문자열(예: `""`)로 설정하여 이 속성을 비활성화합니다. | | spark.metrics.conf.executor.sink.prometheusServlet.path | /metrics/executor/prometheus | Amazon Managed Service for Prometheus가 실행기에서 지표를 수집하는 데 사용하는 고유한 URL. 기본 동작을 재정의하려면 자체 경로를 지정합니다. 실행기 지표 수집을 중지하려면 빈 문자열(예: `""`)로 설정하여 이 속성을 비활성화합니다. | Spark 지표에 대한 자세한 내용은 [Apache Spark metrics](https://spark.apache.org/docs/3.5.0/monitoring.html#metrics)를 참조하세요. ## 고려 사항 및 제한 사항 Amazon Managed Service for Prometheus를 사용하여 EMR Serverless에서 지표를 수집하는 경우 다음 고려 사항 및 제한 사항을 고려합니다. + [Amazon Managed Service for Prometheus가 정식 출시된AWS 리전](https://docs.aws.amazon.com/general/latest/gr/prometheus-service.html)에서만 EMR Serverless에서 Amazon Managed Service for Prometheus 사용에 대한 지원이 제공됩니다. + Amazon Managed Service for Prometheus에서 Spark 지표를 수집하기 위해 에이전트를 실행하는 경우 작업자의 리소스가 더 필요합니다. vCPU 작업자 한 명과 같이 더 작은 작업자 크기를 선택하면 작업 실행 시간이 늘어날 수 있습니다. + EMR Serverless에서 Amazon Managed Service for Prometheus 사용 지원은 Amazon EMR 릴리스 7.1.0 이상에서만 사용 가능합니다. + 지표를 수집하려면 EMR Serverless를 실행하는 동일한 계정에 Amazon Managed Service for Prometheus를 배포해야 합니다. # EMR Serverless 사용 지표 Amazon CloudWatch 사용 지표를 사용하여 계정에서 사용하는 리소스에 대한 가시성을 제공할 수 있습니다. 이러한 지표를 사용하여 CloudWatch 그래프 및 대시보드에서 서비스 사용량을 시각화합니다. EMR Serverless 사용 지표는 서비스 할당량에 해당합니다. 사용량이 서비스 할당량에 가까워지면 경고하는 경보를 구성할 수 있습니다. 자세한 내용은 *CloudWatch 사용 설명서*의 [Service Quotas 및 Amazon CloudWatch 경보](https://docs.aws.amazon.com/servicequotas/latest/userguide/configure-cloudwatch.html)를 참조하세요. EMR Serverless Service Quotas에 대한 자세한 내용은 [EMR Serverless에 대한 엔드포인트 및 할당량](endpoints-quotas.md) 섹션을 참조하세요. ## EMR Serverless에 대한 서비스 할당량 사용 지표 EMR Serverless는 `AWS/Usage` 네임스페이스에서 다음과 같은 서비스 할당량 사용 지표를 게시합니다. **** | 지표 | 설명 | | --- | --- | | `ResourceCount` | 계정에서 실행 중인 지정된 리소스의 총 수. 리소스는 지표와 연결된 [차원](#usage-metrics-dimensions)으로 정의됩니다. | ## EMR Serverless 서비스 할당량 사용 지표에 대한 차원 다음 차원을 사용하여 EMR Serverless에서 게시하는 사용 지표를 세분화할 수 있습니다. **** | 측정 기준 | 값 | 설명 | | --- | --- | --- | | `Service` | EMR Serverless | 리소스 AWS 서비스 가 포함된의 이름입니다. | | `Type` | Resource | EMR Serverless에서 보고하는 엔터티의 유형. | | `Resource` | vCPU | EMR Serverless에서 추적하는 리소스 유형. | | `Class` | 없음 | EMR Serverless에서 추적하는 리소스의 클래스. |