CloudWatch 지표를 사용하여 Apache Spark 모니터링
Spark 지원 작업 그룹에 대한 Publish CloudWatch metrics 옵션을 선택하면 Athena에서 계산 관련 지표를 Amazon CloudWatch에 게시합니다. CloudWatch 콘솔에서 사용자 지정 대시보드를 생성하고, 지표에 대한 경보 및 트리거를 설정할 수 있습니다.
Athena는 다음의 지표를 AmazonAthenaForApacheSpark 네임스페이스 아래 CloudWatch 콘솔에 게시합니다.
-
DPUCount- 세션 중에 계산을 실행하는 데 사용된 DPU 수입니다.
이 지표에는 다음과 같은 차원이 있습니다.
-
SessionId- 계산이 제출되는 세션의 ID입니다. -
WorkGroup- 작업 그룹의 이름입니다.
Amazon CloudWatch 콘솔에서 Spark 지원 작업 그룹에 대한 지표를 보려면
https://console.aws.amazon.com/cloudwatch/
에서 CloudWatch 콘솔을 엽니다. -
탐색 창에서 지표, 모든 지표를 선택합니다.
-
AmazonAthenaForApacheSpark 네임스페이스를 선택합니다.
CLI를 사용하여 지표를 보려면
-
다음 중 하나를 수행하세요.
-
Athena Spark 지원 작업 그룹에 대한 지표를 나열하려면 명령 프롬프트를 열고 다음 명령을 사용합니다.
aws cloudwatch list-metrics --namespace "AmazonAthenaForApacheSpark" -
사용 가능한 모든 지표의 목록을 보려면 다음 명령을 사용합니다.
aws cloudwatch list-metrics
-
Spark 지원 Athena 작업 그룹에서 CloudWatch 지표를 활성화했다면 다음 지표가 작업 그룹별로 CloudWatch로 전송됩니다. 지표에는 AmazonAthenaForApacheSpark 네임스페이스가 사용됩니다.
| 지표 이름 | 설명 |
|---|---|
| DPUCount | 세션 중에 계산을 실행하는 데 사용된 DPU(데이터 처리 단위) 수입니다. DPU는 4 vCPU의 컴퓨팅 파워와 16GB 메모리로 구성된 프로세싱 파워의 상대적 측정값입니다. |
이 지표에는 다음과 같은 차원이 있습니다.
| 차원 | 설명 |
|---|---|
| SessionId |
계산이 제출되는 세션의 ID입니다. |
| WorkGroup |
작업 그룹의 이름입니다. |
릴리스 버전 Apache Spark 버전 3.5에서는 Athena Spark 작업 그룹에서 CloudWatch 지표를 활성화한 경우 Athena는 다음 지표를 CloudWatch로 전송합니다. 지표에는 AmazonAthenaForApacheSpark 네임스페이스가 사용됩니다.
| 이름 | 설명 |
|---|---|
| DPUConsumed | 작업 그룹에서 지정된 시간에 RUNNING 상태에서 쿼리가 적극적으로 소비하는 DPU 수. |
이 지표에는 다음과 같은 차원이 있습니다.
| 차원 | 설명 |
|---|---|
| Account |
AWS 계정 ID입니다. |
| WorkGroup |
작업 그룹의 이름입니다. |
