기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
# Amazon EMR 5.x 릴리스 버전
이 섹션에는 각 Amazon EMR 5.x 릴리스 버전에 제공되는 애플리케이션 버전, 릴리스 정보, 구성 요소 버전 및 구성 분류가 포함되어 있습니다.
클러스터를 시작할 때 Amazon EMR의 여러 릴리스 중에서 선택할 수 있습니다. 이를 통해 호환성 요구 사항에 맞는 애플리케이션 버전을 테스트하고 사용할 수 있습니다. *릴리스 레이블*과 함께 릴리스 번호를 지정합니다. 릴리스 레이블은 `emr-x.x.x` 형식입니다. 예를 들어 `emr-7.12.0`입니다.
새 Amazon EMR 릴리스는 최초 릴리스 날짜에 첫 번째 리전부터 시작하여 일정 기간에 걸쳐 여러 리전에 사용 가능해집니다. 이 기간에는 사용자 리전에서 최신 릴리스 버전이 제공되지 않을 수도 있습니다.
모든 Amazon EMR 5.x 릴리스에서 애플리케이션 버전의 전체 테이블은 [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md) 섹션을 참조하세요.
**Topics**
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 릴리스 5.36.2](emr-5362-release.md)
+ [Amazon EMR 릴리스 5.36.1](emr-5361-release.md)
+ [Amazon EMR 릴리스 5.36.0](emr-5360-release.md)
+ [Amazon EMR 릴리스 5.35.0](emr-5350-release.md)
+ [Amazon EMR 릴리스 5.34.0](emr-5340-release.md)
+ [Amazon EMR 릴리스 5.33.1](emr-5331-release.md)
+ [Amazon EMR 릴리스 5.33.0](emr-5330-release.md)
+ [Amazon EMR 릴리스 5.32.1](emr-5321-release.md)
+ [Amazon EMR 릴리스 5.32.0](emr-5320-release.md)
+ [Amazon EMR 릴리스 5.31.1](emr-5311-release.md)
+ [Amazon EMR 릴리스 5.31.0](emr-5310-release.md)
+ [Amazon EMR 릴리스 5.30.2](emr-5302-release.md)
+ [Amazon EMR 릴리스 5.30.1](emr-5301-release.md)
+ [Amazon EMR 릴리스 5.30.0](emr-5300-release.md)
+ [Amazon EMR 릴리스 5.29.0](emr-5290-release.md)
+ [Amazon EMR 릴리스 5.28.1](emr-5281-release.md)
+ [Amazon EMR 릴리스 5.28.0](emr-5280-release.md)
+ [Amazon EMR 릴리스 5.27.1](emr-5271-release.md)
+ [Amazon EMR 릴리스 5.27.0](emr-5270-release.md)
+ [Amazon EMR 릴리스 5.26.0](emr-5260-release.md)
+ [Amazon EMR 릴리스 5.25.0](emr-5250-release.md)
+ [Amazon EMR 릴리스 5.24.1](emr-5241-release.md)
+ [Amazon EMR 릴리스 5.24.0](emr-5240-release.md)
+ [Amazon EMR 릴리스 5.23.1](emr-5231-release.md)
+ [Amazon EMR 릴리스 5.23.0](emr-5230-release.md)
+ [Amazon EMR 릴리스 5.22.0](emr-5220-release.md)
+ [Amazon EMR 릴리스 5.21.2](emr-5212-release.md)
+ [Amazon EMR 릴리스 5.21.1](emr-5211-release.md)
+ [Amazon EMR 릴리스 5.21.0](emr-5210-release.md)
+ [Amazon EMR 릴리스 5.20.1](emr-5201-release.md)
+ [Amazon EMR 릴리스 5.20.0](emr-5200-release.md)
+ [Amazon EMR 릴리스 5.19.1](emr-5191-release.md)
+ [Amazon EMR 릴리스 5.19.0](emr-5190-release.md)
+ [Amazon EMR 릴리스 5.18.1](emr-5181-release.md)
+ [Amazon EMR 릴리스 5.18.0](emr-5180-release.md)
+ [Amazon EMR 릴리스 5.17.2](emr-5172-release.md)
+ [Amazon EMR 릴리스 5.17.1](emr-5171-release.md)
+ [Amazon EMR 릴리스 5.17.0](emr-5170-release.md)
+ [Amazon EMR 릴리스 5.16.1](emr-5161-release.md)
+ [Amazon EMR 릴리스 5.16.0](emr-5160-release.md)
+ [Amazon EMR 릴리스 5.15.1](emr-5151-release.md)
+ [Amazon EMR 릴리스 5.15.0](emr-5150-release.md)
+ [Amazon EMR 릴리스 5.14.2](emr-5142-release.md)
+ [Amazon EMR 릴리스 5.14.1](emr-5141-release.md)
+ [Amazon EMR 릴리스 5.14.0](emr-5140-release.md)
+ [Amazon EMR 릴리스 5.13.1](emr-5131-release.md)
+ [Amazon EMR 릴리스 5.13.0](emr-5130-release.md)
+ [Amazon EMR 릴리스 5.12.3](emr-5123-release.md)
+ [Amazon EMR 릴리스 5.12.2](emr-5122-release.md)
+ [Amazon EMR 릴리스 5.12.1](emr-5121-release.md)
+ [Amazon EMR 릴리스 5.12.0](emr-5120-release.md)
+ [Amazon EMR 릴리스 5.11.4](emr-5114-release.md)
+ [Amazon EMR 릴리스 5.11.3](emr-5113-release.md)
+ [Amazon EMR 릴리스 5.11.2](emr-5112-release.md)
+ [Amazon EMR 릴리스 5.11.1](emr-5111-release.md)
+ [Amazon EMR 릴리스 5.11.0](emr-5110-release.md)
+ [Amazon EMR 릴리스 5.10.1](emr-5101-release.md)
+ [Amazon EMR 릴리스 5.10.0](emr-5100-release.md)
+ [Amazon EMR 릴리스 5.9.1](emr-591-release.md)
+ [Amazon EMR 릴리스 5.9.0](emr-590-release.md)
+ [Amazon EMR 릴리스 5.8.3](emr-583-release.md)
+ [Amazon EMR 릴리스 5.8.2](emr-582-release.md)
+ [Amazon EMR 릴리스 5.8.1](emr-581-release.md)
+ [Amazon EMR 릴리스 5.8.0](emr-580-release.md)
+ [Amazon EMR 릴리스 5.7.1](emr-571-release.md)
+ [Amazon EMR 릴리스 5.7.0](emr-570-release.md)
+ [Amazon EMR 릴리스 5.6.1](emr-561-release.md)
+ [Amazon EMR 릴리스 5.6.0](emr-560-release.md)
+ [Amazon EMR 릴리스 5.5.4](emr-554-release.md)
+ [Amazon EMR 릴리스 5.5.3](emr-553-release.md)
+ [Amazon EMR 릴리스 5.5.2](emr-552-release.md)
+ [Amazon EMR 릴리스 5.5.1](emr-551-release.md)
+ [Amazon EMR 릴리스 5.5.0](emr-550-release.md)
+ [Amazon EMR 릴리스 5.4.1](emr-541-release.md)
+ [Amazon EMR 릴리스 5.4.0](emr-540-release.md)
+ [Amazon EMR 릴리스 5.3.2](emr-532-release.md)
+ [Amazon EMR 릴리스 5.3.1](emr-531-release.md)
+ [Amazon EMR 릴리스 5.3.0](emr-530-release.md)
+ [Amazon EMR 릴리스 5.2.3](emr-523-release.md)
+ [Amazon EMR 릴리스 5.2.2](emr-522-release.md)
+ [Amazon EMR 릴리스 5.2.1](emr-521-release.md)
+ [Amazon EMR 릴리스 5.2.0](emr-520-release.md)
+ [Amazon EMR 릴리스 5.1.1](emr-511-release.md)
+ [Amazon EMR 릴리스 5.1.0](emr-510-release.md)
+ [Amazon EMR 릴리스 5.0.3](emr-503-release.md)
+ [Amazon EMR 릴리스 5.0.2](emr-502-release.md)
+ [Amazon EMR 릴리스 5.0.1](emr-501-release.md)
+ [Amazon EMR 릴리스 5.0.0](emr-500-release.md)
# Amazon EMR 5.x 릴리스의 애플리케이션 버전
다음 테이블에는 각 Amazon EMR 5.x 릴리스에서 사용할 수 있는 애플리케이션 버전이 나와 있습니다.
**애플리케이션 버전 정보**
| | emr-5.36.2 | emr-5.36.1 | emr-5.36.0 | emr-5.35.0 | emr-5.34.0 | emr-5.33.1 | emr-5.33.0 | emr-5.32.1 | emr-5.32.0 | emr-5.31.1 | emr-5.31.0 | emr-5.30.2 | emr-5.30.1 | emr-5.30.0 | emr-5.29.0 | emr-5.28.1 | emr-5.28.0 | emr-5.27.1 | emr-5.27.0 | emr-5.26.0 | emr-5.25.0 | emr-5.24.1 | emr-5.24.0 | emr-5.23.1 | emr-5.23.0 | emr-5.22.0 | emr-5.21.2 | emr-5.21.1 | emr-5.21.0 | emr-5.20.1 | emr-5.20.0 | emr-5.19.1 | emr-5.19.0 | emr-5.18.1 | emr-5.18.0 | emr-5.17.2 | emr-5.17.1 | emr-5.17.0 | emr-5.16.1 | emr-5.16.0 | emr-5.15.1 | emr-5.15.0 | emr-5.14.2 | emr-5.14.1 | emr-5.14.0 | emr-5.13.1 | emr-5.13.0 | emr-5.12.3 | emr-5.12.2 | emr-5.12.1 | emr-5.12.0 | emr-5.11.4 | emr-5.11.3 | emr-5.11.2 | emr-5.11.1 | emr-5.11.0 | emr-5.10.1 | emr-5.10.0 | emr-5.9.1 | emr-5.9.0 | emr-5.8.3 | emr-5.8.2 | emr-5.8.1 | emr-5.8.0 | emr-5.7.1 | emr-5.7.0 | emr-5.6.1 | emr-5.6.0 | emr-5.5.4 | emr-5.5.3 | emr-5.5.2 | emr-5.5.1 | emr-5.5.0 | emr-5.4.1 | emr-5.4.0 | emr-5.3.2 | emr-5.3.1 | emr-5.3.0 | emr-5.2.3 | emr-5.2.2 | emr-5.2.1 | emr-5.2.0 | emr-5.1.1 | emr-5.1.0 | emr-5.0.3 | emr-5.0.2 | emr-5.0.1 | emr-5.0.0 |
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- |
| AWS Java용 SDK | 206년 1월 12일 | 206년 1월 12일 | 206년 1월 12일 | 1.12.159 | 1.11.970 | 1.11.970 | 1.11.970 | 1.11.890 | 1.11.890 | 1.11.852 | 1.11.852 | 1.11.759 | 1.11.759 | 1.11.759 | 1.11.682 | 1.11.659 | 1.11.659 | 1.11.615 | 1.11.615 | 1.11.595 | 1.11.566 | 1.11.546 | 1.11.546 | 1.11.519 | 1.11.519 | 1.11.510 | 1.11.479 | 1.11.479 | 1.11.479 | 1.11.461 | 1.11.461 | 1.11.433 | 1.11.433 | 1.11.393 | 1.11.393 | 1.11.336 | 1.11.336 | 1.11.336 | 1.11.336 | 1.11.336 | 1.11.333 | 1.11.333 | 1.11.297 | 1.11.297 | 1.11.297 | 1.11.297 | 1.11.297 | 1.11.267 | 1.11.267 | 1.11.267 | 1.11.267 | 1.11.238 | 1.11.238 | 1.11.238 | 1.11.238 | 1.11.238 | 1.11.221 | 1.11.221 | 1.11.183 | 1.11.183 | 1.11.160 | 1.11.160 | 1.11.160 | 1.11.160 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 |
| Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
| Delta | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
| Flink | 1.14.2 | 1.14.2 | 1.14.2 | 1.14.2 | 1.13.1 | 1.12.1 | 1.12.1 | 1.11.2 | 1.11.2 | 1.11.0 | 1.11.0 | 1.10.0 | 1.10.0 | 1.10.0 | 1.9.1 | 1.9.0 | 1.9.0 | 1.8.1 | 1.8.1 | 1.8.0 | 1.8.0 | 1.8.0 | 1.8.0 | 1.7.1 | 1.7.1 | 1.7.1 | 1.7.0 | 1.7.0 | 1.7.0 | 1.6.2 | 1.6.2 | 1.6.1 | 1.6.1 | 1.6.0 | 1.6.0 | 1.5.2 | 1.5.2 | 1.5.2 | 1.5.0 | 1.5.0 | 1.4.2 | 1.4.2 | 1.4.2 | 1.4.2 | 1.4.2 | 1.4.0 | 1.4.0 | 1.4.0 | 1.4.0 | 1.4.0 | 1.4.0 | 1.3.2 | 1.3.2 | 1.3.2 | 1.3.2 | 1.3.2 | 1.3.2 | 1.3.2 | 1.3.2 | 1.3.2 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.0 | 1.3.0 | 1.2.1 | 1.2.1 | 1.2.0 | 1.2.0 | 1.2.0 | 1.2.0 | 1.2.0 | 1.2.0 | 1.2.0 | 1.1.4 | 1.1.4 | 1.1.4 | 1.1.3 | 1.1.3 | 1.1.3 | 1.1.3 | 1.1.3 | 1.1.3 | - | - | - | - |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.10 | 1.4.10 | 1.4.10 | 1.4.10 | 1.4.10 | 1.4.10 | 1.4.9 | 1.4.9 | 1.4.9 | 1.4.9 | 1.4.9 | 1.4.9 | 1.4.8 | 1.4.8 | 1.4.8 | 1.4.8 | 1.4.8 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.4 | 1.4.4 | 1.4.4 | 1.4.4 | 1.4.2 | 1.4.2 | 1.4.2 | 1.4.2 | 1.4.2 | 1.4.0 | 1.4.0 | 1.4.0 | 1.4.0 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.0 | 1.3.0 | 1.3.0 | 1.3.0 | 1.3.0 | 1.3.0 | 1.3.0 | 1.3.0 | 1.3.0 | 1.2.3 | 1.2.3 | 1.2.3 | 1.2.3 | 1.2.3 | 1.2.3 | 1.2.3 | 1.2.3 | 1.2.3 | 1.2.2 | 1.2.2 | 1.2.2 | 1.2.2 |
| HCatalog | 2.3.9-amzn-2 | 2.3.9-amzn-2 | 2.3.9-amzn-2 | 2.3.9-amzn-0 | 2.3.8-amzn-0 | 2.3.7-amzn-4 | 2.3.7-amzn-4 | 2.3.7-amzn-3 | 2.3.7-amzn-3 | 2.3.7-amzn-1 | 2.3.7-amzn-1 | 2.3.6-amzn-2 | 2.3.6-amzn-2 | 2.3.6-amzn-2 | 2.3.6-amzn-1 | 2.3.6-amzn-0 | 2.3.6-amzn-0 | 2.3.5-amzn-1 | 2.3.5-amzn-1 | 2.3.5-amzn-0 | 2.3.5-amzn-0 | 2.3.4-amzn-2 | 2.3.4-amzn-2 | 2.3.4-amzn-1 | 2.3.4-amzn-1 | 2.3.4-amzn-1 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.3-amzn-2 | 2.3.3-amzn-2 | 2.3.3-amzn-2 | 2.3.3-amzn-2 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-0 | 2.3.3-amzn-0 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.1-amzn-0 | 2.3.1-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 |
| Hadoop | 2.10.1-amzn-4 | 2.10.1-amzn-4 | 2.10.1-amzn-4 | 2.10.1-amzn-3 | 2.10.1-amzn-2 | 2.10.1-amzn-1.1 | 2.10.1-amzn-1 | 2.10.1-amzn-0.1 | 2.10.1-amzn-0 | 2.10.0-amzn-0.1 | 2.10.0-amzn-0 | 2.8.5-amzn-6.1 | 2.8.5-amzn-6 | 2.8.5-amzn-6 | 2.8.5-amzn-5 | 2.8.5-amzn-5 | 2.8.5-amzn-5 | 2.8.5-amzn-4 | 2.8.5-amzn-4 | 2.8.5-amzn-4 | 2.8.5-amzn-4 | 2.8.5-amzn-4 | 2.8.5-amzn-4 | 2.8.5-amzn-3 | 2.8.5-amzn-3 | 2.8.5-amzn-2 | 2.8.5-amzn-1 | 2.8.5-amzn-1 | 2.8.5-amzn-1 | 2.8.5-amzn-1 | 2.8.5-amzn-1 | 2.8.5-amzn-0 | 2.8.5-amzn-0 | 2.8.4-amzn-1 | 2.8.4-amzn-1 | 2.8.4-amzn-1 | 2.8.4-amzn-1 | 2.8.4-amzn-1 | 2.8.4-amzn-0 | 2.8.4-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.7.3-amzn-6 | 2.7.3-amzn-6 | 2.7.3-amzn-6 | 2.7.3-amzn-6 | 2.7.3-amzn-6 | 2.7.3-amzn-5 | 2.7.3-amzn-5 | 2.7.3-amzn-4 | 2.7.3-amzn-4 | 2.7.3-amzn-3 | 2.7.3-amzn-3 | 2.7.3-amzn-3 | 2.7.3-amzn-3 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-0 | 2.7.3-amzn-0 | 2.7.3-amzn-0 | 2.7.3-amzn-0 | 2.7.2-amzn-3 | 2.7.2-amzn-3 | 2.7.2-amzn-3 |
| Hive | 2.3.9-amzn-2 | 2.3.9-amzn-2 | 2.3.9-amzn-2 | 2.3.9-amzn-0 | 2.3.8-amzn-0 | 2.3.7-amzn-4 | 2.3.7-amzn-4 | 2.3.7-amzn-3 | 2.3.7-amzn-3 | 2.3.7-amzn-1 | 2.3.7-amzn-1 | 2.3.6-amzn-2 | 2.3.6-amzn-2 | 2.3.6-amzn-2 | 2.3.6-amzn-1 | 2.3.6-amzn-0 | 2.3.6-amzn-0 | 2.3.5-amzn-1 | 2.3.5-amzn-1 | 2.3.5-amzn-0 | 2.3.5-amzn-0 | 2.3.4-amzn-2 | 2.3.4-amzn-2 | 2.3.4-amzn-1 | 2.3.4-amzn-1 | 2.3.4-amzn-1 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-0 | 2.3.3-amzn-0 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.1-amzn-0 | 2.3.1-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 |
| Hudi | 0.10.1-amzn-1 | 0.10.1-amzn-1 | 0.10.1-amzn-1 | 0.9.0-amzn-2 | 0.9.0-amzn-0 | 0.7.0-amzn-1 | 0.7.0-amzn-1 | 0.6.0-amzn-0 | 0.6.0-amzn-0 | 0.6.0-amzn-0 | 0.6.0-amzn-0 | 0.5.2-incubating | 0.5.2-incubating | 0.5.2-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
| Hue | 4.10.0 | 4.10.0 | 4.10.0 | 4.10.0 | 4.9.0 | 4.9.0 | 4.9.0 | 4.8.0 | 4.8.0 | 4.7.1 | 4.7.1 | 4.6.0 | 4.6.0 | 4.6.0 | 4.4.0 | 4.4.0 | 4.4.0 | 4.4.0 | 4.4.0 | 4.4.0 | 4.4.0 | 4.4.0 | 4.4.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 4.1.0 | 4.1.0 | 4.1.0 | 4.1.0 | 4.1.0 | 4.1.0 | 4.1.0 | 4.1.0 | 4.1.0 | 4.0.1 | 4.0.1 | 4.0.1 | 4.0.1 | 4.0.1 | 4.0.1 | 4.0.1 | 4.0.1 | 4.0.1 | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 | 3.11.0 | 3.11.0 | 3.11.0 | 3.11.0 | 3.11.0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 |
| Iceberg | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
| JupyterEnterpriseGateway | 2.6.0 | 2.6.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
| JupyterHub | 1.4.1 | 1.4.1 | 1.4.1 | 1.4.1 | 1.4.1 | 1.2.2 | 1.2.2 | 1.1.0 | 1.1.0 | 1.1.0 | 1.1.0 | 1.1.0 | 1.1.0 | 1.1.0 | 1.0.0 | 1.0.0 | 1.0.0 | 1.0.0 | 1.0.0 | 0.9.6 | 0.9.6 | 0.9.6 | 0.9.6 | 0.9.4 | 0.9.4 | 0.9.4 | 0.9.4 | 0.9.4 | 0.9.4 | 0.9.4 | 0.9.4 | 0.9.4 | 0.9.4 | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
| MXNet | 1.8.0 | 1.8.0 | 1.8.0 | 1.8.0 | 1.8.0 | 1.7.0 | 1.7.0 | 1.7.0 | 1.7.0 | 1.6.0 | 1.6.0 | 1.5.1 | 1.5.1 | 1.5.1 | 1.5.1 | 1.5.1 | 1.5.1 | 1.4.0 | 1.4.0 | 1.4.0 | 1.4.0 | 1.4.0 | 1.4.0 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.0 | 1.3.0 | 1.2.0 | 1.2.0 | 1.2.0 | 1.2.0 | 1.2.0 | 1.2.0 | 1.2.0 | 1.1.0 | 1.1.0 | 1.1.0 | 1.1.0 | 1.1.0 | 1.0.0 | 1.0.0 | 1.0.0 | 1.0.0 | 1.0.0 | 1.0.0 | 0.12.0 | 0.12.0 | 0.12.0 | 0.12.0 | 0.12.0 | 0.12.0 | 0.12.0 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 |
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.0 | 5.2.0 | 5.2.0 | 5.2.0 | 5.2.0 | 5.2.0 | 5.2.0 | 5.2.0 | 5.2.0 | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 |
| Phoenix | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 | 4.14.2-HBase-1.4 | 4.14.2-HBase-1.4 | 4.14.2-HBase-1.4 | 4.14.1-HBase-1.4 | 4.14.1-HBase-1.4 | 4.14.1-HBase-1.4 | 4.14.1-HBase-1.4 | 4.14.1-HBase-1.4 | 4.14.1-HBase-1.4 | 4.14.0-HBase-1.4 | 4.14.0-HBase-1.4 | 4.14.0-HBase-1.4 | 4.14.0-HBase-1.4 | 4.14.0-HBase-1.4 | 4.14.0-HBase-1.4 | 4.14.0-HBase-1.4 | 4.14.0-HBase-1.4 | 4.14.0-HBase-1.4 | 4.14.0-HBase-1.4 | 4.14.0-HBase-1.4 | 4.14.0-HBase-1.4 | 4.14.0-HBase-1.4 | 4.14.0-HBase-1.4 | 4.13.0-HBase-1.4 | 4.13.0-HBase-1.4 | 4.13.0-HBase-1.4 | 4.13.0-HBase-1.4 | 4.13.0-HBase-1.4 | 4.13.0-HBase-1.4 | 4.13.0-HBase-1.4 | 4.13.0-HBase-1.4 | 4.13.0-HBase-1.4 | 4.13.0-HBase-1.4 | 4.13.0-HBase-1.4 | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 | 4.9.0-HBase-1.2 | 4.9.0-HBase-1.2 | 4.9.0-HBase-1.2 | 4.9.0-HBase-1.2 | 4.9.0-HBase-1.2 | 4.9.0-HBase-1.2 | 4.9.0-HBase-1.2 | 4.9.0-HBase-1.2 | 4.9.0-HBase-1.2 | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.16.0-amzn-1 | 0.16.0-amzn-1 | 0.16.0-amzn-1 | 0.16.0-amzn-1 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.267-amzn-1 | 0.267-amzn-1 | 0.267-amzn-1 | 0.266-amzn-0 | 0.261-amzn-0 | 0.245.1-amzn-0 | 0.245.1-amzn-0 | 0.240.1-amzn-0 | 0.240.1-amzn-0 | 0.238.3-amzn-0 | 0.238.3-amzn-0 | 0.232 | 0.232 | 0.232 | 0.227 | 0.227 | 0.227 | 0.224 | 0.224 | 0.220 | 0.220 | 0.219 | 0.219 | 0.215 | 0.215 | 0.215 | 0.215 | 0.215 | 0.215 | 0.214 | 0.214 | 0.212 | 0.212 | 0.210 | 0.210 | 0.206 | 0.206 | 0.206 | 0.203 | 0.203 | 0.194 | 0.194 | 0.194 | 0.194 | 0.194 | 0.194 | 0.194 | 0.188 | 0.188 | 0.188 | 0.188 | 0.187 | 0.187 | 0.187 | 0.187 | 0.187 | 0.187 | 0.187 | 0.184 | 0.184 | 0.170 | 0.170 | 0.170 | 0.170 | 0.170 | 0.170 | 0.170 | 0.170 | 0.170 | 0.170 | 0.170 | 0.170 | 0.170 | 0.166 | 0.166 | 0.157.1 | 0.157.1 | 0.157.1 | 0.157.1 | 0.157.1 | 0.157.1 | 0.152.3 | 0.152.3 | 0.152.3 | 0.152.3 | 0.150 | 0.150 | 0.150 |
| Spark | 2.4.8-amzn-2 | 2.4.8-amzn-2 | 2.4.8-amzn-2 | 2.4.8-amzn-1 | 2.4.8-amzn-0 | 2.4.7-amzn-1.1 | 2.4.7-amzn-1 | 2.4.7-amzn-0.1 | 2.4.7-amzn-0 | 2.4.6-amzn-0.1 | 2.4.6-amzn-0 | 2.4.5-amzn-0.1 | 2.4.5-amzn-0 | 2.4.5-amzn-0 | 2.4.4 | 2.4.4 | 2.4.4 | 2.4.4 | 2.4.4 | 2.4.3 | 2.4.3 | 2.4.2 | 2.4.2 | 2.4.0 | 2.4.0 | 2.4.0 | 2.4.0 | 2.4.0 | 2.4.0 | 2.4.0 | 2.4.0 | 2.3.2 | 2.3.2 | 2.3.2 | 2.3.2 | 2.3.1 | 2.3.1 | 2.3.1 | 2.3.1 | 2.3.1 | 2.3.0 | 2.3.0 | 2.3.0 | 2.3.0 | 2.3.0 | 2.3.0 | 2.3.0 | 2.2.1 | 2.2.1 | 2.2.1 | 2.2.1 | 2.2.1 | 2.2.1 | 2.2.1 | 2.2.1 | 2.2.1 | 2.2.0 | 2.2.0 | 2.2.0 | 2.2.0 | 2.2.0 | 2.2.0 | 2.2.0 | 2.2.0 | 2.1.1 | 2.1.1 | 2.1.1 | 2.1.1 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.0.2 | 2.0.2 | 2.0.2 | 2.0.2 | 2.0.1 | 2.0.1 | 2.0.1 | 2.0.0 | 2.0.0 | 2.0.0 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | 2.4.1 | 2.4.1 | 2.4.1 | 2.4.1 | 2.4.1 | 2.4.1 | 2.4.1 | 2.3.1 | 2.3.1 | 2.1.0 | 2.1.0 | 1.14.0 | 1.14.0 | 1.14.0 | 1.14.0 | 1.14.0 | 1.14.0 | 1.14.0 | 1.14.0 | 1.13.1 | 1.13.1 | 1.12.0 | 1.12.0 | 1.12.0 | 1.12.0 | 1.12.0 | 1.12.0 | 1.12.0 | 1.12.0 | 1.12.0 | 1.12.0 | 1.11.0 | 1.11.0 | 1.9.0 | 1.9.0 | 1.9.0 | 1.9.0 | 1.9.0 | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.1 | 0.9.1 | 0.9.1 | 0.9.1 | 0.9.1 | 0.9.1 | 0.9.1 | 0.9.1 | 0.9.1 | 0.9.1 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - |
| Zeppelin | 0.10.0 | 0.10.0 | 0.10.0 | 0.10.0 | 0.10.0 | 0.9.0 | 0.9.0 | 0.8.2 | 0.8.2 | 0.8.2 | 0.8.2 | 0.8.2 | 0.8.2 | 0.8.2 | 0.8.2 | 0.8.2 | 0.8.2 | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.0 | 0.8.0 | 0.8.0 | 0.8.0 | 0.8.0 | 0.8.0 | 0.8.0 | 0.8.0 | 0.8.0 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.2 | 0.7.2 | 0.7.2 | 0.7.2 | 0.7.2 | 0.7.2 | 0.7.2 | 0.7.2 | 0.7.1 | 0.7.1 | 0.7.1 | 0.7.1 | 0.7.1 | 0.7.1 | 0.7.1 | 0.7.0 | 0.7.0 | 0.6.2 | 0.6.2 | 0.6.2 | 0.6.2 | 0.6.2 | 0.6.2 | 0.6.2 | 0.6.2 | 0.6.2 | 0.6.1 | 0.6.1-SNAPSHOT | 0.6.1-SNAPSHOT | 0.6.1-SNAPSHOT |
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.12 | 3.4.12 | 3.4.12 | 3.4.12 | 3.4.12 | 3.4.12 | 3.4.12 | 3.4.12 | 3.4.12 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.9 | 3.4.9 | 3.4.9 | 3.4.9 | 3.4.9 | 3.4.9 | 3.4.9 | 3.4.9 | 3.4.8 | 3.4.8 | 3.4.8 | 3.4.8 | 3.4.8 | 3.4.8 | 3.4.8 |
# Amazon EMR 릴리스 5.36.2
## 5.36.2 애플리케이션 버전
이 릴리스에 포함된 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.36.2 | emr-5.36.1 | emr-5.36.0 | emr-5.35.0 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 206년 1월 12일 | 206년 1월 12일 | 206년 1월 12일 | 1.12.159 |
| Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.14.2 | 1.14.2 | 1.14.2 | 1.14.2 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 |
| HCatalog | 2.3.9-amzn-2 | 2.3.9-amzn-2 | 2.3.9-amzn-2 | 2.3.9-amzn-0 |
| Hadoop | 2.10.1-amzn-4 | 2.10.1-amzn-4 | 2.10.1-amzn-4 | 2.10.1-amzn-3 |
| Hive | 2.3.9-amzn-2 | 2.3.9-amzn-2 | 2.3.9-amzn-2 | 2.3.9-amzn-0 |
| Hudi | 0.10.1-amzn-1 | 0.10.1-amzn-1 | 0.10.1-amzn-1 | 0.9.0-amzn-2 |
| Hue | 4.10.0 | 4.10.0 | 4.10.0 | 4.10.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | 2.6.0 | 2.6.0 | 2.1.0 | 2.1.0 |
| JupyterHub | 1.4.1 | 1.4.1 | 1.4.1 | 1.4.1 |
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating |
| MXNet | 1.8.0 | 1.8.0 | 1.8.0 | 1.8.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 |
| Phoenix | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.267-amzn-1 | 0.267-amzn-1 | 0.267-amzn-1 | 0.266-amzn-0 |
| Spark | 2.4.8-amzn-2 | 2.4.8-amzn-2 | 2.4.8-amzn-2 | 2.4.8-amzn-1 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 2.4.1 | 2.4.1 | 2.4.1 | 2.4.1 |
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.10.0 | 0.10.0 | 0.10.0 | 0.10.0 |
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 |
## 5.36.2 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.36.2에 대한 정보가 포함됩니다. 변경 사항은 5.36.1에 관련됩니다. 릴리스 일정에 대한 자세한 내용은 [변경 로그](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-5362-release.html#5362-changelog)를 참조하세요.
**변경 사항, 향상된 기능 및 해결된 문제**
+ 이 릴리스에서는 Amazon EMR에서 클러스터의 HDFS 복제 인수 설정 미만으로 코어 노드를 스케일 다운하지 않도록 클러스터 스케일 다운 로직을 개선합니다. 이 개선 사항은 데이터 중복성 요구 사항에 부합하며 조정 작업이 중단될 가능성을 줄여줍니다.
+ 이 릴리스에서는 Presto 또는 Trino를 실행하는 EMR 클러스터의 클러스터 조정 워크플로에 새로운 재시도 메커니즘을 추가합니다. 이 개선 사항은 크기 조정 작업의 한 번 실패로 인해 클러스터 크기 조정이 무기한 실행될 위험을 줄여줍니다. 또한 클러스터를 더 빠르게 스케일 업 및 스케일 다운하므로 클러스터 활용도가 향상됩니다.
+ Amazon EMR이 코어 노드를 정상적으로 해제하는 동안 클러스터 스케일 다운 작업이 중단되고 완전히 해제되기 전에 비정상 상태로 전환되는 문제를 수정합니다.
+ Amazon EMR이 단일 노드를 재시작할 때 여러 프라이머리 노드가 있는 고가용성 클러스터의 노드 안정성을 개선합니다.
+ Amazon EC2에서 실행되는 Amazon EMR을 사용하여 로그 관리를 최적화합니다. 따라서 클러스터 로그의 스토리지 비용이 조금 절감될 수 있습니다.
+ 로그 파일이 범위를 초과하여 클러스터 작업을 방해하는 시나리오를 최소화하기 위해 프라이머리 노드에서 유지되는 ZooKeeper 트랜잭션 로그 파일의 관리를 개선합니다.
+ Yarn ResourceManager와 통신할 수 없어 여러 프라이머리 노드가 있는 고가용성 클러스터에서 실패 원인이 될 수 있는 드문 버그를 수정합니다.
+ Amazon EMR 5.36 이상, 6.6 이상 또는 7.0 이상의 *최신 패치 릴리스*가 적용된 클러스터를 시작하는 경우 Amazon EMR은 기본 Amazon EMR AMI에 대한 최신 Amazon Linux 2023 or Amazon Linux 2 릴리스를 사용합니다. 자세한 내용은 [Amazon EMR에 대한 기본 Amazon Linux AMI 사용](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html)을 참조하세요.
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ReleaseGuide/emr-5362-release.html)
## 5.36.2 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.4.1 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.16.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.16.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.5.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-notebook-env | 1.5.0 | Jupyter Enterprise Gateway가 포함된 EMR 노트북용 Conda 환경 |
| emr-s3-dist-cp | 2.21.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emr-s3-select | 1.7.0 | EMR S3Select 커넥터 |
| emrfs | 2.51.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.14.2 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| flink-jobmanager-config | 1.14.2 | Apache Flink JobManager에 대한 EMR 노드에서 리소스를 관리합니다. |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.10.1-amzn-4 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.10.1-amzn-4 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.10.1-amzn-4 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.10.1-amzn-4 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-hdfs-journalnode | 2.10.1-amzn-4 | HA 클러스터에서 하둡 파일 시스템 저널을 관리하기 위한 HDFS 서비스 |
| hadoop-httpfs-server | 2.10.1-amzn-4 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.10.1-amzn-4 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.10.1-amzn-4 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.10.1-amzn-4 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.10.1-amzn-4 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.10.1-amzn-4 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.4.13 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.4.13 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.4.13 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.4.13 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.4.13 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.3.9-amzn-2 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.9-amzn-2 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.9-amzn-2 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.9-amzn-2 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.9-amzn-2 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.9-amzn-2 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.9-amzn-2 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hudi | 0.10.1-amzn-1 | 짧은 지연 시간 및 높은 효율성으로 데이터 파이프라인을 구동하는 증분 처리 프레임워크. |
| hudi-spark | 0.10.1-amzn-1 | Hudi와 함께 Spark를 실행하기 위한 번들 라이브러리. |
| hudi-presto | 0.10.1-amzn-1 | Hudi로 Presto를 실행하기 위한 번들 라이브러리. |
| hue-server | 4.10.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| jupyterhub | 1.4.1 | Jupyter Notebook용 다중 사용자 서버 |
| livy-server | 0.7.1-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| nginx | 1.13.1 | HTTP인 nginx [engine x] 및 역방향 프록시 서버 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 1.8.0 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mariadb-server | 5.5.68 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 11.0.194 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 5.2.1 | Oozie 명령줄 클라이언트 |
| oozie-server | 5.2.1 | Oozie 워크플로 요청을 수락하는 서비스 |
| opencv | 4.5.0 | 오픈 소스 컴퓨터 비전 라이브러리. |
| phoenix-library | 4.14.3-HBase-1.4 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.14.3-HBase-1.4 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.267-amzn-1 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.267-amzn-1 | 여러 쿼리를 실행하는 서비스. |
| presto-client | 0.267-amzn-1 | Presto 서버가 시작되지 않은 HA 클러스터의 대기 마스터에 설치된 Presto 명령줄 클라이언트. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| r | 4.0.2 | 통계 컴퓨팅용 R 프로젝트 |
| ranger-kms-server | 1.2.0 | Apache Ranger 키 관리 시스템 |
| spark-client | 2.4.8-amzn-2 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.4.8-amzn-2 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.4.8-amzn-2 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.4.8-amzn-2 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.7 | Apache Sqoop 명령줄 클라이언트. |
| tensorflow | 2.4.1 | TensorFlow는 고성능 수치 계산용 오픈 소스 소프트웨어 라이브러리입니다. |
| tez-on-yarn | 0.9.2 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.10.0 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.14 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.14 | ZooKeeper 명령줄 클라이언트. |
## 5.36.2 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
재구성 작업은 실행 중인 클러스터의 인스턴스 그룹에 대한 구성을 지정할 때 수행됩니다. Amazon EMR은 사용자가 수정한 분류에 대한 재구성 작업만 시작합니다. 자세한 내용은 [실행 중인 클러스터에서 인스턴스 그룹 재구성](emr-configure-apps-running-cluster.md) 단원을 참조하십시오.
**emr-5.36.2 분류**
| 분류 | 설명 | 재구성 작업 |
| --- | --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. | Restarts the ResourceManager service. |
| container-executor | Hadoop YARN container-executor.cfg 파일에서 값을 변경합니다. | Not available. |
| container-log4j | Hadoop YARN container-log4j.properties 파일에서 값을 변경합니다. | Not available. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. |
| docker-conf | Docker 관련 설정을 변경합니다. | Not available. |
| emrfs-site | EMRFS 설정을 변경합니다. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. | Restarts Flink history server. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. | Restarts Flink history server. |
| flink-log4j-session | Kubernetes 및 Yarn 세션에 대한 Flink log4j-session.properties 설정을 변경합니다. | Not available. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. | Restarts Flink history server. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. | Not available. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. | Not available. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. |
| hbase-env | HBase 환경에서 값을 변경합니다. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. | Not available. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. | Should not be reconfigured. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. | Restarts Hive HCatalog Server. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. | Restarts Hive HCatalog Server. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. | Restarts Hive HCatalog Server. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. | Restarts Hive WebHCat Server. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. | Restarts Hive WebHCat Server. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. | Restarts Hive WebHCat Server. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. | Not available. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. | Not available. |
| hive-env | Hive 환경에서 값을 변경합니다. | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. | Restarts HiveServer2 and HiveMetastore. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. | Not available. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. | Not available. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. | Not available. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. | Restarts Hadoop Httpfs service. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. | Restarts Hadoop Httpfs service. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. | Not available. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. | Restarts Hadoop-KMS service. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. | Not available. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. | Restarts Hadoop-KMS and Ranger-KMS service. |
| hudi-env | Hudi 환경에서 값을 변경합니다. | Not available. |
| hudi-defaults | Hudi hudi-defaults.conf 파일에서 값을 변경합니다. | Not available. |
| jupyter-notebook-conf | Jupyter Notebook jupyter\$1notebook\$1config.py 파일에서 값을 변경합니다. | Not available. |
| jupyter-hub-conf | JupyterHubs jupyterhub\$1config.py 파일에서 값을 변경합니다. | Not available. |
| jupyter-s3-conf | Jupyter Notebook S3 지속성 구성 | Not available. |
| jupyter-sparkmagic-conf | Sparkmagic config.json 파일에서 값을 변경합니다. | Not available. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. | Restarts Livy Server. |
| livy-env | Livy 환경에서 값을 변경합니다. | Restarts Livy Server. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. | Restarts Livy Server. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. | Restarts Hadoop MapReduce-HistoryServer. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. | Restarts Hadoop MapReduce-HistoryServer. |
| oozie-env | Oozie 환경에서 값을 변경합니다. | Restarts Oozie. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. | Restarts Oozie. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. | Restarts Oozie. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. | Not available. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. | Not available. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. | Restarts Phoenix-QueryServer. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. | Not available. |
| pig-env | Pig 환경에서 값을 변경합니다. | Not available. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. | Restarts Oozie. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. | Not available. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. | Restarts Presto-Server. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. | Restarts Presto-Server. |
| presto-password-authenticator | Presto password-authenticator.properties 파일에서 값을 변경합니다. | Not available. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. | Restarts Presto-Server. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. | Restarts Presto-Server. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-memory | Presto memory.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-redshift | Presto redshift.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-tpcds | Presto tpcds.properties 파일에서 값을 변경합니다. | Not available. |
| ranger-kms-dbks-site | Ranger KMS dbks-site.xml 파일에서 값을 변경합니다. | Restarts Ranger KMS Server. |
| ranger-kms-site | Ranger KMS ranger-kms-site.xml 파일에서 값을 변경합니다. | Restarts Ranger KMS Server. |
| ranger-kms-env | Ranger KMS 환경에서 값을 변경합니다. | Restarts Ranger KMS Server. |
| ranger-kms-log4j | Ranger KMS kms-log4j.properties 파일에서 값을 변경합니다. | Not available. |
| ranger-kms-db-ca | Ranger KMS와의 MySQL SSL 연결에서 CA 파일의 값을 변경합니다. | Not available. |
| recordserver-env | EMR RecordServer 환경에서 값을 변경합니다. | Restarts EMR record server. |
| recordserver-conf | EMR RecordServer erver.properties 파일에서 값을 변경합니다. | Restarts EMR record server. |
| recordserver-log4j | EMR RecordServer log4j.properties 파일에서 값을 변경합니다. | Restarts EMR record server. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. | This property modifies spark-defaults. See actions there. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. | Restarts Spark history server and Spark thrift server. |
| spark-env | Spark 환경에서 값을 변경합니다. | Restarts Spark history server and Spark thrift server. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. | Not available. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. | Restarts Spark history server and Spark thrift server. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. | Restarts Spark history server and Spark thrift server. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. | Not available. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. | Not available. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. | Not available. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. | Restarts Oozie. |
| yarn-env | YARN 환경에서 값을 변경합니다. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. | Restarts Zeppelin. |
| zeppelin-site | zeppelin-site.xml에서 구성 설정을 변경합니다. | Restarts Zeppelin. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. | Restarts Zookeeper server. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. | Restarts Zookeeper server. |
## 5.36.2 변경 로그
**5.36.2 릴리스 및 릴리스 정보에 대한 변경 로그**
| Date | 이벤트 | 설명 |
| --- | --- | --- |
| 2024-05-28 | 배포 완료 | 모든 [지원되는 리전](https://aws.amazon.com/about-aws/global-infrastructure/regional-product-services/)에 Amazon EMR 5.36.2 전체 배포됨 |
| 2024-05-28 | 문서 게시 | Amazon EMR 5.36.2 릴리스 정보 최초 게시됨 |
| 2024-05-20 | 초기 릴리스 | 제한된 상용 리전에 Amazon EMR 5.36.2 최초 배포됨 |
# Amazon EMR 릴리스 5.36.1
## 5.36.1 애플리케이션 버전
이 릴리스에 포함된 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.36.1 | emr-5.36.0 | emr-5.35.0 | emr-5.34.0 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 206년 1월 12일 | 206년 1월 12일 | 1.12.159 | 1.11.970 |
| Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.14.2 | 1.14.2 | 1.14.2 | 1.13.1 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 |
| HCatalog | 2.3.9-amzn-2 | 2.3.9-amzn-2 | 2.3.9-amzn-0 | 2.3.8-amzn-0 |
| Hadoop | 2.10.1-amzn-4 | 2.10.1-amzn-4 | 2.10.1-amzn-3 | 2.10.1-amzn-2 |
| Hive | 2.3.9-amzn-2 | 2.3.9-amzn-2 | 2.3.9-amzn-0 | 2.3.8-amzn-0 |
| Hudi | 0.10.1-amzn-1 | 0.10.1-amzn-1 | 0.9.0-amzn-2 | 0.9.0-amzn-0 |
| Hue | 4.10.0 | 4.10.0 | 4.10.0 | 4.9.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | 2.6.0 | 2.1.0 | 2.1.0 | 2.1.0 |
| JupyterHub | 1.4.1 | 1.4.1 | 1.4.1 | 1.4.1 |
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating |
| MXNet | 1.8.0 | 1.8.0 | 1.8.0 | 1.8.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 |
| Phoenix | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.267-amzn-1 | 0.267-amzn-1 | 0.266-amzn-0 | 0.261-amzn-0 |
| Spark | 2.4.8-amzn-2 | 2.4.8-amzn-2 | 2.4.8-amzn-1 | 2.4.8-amzn-0 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 2.4.1 | 2.4.1 | 2.4.1 | 2.4.1 |
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.10.0 | 0.10.0 | 0.10.0 | 0.10.0 |
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 |
## 5.36.1 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.36.1에 대한 정보가 포함됩니다. 변경 사항은 5.36.0에 관련됩니다. 릴리스 일정에 대한 자세한 내용은 [변경 로그](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-5361-release.html#5361-changelog)를 참조하세요.
**변경 사항, 향상된 기능 및 해결된 문제**
+ Amazon EMR 릴리스 5.36.1은 클러스터 스케일 다운 중에 Amazon S3에 로그를 아카이브하기 위한 지원을 추가합니다. 이전 5.x 릴리스에서는 클러스터 종료 중에만 Amazon S3에 로그 파일을 아카이브할 수 있었습니다. 이 개선으로 클러스터에서 생성된 로그 파일은 노드가 종료된 후에도 Amazon S3에서 계속 유지됩니다. 자세한 내용은 [클러스터 로깅 및 디버깅 구성](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-debugging.html)을 참조하세요.
+ 5.36.1 릴리스에서는 EMR 클러스터의 추가 로그 폴더를 모니터링하도록 클러스터 내 로그 관리 대몬(daemon)이 개선되었습니다. 이 개선 사항은 디스크 과다 사용 시나리오를 최소화합니다.
+ 5.36.1 릴리스에서는 클러스터 내 로그 관리 대몬(daemon)이 중지되면 해당 대몬(daemon)을 자동으로 다시 시작합니다. 이 개선 사항은 디스크 과다 사용으로 인해 노드가 비정상으로 보이는 위험을 줄입니다.
+ 5.36.1 릴리스에서는 프라이머리 노드의 Amazon EMR 대몬(daemon)이 클러스터의 종료된 인스턴스에 대한 오래된 메타데이터를 유지하는 문제를 수정했습니다. 오래된 데이터를 유지 관리하면 클러스터 내 CPU 및 메모리 사용량이 제한 없이 증가하여 결국 클러스터 장애로 이어질 수 있습니다.
+ 여러 프라이머리 노드에서 시작되는 클러스터와 관련하여 5.36.1 릴리스에서는 프라이머리 노드 중 하나에서 발생한 Amazon EC2 하드웨어 장애로 인해 두 번째 프라이머리 노드에서 장애가 발생하여 클러스터가 불안정해질 수 있는 문제를 수정했습니다.
+ 전송 중 암호화가 구성된 클러스터와 관련하여 이제 Managed Scaling에서 *Spark 셔플 데이터*를 인식합니다. Spark 셔플 데이터는 Spark에서 특정 작업을 수행하기 위해 여러 파티션에서 재분배하는 데이터를 말합니다. 스케일 다운 중에 Managed Scaling은 셔플 데이터가 있는 인스턴스를 무시합니다. 이를 통해 요금 및 성능 면에서 비용이 많이 드는 작업 재시도와 재계산을 방지할 수 있습니다. 셔플 작업에 대한 자세한 내용은 [Spark Programming Guide](https://spark.apache.org/docs/latest/rdd-programming-guide.html#shuffle-operations)를 참조하세요.
+ Amazon EMR 5.36 이상, 6.6 이상 또는 7.0 이상의 *최신 패치 릴리스*가 적용된 클러스터를 시작하는 경우 Amazon EMR은 기본 Amazon EMR AMI에 대한 최신 Amazon Linux 2023 or Amazon Linux 2 릴리스를 사용합니다. 자세한 내용은 [Amazon EMR에 대한 기본 Amazon Linux AMI 사용](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html)을 참조하세요.
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ReleaseGuide/emr-5361-release.html)
## 5.36.1 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.4.1 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.16.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.16.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.5.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-notebook-env | 1.5.0 | Jupyter Enterprise Gateway가 포함된 EMR 노트북용 Conda 환경 |
| emr-s3-dist-cp | 2.21.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emr-s3-select | 1.7.0 | EMR S3Select 커넥터 |
| emrfs | 2.51.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.14.2 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| flink-jobmanager-config | 1.14.2 | Apache Flink JobManager에 대한 EMR 노드에서 리소스를 관리합니다. |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.10.1-amzn-4 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.10.1-amzn-4 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.10.1-amzn-4 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.10.1-amzn-4 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-hdfs-journalnode | 2.10.1-amzn-4 | HA 클러스터에서 하둡 파일 시스템 저널을 관리하기 위한 HDFS 서비스 |
| hadoop-httpfs-server | 2.10.1-amzn-4 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.10.1-amzn-4 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.10.1-amzn-4 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.10.1-amzn-4 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.10.1-amzn-4 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.10.1-amzn-4 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.4.13 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.4.13 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.4.13 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.4.13 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.4.13 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.3.9-amzn-2 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.9-amzn-2 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.9-amzn-2 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.9-amzn-2 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.9-amzn-2 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.9-amzn-2 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.9-amzn-2 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hudi | 0.10.1-amzn-1 | 짧은 지연 시간 및 높은 효율성으로 데이터 파이프라인을 구동하는 증분 처리 프레임워크. |
| hudi-spark | 0.10.1-amzn-1 | Hudi와 함께 Spark를 실행하기 위한 번들 라이브러리. |
| hudi-presto | 0.10.1-amzn-1 | Hudi로 Presto를 실행하기 위한 번들 라이브러리. |
| hue-server | 4.10.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| jupyterhub | 1.4.1 | Jupyter Notebook용 다중 사용자 서버 |
| livy-server | 0.7.1-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| nginx | 1.13.1 | HTTP인 nginx [engine x] 및 역방향 프록시 서버 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 1.8.0 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mariadb-server | 5.5.68 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 11.0.194 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 5.2.1 | Oozie 명령줄 클라이언트 |
| oozie-server | 5.2.1 | Oozie 워크플로 요청을 수락하는 서비스 |
| opencv | 4.5.0 | 오픈 소스 컴퓨터 비전 라이브러리. |
| phoenix-library | 4.14.3-HBase-1.4 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.14.3-HBase-1.4 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.267-amzn-1 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.267-amzn-1 | 여러 쿼리를 실행하는 서비스. |
| presto-client | 0.267-amzn-1 | Presto 서버가 시작되지 않은 HA 클러스터의 대기 마스터에 설치된 Presto 명령줄 클라이언트. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| r | 4.0.2 | 통계 컴퓨팅용 R 프로젝트 |
| ranger-kms-server | 1.2.0 | Apache Ranger 키 관리 시스템 |
| spark-client | 2.4.8-amzn-2 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.4.8-amzn-2 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.4.8-amzn-2 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.4.8-amzn-2 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.7 | Apache Sqoop 명령줄 클라이언트. |
| tensorflow | 2.4.1 | TensorFlow는 고성능 수치 계산용 오픈 소스 소프트웨어 라이브러리입니다. |
| tez-on-yarn | 0.9.2 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.10.0 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.14 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.14 | ZooKeeper 명령줄 클라이언트. |
## 5.36.1 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
재구성 작업은 실행 중인 클러스터의 인스턴스 그룹에 대한 구성을 지정할 때 수행됩니다. Amazon EMR은 사용자가 수정한 분류에 대한 재구성 작업만 시작합니다. 자세한 내용은 [실행 중인 클러스터에서 인스턴스 그룹 재구성](emr-configure-apps-running-cluster.md) 단원을 참조하십시오.
**emr-5.36.1 분류**
| 분류 | 설명 | 재구성 작업 |
| --- | --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. | Restarts the ResourceManager service. |
| container-executor | Hadoop YARN container-executor.cfg 파일에서 값을 변경합니다. | Not available. |
| container-log4j | Hadoop YARN container-log4j.properties 파일에서 값을 변경합니다. | Not available. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. |
| docker-conf | Docker 관련 설정을 변경합니다. | Not available. |
| emrfs-site | EMRFS 설정을 변경합니다. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. | Restarts Flink history server. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. | Restarts Flink history server. |
| flink-log4j-session | Kubernetes 및 Yarn 세션에 대한 Flink log4j-session.properties 설정을 변경합니다. | Not available. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. | Restarts Flink history server. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. | Not available. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. | Not available. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. |
| hbase-env | HBase 환경에서 값을 변경합니다. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. | Not available. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. | Should not be reconfigured. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. | Restarts Hive HCatalog Server. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. | Restarts Hive HCatalog Server. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. | Restarts Hive HCatalog Server. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. | Restarts Hive WebHCat Server. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. | Restarts Hive WebHCat Server. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. | Restarts Hive WebHCat Server. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. | Not available. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. | Not available. |
| hive-env | Hive 환경에서 값을 변경합니다. | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. | Restarts HiveServer2 and HiveMetastore. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. | Not available. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. | Not available. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. | Not available. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. | Restarts Hadoop Httpfs service. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. | Restarts Hadoop Httpfs service. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. | Not available. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. | Restarts Hadoop-KMS service. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. | Not available. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. | Restarts Hadoop-KMS and Ranger-KMS service. |
| hudi-env | Hudi 환경에서 값을 변경합니다. | Not available. |
| hudi-defaults | Hudi hudi-defaults.conf 파일에서 값을 변경합니다. | Not available. |
| jupyter-notebook-conf | Jupyter Notebook jupyter\$1notebook\$1config.py 파일에서 값을 변경합니다. | Not available. |
| jupyter-hub-conf | JupyterHubs jupyterhub\$1config.py 파일에서 값을 변경합니다. | Not available. |
| jupyter-s3-conf | Jupyter Notebook S3 지속성 구성 | Not available. |
| jupyter-sparkmagic-conf | Sparkmagic config.json 파일에서 값을 변경합니다. | Not available. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. | Restarts Livy Server. |
| livy-env | Livy 환경에서 값을 변경합니다. | Restarts Livy Server. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. | Restarts Livy Server. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. | Restarts Hadoop MapReduce-HistoryServer. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. | Restarts Hadoop MapReduce-HistoryServer. |
| oozie-env | Oozie 환경에서 값을 변경합니다. | Restarts Oozie. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. | Restarts Oozie. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. | Restarts Oozie. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. | Not available. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. | Not available. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. | Restarts Phoenix-QueryServer. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. | Not available. |
| pig-env | Pig 환경에서 값을 변경합니다. | Not available. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. | Restarts Oozie. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. | Not available. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. | Restarts Presto-Server. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. | Restarts Presto-Server. |
| presto-password-authenticator | Presto password-authenticator.properties 파일에서 값을 변경합니다. | Not available. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. | Restarts Presto-Server. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. | Restarts Presto-Server. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-memory | Presto memory.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-redshift | Presto redshift.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-tpcds | Presto tpcds.properties 파일에서 값을 변경합니다. | Not available. |
| ranger-kms-dbks-site | Ranger KMS dbks-site.xml 파일에서 값을 변경합니다. | Restarts Ranger KMS Server. |
| ranger-kms-site | Ranger KMS ranger-kms-site.xml 파일에서 값을 변경합니다. | Restarts Ranger KMS Server. |
| ranger-kms-env | Ranger KMS 환경에서 값을 변경합니다. | Restarts Ranger KMS Server. |
| ranger-kms-log4j | Ranger KMS kms-log4j.properties 파일에서 값을 변경합니다. | Not available. |
| ranger-kms-db-ca | Ranger KMS와의 MySQL SSL 연결에서 CA 파일의 값을 변경합니다. | Not available. |
| recordserver-env | EMR RecordServer 환경에서 값을 변경합니다. | Restarts EMR record server. |
| recordserver-conf | EMR RecordServer erver.properties 파일에서 값을 변경합니다. | Restarts EMR record server. |
| recordserver-log4j | EMR RecordServer log4j.properties 파일에서 값을 변경합니다. | Restarts EMR record server. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. | This property modifies spark-defaults. See actions there. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. | Restarts Spark history server and Spark thrift server. |
| spark-env | Spark 환경에서 값을 변경합니다. | Restarts Spark history server and Spark thrift server. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. | Not available. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. | Restarts Spark history server and Spark thrift server. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. | Restarts Spark history server and Spark thrift server. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. | Not available. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. | Not available. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. | Not available. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. | Restarts Oozie. |
| yarn-env | YARN 환경에서 값을 변경합니다. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. | Restarts Zeppelin. |
| zeppelin-site | zeppelin-site.xml에서 구성 설정을 변경합니다. | Restarts Zeppelin. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. | Restarts Zookeeper server. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. | Restarts Zookeeper server. |
## 5.36.1 변경 로그
**5.36.1 릴리스 및 릴리스 정보에 대한 변경 로그**
| Date | 이벤트 | 설명 |
| --- | --- | --- |
| 2023-07-26 | 업데이트 | 새 OS 릴리스 레이블 2.0.20230612.0 및 2.0.20230628.0. |
| 2023-05-25 | 배포 완료 | 모든 [지원되는 리전](https://aws.amazon.com/about-aws/global-infrastructure/regional-product-services/)에 Amazon EMR 5.36.1 전체 배포됨 |
| 2023-05-09 | 문서 게시 | Amazon EMR 5.36.1 릴리스 정보 최초 게시됨 |
| 2023-05-04 | 초기 릴리스 | 제한된 상용 리전에 Amazon EMR 5.36.1 최초 배포됨 |
# Amazon EMR 릴리스 5.36.0
## 5.36.0 애플리케이션 버전
이 릴리스에 포함된 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.36.0 | emr-5.35.0 | emr-5.34.0 | emr-5.33.1 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 206년 1월 12일 | 1.12.159 | 1.11.970 | 1.11.970 |
| Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.14.2 | 1.14.2 | 1.13.1 | 1.12.1 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 |
| HCatalog | 2.3.9-amzn-2 | 2.3.9-amzn-0 | 2.3.8-amzn-0 | 2.3.7-amzn-4 |
| Hadoop | 2.10.1-amzn-4 | 2.10.1-amzn-3 | 2.10.1-amzn-2 | 2.10.1-amzn-1.1 |
| Hive | 2.3.9-amzn-2 | 2.3.9-amzn-0 | 2.3.8-amzn-0 | 2.3.7-amzn-4 |
| Hudi | 0.10.1-amzn-1 | 0.9.0-amzn-2 | 0.9.0-amzn-0 | 0.7.0-amzn-1 |
| Hue | 4.10.0 | 4.10.0 | 4.9.0 | 4.9.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 |
| JupyterHub | 1.4.1 | 1.4.1 | 1.4.1 | 1.2.2 |
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.0-incubating |
| MXNet | 1.8.0 | 1.8.0 | 1.8.0 | 1.7.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.0 |
| Phoenix | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.267-amzn-1 | 0.266-amzn-0 | 0.261-amzn-0 | 0.245.1-amzn-0 |
| Spark | 2.4.8-amzn-2 | 2.4.8-amzn-1 | 2.4.8-amzn-0 | 2.4.7-amzn-1.1 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 2.4.1 | 2.4.1 | 2.4.1 | 2.4.1 |
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.10.0 | 0.10.0 | 0.10.0 | 0.9.0 |
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 |
## 5.36.0 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.36.0에 대한 정보가 포함됩니다. 변경 사항은 5.35.0에 관련됩니다.
최초 릴리스 날짜: 2022년 6월 15일
**새로운 기능**
+ Amazon EMR 릴리스 5.36.0에서는 Apache Ranger 지원 클러스터에서 Apache Spark를 사용하는 데이터 정의 언어(DDL)에 대한 지원을 추가합니다. 이를 통해 Apache Ranger를 사용하여 Amazon EMR 클러스터에서 데이터베이스 및 테이블을 생성, 변경 및 삭제하는 등의 작업에 대한 액세스를 관리할 수 있습니다.
+ Amazon EMR 5.36 이상, 6.6 이상 또는 7.0 이상의 *최신 패치 릴리스*가 적용된 클러스터를 시작하는 경우 Amazon EMR은 기본 Amazon EMR AMI에 대한 최신 Amazon Linux 2023 or Amazon Linux 2 릴리스를 사용합니다. 자세한 내용은 [Amazon EMR에 대한 기본 Amazon Linux AMI 사용](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html)을 참조하세요.
**참고**
이 릴리스에서는 패치 릴리스가 1개 더 추가되었으므로 더 이상 자동 AMI 업데이트를 받지 않습니다. 패치 릴리스는 소수점 두 번째 자리 뒤의 숫자(`6.8.1`)로 표시됩니다. 최신 패치 릴리스를 사용하는지 확인하려면 [https://docs.aws.amazon.com/emr/latest/ReleaseGuide](https://docs.aws.amazon.com/emr/latest/ReleaseGuide)에서 사용 가능한 릴리스를 확인하거나, 콘솔에서 클러스터를 생성할 때 **Amazon EMR 릴리스** 드롭다운을 확인하거나, [https://docs.aws.amazon.com/emr/latest/APIReference/API_ListReleaseLabels.html](https://docs.aws.amazon.com/emr/latest/APIReference/API_ListReleaseLabels.html) API 또는 [https://docs.aws.amazon.com/cli/latest/reference/emr/list-release-labels.html](https://docs.aws.amazon.com/cli/latest/reference/emr/list-release-labels.html) CLI 작업을 사용합니다. 새 릴리스에 대한 업데이트를 받으려면 [새로운 기능](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html)에서 RSS 피드를 구독하세요.
| OsReleaseLabel(Amazon Linux 버전) | Amazon Linux 커널 버전 | 사용 가능한 날짜 | 지원되는 리전: |
| --- | --- | --- | --- |
| 2.0.20260302.0 | 4.14.355-280.714.amzn2 | 2026년 3월 13일 | 아프리카(케이프타운), 아시아 태평양(홍콩), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(뭄바이), 아시아 태평양(하이데라바드), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아시아 태평양(멜버른), 캐나다(중부), 유럽(프랑크푸르트), 유럽(취리히), 유럽(스톡홀름), 유럽(밀라노), 유럽(스페인), 유럽(아일랜드), 유럽(런던), 유럽(파리), 이스라엘(텔아비브), 중동(UAE), 중동(바레인), 남아메리카(상파울루), 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오리건) |
| 2.0.20260216.0 | 4.14.355-280.714.amzn2 | 2026년 2월 25일 | 아프리카(케이프타운), 아시아 태평양(홍콩), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(뭄바이), 아시아 태평양(하이데라바드), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아시아 태평양(멜버른), 캐나다(중부), 유럽(프랑크푸르트), 유럽(취리히), 유럽(스톡홀름), 유럽(밀라노), 유럽(스페인), 유럽(아일랜드), 유럽(런던), 유럽(파리), 이스라엘(텔아비브), 중동(UAE), 중동(바레인), 남아메리카(상파울루), 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오리건) |
| 2.0.20260120.1 | 4.14.355-280.713.amzn2 | 2026년 2월 18일 | 아프리카(케이프타운), 아시아 태평양(홍콩), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(뭄바이), 아시아 태평양(하이데라바드), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아시아 태평양(멜버른), 캐나다(중부), 유럽(프랑크푸르트), 유럽(취리히), 유럽(스톡홀름), 유럽(밀라노), 유럽(스페인), 유럽(아일랜드), 유럽(런던), 유럽(파리), 이스라엘(텔아비브), 중동(UAE), 중동(바레인), 남아메리카(상파울루), 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오리건) |
| 2.0.20251208.0 | 4.14.355-280.710.amzn2 | 2026년 1월 13일 | 아프리카(케이프타운), 아시아 태평양(홍콩), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(뭄바이), 아시아 태평양(하이데라바드), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아시아 태평양(멜버른), 캐나다(중부), 유럽(프랑크푸르트), 유럽(취리히), 유럽(스톡홀름), 유럽(밀라노), 유럽(스페인), 유럽(아일랜드), 유럽(런던), 유럽(파리), 이스라엘(텔아비브), 중동(UAE), 중동(바레인), 남아메리카(상파울루), 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오리건) |
| 2.0.20251121.0 | 4.14.355-280.708.amzn2 | 2025년 12월 16일 | 아프리카(케이프타운), 아시아 태평양(홍콩), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(뭄바이), 아시아 태평양(하이데라바드), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아시아 태평양(멜버른), 캐나다(중부), 유럽(프랑크푸르트), 유럽(취리히), 유럽(스톡홀름), 유럽(밀라노), 유럽(스페인), 유럽(아일랜드), 유럽(런던), 유럽(파리), 이스라엘(텔아비브), 중동(UAE), 중동(바레인), 남아메리카(상파울루), 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오리건) |
| 2.0.20251027.1 | 4.14.355-280.706.amzn2 | 2025년 11월 10일 | 아프리카(케이프타운), 아시아 태평양(홍콩), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(뭄바이), 아시아 태평양(하이데라바드), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아시아 태평양(멜버른), 캐나다(중부), 유럽(프랑크푸르트), 유럽(취리히), 유럽(스톡홀름), 유럽(밀라노), 유럽(스페인), 유럽(아일랜드), 유럽(런던), 유럽(파리), 이스라엘(텔아비브), 중동(UAE), 중동(바레인), 남아메리카(상파울루), 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오리건) |
| 2.0.20250929.2 | 4.14.355-280.695.amzn2 | 2025년 10월 13일 | 아프리카(케이프타운), 아시아 태평양(홍콩), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(뭄바이), 아시아 태평양(하이데라바드), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아시아 태평양(멜버른), 캐나다(중부), 유럽(프랑크푸르트), 유럽(취리히), 유럽(스톡홀름), 유럽(밀라노), 유럽(스페인), 유럽(아일랜드), 유럽(런던), 유럽(파리), 이스라엘(텔아비브), 중동(UAE), 중동(바레인), 남아메리카(상파울루), 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오리건) |
| 2.0.20250818.2 | 4.14.355-280.672.amzn2 | 2025년 9월 17일 | 아프리카(케이프타운), 아시아 태평양(홍콩), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(뭄바이), 아시아 태평양(하이데라바드), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아시아 태평양(멜버른), 캐나다(중부), 유럽(프랑크푸르트), 유럽(취리히), 유럽(스톡홀름), 유럽(밀라노), 유럽(스페인), 유럽(아일랜드), 유럽(런던), 유럽(파리), 이스라엘(텔아비브), 중동(UAE), 중동(바레인), 남아메리카(상파울루), 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오리건) |
| 2.0.20250808.1 | 4.14.355-280.664.amzn2 | 2025년 8월 28일 | 아프리카(케이프타운), 아시아 태평양(홍콩), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(뭄바이), 아시아 태평양(하이데라바드), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아시아 태평양(멜버른), 캐나다(중부), 유럽(프랑크푸르트), 유럽(취리히), 유럽(스톡홀름), 유럽(밀라노), 유럽(스페인), 유럽(아일랜드), 유럽(런던), 유럽(파리), 이스라엘(텔아비브), 중동(UAE), 중동(바레인), 남아메리카(상파울루), 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오리건) |
| 2.0.20250721.2 | 4.14.355-280.652.amzn2 | 2025년 8월 14일 | 아프리카(케이프타운), 아시아 태평양(홍콩), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(뭄바이), 아시아 태평양(하이데라바드), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아시아 태평양(멜버른), 캐나다(중부), 유럽(프랑크푸르트), 유럽(취리히), 유럽(스톡홀름), 유럽(밀라노), 유럽(스페인), 유럽(아일랜드), 유럽(런던), 유럽(파리), 이스라엘(텔아비브), 중동(UAE), 중동(바레인), 남아메리카(상파울루), 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오리건) |
| 2.0.20250623.0 | 4.14.355-277.647.amzn2 | 2025년 7월 21일 | 아프리카(케이프타운), 아시아 태평양(홍콩), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(뭄바이), 아시아 태평양(하이데라바드), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아시아 태평양(멜버른), 캐나다(중부), 유럽(프랑크푸르트), 유럽(취리히), 유럽(스톡홀름), 유럽(밀라노), 유럽(스페인), 유럽(아일랜드), 유럽(런던), 유럽(파리), 이스라엘(텔아비브), 중동(UAE), 중동(바레인), 남아메리카(상파울루), 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오리건) |
| 2.0.20250610.0 | 4.14.355-277.647.amzn2 | 2025년 7월 14일 | 유럽(스톡홀름), 중동(바레인), 중국(베이징), 아시아 태평양(뭄바이), 유럽(파리), 아시아 태평양(자카르타), 미국 동부(오하이오), 아프리카(케이프타운), 유럽(아일랜드), 중동(UAE), 유럽(프랑크푸르트), 남아메리카(상파울루), 아시아 태평양(홍콩), 아시아 태평양(하이데라바드), 미국 동부(버지니아 북부), 아시아 태평양(서울), 아시아 태평양(오사카), 유럽(런던), 유럽(밀라노), 아시아 태평양(도쿄), AWS GovCloud(미국 동부), AWS GovCloud(미국 서부), 미국 서부(오리건), 미국 서부(캘리포니아 북부), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 이스라엘(텔아비브), 캐나다(중부), 유럽(스페인), 중국(닝샤), 유럽(취리히) |
| 2.0.20250527.1 | 4.14.355-277.647.amzn2 | 2025년 6월 19일 | 유럽(스톡홀름), 중동(바레인), 아시아 태평양(뭄바이), 유럽(파리), 아시아 태평양(자카르타), 미국 동부(오하이오), 아프리카(케이프타운), 유럽(아일랜드), 중동(UAE), 유럽(프랑크푸르트), 남아메리카(상파울루), 아시아 태평양(홍콩), 아시아 태평양(하이데라바드), 미국 동부(버지니아 북부), 아시아 태평양(서울), 아시아 태평양(오사카), 유럽(런던), 아시아 태평양(멜버른), 유럽(밀라노), 아시아 태평양(도쿄), 미국 서부(오리건), 미국 서부(캘리포니아 북부), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 이스라엘(텔아비브), 캐나다(중부), 유럽(스페인), 유럽(취리히) |
| 2.0.20250512.0 | 4.14.355-277.643.amzn2 | 2025년 6월 4일 | 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오리건), 유럽(프랑크푸르트), 유럽(아일랜드), 유럽(런던), 유럽(밀라노), 유럽(파리), 유럽(스톡홀름), 아시아 태평양(홍콩), 아시아 태평양(자카르타), 아시아 태평양(뭄바이), 아시아 태평양(오사카), 아시아 태평양(서울), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(도쿄), 아프리카(케이프타운), 남아메리카(상파울루), 중동(바레인), 캐나다(중부), AWS GovCloud(미국 동부), AWS GovCloud(미국 서부), 중국(베이징), 중국(닝샤) |
| 2.0.20250428.0 | 4.14.355-276.639.amzn2 | 2025년 5월 23일 | 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오리건), 유럽(프랑크푸르트), 유럽(아일랜드), 유럽(런던), 유럽(밀라노), 유럽(파리), 유럽(스페인), 유럽(스톡홀름), 유럽(취리히), 아시아 태평양(홍콩), 아시아 태평양(하이데라바드), 아시아 태평양(자카르타), 아시아 태평양(멜버른), 아시아 태평양(뭄바이), 아시아 태평양(오사카), 아시아 태평양(서울), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(도쿄), 아프리카(케이프타운), 남아메리카(상파울루), 중동(바레인), 중동(UAE), 캐나다(중부), 이스라엘(텔아비브) |
| 2.0.20250414.0 | 4.14.355-276.618.amzn2 | 2025년 5월 12일 | 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오리건), 유럽(스톡홀름), 유럽(밀라노), 유럽(프랑크푸르트), 유럽(아일랜드), 유럽(런던), 유럽(파리), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아프리카(케이프타운), 남아메리카(상파울루), 중동(바레인), 캐나다(중부), AWS GovCloud(미국 서부), AWS GovCloud(미국 동부), 중국(베이징), 중국(닝샤) |
| 2.0.20250321.0 | 4.14.355 | 2025년 4월 9일 | 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오리건), 유럽(스톡홀름), 유럽(밀라노), 유럽(프랑크푸르트), 유럽(아일랜드), 유럽(런던), 유럽(파리), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아프리카(케이프타운), 남아메리카(상파울루), 중동(바레인), 캐나다(중부), AWS GovCloud(미국 서부), AWS GovCloud(미국 동부), 중국(베이징), 중국(닝샤) |
| 2.0.20250305.0 | 4.14.355 | 2025년 3월 18일 | 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오리건), 유럽(스톡홀름), 유럽(밀라노), 유럽(프랑크푸르트), 유럽(아일랜드), 유럽(런던), 유럽(파리), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아프리카(케이프타운), 남아메리카(상파울루), 중동(바레인), 캐나다(중부), AWS GovCloud(미국 서부), AWS GovCloud(미국 동부), 중국(베이징), 중국(닝샤) |
| 2.0.20250220.0 | 4.14.355 | 2025년 3월 8일 | 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오리건), 유럽(스톡홀름), 유럽(밀라노), 유럽(프랑크푸르트), 유럽(아일랜드), 유럽(런던), 유럽(파리), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아프리카(케이프타운), 남아메리카(상파울루), 중동(바레인), 캐나다(중부), AWS GovCloud(미국 서부), AWS GovCloud(미국 동부), 중국(베이징), 중국(닝샤) |
| 2.0.20250201.0 | 4.14.355 | 2025년 2월 28일 | 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오리건), 유럽(스톡홀름), 유럽(밀라노), 유럽(프랑크푸르트), 유럽(아일랜드), 유럽(런던), 유럽(파리), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아프리카(케이프타운), 남아메리카(상파울루), 중동(바레인), 캐나다(중부), AWS GovCloud(미국 서부), AWS GovCloud(미국 동부), 중국(베이징), 중국(닝샤) |
| 2.0.20250123.4 | 4.14.355 | 2025년 1월 27일 | 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오리건), 유럽(스톡홀름), 유럽(밀라노), 유럽(프랑크푸르트), 유럽(아일랜드), 유럽(런던), 유럽(파리), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아프리카(케이프타운), 남아메리카(상파울루), 중동(바레인), 캐나다(중부), AWS GovCloud(미국 서부), AWS GovCloud(미국 동부), 중국(베이징), 중국(닝샤) |
| 2.0.20250116.0 | 4.14.355 | 2025년 1월 23일 | 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오리건), 유럽(스톡홀름), 유럽(밀라노), 유럽(프랑크푸르트), 유럽(아일랜드), 유럽(런던), 유럽(파리), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아프리카(케이프타운), 남아메리카(상파울루), 중동(바레인), 캐나다(중부), AWS GovCloud(미국 서부), AWS GovCloud(미국 동부), 중국(베이징), 중국(닝샤) |
| 2.0.20241217.0 | 4.14.355 | 2025년 1월 8일 | 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오리건), 유럽(스톡홀름), 유럽(밀라노), 유럽(프랑크푸르트), 유럽(아일랜드), 유럽(런던), 유럽(파리), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아프리카(케이프타운), 남아메리카(상파울루), 중동(바레인), 캐나다(중부), AWS GovCloud(미국 서부), AWS GovCloud(미국 동부), 중국(베이징), 중국(닝샤), 아시아 태평양(하이데라바드), 중동(UAE), 유럽(스페인), 유럽(취리히), 아시아 태평양(멜버른), 이스라엘(텔아비브) |
| 2.0.20240709.1 | 4.14.348 | 2024년 7월 23일 | 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오리건), 유럽(스톡홀름), 유럽(밀라노), 유럽(프랑크푸르트), 유럽(아일랜드), 유럽(런던), 유럽(파리), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(자카르타), 아프리카(케이프타운), 남아메리카(상파울루), 중동(바레인), 캐나다(중부), AWS GovCloud(미국 서부), AWS GovCloud(미국 동부), 중국(베이징), 중국(닝샤), 아시아 태평양(하이데라바드), 중동(UAE), 유럽(스페인), 유럽(취리히), 아시아 태평양(멜버른), 이스라엘(텔아비브) |
| 2.0.20230504.1 | 4.14.313 | 2023년 5월 16일 | 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오레곤), 캐나다(중부), 유럽(스톡홀름), 유럽(아일랜드), 유럽(런던), 유럽(파리), 유럽(프랑크푸르트), 유럽(밀라노), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(자카르타), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아프리카(케이프타운), 남아메리카(상파울루), 중동(바레인) |
| 2.0.20230418.0 | 4.14.311 | 2023년 5월 3일 | 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오레곤), 캐나다(중부), 유럽(스톡홀름), 유럽(아일랜드), 유럽(런던), 유럽(파리), 유럽(프랑크푸르트), 유럽(밀라노), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(자카르타), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아프리카(케이프타운), 남아메리카(상파울루), 중동(바레인) |
| 2.0.20230404.1 | 4.14.311 | 2023년 4월 18일 | 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오레곤), 캐나다(중부), 유럽(스톡홀름), 유럽(아일랜드), 유럽(런던), 유럽(파리), 유럽(프랑크푸르트), 유럽(밀라노), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(자카르타), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아프리카(케이프타운), 남아메리카(상파울루), 중동(바레인) |
| 2.0.20230404.0 | 4.14.311 | 2023년 4월 10일 | 미국 동부(버지니아 북부), 유럽(파리) |
| 2.0.20230320.0 | 4.14.309 | 2023년 3월 30일 | 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오레곤), 캐나다(중부), 유럽(스톡홀름), 유럽(아일랜드), 유럽(런던), 유럽(파리), 유럽(프랑크푸르트), 유럽(밀라노), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(자카르타), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아프리카(케이프타운), 남아메리카(상파울루), 중동(바레인) |
| 2.0.20230307.0 | 4.14.305 | 2023년 3월 15일 | 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오레곤), 캐나다(중부), 유럽(스톡홀름), 유럽(아일랜드), 유럽(런던), 유럽(파리), 유럽(프랑크푸르트), 유럽(밀라노), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(자카르타), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아프리카(케이프타운), 남아메리카(상파울루), 중동(바레인) |
| 2.0.20230207.0 | 4.14.304 | 2023년 2월 22일 | 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오레곤), 캐나다(중부), 유럽(스톡홀름), 유럽(아일랜드), 유럽(런던), 유럽(파리), 유럽(프랑크푸르트), 유럽(밀라노), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(자카르타), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아프리카(케이프타운), 남아메리카(상파울루), 중동(바레인) |
| 2.0.20230119.1 | 4.14.301 | 2023년 2월 3일 | 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오레곤), 캐나다(중부), 유럽(스톡홀름), 유럽(아일랜드), 유럽(런던), 유럽(파리), 유럽(프랑크푸르트), 유럽(밀라노), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(자카르타), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아프리카(케이프타운), 남아메리카(상파울루), 중동(바레인) |
| 2.0.20221210.1 | 4.14.301 | 2023년 12월 22일 | 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오레곤), 캐나다(중부), 유럽(스톡홀름), 유럽(아일랜드), 유럽(런던), 유럽(파리), 유럽(프랑크푸르트), 유럽(밀라노), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(자카르타), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아프리카(케이프타운), 남아메리카(상파울루), 중동(바레인) |
| 2.0.20221103.3 | 4.14.296 | 2022년 12월 5일 | 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오레곤), 캐나다(중부), 유럽(스톡홀름), 유럽(아일랜드), 유럽(런던), 유럽(파리), 유럽(프랑크푸르트), 유럽(밀라노), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(자카르타), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아프리카(케이프타운), 남아메리카(상파울루), 중동(바레인) |
| 2.0.20221004.0 | 4.14.294 | 2022년 11월 2일 | 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오레곤), 캐나다(중부), 유럽(스톡홀름), 유럽(아일랜드), 유럽(런던), 유럽(파리), 유럽(프랑크푸르트), 유럽(밀라노), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(자카르타), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아프리카(케이프타운), 남아메리카(상파울루), 중동(바레인) |
| 2.0.20220912.1 | 4.14.291 | 2022년 10월 7일 | 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오레곤), 캐나다(중부), 유럽(스톡홀름), 유럽(아일랜드), 유럽(런던), 유럽(파리), 유럽(프랑크푸르트), 유럽(밀라노), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(자카르타), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아프리카(케이프타운), 남아메리카(상파울루), 중동(바레인) |
| 2.0.20220719.0 | 4.14.287 | 2022년 8월 10일 | 미국 서부(캘리포니아 북부), 유럽(파리), 유럽(스톡홀름), 유럽(프랑크푸르트), 아시아 태평양(뭄바이), 중동(바레인) |
| 2.0.20220426.0 | 4.14.281 | 2022년 6월 14일 | 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오레곤), 캐나다(중부), 유럽(스톡홀름), 유럽(아일랜드), 유럽(런던), 유럽(파리), 유럽(프랑크푸르트), 유럽(밀라노), 아시아 태평양(홍콩), 아시아 태평양(뭄바이), 아시아 태평양(자카르타), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(오사카), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아프리카(케이프타운), 남아메리카(상파울루), 중동(바레인) |
**변경 사항, 향상된 기능 및 해결된 문제**
+ Amazon EMR 5.36.0 업그레이드는 이제 aws-sdk 1.12.206, Hadoop 2.10.1-amzn-4, Hive 2.3.9-amzn-2, Hudi 0.10.1-amzn-1, Spark 2.4.8-amzn-2, Presto 0.267-amzn-1, Amazon Glue connector 1.18.0, EMRFS 2.51.0을 지원합니다.
**알려진 문제**
+ Hive 파티션 위치 형식과 함께 Spark를 사용하여 Amazon S3의 데이터를 읽고, Amazon EMR 릴리스 5.30.0\$15.36.0 및 6.2.0\$16.9.0에서 Spark를 실행하는 경우 클러스터가 데이터를 제대로 읽지 못하는 문제가 발생할 수 있습니다. 파티션에 다음과 같은 특성이 모두 있는 경우 이러한 상황이 발생할 수 있습니다.
+ 둘 이상의 파티션이 동일한 테이블에서 스캔됩니다.
+ 하나 이상의 파티션 디렉터리 경로가 하나 이상의 다른 파티션 디렉터리 경로의 접두사입니다. 예를 들어 `s3://bucket/table/p=a`는 `s3://bucket/table/p=a b`의 접두사입니다.
+ 다른 파티션 디렉터리에서 접두사 뒤에 오는 첫 번째 문자의 UTF-8 값이 `/` 문자(U\$1002F)보다 작습니다. 예를 들어 `s3://bucket/table/p=a b`에서 a와 b 사이에 있는 공백 문자(U\$10020)가 이 카테고리에 속합니다. `!"#$%&‘()*+,-`와 같은 14개의 비제어 문자가 있습니다. 자세한 내용은 [UTF-8 인코딩 테이블 및 유니코드 문자](https://www.utf8-chartable.de/)를 참조하세요.
이 문제를 해결하려면 `spark-defaults` 분류에서 `spark.sql.sources.fastS3PartitionDiscovery.enabled` 구성을 `false`로 설정합니다.
+ Amazon EMR 릴리스 5.36.0 및 6.6.0\$16.9.0까지는 Log4j2 속성의 잘못된 파일 이름 패턴 구성으로 인해 `SecretAgent` 및 `RecordServer` 서비스 구성 요소에 로그 데이터가 손실될 수 있습니다. 잘못된 구성으로 인해 구성 요소에서 하루에 하나의 로그 파일만 생성합니다. 로테이션 전략이 수행되면 예상대로 새 로그 파일을 생성하는 대신 기존 파일을 덮어씁니다. 해결 방법으로 부트스트랩 작업을 사용하여 매시간 로그 파일을 생성하고 파일 이름에 자동 증가 정수를 추가하여 교체를 처리합니다.
Amazon EMR 6.6.0\$16.9.0 릴리스의 경우 클러스터를 시작할 때 다음 부트스트랩 작업을 사용합니다.
```
‑‑bootstrap‑actions "Path=s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/log-rotation-emr-6x/replace-puppet.sh,Args=[]"
```
Amazon EMR 5.36.0의 경우 클러스터를 시작할 때 다음 부트스트랩 작업을 사용합니다.
```
‑‑bootstrap‑actions "Path=s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/log-rotation-emr-5x/replace-puppet.sh,Args=[]"
```
## 5.36.0 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.4.1 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.16.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.16.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.5.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-notebook-env | 1.5.0 | Jupyter Enterprise Gateway가 포함된 EMR 노트북용 Conda 환경 |
| emr-s3-dist-cp | 2.21.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emr-s3-select | 1.7.0 | EMR S3Select 커넥터 |
| emrfs | 2.51.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.14.2 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| flink-jobmanager-config | 1.14.2 | Apache Flink JobManager에 대한 EMR 노드에서 리소스를 관리합니다. |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.10.1-amzn-4 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.10.1-amzn-4 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.10.1-amzn-4 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.10.1-amzn-4 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-hdfs-journalnode | 2.10.1-amzn-4 | HA 클러스터에서 하둡 파일 시스템 저널을 관리하기 위한 HDFS 서비스 |
| hadoop-httpfs-server | 2.10.1-amzn-4 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.10.1-amzn-4 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.10.1-amzn-4 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.10.1-amzn-4 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.10.1-amzn-4 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.10.1-amzn-4 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.4.13 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.4.13 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.4.13 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.4.13 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.4.13 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.3.9-amzn-2 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.9-amzn-2 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.9-amzn-2 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.9-amzn-2 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.9-amzn-2 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.9-amzn-2 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.9-amzn-2 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hudi | 0.10.1-amzn-1 | 짧은 지연 시간 및 높은 효율성으로 데이터 파이프라인을 구동하는 증분 처리 프레임워크. |
| hudi-spark | 0.10.1-amzn-1 | Hudi와 함께 Spark를 실행하기 위한 번들 라이브러리. |
| hudi-presto | 0.10.1-amzn-1 | Hudi로 Presto를 실행하기 위한 번들 라이브러리. |
| hue-server | 4.10.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| jupyterhub | 1.4.1 | Jupyter Notebook용 다중 사용자 서버 |
| livy-server | 0.7.1-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| nginx | 1.13.1 | HTTP인 nginx [engine x] 및 역방향 프록시 서버 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 1.8.0 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mariadb-server | 5.5.68 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 11.0.194 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 5.2.1 | Oozie 명령줄 클라이언트 |
| oozie-server | 5.2.1 | Oozie 워크플로 요청을 수락하는 서비스 |
| opencv | 4.5.0 | 오픈 소스 컴퓨터 비전 라이브러리. |
| phoenix-library | 4.14.3-HBase-1.4 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.14.3-HBase-1.4 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.267-amzn-1 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.267-amzn-1 | 여러 쿼리를 실행하는 서비스. |
| presto-client | 0.267-amzn-1 | Presto 서버가 시작되지 않은 HA 클러스터의 대기 마스터에 설치된 Presto 명령줄 클라이언트. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| r | 4.0.2 | 통계 컴퓨팅용 R 프로젝트 |
| ranger-kms-server | 1.2.0 | Apache Ranger 키 관리 시스템 |
| spark-client | 2.4.8-amzn-2 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.4.8-amzn-2 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.4.8-amzn-2 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.4.8-amzn-2 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.7 | Apache Sqoop 명령줄 클라이언트. |
| tensorflow | 2.4.1 | TensorFlow는 고성능 수치 계산용 오픈 소스 소프트웨어 라이브러리입니다. |
| tez-on-yarn | 0.9.2 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.10.0 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.14 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.14 | ZooKeeper 명령줄 클라이언트. |
## 5.36.0 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
재구성 작업은 실행 중인 클러스터의 인스턴스 그룹에 대한 구성을 지정할 때 수행됩니다. Amazon EMR은 사용자가 수정한 분류에 대한 재구성 작업만 시작합니다. 자세한 내용은 [실행 중인 클러스터에서 인스턴스 그룹 재구성](emr-configure-apps-running-cluster.md) 단원을 참조하십시오.
**emr-5.36.0 분류**
| 분류 | 설명 | 재구성 작업 |
| --- | --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. | Restarts the ResourceManager service. |
| container-executor | Hadoop YARN container-executor.cfg 파일에서 값을 변경합니다. | Not available. |
| container-log4j | Hadoop YARN container-log4j.properties 파일에서 값을 변경합니다. | Not available. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. |
| docker-conf | Docker 관련 설정을 변경합니다. | Not available. |
| emrfs-site | EMRFS 설정을 변경합니다. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. | Restarts Flink history server. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. | Restarts Flink history server. |
| flink-log4j-session | Kubernetes 및 Yarn 세션에 대한 Flink log4j-session.properties 설정을 변경합니다. | Not available. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. | Restarts Flink history server. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. | Not available. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. | Not available. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. |
| hbase-env | HBase 환경에서 값을 변경합니다. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. | Not available. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. | Should not be reconfigured. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. | Restarts Hive HCatalog Server. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. | Restarts Hive HCatalog Server. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. | Restarts Hive HCatalog Server. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. | Restarts Hive WebHCat Server. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. | Restarts Hive WebHCat Server. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. | Restarts Hive WebHCat Server. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. | Not available. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. | Not available. |
| hive-env | Hive 환경에서 값을 변경합니다. | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. | Restarts HiveServer2 and HiveMetastore. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. | Not available. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. | Not available. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. | Not available. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. | Restarts Hadoop Httpfs service. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. | Restarts Hadoop Httpfs service. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. | Not available. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. | Restarts Hadoop-KMS service. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. | Not available. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. | Restarts Hadoop-KMS and Ranger-KMS service. |
| hudi-env | Hudi 환경에서 값을 변경합니다. | Not available. |
| jupyter-notebook-conf | Jupyter Notebook jupyter\$1notebook\$1config.py 파일에서 값을 변경합니다. | Not available. |
| jupyter-hub-conf | JupyterHubs jupyterhub\$1config.py 파일에서 값을 변경합니다. | Not available. |
| jupyter-s3-conf | Jupyter Notebook S3 지속성 구성 | Not available. |
| jupyter-sparkmagic-conf | Sparkmagic config.json 파일에서 값을 변경합니다. | Not available. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. | Restarts Livy Server. |
| livy-env | Livy 환경에서 값을 변경합니다. | Restarts Livy Server. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. | Restarts Livy Server. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. | Restarts Hadoop MapReduce-HistoryServer. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. | Restarts Hadoop MapReduce-HistoryServer. |
| oozie-env | Oozie 환경에서 값을 변경합니다. | Restarts Oozie. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. | Restarts Oozie. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. | Restarts Oozie. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. | Not available. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. | Not available. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. | Restarts Phoenix-QueryServer. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. | Not available. |
| pig-env | Pig 환경에서 값을 변경합니다. | Not available. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. | Restarts Oozie. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. | Not available. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. | Restarts Presto-Server. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. | Restarts Presto-Server. |
| presto-password-authenticator | Presto password-authenticator.properties 파일에서 값을 변경합니다. | Not available. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. | Restarts Presto-Server. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. | Restarts Presto-Server. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-memory | Presto memory.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-redshift | Presto redshift.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-tpcds | Presto tpcds.properties 파일에서 값을 변경합니다. | Not available. |
| ranger-kms-dbks-site | Ranger KMS dbks-site.xml 파일에서 값을 변경합니다. | Restarts Ranger KMS Server. |
| ranger-kms-site | Ranger KMS ranger-kms-site.xml 파일에서 값을 변경합니다. | Restarts Ranger KMS Server. |
| ranger-kms-env | Ranger KMS 환경에서 값을 변경합니다. | Restarts Ranger KMS Server. |
| ranger-kms-log4j | Ranger KMS kms-log4j.properties 파일에서 값을 변경합니다. | Not available. |
| ranger-kms-db-ca | Ranger KMS와의 MySQL SSL 연결에서 CA 파일의 값을 변경합니다. | Not available. |
| recordserver-env | EMR RecordServer 환경에서 값을 변경합니다. | Restarts EMR record server. |
| recordserver-conf | EMR RecordServer erver.properties 파일에서 값을 변경합니다. | Restarts EMR record server. |
| recordserver-log4j | EMR RecordServer log4j.properties 파일에서 값을 변경합니다. | Restarts EMR record server. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. | This property modifies spark-defaults. See actions there. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. | Restarts Spark history server and Spark thrift server. |
| spark-env | Spark 환경에서 값을 변경합니다. | Restarts Spark history server and Spark thrift server. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. | Not available. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. | Restarts Spark history server and Spark thrift server. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. | Restarts Spark history server and Spark thrift server. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. | Not available. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. | Not available. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. | Not available. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. | Restarts Oozie. |
| yarn-env | YARN 환경에서 값을 변경합니다. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. | Restarts Zeppelin. |
| zeppelin-site | zeppelin-site.xml에서 구성 설정을 변경합니다. | Restarts Zeppelin. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. | Restarts Zookeeper server. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. | Restarts Zookeeper server. |
# Amazon EMR 릴리스 5.35.0
## 5.35.0 애플리케이션 버전
이 릴리스에 포함된 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.35.0 | emr-5.34.0 | emr-5.33.1 | emr-5.33.0 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.12.159 | 1.11.970 | 1.11.970 | 1.11.970 |
| Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.14.2 | 1.13.1 | 1.12.1 | 1.12.1 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 |
| HCatalog | 2.3.9-amzn-0 | 2.3.8-amzn-0 | 2.3.7-amzn-4 | 2.3.7-amzn-4 |
| Hadoop | 2.10.1-amzn-3 | 2.10.1-amzn-2 | 2.10.1-amzn-1.1 | 2.10.1-amzn-1 |
| Hive | 2.3.9-amzn-0 | 2.3.8-amzn-0 | 2.3.7-amzn-4 | 2.3.7-amzn-4 |
| Hudi | 0.9.0-amzn-2 | 0.9.0-amzn-0 | 0.7.0-amzn-1 | 0.7.0-amzn-1 |
| Hue | 4.10.0 | 4.9.0 | 4.9.0 | 4.9.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 |
| JupyterHub | 1.4.1 | 1.4.1 | 1.2.2 | 1.2.2 |
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.0-incubating | 0.7.0-incubating |
| MXNet | 1.8.0 | 1.8.0 | 1.7.0 | 1.7.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.2.1 | 5.2.1 | 5.2.0 | 5.2.0 |
| Phoenix | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.266-amzn-0 | 0.261-amzn-0 | 0.245.1-amzn-0 | 0.245.1-amzn-0 |
| Spark | 2.4.8-amzn-1 | 2.4.8-amzn-0 | 2.4.7-amzn-1.1 | 2.4.7-amzn-1 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 2.4.1 | 2.4.1 | 2.4.1 | 2.4.1 |
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.10.0 | 0.10.0 | 0.9.0 | 0.9.0 |
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 |
## 5.35.0 릴리스 정보
Amazon EMR 릴리스 5.35.0의 릴리스 정보입니다.
다음 릴리스 정보에는 Amazon EMR 릴리스 5.35.0에 대한 정보가 포함됩니다. 변경 사항은 5.34.0에 관련됩니다.
최초 릴리스 날짜: 2022년 3월 30일
**새로운 기능**
+ Log4j 1.x 및 Log4j 2.x를 사용하는 Amazon EMR 릴리스 5.35 애플리케이션은 각각 Log4j 1.2.17 이상 및 Log4j 2.17.1 이상을 사용하도록 업그레이드되었으며, 이전 릴리스의 CVE 문제를 완화하기 위해 부트스트랩 작업을 사용할 필요가 없습니다. [CVE-2021-44228 완화를 위한 접근 방법](emr-log4j-vulnerability.md)을(를) 참조하세요.
**변경 사항, 향상된 기능 및 해결된 문제**
**Flink 변경 사항**
| 유형 변경 | 설명 |
| --- | --- |
| 업그레이드 | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ReleaseGuide/emr-5350-release.html) |
**Hadoop 변경 사항**
| 유형 변경 | 설명 |
| --- | --- |
| EMR 5.34.0 이후 Hadoop 오픈 소스 백포트 | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ReleaseGuide/emr-5350-release.html) |
| Hadoop 변경 사항 및 수정 사항 | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ReleaseGuide/emr-5350-release.html) |
**Hive 변경 사항**
| 유형 변경 | 설명 |
| --- | --- |
| Hive는 이러한 JIRA 수정 사항을 포함하여 오픈 소스 [릴리스 2.3.9](https://www.mail-archive.com/user@hive.apache.org/msg22311.html)로 업그레이드되었습니다. | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ReleaseGuide/emr-5350-release.html) |
| EMR 5.34.0 이후 Hive 오픈 소스 백포트 | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ReleaseGuide/emr-5350-release.html) |
| Hive 업그레이드 및 수정 사항 | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ReleaseGuide/emr-5350-release.html) |
| 새로운 기능 | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ReleaseGuide/emr-5350-release.html) |
**Oozie 변경 사항**
| 유형 변경 | 설명 |
| --- | --- |
| EMR 5.34.0 이후 Oozie 오픈 소스 백포트 | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ReleaseGuide/emr-5350-release.html) |
**Pig 변경 사항**
| 유형 변경 | 설명 |
| --- | --- |
| 업그레이드 | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ReleaseGuide/emr-5350-release.html) |
**알려진 문제**
+ Hive 파티션 위치 형식과 함께 Spark를 사용하여 Amazon S3의 데이터를 읽고, Amazon EMR 릴리스 5.30.0\$15.36.0 및 6.2.0\$16.9.0에서 Spark를 실행하는 경우 클러스터가 데이터를 제대로 읽지 못하는 문제가 발생할 수 있습니다. 파티션에 다음과 같은 특성이 모두 있는 경우 이러한 상황이 발생할 수 있습니다.
+ 둘 이상의 파티션이 동일한 테이블에서 스캔됩니다.
+ 하나 이상의 파티션 디렉터리 경로가 하나 이상의 다른 파티션 디렉터리 경로의 접두사입니다. 예를 들어 `s3://bucket/table/p=a`는 `s3://bucket/table/p=a b`의 접두사입니다.
+ 다른 파티션 디렉터리에서 접두사 뒤에 오는 첫 번째 문자의 UTF-8 값이 `/` 문자(U\$1002F)보다 작습니다. 예를 들어 `s3://bucket/table/p=a b`에서 a와 b 사이에 있는 공백 문자(U\$10020)가 이 카테고리에 속합니다. `!"#$%&‘()*+,-`와 같은 14개의 비제어 문자가 있습니다. 자세한 내용은 [UTF-8 인코딩 테이블 및 유니코드 문자](https://www.utf8-chartable.de/)를 참조하세요.
이 문제를 해결하려면 `spark-defaults` 분류에서 `spark.sql.sources.fastS3PartitionDiscovery.enabled` 구성을 `false`로 설정합니다.
## 5.35.0 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.4.1 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.16.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.15.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.5.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-notebook-env | 1.5.0 | Jupyter Enterprise Gateway가 포함된 EMR 노트북용 Conda 환경 |
| emr-s3-dist-cp | 2.20.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emr-s3-select | 1.7.0 | EMR S3Select 커넥터 |
| emrfs | 2.49.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.14.2 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| flink-jobmanager-config | 1.14.2 | Apache Flink JobManager에 대한 EMR 노드에서 리소스를 관리합니다. |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.10.1-amzn-3 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.10.1-amzn-3 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.10.1-amzn-3 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.10.1-amzn-3 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-hdfs-journalnode | 2.10.1-amzn-3 | HA 클러스터에서 하둡 파일 시스템 저널을 관리하기 위한 HDFS 서비스 |
| hadoop-httpfs-server | 2.10.1-amzn-3 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.10.1-amzn-3 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.10.1-amzn-3 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.10.1-amzn-3 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.10.1-amzn-3 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.10.1-amzn-3 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.4.13 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.4.13 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.4.13 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.4.13 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.4.13 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.3.9-amzn-0 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.9-amzn-0 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.9-amzn-0 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.9-amzn-0 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.9-amzn-0 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.9-amzn-0 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.9-amzn-0 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hudi | 0.9.0-amzn-2 | 짧은 지연 시간 및 높은 효율성으로 데이터 파이프라인을 구동하는 증분 처리 프레임워크. |
| hudi-spark | 0.9.0-amzn-2 | Hudi와 함께 Spark를 실행하기 위한 번들 라이브러리. |
| hudi-presto | 0.9.0-amzn-2 | Hudi로 Presto를 실행하기 위한 번들 라이브러리. |
| hue-server | 4.10.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| jupyterhub | 1.4.1 | Jupyter Notebook용 다중 사용자 서버 |
| livy-server | 0.7.1-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| nginx | 1.13.1 | HTTP인 nginx [engine x] 및 역방향 프록시 서버 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 1.8.0 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mariadb-server | 5.5.68 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 10.1.243 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 5.2.1 | Oozie 명령줄 클라이언트 |
| oozie-server | 5.2.1 | Oozie 워크플로 요청을 수락하는 서비스 |
| opencv | 4.5.0 | 오픈 소스 컴퓨터 비전 라이브러리. |
| phoenix-library | 4.14.3-HBase-1.4 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.14.3-HBase-1.4 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.266-amzn-0 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.266-amzn-0 | 여러 쿼리를 실행하는 서비스. |
| presto-client | 0.266-amzn-0 | Presto 서버가 시작되지 않은 HA 클러스터의 대기 마스터에 설치된 Presto 명령줄 클라이언트. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| r | 4.0.2 | 통계 컴퓨팅용 R 프로젝트 |
| ranger-kms-server | 1.2.0 | Apache Ranger 키 관리 시스템 |
| spark-client | 2.4.8-amzn-1 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.4.8-amzn-1 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.4.8-amzn-1 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.4.8-amzn-1 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.7 | Apache Sqoop 명령줄 클라이언트. |
| tensorflow | 2.4.1 | TensorFlow는 고성능 수치 계산용 오픈 소스 소프트웨어 라이브러리입니다. |
| tez-on-yarn | 0.9.2 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.10.0 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.14 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.14 | ZooKeeper 명령줄 클라이언트. |
## 5.35.0 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
재구성 작업은 실행 중인 클러스터의 인스턴스 그룹에 대한 구성을 지정할 때 수행됩니다. Amazon EMR은 사용자가 수정한 분류에 대한 재구성 작업만 시작합니다. 자세한 내용은 [실행 중인 클러스터에서 인스턴스 그룹 재구성](emr-configure-apps-running-cluster.md) 단원을 참조하십시오.
**emr-5.35.0 분류**
| 분류 | 설명 | 재구성 작업 |
| --- | --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. | Restarts the ResourceManager service. |
| container-executor | Hadoop YARN container-executor.cfg 파일에서 값을 변경합니다. | Not available. |
| container-log4j | Hadoop YARN container-log4j.properties 파일에서 값을 변경합니다. | Not available. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. |
| docker-conf | Docker 관련 설정을 변경합니다. | Not available. |
| emrfs-site | EMRFS 설정을 변경합니다. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. | Restarts Flink history server. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. | Restarts Flink history server. |
| flink-log4j-session | Kubernetes 및 Yarn 세션에 대한 Flink log4j-session.properties 설정을 변경합니다. | Not available. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. | Restarts Flink history server. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. | Not available. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. | Not available. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. |
| hbase-env | HBase 환경에서 값을 변경합니다. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. | Not available. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. | Should not be reconfigured. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. | Restarts Hive HCatalog Server. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. | Restarts Hive HCatalog Server. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. | Restarts Hive HCatalog Server. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. | Restarts Hive WebHCat Server. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. | Restarts Hive WebHCat Server. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. | Restarts Hive WebHCat Server. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. | Not available. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. | Not available. |
| hive-env | Hive 환경에서 값을 변경합니다. | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. | Restarts HiveServer2 and HiveMetastore. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. | Not available. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. | Not available. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. | Not available. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. | Restarts Hadoop Httpfs service. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. | Restarts Hadoop Httpfs service. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. | Not available. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. | Restarts Hadoop-KMS service. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. | Not available. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. | Restarts Hadoop-KMS and Ranger-KMS service. |
| hudi-env | Hudi 환경에서 값을 변경합니다. | Not available. |
| jupyter-notebook-conf | Jupyter Notebook jupyter\$1notebook\$1config.py 파일에서 값을 변경합니다. | Not available. |
| jupyter-hub-conf | JupyterHubs jupyterhub\$1config.py 파일에서 값을 변경합니다. | Not available. |
| jupyter-s3-conf | Jupyter Notebook S3 지속성 구성 | Not available. |
| jupyter-sparkmagic-conf | Sparkmagic config.json 파일에서 값을 변경합니다. | Not available. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. | Restarts Livy Server. |
| livy-env | Livy 환경에서 값을 변경합니다. | Restarts Livy Server. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. | Restarts Livy Server. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. | Restarts Hadoop MapReduce-HistoryServer. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. | Restarts Hadoop MapReduce-HistoryServer. |
| oozie-env | Oozie 환경에서 값을 변경합니다. | Restarts Oozie. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. | Restarts Oozie. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. | Restarts Oozie. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. | Not available. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. | Not available. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. | Restarts Phoenix-QueryServer. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. | Not available. |
| pig-env | Pig 환경에서 값을 변경합니다. | Not available. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. | Restarts Oozie. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. | Not available. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. | Restarts Presto-Server. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. | Restarts Presto-Server. |
| presto-password-authenticator | Presto password-authenticator.properties 파일에서 값을 변경합니다. | Not available. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. | Restarts Presto-Server. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. | Restarts Presto-Server. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-memory | Presto memory.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-redshift | Presto redshift.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-tpcds | Presto tpcds.properties 파일에서 값을 변경합니다. | Not available. |
| ranger-kms-dbks-site | Ranger KMS dbks-site.xml 파일에서 값을 변경합니다. | Restarts Ranger KMS Server. |
| ranger-kms-site | Ranger KMS ranger-kms-site.xml 파일에서 값을 변경합니다. | Restarts Ranger KMS Server. |
| ranger-kms-env | Ranger KMS 환경에서 값을 변경합니다. | Restarts Ranger KMS Server. |
| ranger-kms-log4j | Ranger KMS kms-log4j.properties 파일에서 값을 변경합니다. | Not available. |
| ranger-kms-db-ca | Ranger KMS와의 MySQL SSL 연결에서 CA 파일의 값을 변경합니다. | Not available. |
| recordserver-env | EMR RecordServer 환경에서 값을 변경합니다. | Restarts EMR record server. |
| recordserver-conf | EMR RecordServer erver.properties 파일에서 값을 변경합니다. | Restarts EMR record server. |
| recordserver-log4j | EMR RecordServer log4j.properties 파일에서 값을 변경합니다. | Restarts EMR record server. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. | This property modifies spark-defaults. See actions there. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. | Restarts Spark history server and Spark thrift server. |
| spark-env | Spark 환경에서 값을 변경합니다. | Restarts Spark history server and Spark thrift server. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. | Not available. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. | Restarts Spark history server and Spark thrift server. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. | Restarts Spark history server and Spark thrift server. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. | Not available. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. | Not available. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. | Not available. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. | Restarts Oozie. |
| yarn-env | YARN 환경에서 값을 변경합니다. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. | Restarts Zeppelin. |
| zeppelin-site | zeppelin-site.xml에서 구성 설정을 변경합니다. | Restarts Zeppelin. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. | Restarts Zookeeper server. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. | Restarts Zookeeper server. |
# Amazon EMR 릴리스 5.34.0
## 5.34.0 애플리케이션 버전
이 릴리스에 포함된 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.34.0 | emr-5.33.1 | emr-5.33.0 | emr-5.32.1 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.970 | 1.11.970 | 1.11.970 | 1.11.890 |
| Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.13.1 | 1.12.1 | 1.12.1 | 1.11.2 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 |
| HCatalog | 2.3.8-amzn-0 | 2.3.7-amzn-4 | 2.3.7-amzn-4 | 2.3.7-amzn-3 |
| Hadoop | 2.10.1-amzn-2 | 2.10.1-amzn-1.1 | 2.10.1-amzn-1 | 2.10.1-amzn-0.1 |
| Hive | 2.3.8-amzn-0 | 2.3.7-amzn-4 | 2.3.7-amzn-4 | 2.3.7-amzn-3 |
| Hudi | 0.9.0-amzn-0 | 0.7.0-amzn-1 | 0.7.0-amzn-1 | 0.6.0-amzn-0 |
| Hue | 4.9.0 | 4.9.0 | 4.9.0 | 4.8.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 |
| JupyterHub | 1.4.1 | 1.2.2 | 1.2.2 | 1.1.0 |
| Livy | 0.7.1-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating |
| MXNet | 1.8.0 | 1.7.0 | 1.7.0 | 1.7.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.2.1 | 5.2.0 | 5.2.0 | 5.2.0 |
| Phoenix | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.261-amzn-0 | 0.245.1-amzn-0 | 0.245.1-amzn-0 | 0.240.1-amzn-0 |
| Spark | 2.4.8-amzn-0 | 2.4.7-amzn-1.1 | 2.4.7-amzn-1 | 2.4.7-amzn-0.1 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 2.4.1 | 2.4.1 | 2.4.1 | 2.3.1 |
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.10.0 | 0.9.0 | 0.9.0 | 0.8.2 |
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 |
## 5.34.0 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.34.0에 대한 정보가 포함됩니다. 변경 사항은 5.33.1에 관련됩니다.
최초 릴리스 날짜: 2022년 1월 20일
릴리스 날짜: 2022년 3월 21일
**새로운 기능**
+ **[Managed Scaling] Spark 셔플 데이터 Managed Scaling 최적화** - Amazon EMR 버전 5.34.0 이상 및 EMR 버전 6.4.0 이상에서 Managed Scaling은 이제 Spark 셔플 데이터(Spark가 특정 작업을 수행하기 위해 파티션에 재분배하는 데이터)를 인식합니다. 셔플 작업에 대한 자세한 내용은 [Spark 프로그래밍 안내서](https://spark.apache.org/docs/latest/rdd-programming-guide.html#shuffle-operations) 및 *Amazon EMR 관리 안내서*에서 [Amazon EMR에서 EMR Managed Scaling 사용](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-managed-scaling.html)을 참조하세요.
+ [Hudi] Hudi 구성을 단순화하기 위한 개선 사항. 기본적으로 낙관적 동시성 제어를 비활성화했습니다.
**변경 사항, 향상된 기능 및 해결된 문제**
+ 이 릴리스는 Amazon EMR 조정에서 클러스터를 성공적으로 스케일 업 또는 스케일 다운하지 못하거나 애플리케이션 장애가 발생한 경우 이 기능과 관련된 문제를 수정하기 위한 릴리스입니다.
+ 이전에는 다중 마스터 클러스터에서 리소스 관리자를 수동으로 다시 시작하면 Zookeeper와 같은 Amazon EMR 클러스터 내 대몬(daemon)이 Zookeeper znode 파일에서 이전에 해제되거나 손실된 노드를 모두 다시 로드했습니다. 이로 인해 특정 상황에서 기본 한도가 초과되었습니다. 이제 Amazon EMR은 Zookeeper 파일에서 1시간 넘게 경과된 해제되거나 손실된 노드 레코드를 제거하고 내부 한도를 늘렸습니다.
+ Amazon EMR 클러스터 내 대몬(daemon)이 YARN 노드 상태 및 HDFS 노드 상태 수집과 같은 상태 확인 활동을 실행할 때 활용도가 높은 대규모 클러스터에 대한 조정 요청이 실패하는 문제를 수정했습니다. 이는 클러스터 내 대몬(daemon)이 내부 Amazon EMR 구성 요소로 노드의 상태 데이터를 전달할 수 없었기 때문에 발생했습니다.
+ 조정 작업 중에 신뢰성을 개선하기 위해 IP 주소를 재사용할 때 노드 상태를 올바르게 추적하도록 EMR 클러스터 내 대몬(daemon)을 개선했습니다.
+ [SPARK-29683](https://issues.apache.org/jira/browse/SPARK-29683). Spark에서는 사용 가능한 모든 노드가 거부 목록에 있다고 가정했기 때문에 클러스터 스케일 다운 중에 작업 실패가 발생하는 문제를 수정했습니다.
+ [YARN-9011](https://issues.apache.org/jira/browse/YARN-9011). 클러스터를 스케일 업하거나 스케일 다운하려고 할 때 YARN 서비스 해제의 경쟁 조건으로 인해 작업 실패가 발생하는 문제를 수정했습니다.
+ Amazon EMR 클러스터 내 대몬(daemon)과 YARN 및 HDFS 사이에서 노드 상태가 항상 일관되도록 보장함으로써 클러스터 조정 중 단계 또는 작업이 실패하는 문제를 수정했습니다.
+ Kerberos 인증으로 활성화된 Amazon EMR 클러스터에서 스케일 다운 및 단계 제출과 같은 클러스터 작업이 실패하는 문제를 수정했습니다. 이는 Amazon EMR 클러스터 내 대몬(daemon)이 프라이머리 노드에서 실행되는 HDFS 및 YARN과 안전하게 통신하는 데 필요한 Kerberos 티켓을 갱신하지 않았기 때문입니다.
+ Zeppelin이 버전 0.10.0으로 업그레이드되었습니다.
+ Livy 수정 - 0.7.1로 업그레이드됨
+ Spark 성능 개선 - EMR 5.34.0에서 특정 Spark 구성 값이 재정의되면 이기종 실행기가 비활성화됩니다.
+ WebHDFS 및 HttpFS 서버는 기본적으로 비활성화됩니다. Hadoop 구성(`dfs.webhdfs.enabled`)을 사용하여 WebHDFS를 다시 활성화할 수 있습니다. HttpFS 서버는 `sudo systemctl start hadoop-httpfs`를 사용하여 시작할 수 있습니다.
**알려진 문제**
+ Livy 사용자 가장과 함께 사용되는 Amazon EMR Notebooks 기능은 기본적으로 HttpFS 가 비활성화되었기 때문에 작동하지 않습니다. 이 경우 EMR 노트북은 Livy 가장 기능이 활성화된 클러스터에 연결할 수 없습니다. 해결 방법은 클러스터에 EMR 노트북을 연결하기 전에 `sudo systemctl start hadoop-httpfs`를 사용하여 HttpFS 서버를 시작하는 것입니다.
+ Apache Hadoop HttpFS 서버는 기본적으로 비활성화되어 있기 때문에 Amazon EMR 6.4.0에서는 Hue 쿼리가 작동하지 않습니다. Amazon EMR 6.4.0에서 Hue를 사용하려면 `sudo systemctl start hadoop-httpfs`를 사용하여 Amazon EMR 프라이머리 노드에서 HttpFS 서버를 수동으로 시작하거나 [Amazon EMR 단계를 사용](https://docs.aws.amazon.com/emr/latest/ManagementGuide/add-step-cli.html)합니다.
+ Livy 사용자 위장과 함께 사용되는 Amazon EMR Notebooks 기능은 기본적으로 HttpFS 가 비활성화되었기 때문에 작동하지 않습니다. 이 경우 EMR 노트북은 Livy 가장 기능이 활성화된 클러스터에 연결할 수 없습니다. 해결 방법은 클러스터에 EMR 노트북을 연결하기 전에 `sudo systemctl start hadoop-httpfs`를 사용하여 HttpFS 서버를 시작하는 것입니다.
+ Hive 파티션 위치 형식과 함께 Spark를 사용하여 Amazon S3의 데이터를 읽고, Amazon EMR 릴리스 5.30.0\$15.36.0 및 6.2.0\$16.9.0에서 Spark를 실행하는 경우 클러스터가 데이터를 제대로 읽지 못하는 문제가 발생할 수 있습니다. 파티션에 다음과 같은 특성이 모두 있는 경우 이러한 상황이 발생할 수 있습니다.
+ 둘 이상의 파티션이 동일한 테이블에서 스캔됩니다.
+ 하나 이상의 파티션 디렉터리 경로가 하나 이상의 다른 파티션 디렉터리 경로의 접두사입니다. 예를 들어 `s3://bucket/table/p=a`는 `s3://bucket/table/p=a b`의 접두사입니다.
+ 다른 파티션 디렉터리에서 접두사 뒤에 오는 첫 번째 문자의 UTF-8 값이 `/` 문자(U\$1002F)보다 작습니다. 예를 들어 `s3://bucket/table/p=a b`에서 a와 b 사이에 있는 공백 문자(U\$10020)가 이 카테고리에 속합니다. `!"#$%&‘()*+,-`와 같은 14개의 비제어 문자가 있습니다. 자세한 내용은 [UTF-8 인코딩 테이블 및 유니코드 문자](https://www.utf8-chartable.de/)를 참조하세요.
이 문제를 해결하려면 `spark-defaults` 분류에서 `spark.sql.sources.fastS3PartitionDiscovery.enabled` 구성을 `false`로 설정합니다.
## 5.34.0 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.4.1 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.16.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.14.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.5.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-notebook-env | 1.4.0 | Jupyter Enterprise Gateway가 포함된 EMR 노트북용 Conda 환경 |
| emr-s3-dist-cp | 2.18.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emr-s3-select | 1.7.0 | EMR S3Select 커넥터 |
| emrfs | 2.48.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.13.1 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| flink-jobmanager-config | 1.13.1 | Apache Flink JobManager에 대한 EMR 노드에서 리소스를 관리합니다. |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.10.1-amzn-2 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.10.1-amzn-2 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.10.1-amzn-2 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.10.1-amzn-2 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-hdfs-journalnode | 2.10.1-amzn-2 | HA 클러스터에서 하둡 파일 시스템 저널을 관리하기 위한 HDFS 서비스 |
| hadoop-httpfs-server | 2.10.1-amzn-2 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.10.1-amzn-2 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.10.1-amzn-2 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.10.1-amzn-2 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.10.1-amzn-2 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.10.1-amzn-2 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.4.13 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.4.13 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.4.13 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.4.13 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.4.13 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.3.8-amzn-0 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.8-amzn-0 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.8-amzn-0 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.8-amzn-0 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.8-amzn-0 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.8-amzn-0 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.8-amzn-0 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hudi | 0.9.0-amzn-0 | 짧은 지연 시간 및 높은 효율성으로 데이터 파이프라인을 구동하는 증분 처리 프레임워크. |
| hudi-spark | 0.9.0-amzn-0 | Hudi와 함께 Spark를 실행하기 위한 번들 라이브러리. |
| hudi-presto | 0.9.0-amzn-0 | Hudi로 Presto를 실행하기 위한 번들 라이브러리. |
| hue-server | 4.9.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| jupyterhub | 1.4.1 | Jupyter Notebook용 다중 사용자 서버 |
| livy-server | 0.7.1-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| nginx | 1.13.1 | HTTP인 nginx [engine x] 및 역방향 프록시 서버 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 1.8.0 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mariadb-server | 5.5.68 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 10.1.243 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 5.2.1 | Oozie 명령줄 클라이언트 |
| oozie-server | 5.2.1 | Oozie 워크플로 요청을 수락하는 서비스 |
| opencv | 4.5.0 | 오픈 소스 컴퓨터 비전 라이브러리. |
| phoenix-library | 4.14.3-HBase-1.4 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.14.3-HBase-1.4 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.261-amzn-0 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.261-amzn-0 | 여러 쿼리를 실행하는 서비스. |
| presto-client | 0.261-amzn-0 | Presto 서버가 시작되지 않은 HA 클러스터의 대기 마스터에 설치된 Presto 명령줄 클라이언트. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| r | 4.0.2 | 통계 컴퓨팅용 R 프로젝트 |
| ranger-kms-server | 1.2.0 | Apache Ranger 키 관리 시스템 |
| spark-client | 2.4.8-amzn-0 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.4.8-amzn-0 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.4.8-amzn-0 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.4.8-amzn-0 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.7 | Apache Sqoop 명령줄 클라이언트. |
| tensorflow | 2.4.1 | TensorFlow는 고성능 수치 계산용 오픈 소스 소프트웨어 라이브러리입니다. |
| tez-on-yarn | 0.9.2 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.10.0 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.14 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.14 | ZooKeeper 명령줄 클라이언트. |
## 5.34.0 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
재구성 작업은 실행 중인 클러스터의 인스턴스 그룹에 대한 구성을 지정할 때 수행됩니다. Amazon EMR은 사용자가 수정한 분류에 대한 재구성 작업만 시작합니다. 자세한 내용은 [실행 중인 클러스터에서 인스턴스 그룹 재구성](emr-configure-apps-running-cluster.md) 단원을 참조하십시오.
**emr-5.34.0 분류**
| 분류 | 설명 | 재구성 작업 |
| --- | --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. | Restarts the ResourceManager service. |
| container-executor | Hadoop YARN container-executor.cfg 파일에서 값을 변경합니다. | Not available. |
| container-log4j | Hadoop YARN container-log4j.properties 파일에서 값을 변경합니다. | Not available. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. |
| docker-conf | Docker 관련 설정을 변경합니다. | Not available. |
| emrfs-site | EMRFS 설정을 변경합니다. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. | Restarts Flink history server. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. | Restarts Flink history server. |
| flink-log4j-session | Kubernetes 및 Yarn 세션에 대한 Flink log4j-session.properties 설정을 변경합니다. | Not available. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. | Restarts Flink history server. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. | Not available. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. | Not available. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. |
| hbase-env | HBase 환경에서 값을 변경합니다. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. | Not available. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. | Should not be reconfigured. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. | Restarts Hive HCatalog Server. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. | Restarts Hive HCatalog Server. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. | Restarts Hive HCatalog Server. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. | Restarts Hive WebHCat Server. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. | Restarts Hive WebHCat Server. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. | Restarts Hive WebHCat Server. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. | Not available. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. | Not available. |
| hive-env | Hive 환경에서 값을 변경합니다. | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. | Restarts HiveServer2 and HiveMetastore. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. | Not available. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. | Not available. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. | Not available. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. | Restarts Hadoop Httpfs service. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. | Restarts Hadoop Httpfs service. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. | Not available. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. | Restarts Hadoop-KMS service. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. | Not available. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. | Restarts Hadoop-KMS and Ranger-KMS service. |
| hudi-env | Hudi 환경에서 값을 변경합니다. | Not available. |
| jupyter-notebook-conf | Jupyter Notebook jupyter\$1notebook\$1config.py 파일에서 값을 변경합니다. | Not available. |
| jupyter-hub-conf | JupyterHubs jupyterhub\$1config.py 파일에서 값을 변경합니다. | Not available. |
| jupyter-s3-conf | Jupyter Notebook S3 지속성 구성 | Not available. |
| jupyter-sparkmagic-conf | Sparkmagic config.json 파일에서 값을 변경합니다. | Not available. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. | Restarts Livy Server. |
| livy-env | Livy 환경에서 값을 변경합니다. | Restarts Livy Server. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. | Restarts Livy Server. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. | Restarts Hadoop MapReduce-HistoryServer. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. | Restarts Hadoop MapReduce-HistoryServer. |
| oozie-env | Oozie 환경에서 값을 변경합니다. | Restarts Oozie. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. | Restarts Oozie. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. | Restarts Oozie. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. | Not available. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. | Not available. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. | Restarts Phoenix-QueryServer. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. | Not available. |
| pig-env | Pig 환경에서 값을 변경합니다. | Not available. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. | Restarts Oozie. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. | Not available. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. | Restarts Presto-Server. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. | Restarts Presto-Server. |
| presto-password-authenticator | Presto password-authenticator.properties 파일에서 값을 변경합니다. | Not available. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. | Restarts Presto-Server. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. | Restarts Presto-Server. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-memory | Presto memory.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-redshift | Presto redshift.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-tpcds | Presto tpcds.properties 파일에서 값을 변경합니다. | Not available. |
| ranger-kms-dbks-site | Ranger KMS dbks-site.xml 파일에서 값을 변경합니다. | Restarts Ranger KMS Server. |
| ranger-kms-site | Ranger KMS ranger-kms-site.xml 파일에서 값을 변경합니다. | Restarts Ranger KMS Server. |
| ranger-kms-env | Ranger KMS 환경에서 값을 변경합니다. | Restarts Ranger KMS Server. |
| ranger-kms-log4j | Ranger KMS kms-log4j.properties 파일에서 값을 변경합니다. | Not available. |
| ranger-kms-db-ca | Ranger KMS와의 MySQL SSL 연결에서 CA 파일의 값을 변경합니다. | Not available. |
| recordserver-env | EMR RecordServer 환경에서 값을 변경합니다. | Restarts EMR record server. |
| recordserver-conf | EMR RecordServer erver.properties 파일에서 값을 변경합니다. | Restarts EMR record server. |
| recordserver-log4j | EMR RecordServer log4j.properties 파일에서 값을 변경합니다. | Restarts EMR record server. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. | This property modifies spark-defaults. See actions there. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. | Restarts Spark history server and Spark thrift server. |
| spark-env | Spark 환경에서 값을 변경합니다. | Restarts Spark history server and Spark thrift server. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. | Not available. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. | Restarts Spark history server and Spark thrift server. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. | Restarts Spark history server and Spark thrift server. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. | Not available. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. | Not available. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. | Not available. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. | Restarts Oozie. |
| yarn-env | YARN 환경에서 값을 변경합니다. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. | Restarts Zeppelin. |
| zeppelin-site | zeppelin-site.xml에서 구성 설정을 변경합니다. | Restarts Zeppelin. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. | Restarts Zookeeper server. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. | Restarts Zookeeper server. |
# Amazon EMR 릴리스 5.33.1
## 5.33.1 애플리케이션 버전
이 릴리스에 포함된 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.33.1 | emr-5.33.0 | emr-5.32.1 | emr-5.32.0 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.970 | 1.11.970 | 1.11.890 | 1.11.890 |
| Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.12.1 | 1.12.1 | 1.11.2 | 1.11.2 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 |
| HCatalog | 2.3.7-amzn-4 | 2.3.7-amzn-4 | 2.3.7-amzn-3 | 2.3.7-amzn-3 |
| Hadoop | 2.10.1-amzn-1.1 | 2.10.1-amzn-1 | 2.10.1-amzn-0.1 | 2.10.1-amzn-0 |
| Hive | 2.3.7-amzn-4 | 2.3.7-amzn-4 | 2.3.7-amzn-3 | 2.3.7-amzn-3 |
| Hudi | 0.7.0-amzn-1 | 0.7.0-amzn-1 | 0.6.0-amzn-0 | 0.6.0-amzn-0 |
| Hue | 4.9.0 | 4.9.0 | 4.8.0 | 4.8.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 |
| JupyterHub | 1.2.2 | 1.2.2 | 1.1.0 | 1.1.0 |
| Livy | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating |
| MXNet | 1.7.0 | 1.7.0 | 1.7.0 | 1.7.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.2.0 | 5.2.0 | 5.2.0 | 5.2.0 |
| Phoenix | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.245.1-amzn-0 | 0.245.1-amzn-0 | 0.240.1-amzn-0 | 0.240.1-amzn-0 |
| Spark | 2.4.7-amzn-1.1 | 2.4.7-amzn-1 | 2.4.7-amzn-0.1 | 2.4.7-amzn-0 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 2.4.1 | 2.4.1 | 2.3.1 | 2.3.1 |
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.9.0 | 0.9.0 | 0.8.2 | 0.8.2 |
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 |
## 5.33.1 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.33.0/5.33.1에 대한 정보가 포함됩니다. 변경 사항은 5.32.0에 관련됩니다.
최초 릴리스 날짜: 2021년 4월 19일
최종 업데이트 날짜: 2021년 8월 9일
**업그레이드**
+ Amazon Glue 커넥터를 버전 1.15.0으로 업그레이드함
+ 버전 1.11.970 AWS SDK for Java 으로 업그레이드됨
+ EmrFS를 버전 2.46.0으로 업그레이드함
+ EMR Goodies를 버전 2.14.0으로 업그레이드함
+ EMR Record Server를 버전 1.9.0으로 업그레이드함
+ EMR S3 Dist CP를 버전 2.18.0으로 업그레이드함
+ EMR Secret Agent를 버전 1.8.0으로 업그레이드함
+ Flink를 버전 1.12.1로 업그레이드함
+ Hadoop을 버전 2.10.1-amzn-1로 업그레이드함
+ Hive를 버전 2.3.7-amzn-4로 업그레이드함
+ Hudi를 버전 0.7.0으로 업그레이드함
+ Hue를 버전 4.9.0으로 업그레이드함
+ OpenCV를 버전 4.5.0으로 업그레이드함
+ Presto를 버전 0.245.1-amzn-0으로 업그레이드함
+ R을 버전 4.0.2로 업그레이드함
+ Spark를 버전 2.4.7-amzn-1로 업그레이드함
+ TensorFlow를 버전 2.4.1로 업그레이드함
+ Zeppelin을 버전 0.9.0으로 업그레이드함
**변경 사항, 향상된 기능 및 해결된 문제**
+ 이 릴리스는 Amazon EMR 조정에서 클러스터를 성공적으로 스케일 업 또는 스케일 다운하지 못하거나 애플리케이션 장애가 발생한 경우 이 기능과 관련된 문제를 수정하기 위한 릴리스입니다.
+ Amazon EMR 클러스터 내 대몬(daemon)이 YARN 노드 상태 및 HDFS 노드 상태 수집과 같은 상태 확인 활동을 실행할 때 활용도가 높은 대규모 클러스터에 대한 조정 요청이 실패하는 문제를 수정했습니다. 이는 클러스터 내 대몬(daemon)이 내부 Amazon EMR 구성 요소로 노드의 상태 데이터를 전달할 수 없었기 때문에 발생했습니다.
+ 조정 작업 중에 신뢰성을 개선하기 위해 IP 주소를 재사용할 때 노드 상태를 올바르게 추적하도록 EMR 클러스터 내 대몬(daemon)을 개선했습니다.
+ [SPARK-29683](https://issues.apache.org/jira/browse/SPARK-29683). Spark에서는 사용 가능한 모든 노드가 거부 목록에 있다고 가정했기 때문에 클러스터 스케일 다운 중에 작업 실패가 발생하는 문제를 수정했습니다.
+ [YARN-9011](https://issues.apache.org/jira/browse/YARN-9011). 클러스터를 스케일 업하거나 스케일 다운하려고 할 때 YARN 서비스 해제의 경쟁 조건으로 인해 작업 실패가 발생하는 문제를 수정했습니다.
+ Amazon EMR 클러스터 내 대몬(daemon)과 YARN 및 HDFS 사이에서 노드 상태가 항상 일관되도록 보장함으로써 클러스터 조정 중 단계 또는 작업이 실패하는 문제를 수정했습니다.
+ Kerberos 인증으로 활성화된 Amazon EMR 클러스터에서 스케일 다운 및 단계 제출과 같은 클러스터 작업이 실패하는 문제를 수정했습니다. 이는 Amazon EMR 클러스터 내 대몬(daemon)이 프라이머리 노드에서 실행되는 HDFS 및 YARN과 안전하게 통신하는 데 필요한 Kerberos 티켓을 갱신하지 않았기 때문입니다.
+ 최신 Amazon EMR 릴리스에서는 Amazon EMR의 이전 AL2에서 더 낮은 '최대 열린 파일' 한도와 관련된 문제가 수정되었습니다. Amazon EMR 릴리스 5.30.1, 5.30.2, 5.31.1, 5.32.1, 6.0.1, 6.1.1, 6.2.1, 5.33.0, 6.3.0 이상에는 이제 더 높은 '최대 열린 파일' 설정을 포함한 영구적 수정 사항이 포함되어 있습니다.
+ **Apache YARN 타임라인 서버 버전 1 및 1.5 성능 문제를 해결하도록 클러스터 구성**
Apache YARN 타임라인 서버 버전 1 및 1.5는 매우 자주 사용되는 대규모 EMR 클러스터, 특히 Amazon EMR의 기본 설정인 `yarn.resourcemanager.system-metrics-publisher.enabled=true`에서 성능 문제를 일으킬 수 있습니다. 오픈 소스 YARN 타임라인 서버 v2는 YARN 타임라인 서버 확장성과 관련된 성능 문제를 해결했습니다.
이 문제의 다른 해결 방법은 다음과 같습니다.
+ yarn-site.xml 파일에서 yarn.resourcemanager.system-metrics-publisher.enabled=false를 구성합니다.
+ 아래 설명에 따라 클러스터를 생성할 때 이 문제를 해결하는 수정 사항을 활성화합니다.
다음 Amazon EMR 릴리스에는 이 YARN 타임라인 서버 성능 문제에 대한 수정 사항이 포함되어 있습니다.
EMR 5.30.2, 5.31.1, 5.32.1, 5.33.1, 5.34.x, 6.0.1, 6.1.1, 6.2.1, 6.3.1, 6.4.x
위에 지정된 Amazon EMR 릴리스에서 수정 사항을 활성화하려면 [`aws emr create-cluster` 명령 파라미터](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-configure-apps-create-cluster.html)(`--configurations file://./configurations.json`)를 사용하여 전달되는 구성 JSON 파일에서 이러한 속성을 `true`로 설정합니다. 또는 [재구성 콘솔 UI](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-configure-apps-running-cluster.html)를 사용하여 수정 사항을 활성화할 수도 있습니다.
configurations.json 파일 내용 예제:
```
[
{
"Classification": "yarn-site",
"Properties": {
"yarn.resourcemanager.system-metrics-publisher.timeline-server-v1.enable-batch": "true",
"yarn.resourcemanager.system-metrics-publisher.enabled": "true"
},
"Configurations": []
}
]
```
+ 이제 Spark 삽입 쿼리를 위해 Hive 메타스토어에서 파티션 위치를 가져올 때 Spark 런타임이 더 빨라졌습니다.
+ 업그레이드된 구성 요소 버전. 구성 요소 버전 목록은 이 안내서에서 [Amazon EMR 릴리스 정보](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-release-components.html)를 참조하세요.
+ 각 새 클러스터에 AWS Java SDK 번들을 설치했습니다. 개별 구성 요소 jar 대신 모든 서비스 SDK와 해당 종속 항목을 포함하는 단일 jar입니다. 자세한 내용은 [Java SDK Bundled Dependency](https://aws.amazon.com/blogs/developer/java-sdk-bundle/)를 참조하세요.
+ 이전 Amazon EMR 릴리스에서 Managed Scaling 문제를 수정하고 애플리케이션 장애 비율을 크게 줄일 수 있도록 개선했습니다.
+ 이제 Amazon Linux 리포지토리에서 HTTPS가 기본적으로 활성화됩니다. Amazon S3 VPCE 정책을 사용하여 특정 버킷에 대한 액세스를 제한하는 경우 새 Amazon Linux 버킷 ARN `arn:aws:s3:::amazonlinux-2-repos-$region/*`을 정책에 추가해야 합니다(`$region`을 엔드포인트가 있는 리전으로 바꿈). 자세한 내용은 AWS 토론 포럼에서이 주제를 참조하세요. [공지 사항: 이제 Amazon Linux 2는 패키지 리포지토리에 연결하는 동안 HTTPS를 사용하는 기능을 지원합니다](https://forums.aws.amazon.com/ann.jspa?annID=8528).
**새로운 기능**
+ Amazon EMR은 공유 데이터 레이크에 대한 액세스를 쉽게 관리할 수 있는 Amazon S3의 기능인 Amazon S3 액세스 포인트를 지원합니다. Amazon S3 액세스 포인트 별칭을 사용하면 Amazon EMR에서 대규모 데이터 액세스를 간소화할 수 있습니다. Amazon EMR을 사용할 수 있는 모든 리전에서 추가 비용 없이 모든 버전의 Amazon EMR에서 Amazon S3 액세스 포인트를 사용할 수 있습니다. AWS Amazon S3 액세스 포인트 및 액세스 포인트 별칭에 대한 자세한 내용은 *Amazon S3 사용 설명서*에서 [액세스 포인트에 버킷 스타일 별칭 사용](https://docs.aws.amazon.com/AmazonS3/latest/userguide/access-points-alias.html)을 참조하세요.
+ Amazon EMR-5.33에서는 새로운 Amazon EC2 인스턴스 유형(c5a, c5ad, c6gn, c6gd, m6gd, d3, d3en, m5zn, r5b, r6gd)을 지원합니다. [지원되는 인스턴스 유형](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-supported-instance-types.html)을 참조하세요.
**알려진 문제**
+ **이전 AL2에서 더 낮은 '최대 열린 파일' 한도[최신 릴리스에서 수정됨].** Amazon EMR 릴리스: emr-5.30.x, emr-5.31.0, emr-5.32.0, emr-6.0.0, emr-6.1.0, emr-6.2.0은 Amazon Linux 2(AL2)의 이전 버전에 기반합니다. 이전 버전에서는 Amazon EMR 클러스터가 기본 AMI에서 생성되는 경우 '최대 열린 파일'에 대한 ulimit 설정이 더 낮습니다. Amazon EMR 릴리스 5.30.1, 5.30.2, 5.31.1, 5.32.1, 6.0.1, 6.1.1, 6.2.1, 5.33.0, 6.3.0 이상에는 더 높은 '최대 열린 파일' 설정을 포함한 영구적 수정 사항이 포함되어 있습니다. 열린 파일 한도가 낮은 릴리스의 경우 Spark 작업을 제출할 때 'Too many open files' 오류가 발생합니다. 영향을 받는 릴리스에서 Amazon EMR 기본 AMI의 '최대 열린 파일'에 대한 기본 ulimit 설정은 4,096개이며, 이는 최신 Amazon Linux 2 AMI의 65,536개 파일 제한보다 낮습니다. '최대 열린 파일'에 대한 더 낮은 ulimit 설정을 사용하면 Spark 드라이버와 실행기가 4,096개가 넘는 파일을 열려고 할 때 Spark 작업이 실패합니다. 이 문제를 해결하기 위해 Amazon EMR에는 클러스터 생성 시 ulimit 설정을 조정하는 부트스트랩 작업(BA) 스크립트가 있습니다.
이 문제에 대한 영구 수정 사항이 포함되지 않은 이전 Amazon EMR 버전을 사용하는 경우 다음 해결 방법을 통해 instance-controller ulimit를 최대 65,536개의 파일로 명시적으로 설정할 수 있습니다.
**명령줄에서 ulimit를 명시적으로 설정합니다.**
1. `/etc/systemd/system/instance-controller.service`를 편집하여 Service 섹션에 다음 파라미터를 추가합니다.
`LimitNOFILE=65536`
`LimitNPROC=65536`
1. InstanceController 다시 시작
`$ sudo systemctl daemon-reload`
`$ sudo systemctl restart instance-controller`
**부트스트랩 작업(BA)을 사용하여 ulimit 설정**
클러스터 생성 시 부트스트랩 작업(BA) 스크립트를 사용하여 instance-controller ulimit를 65,536개 파일로 구성할 수도 있습니다.
```
#!/bin/bash
for user in hadoop spark hive; do
sudo tee /etc/security/limits.d/$user.conf << EOF
$user - nofile 65536
$user - nproc 65536
EOF
done
for proc in instancecontroller logpusher; do
sudo mkdir -p /etc/systemd/system/$proc.service.d/
sudo tee /etc/systemd/system/$proc.service.d/override.conf << EOF
[Service]
LimitNOFILE=65536
LimitNPROC=65536
EOF
pid=$(pgrep -f aws157.$proc.Main)
sudo prlimit --pid $pid --nofile=65535:65535 --nproc=65535:65535
done
sudo systemctl daemon-reload
```
+ Amazon EMR 6.3.0 및 6.2.0 프라이빗 서브넷 클러스터의 경우 Ganglia 웹 UI에 액세스할 수 없습니다. '액세스 거부됨(403)' 오류가 발생합니다. Spark, Hue, JupyterHub, Zeppelin, Livy, Tez와 같은 다른 웹 UI는 정상적으로 작동합니다. 퍼블릭 서브넷 클러스터에서 Ganglia 웹 UI 액세스도 정상적으로 작동합니다. 이 문제를 해결하려면 `sudo systemctl restart httpd`를 사용하여 프라이머리 노드에서 httpd 서비스를 다시 시작합니다. 이 문제는 Amazon EMR 6.4.0에서 수정되었습니다.
+
**중요**
Amazon Linux 또는 Amazon Linux 2 Amazon Machine Image(AMI)를 실행하는 EMR 클러스터는 기본 Amazon Linux 동작을 사용하며, 재부팅이 필요한 중요한 핵심 커널 업데이트를 자동으로 다운로드하여 설치하지는 않습니다. 이는 기본 Amazon Linux AMI를 실행하는 다른 Amazon EC2 인스턴스와 동일한 동작입니다. Amazon EMR 릴리스가 출시된 후 재부팅이 필요한 새로운 Amazon Linux 소프트웨어 업데이트(예: 커널, NVIDIA, CUDA 업데이트)를 사용할 수 있게 되면 기본 AMI를 실행하는 EMR 클러스터 인스턴스는 해당 업데이트를 자동으로 다운로드하여 설치하지 않습니다. 커널 업데이트를 받으려면 [최신 Amazon Linux AMI를 사용](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/finding-an-ami.html)하도록 [Amazon EMR AMI를 사용자 지정](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-custom-ami.html)할 수 있습니다.
+ AWS Ranger 통합 옵션을 지정하는 보안 구성을 생성하는 콘솔 지원은 현재 GovCloud 리전에서 지원되지 않습니다. 보안 구성은 CLI를 사용하여 수행할 수 있습니다. *Amazon EMR 관리 안내서*에서 [EMR 보안 구성 생성](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-ranger-security-config.html)을 참조하세요.
+ 범위가 지정된 관리형 정책: AWS 모범 사례에 맞게 Amazon EMR은 더 이상 사용되지 않을 정책을 대체하기 위해 v2 EMR 범위 기본 관리형 정책을 도입했습니다. [Amazon EMR 관리형 정책](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-managed-iam-policies.html)을 참조하세요.
+ Hive 파티션 위치 형식과 함께 Spark를 사용하여 Amazon S3의 데이터를 읽고, Amazon EMR 릴리스 5.30.0\$15.36.0 및 6.2.0\$16.9.0에서 Spark를 실행하는 경우 클러스터가 데이터를 제대로 읽지 못하는 문제가 발생할 수 있습니다. 파티션에 다음과 같은 특성이 모두 있는 경우 이러한 상황이 발생할 수 있습니다.
+ 둘 이상의 파티션이 동일한 테이블에서 스캔됩니다.
+ 하나 이상의 파티션 디렉터리 경로가 하나 이상의 다른 파티션 디렉터리 경로의 접두사입니다. 예를 들어 `s3://bucket/table/p=a`는 `s3://bucket/table/p=a b`의 접두사입니다.
+ 다른 파티션 디렉터리에서 접두사 뒤에 오는 첫 번째 문자의 UTF-8 값이 `/` 문자(U\$1002F)보다 작습니다. 예를 들어 `s3://bucket/table/p=a b`에서 a와 b 사이에 있는 공백 문자(U\$10020)가 이 카테고리에 속합니다. `!"#$%&‘()*+,-`와 같은 14개의 비제어 문자가 있습니다. 자세한 내용은 [UTF-8 인코딩 테이블 및 유니코드 문자](https://www.utf8-chartable.de/)를 참조하세요.
이 문제를 해결하려면 `spark-defaults` 분류에서 `spark.sql.sources.fastS3PartitionDiscovery.enabled` 구성을 `false`로 설정합니다.
## 5.33.1 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.4.1 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.16.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.14.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.5.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-notebook-env | 1.2.0 | Jupyter Enterprise Gateway가 포함된 EMR 노트북용 Conda 환경 |
| emr-s3-dist-cp | 2.18.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emr-s3-select | 1.6.0 | EMR S3Select 커넥터 |
| emrfs | 2.46.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.12.1 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| flink-jobmanager-config | 1.12.1 | Apache Flink JobManager에 대한 EMR 노드에서 리소스를 관리합니다. |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.10.1-amzn-1.1 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.10.1-amzn-1.1 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.10.1-amzn-1.1 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.10.1-amzn-1.1 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-hdfs-journalnode | 2.10.1-amzn-1.1 | HA 클러스터에서 하둡 파일 시스템 저널을 관리하기 위한 HDFS 서비스 |
| hadoop-httpfs-server | 2.10.1-amzn-1.1 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.10.1-amzn-1.1 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.10.1-amzn-1.1 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.10.1-amzn-1.1 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.10.1-amzn-1.1 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.10.1-amzn-1.1 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.4.13 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.4.13 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.4.13 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.4.13 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.4.13 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.3.7-amzn-4 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.7-amzn-4 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.7-amzn-4 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.7-amzn-4 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.7-amzn-4 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.7-amzn-4 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.7-amzn-4 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hudi | 0.7.0-amzn-1 | 짧은 지연 시간 및 높은 효율성으로 데이터 파이프라인을 구동하는 증분 처리 프레임워크. |
| hudi-spark | 0.7.0-amzn-1 | Hudi와 함께 Spark를 실행하기 위한 번들 라이브러리. |
| hudi-presto | 0.7.0-amzn-1 | Hudi로 Presto를 실행하기 위한 번들 라이브러리. |
| hue-server | 4.9.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| jupyterhub | 1.2.2 | Jupyter Notebook용 다중 사용자 서버 |
| livy-server | 0.7.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| nginx | 1.12.1 | HTTP인 nginx [engine x] 및 역방향 프록시 서버 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 1.7.0 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mariadb-server | 5.5.68 이상 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 10.1.243 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 5.2.0 | Oozie 명령줄 클라이언트 |
| oozie-server | 5.2.0 | Oozie 워크플로 요청을 수락하는 서비스 |
| opencv | 4.5.0 | 오픈 소스 컴퓨터 비전 라이브러리. |
| phoenix-library | 4.14.3-HBase-1.4 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.14.3-HBase-1.4 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.245.1-amzn-0 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.245.1-amzn-0 | 여러 쿼리를 실행하는 서비스. |
| presto-client | 0.245.1-amzn-0 | Presto 서버가 시작되지 않은 HA 클러스터의 대기 마스터에 설치된 Presto 명령줄 클라이언트. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| r | 4.0.2 | 통계 컴퓨팅용 R 프로젝트 |
| ranger-kms-server | 1.2.0 | Apache Ranger 키 관리 시스템 |
| spark-client | 2.4.7-amzn-1.1 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.4.7-amzn-1.1 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.4.7-amzn-1.1 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.4.7-amzn-1.1 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.7 | Apache Sqoop 명령줄 클라이언트. |
| tensorflow | 2.4.1 | TensorFlow는 고성능 수치 계산용 오픈 소스 소프트웨어 라이브러리입니다. |
| tez-on-yarn | 0.9.2 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.9.0 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.14 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.14 | ZooKeeper 명령줄 클라이언트. |
## 5.33.1 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
재구성 작업은 실행 중인 클러스터의 인스턴스 그룹에 대한 구성을 지정할 때 수행됩니다. Amazon EMR은 사용자가 수정한 분류에 대한 재구성 작업만 시작합니다. 자세한 내용은 [실행 중인 클러스터에서 인스턴스 그룹 재구성](emr-configure-apps-running-cluster.md) 단원을 참조하십시오.
**emr-5.33.1 분류**
| 분류 | 설명 | 재구성 작업 |
| --- | --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. | Restarts the ResourceManager service. |
| container-executor | Hadoop YARN container-executor.cfg 파일에서 값을 변경합니다. | Not available. |
| container-log4j | Hadoop YARN container-log4j.properties 파일에서 값을 변경합니다. | Not available. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. |
| docker-conf | Docker 관련 설정을 변경합니다. | Not available. |
| emrfs-site | EMRFS 설정을 변경합니다. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. | Restarts Flink history server. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. | Restarts Flink history server. |
| flink-log4j-session | Kubernetes 및 Yarn 세션에 대한 Flink log4j-session.properties 설정을 변경합니다. | Not available. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. | Restarts Flink history server. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. | Not available. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. | Not available. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. |
| hbase-env | HBase 환경에서 값을 변경합니다. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. | Not available. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. | Should not be reconfigured. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. | Restarts Hive HCatalog Server. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. | Restarts Hive HCatalog Server. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. | Restarts Hive HCatalog Server. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. | Restarts Hive WebHCat Server. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. | Restarts Hive WebHCat Server. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. | Restarts Hive WebHCat Server. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. | Not available. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. | Not available. |
| hive-env | Hive 환경에서 값을 변경합니다. | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. | Restarts HiveServer2 and HiveMetastore. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. | Not available. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. | Not available. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. | Not available. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. | Restarts Hadoop Httpfs service. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. | Restarts Hadoop Httpfs service. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. | Not available. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. | Restarts Hadoop-KMS service. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. | Not available. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. | Restarts Hadoop-KMS and Ranger-KMS service. |
| hudi-env | Hudi 환경에서 값을 변경합니다. | Not available. |
| jupyter-notebook-conf | Jupyter Notebook jupyter\$1notebook\$1config.py 파일에서 값을 변경합니다. | Not available. |
| jupyter-hub-conf | JupyterHubs jupyterhub\$1config.py 파일에서 값을 변경합니다. | Not available. |
| jupyter-s3-conf | Jupyter Notebook S3 지속성 구성 | Not available. |
| jupyter-sparkmagic-conf | Sparkmagic config.json 파일에서 값을 변경합니다. | Not available. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. | Restarts Livy Server. |
| livy-env | Livy 환경에서 값을 변경합니다. | Restarts Livy Server. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. | Restarts Livy Server. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. | Restarts Hadoop MapReduce-HistoryServer. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. | Restarts Hadoop MapReduce-HistoryServer. |
| oozie-env | Oozie 환경에서 값을 변경합니다. | Restarts Oozie. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. | Restarts Oozie. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. | Restarts Oozie. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. | Not available. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. | Not available. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. | Restarts Phoenix-QueryServer. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. | Not available. |
| pig-env | Pig 환경에서 값을 변경합니다. | Not available. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. | Restarts Oozie. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. | Not available. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. | Restarts Presto-Server. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. | Restarts Presto-Server. |
| presto-password-authenticator | Presto password-authenticator.properties 파일에서 값을 변경합니다. | Not available. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. | Restarts Presto-Server. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. | Restarts Presto-Server. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-memory | Presto memory.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-redshift | Presto redshift.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-tpcds | Presto tpcds.properties 파일에서 값을 변경합니다. | Not available. |
| ranger-kms-dbks-site | Ranger KMS dbks-site.xml 파일에서 값을 변경합니다. | Restarts Ranger KMS Server. |
| ranger-kms-site | Ranger KMS ranger-kms-site.xml 파일에서 값을 변경합니다. | Restarts Ranger KMS Server. |
| ranger-kms-env | Ranger KMS 환경에서 값을 변경합니다. | Restarts Ranger KMS Server. |
| ranger-kms-log4j | Ranger KMS kms-log4j.properties 파일에서 값을 변경합니다. | Not available. |
| ranger-kms-db-ca | Ranger KMS와의 MySQL SSL 연결에서 CA 파일의 값을 변경합니다. | Not available. |
| recordserver-env | EMR RecordServer 환경에서 값을 변경합니다. | Restarts EMR record server. |
| recordserver-conf | EMR RecordServer erver.properties 파일에서 값을 변경합니다. | Restarts EMR record server. |
| recordserver-log4j | EMR RecordServer log4j.properties 파일에서 값을 변경합니다. | Restarts EMR record server. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. | This property modifies spark-defaults. See actions there. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. | Restarts Spark history server and Spark thrift server. |
| spark-env | Spark 환경에서 값을 변경합니다. | Restarts Spark history server and Spark thrift server. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. | Not available. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. | Restarts Spark history server and Spark thrift server. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. | Restarts Spark history server and Spark thrift server. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. | Not available. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. | Not available. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. | Not available. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. | Restarts Oozie. |
| yarn-env | YARN 환경에서 값을 변경합니다. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. | Restarts Zeppelin. |
| zeppelin-site | zeppelin-site.xml에서 구성 설정을 변경합니다. | Restarts Zeppelin. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. | Restarts Zookeeper server. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. | Restarts Zookeeper server. |
# Amazon EMR 릴리스 5.33.0
## 5.33.0 애플리케이션 버전
이 릴리스에 포함된 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.33.0 | emr-5.32.1 | emr-5.32.0 | emr-5.31.1 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.970 | 1.11.890 | 1.11.890 | 1.11.852 |
| Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.12.1 | 1.11.2 | 1.11.2 | 1.11.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 |
| HCatalog | 2.3.7-amzn-4 | 2.3.7-amzn-3 | 2.3.7-amzn-3 | 2.3.7-amzn-1 |
| Hadoop | 2.10.1-amzn-1 | 2.10.1-amzn-0.1 | 2.10.1-amzn-0 | 2.10.0-amzn-0.1 |
| Hive | 2.3.7-amzn-4 | 2.3.7-amzn-3 | 2.3.7-amzn-3 | 2.3.7-amzn-1 |
| Hudi | 0.7.0-amzn-1 | 0.6.0-amzn-0 | 0.6.0-amzn-0 | 0.6.0-amzn-0 |
| Hue | 4.9.0 | 4.8.0 | 4.8.0 | 4.7.1 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | 2.1.0 | 2.1.0 | 2.1.0 | - |
| JupyterHub | 1.2.2 | 1.1.0 | 1.1.0 | 1.1.0 |
| Livy | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating |
| MXNet | 1.7.0 | 1.7.0 | 1.7.0 | 1.6.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.2.0 | 5.2.0 | 5.2.0 | 5.2.0 |
| Phoenix | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.245.1-amzn-0 | 0.240.1-amzn-0 | 0.240.1-amzn-0 | 0.238.3-amzn-0 |
| Spark | 2.4.7-amzn-1 | 2.4.7-amzn-0.1 | 2.4.7-amzn-0 | 2.4.6-amzn-0.1 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 2.4.1 | 2.3.1 | 2.3.1 | 2.1.0 |
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.9.0 | 0.8.2 | 0.8.2 | 0.8.2 |
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 |
## 5.33.0 릴리스 정보
## 5.33.0 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.4.1 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.16.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.14.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.5.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-notebook-env | 1.2.0 | Jupyter Enterprise Gateway가 포함된 EMR 노트북용 Conda 환경 |
| emr-s3-dist-cp | 2.18.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emr-s3-select | 1.6.0 | EMR S3Select 커넥터 |
| emrfs | 2.46.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.12.1 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| flink-jobmanager-config | 1.12.1 | Apache Flink JobManager에 대한 EMR 노드에서 리소스를 관리합니다. |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.10.1-amzn-1 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.10.1-amzn-1 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.10.1-amzn-1 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.10.1-amzn-1 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-hdfs-journalnode | 2.10.1-amzn-1 | HA 클러스터에서 하둡 파일 시스템 저널을 관리하기 위한 HDFS 서비스 |
| hadoop-httpfs-server | 2.10.1-amzn-1 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.10.1-amzn-1 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.10.1-amzn-1 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.10.1-amzn-1 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.10.1-amzn-1 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.10.1-amzn-1 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.4.13 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.4.13 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.4.13 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.4.13 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.4.13 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.3.7-amzn-4 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.7-amzn-4 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.7-amzn-4 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.7-amzn-4 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.7-amzn-4 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.7-amzn-4 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.7-amzn-4 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hudi | 0.7.0-amzn-1 | 짧은 지연 시간 및 높은 효율성으로 데이터 파이프라인을 구동하는 증분 처리 프레임워크. |
| hudi-spark | 0.7.0-amzn-1 | Hudi와 함께 Spark를 실행하기 위한 번들 라이브러리. |
| hudi-presto | 0.7.0-amzn-1 | Hudi로 Presto를 실행하기 위한 번들 라이브러리. |
| hue-server | 4.9.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| jupyterhub | 1.2.2 | Jupyter Notebook용 다중 사용자 서버 |
| livy-server | 0.7.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| nginx | 1.12.1 | HTTP인 nginx [engine x] 및 역방향 프록시 서버 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 1.7.0 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mariadb-server | 5.5.68 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 10.1.243 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 5.2.0 | Oozie 명령줄 클라이언트 |
| oozie-server | 5.2.0 | Oozie 워크플로 요청을 수락하는 서비스 |
| opencv | 4.5.0 | 오픈 소스 컴퓨터 비전 라이브러리. |
| phoenix-library | 4.14.3-HBase-1.4 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.14.3-HBase-1.4 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.245.1-amzn-0 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.245.1-amzn-0 | 여러 쿼리를 실행하는 서비스. |
| presto-client | 0.245.1-amzn-0 | Presto 서버가 시작되지 않은 HA 클러스터의 대기 마스터에 설치된 Presto 명령줄 클라이언트. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| r | 4.0.2 | 통계 컴퓨팅용 R 프로젝트 |
| ranger-kms-server | 1.2.0 | Apache Ranger 키 관리 시스템 |
| spark-client | 2.4.7-amzn-1 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.4.7-amzn-1 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.4.7-amzn-1 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.4.7-amzn-1 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.7 | Apache Sqoop 명령줄 클라이언트. |
| tensorflow | 2.4.1 | TensorFlow는 고성능 수치 계산용 오픈 소스 소프트웨어 라이브러리입니다. |
| tez-on-yarn | 0.9.2 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.9.0 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.14 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.14 | ZooKeeper 명령줄 클라이언트. |
## 5.33.0 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
재구성 작업은 실행 중인 클러스터의 인스턴스 그룹에 대한 구성을 지정할 때 수행됩니다. Amazon EMR은 사용자가 수정한 분류에 대한 재구성 작업만 시작합니다. 자세한 내용은 [실행 중인 클러스터에서 인스턴스 그룹 재구성](emr-configure-apps-running-cluster.md) 단원을 참조하십시오.
**emr-5.33.0 분류**
| 분류 | 설명 | 재구성 작업 |
| --- | --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. | Restarts the ResourceManager service. |
| container-executor | Hadoop YARN container-executor.cfg 파일에서 값을 변경합니다. | Not available. |
| container-log4j | Hadoop YARN container-log4j.properties 파일에서 값을 변경합니다. | Not available. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. |
| docker-conf | Docker 관련 설정을 변경합니다. | Not available. |
| emrfs-site | EMRFS 설정을 변경합니다. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. | Restarts Flink history server. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. | Restarts Flink history server. |
| flink-log4j-session | Kubernetes 및 Yarn 세션에 대한 Flink log4j-session.properties 설정을 변경합니다. | Not available. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. | Restarts Flink history server. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. | Not available. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. | Not available. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. |
| hbase-env | HBase 환경에서 값을 변경합니다. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. | Not available. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. | Should not be reconfigured. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. | Restarts Hive HCatalog Server. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. | Restarts Hive HCatalog Server. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. | Restarts Hive HCatalog Server. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. | Restarts Hive WebHCat Server. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. | Restarts Hive WebHCat Server. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. | Restarts Hive WebHCat Server. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. | Not available. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. | Not available. |
| hive-env | Hive 환경에서 값을 변경합니다. | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. | Restarts HiveServer2 and HiveMetastore. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. | Not available. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. | Not available. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. | Not available. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. | Restarts Hadoop Httpfs service. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. | Restarts Hadoop Httpfs service. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. | Not available. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. | Restarts Hadoop-KMS service. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. | Not available. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. | Restarts Hadoop-KMS and Ranger-KMS service. |
| hudi-env | Hudi 환경에서 값을 변경합니다. | Not available. |
| jupyter-notebook-conf | Jupyter Notebook jupyter\$1notebook\$1config.py 파일에서 값을 변경합니다. | Not available. |
| jupyter-hub-conf | JupyterHubs jupyterhub\$1config.py 파일에서 값을 변경합니다. | Not available. |
| jupyter-s3-conf | Jupyter Notebook S3 지속성 구성 | Not available. |
| jupyter-sparkmagic-conf | Sparkmagic config.json 파일에서 값을 변경합니다. | Not available. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. | Restarts Livy Server. |
| livy-env | Livy 환경에서 값을 변경합니다. | Restarts Livy Server. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. | Restarts Livy Server. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. | Restarts Hadoop MapReduce-HistoryServer. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. | Restarts Hadoop MapReduce-HistoryServer. |
| oozie-env | Oozie 환경에서 값을 변경합니다. | Restarts Oozie. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. | Restarts Oozie. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. | Restarts Oozie. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. | Not available. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. | Not available. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. | Restarts Phoenix-QueryServer. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. | Not available. |
| pig-env | Pig 환경에서 값을 변경합니다. | Not available. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. | Restarts Oozie. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. | Not available. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. | Restarts Presto-Server. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. | Restarts Presto-Server. |
| presto-password-authenticator | Presto password-authenticator.properties 파일에서 값을 변경합니다. | Not available. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. | Restarts Presto-Server. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. | Restarts Presto-Server. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-memory | Presto memory.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-redshift | Presto redshift.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-tpcds | Presto tpcds.properties 파일에서 값을 변경합니다. | Not available. |
| ranger-kms-dbks-site | Ranger KMS dbks-site.xml 파일에서 값을 변경합니다. | Restarts Ranger KMS Server. |
| ranger-kms-site | Ranger KMS ranger-kms-site.xml 파일에서 값을 변경합니다. | Restarts Ranger KMS Server. |
| ranger-kms-env | Ranger KMS 환경에서 값을 변경합니다. | Restarts Ranger KMS Server. |
| ranger-kms-log4j | Ranger KMS kms-log4j.properties 파일에서 값을 변경합니다. | Not available. |
| ranger-kms-db-ca | Ranger KMS와의 MySQL SSL 연결에서 CA 파일의 값을 변경합니다. | Not available. |
| recordserver-env | EMR RecordServer 환경에서 값을 변경합니다. | Restarts EMR record server. |
| recordserver-conf | EMR RecordServer erver.properties 파일에서 값을 변경합니다. | Restarts EMR record server. |
| recordserver-log4j | EMR RecordServer log4j.properties 파일에서 값을 변경합니다. | Restarts EMR record server. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. | This property modifies spark-defaults. See actions there. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. | Restarts Spark history server and Spark thrift server. |
| spark-env | Spark 환경에서 값을 변경합니다. | Restarts Spark history server and Spark thrift server. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. | Not available. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. | Restarts Spark history server and Spark thrift server. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. | Restarts Spark history server and Spark thrift server. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. | Not available. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. | Not available. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. | Not available. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. | Restarts Oozie. |
| yarn-env | YARN 환경에서 값을 변경합니다. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. | Restarts Zeppelin. |
| zeppelin-site | zeppelin-site.xml에서 구성 설정을 변경합니다. | Restarts Zeppelin. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. | Restarts Zookeeper server. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. | Restarts Zookeeper server. |
# Amazon EMR 릴리스 5.32.1
## 5.32.1 애플리케이션 버전
이 릴리스에 포함된 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.32.1 | emr-5.32.0 | emr-5.31.1 | emr-5.31.0 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.890 | 1.11.890 | 1.11.852 | 1.11.852 |
| Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.11.2 | 1.11.2 | 1.11.0 | 1.11.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 |
| HCatalog | 2.3.7-amzn-3 | 2.3.7-amzn-3 | 2.3.7-amzn-1 | 2.3.7-amzn-1 |
| Hadoop | 2.10.1-amzn-0.1 | 2.10.1-amzn-0 | 2.10.0-amzn-0.1 | 2.10.0-amzn-0 |
| Hive | 2.3.7-amzn-3 | 2.3.7-amzn-3 | 2.3.7-amzn-1 | 2.3.7-amzn-1 |
| Hudi | 0.6.0-amzn-0 | 0.6.0-amzn-0 | 0.6.0-amzn-0 | 0.6.0-amzn-0 |
| Hue | 4.8.0 | 4.8.0 | 4.7.1 | 4.7.1 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | 2.1.0 | 2.1.0 | - | - |
| JupyterHub | 1.1.0 | 1.1.0 | 1.1.0 | 1.1.0 |
| Livy | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating |
| MXNet | 1.7.0 | 1.7.0 | 1.6.0 | 1.6.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.2.0 | 5.2.0 | 5.2.0 | 5.2.0 |
| Phoenix | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.240.1-amzn-0 | 0.240.1-amzn-0 | 0.238.3-amzn-0 | 0.238.3-amzn-0 |
| Spark | 2.4.7-amzn-0.1 | 2.4.7-amzn-0 | 2.4.6-amzn-0.1 | 2.4.6-amzn-0 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 2.3.1 | 2.3.1 | 2.1.0 | 2.1.0 |
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.2 | 0.8.2 | 0.8.2 | 0.8.2 |
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 |
## 5.32.1 릴리스 정보
이 릴리스는 Amazon EMR 조정에서 클러스터를 성공적으로 스케일 업 또는 스케일 다운하지 못하거나 애플리케이션 장애가 발생한 경우 이 기능과 관련된 문제를 수정하기 위한 릴리스입니다.
**변경 사항, 향상된 기능 및 해결된 문제**
+ Amazon EMR 클러스터 내 대몬(daemon)이 YARN 노드 상태 및 HDFS 노드 상태 수집과 같은 상태 확인 활동을 실행할 때 활용도가 높은 대규모 클러스터에 대한 조정 요청이 실패하는 문제를 수정했습니다. 이는 클러스터 내 대몬(daemon)이 내부 Amazon EMR 구성 요소로 노드의 상태 데이터를 전달할 수 없었기 때문에 발생했습니다.
+ 조정 작업 중에 신뢰성을 개선하기 위해 IP 주소를 재사용할 때 노드 상태를 올바르게 추적하도록 EMR 클러스터 내 대몬(daemon)을 개선했습니다.
+ [SPARK-29683](https://issues.apache.org/jira/browse/SPARK-29683). Spark에서는 사용 가능한 모든 노드가 거부 목록에 있다고 가정했기 때문에 클러스터 스케일 다운 중에 작업 실패가 발생하는 문제를 수정했습니다.
+ [YARN-9011](https://issues.apache.org/jira/browse/YARN-9011). 클러스터를 스케일 업하거나 스케일 다운하려고 할 때 YARN 서비스 해제의 경쟁 조건으로 인해 작업 실패가 발생하는 문제를 수정했습니다.
+ Amazon EMR 클러스터 내 대몬(daemon)과 YARN 및 HDFS 사이에서 노드 상태가 항상 일관되도록 보장함으로써 클러스터 조정 중 단계 또는 작업이 실패하는 문제를 수정했습니다.
+ Kerberos 인증으로 활성화된 Amazon EMR 클러스터에서 스케일 다운 및 단계 제출과 같은 클러스터 작업이 실패하는 문제를 수정했습니다. 이는 Amazon EMR 클러스터 내 대몬(daemon)이 프라이머리 노드에서 실행되는 HDFS 및 YARN과 안전하게 통신하는 데 필요한 Kerberos 티켓을 갱신하지 않았기 때문입니다.
+ 최신 Amazon EMR 릴리스에서는 Amazon EMR의 이전 AL2에서 더 낮은 '최대 열린 파일' 한도와 관련된 문제가 수정되었습니다. Amazon EMR 릴리스 5.30.1, 5.30.2, 5.31.1, 5.32.1, 6.0.1, 6.1.1, 6.2.1, 5.33.0, 6.3.0 이상에는 이제 더 높은 '최대 열린 파일' 설정을 포함한 영구적 수정 사항이 포함되어 있습니다.
+ 이제 Amazon Linux 리포지토리에서 HTTPS가 기본적으로 활성화됩니다. Amazon S3 VPCE 정책을 사용하여 특정 버킷에 대한 액세스를 제한하는 경우 새 Amazon Linux 버킷 ARN `arn:aws:s3:::amazonlinux-2-repos-$region/*`을 정책에 추가해야 합니다(`$region`을 엔드포인트가 있는 리전으로 바꿈). 자세한 내용은 AWS 토론 포럼에서이 주제를 참조하세요. [공지 사항: 이제 Amazon Linux 2는 패키지 리포지토리에 연결하는 동안 HTTPS를 사용하는 기능을 지원합니다](https://forums.aws.amazon.com/ann.jspa?annID=8528).
**알려진 문제**
+ Hive 파티션 위치 형식과 함께 Spark를 사용하여 Amazon S3의 데이터를 읽고, Amazon EMR 릴리스 5.30.0\$15.36.0 및 6.2.0\$16.9.0에서 Spark를 실행하는 경우 클러스터가 데이터를 제대로 읽지 못하는 문제가 발생할 수 있습니다. 파티션에 다음과 같은 특성이 모두 있는 경우 이러한 상황이 발생할 수 있습니다.
+ 둘 이상의 파티션이 동일한 테이블에서 스캔됩니다.
+ 하나 이상의 파티션 디렉터리 경로가 하나 이상의 다른 파티션 디렉터리 경로의 접두사입니다. 예를 들어 `s3://bucket/table/p=a`는 `s3://bucket/table/p=a b`의 접두사입니다.
+ 다른 파티션 디렉터리에서 접두사 뒤에 오는 첫 번째 문자의 UTF-8 값이 `/` 문자(U\$1002F)보다 작습니다. 예를 들어 `s3://bucket/table/p=a b`에서 a와 b 사이에 있는 공백 문자(U\$10020)가 이 카테고리에 속합니다. `!"#$%&‘()*+,-`와 같은 14개의 비제어 문자가 있습니다. 자세한 내용은 [UTF-8 인코딩 테이블 및 유니코드 문자](https://www.utf8-chartable.de/)를 참조하세요.
이 문제를 해결하려면 `spark-defaults` 분류에서 `spark.sql.sources.fastS3PartitionDiscovery.enabled` 구성을 `false`로 설정합니다.
## 5.32.1 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.4.1 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.16.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.13.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.5.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-notebook-env | 1.1.0 | Jupyter Enterprise Gateway가 포함된 EMR 노트북용 Conda 환경 |
| emr-s3-dist-cp | 2.17.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emr-s3-select | 1.6.0 | EMR S3Select 커넥터 |
| emrfs | 2.45.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.11.2 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| flink-jobmanager-config | 1.11.2 | Apache Flink JobManager에 대한 EMR 노드에서 리소스를 관리합니다. |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.10.1-amzn-0.1 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.10.1-amzn-0.1 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.10.1-amzn-0.1 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.10.1-amzn-0.1 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-hdfs-journalnode | 2.10.1-amzn-0.1 | HA 클러스터에서 하둡 파일 시스템 저널을 관리하기 위한 HDFS 서비스 |
| hadoop-httpfs-server | 2.10.1-amzn-0.1 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.10.1-amzn-0.1 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.10.1-amzn-0.1 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.10.1-amzn-0.1 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.10.1-amzn-0.1 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.10.1-amzn-0.1 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.4.13 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.4.13 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.4.13 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.4.13 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.4.13 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.3.7-amzn-3 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.7-amzn-3 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.7-amzn-3 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.7-amzn-3 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.7-amzn-3 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.7-amzn-3 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.7-amzn-3 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hudi | 0.6.0-amzn-0 | 짧은 지연 시간 및 높은 효율성으로 데이터 파이프라인을 구동하는 증분 처리 프레임워크. |
| hudi-spark | 0.6.0-amzn-0 | Hudi와 함께 Spark를 실행하기 위한 번들 라이브러리. |
| hudi-presto | 0.6.0-amzn-0 | Hudi로 Presto를 실행하기 위한 번들 라이브러리. |
| hue-server | 4.8.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| jupyterhub | 1.1.0 | Jupyter Notebook용 다중 사용자 서버 |
| livy-server | 0.7.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| nginx | 1.12.1 | HTTP인 nginx [engine x] 및 역방향 프록시 서버 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 1.7.0 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mariadb-server | 5.5.68 이상 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 10.1.243 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 5.2.0 | Oozie 명령줄 클라이언트 |
| oozie-server | 5.2.0 | Oozie 워크플로 요청을 수락하는 서비스 |
| opencv | 4.4.0 | 오픈 소스 컴퓨터 비전 라이브러리. |
| phoenix-library | 4.14.3-HBase-1.4 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.14.3-HBase-1.4 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.240.1-amzn-0 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.240.1-amzn-0 | 여러 쿼리를 실행하는 서비스. |
| presto-client | 0.240.1-amzn-0 | Presto 서버가 시작되지 않은 HA 클러스터의 대기 마스터에 설치된 Presto 명령줄 클라이언트. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| r | 3.4.3 | 통계 컴퓨팅용 R 프로젝트 |
| ranger-kms-server | 1.2.0 | Apache Ranger 키 관리 시스템 |
| spark-client | 2.4.7-amzn-0.1 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.4.7-amzn-0.1 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.4.7-amzn-0.1 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.4.7-amzn-0.1 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.7 | Apache Sqoop 명령줄 클라이언트. |
| tensorflow | 2.3.1 | TensorFlow는 고성능 수치 계산용 오픈 소스 소프트웨어 라이브러리입니다. |
| tez-on-yarn | 0.9.2 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.8.2 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.14 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.14 | ZooKeeper 명령줄 클라이언트. |
## 5.32.1 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
재구성 작업은 실행 중인 클러스터의 인스턴스 그룹에 대한 구성을 지정할 때 수행됩니다. Amazon EMR은 사용자가 수정한 분류에 대한 재구성 작업만 시작합니다. 자세한 내용은 [실행 중인 클러스터에서 인스턴스 그룹 재구성](emr-configure-apps-running-cluster.md) 단원을 참조하십시오.
**emr-5.32.1 분류**
| 분류 | 설명 | 재구성 작업 |
| --- | --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. | Restarts the ResourceManager service. |
| container-executor | Hadoop YARN container-executor.cfg 파일에서 값을 변경합니다. | Not available. |
| container-log4j | Hadoop YARN container-log4j.properties 파일에서 값을 변경합니다. | Not available. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. |
| docker-conf | Docker 관련 설정을 변경합니다. | Not available. |
| emrfs-site | EMRFS 설정을 변경합니다. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. | Restarts Flink history server. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. | Restarts Flink history server. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. | Not available. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. | Restarts Flink history server. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. | Not available. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. | Not available. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. |
| hbase-env | HBase 환경에서 값을 변경합니다. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. | Not available. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. | Should not be reconfigured. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. | Restarts Hive HCatalog Server. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. | Restarts Hive HCatalog Server. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. | Restarts Hive HCatalog Server. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. | Restarts Hive WebHCat Server. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. | Restarts Hive WebHCat Server. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. | Restarts Hive WebHCat Server. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. | Not available. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. | Not available. |
| hive-env | Hive 환경에서 값을 변경합니다. | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. | Restarts HiveServer2 and HiveMetastore. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. | Not available. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. | Not available. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. | Not available. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. | Restarts Hadoop Httpfs service. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. | Restarts Hadoop Httpfs service. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. | Not available. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. | Restarts Hadoop-KMS service. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. | Not available. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. | Restarts Hadoop-KMS and Ranger-KMS service. |
| hudi-env | Hudi 환경에서 값을 변경합니다. | Not available. |
| jupyter-notebook-conf | Jupyter Notebook jupyter\$1notebook\$1config.py 파일에서 값을 변경합니다. | Not available. |
| jupyter-hub-conf | JupyterHubs jupyterhub\$1config.py 파일에서 값을 변경합니다. | Not available. |
| jupyter-s3-conf | Jupyter Notebook S3 지속성 구성 | Not available. |
| jupyter-sparkmagic-conf | Sparkmagic config.json 파일에서 값을 변경합니다. | Not available. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. | Restarts Livy Server. |
| livy-env | Livy 환경에서 값을 변경합니다. | Restarts Livy Server. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. | Restarts Livy Server. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. | Restarts Hadoop MapReduce-HistoryServer. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. | Restarts Hadoop MapReduce-HistoryServer. |
| oozie-env | Oozie 환경에서 값을 변경합니다. | Restarts Oozie. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. | Restarts Oozie. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. | Restarts Oozie. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. | Not available. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. | Not available. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. | Restarts Phoenix-QueryServer. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. | Not available. |
| pig-env | Pig 환경에서 값을 변경합니다. | Not available. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. | Restarts Oozie. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. | Not available. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. | Restarts Presto-Server. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. | Restarts Presto-Server. |
| presto-password-authenticator | Presto password-authenticator.properties 파일에서 값을 변경합니다. | Not available. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. | Restarts Presto-Server. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. | Restarts Presto-Server. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-memory | Presto memory.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-redshift | Presto redshift.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-tpcds | Presto tpcds.properties 파일에서 값을 변경합니다. | Not available. |
| ranger-kms-dbks-site | Ranger KMS dbks-site.xml 파일에서 값을 변경합니다. | Restarts Ranger KMS Server. |
| ranger-kms-site | Ranger KMS ranger-kms-site.xml 파일에서 값을 변경합니다. | Restarts Ranger KMS Server. |
| ranger-kms-env | Ranger KMS 환경에서 값을 변경합니다. | Restarts Ranger KMS Server. |
| ranger-kms-log4j | Ranger KMS kms-log4j.properties 파일에서 값을 변경합니다. | Not available. |
| ranger-kms-db-ca | Ranger KMS와의 MySQL SSL 연결에서 CA 파일의 값을 변경합니다. | Not available. |
| recordserver-env | EMR RecordServer 환경에서 값을 변경합니다. | Restarts EMR record server. |
| recordserver-conf | EMR RecordServer erver.properties 파일에서 값을 변경합니다. | Restarts EMR record server. |
| recordserver-log4j | EMR RecordServer log4j.properties 파일에서 값을 변경합니다. | Restarts EMR record server. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. | This property modifies spark-defaults. See actions there. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. | Restarts Spark history server and Spark thrift server. |
| spark-env | Spark 환경에서 값을 변경합니다. | Restarts Spark history server and Spark thrift server. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. | Not available. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. | Restarts Spark history server and Spark thrift server. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. | Restarts Spark history server and Spark thrift server. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. | Not available. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. | Not available. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. | Not available. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. | Restarts Oozie. |
| yarn-env | YARN 환경에서 값을 변경합니다. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. | Restarts Zeppelin. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. | Restarts Zookeeper server. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. | Restarts Zookeeper server. |
# Amazon EMR 릴리스 5.32.0
## 5.32.0 애플리케이션 버전
이 릴리스에 포함된 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.32.0 | emr-5.31.1 | emr-5.31.0 | emr-5.30.2 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.890 | 1.11.852 | 1.11.852 | 1.11.759 |
| Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.11.2 | 1.11.0 | 1.11.0 | 1.10.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 |
| HCatalog | 2.3.7-amzn-3 | 2.3.7-amzn-1 | 2.3.7-amzn-1 | 2.3.6-amzn-2 |
| Hadoop | 2.10.1-amzn-0 | 2.10.0-amzn-0.1 | 2.10.0-amzn-0 | 2.8.5-amzn-6.1 |
| Hive | 2.3.7-amzn-3 | 2.3.7-amzn-1 | 2.3.7-amzn-1 | 2.3.6-amzn-2 |
| Hudi | 0.6.0-amzn-0 | 0.6.0-amzn-0 | 0.6.0-amzn-0 | 0.5.2-incubating |
| Hue | 4.8.0 | 4.7.1 | 4.7.1 | 4.6.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | 2.1.0 | - | - | - |
| JupyterHub | 1.1.0 | 1.1.0 | 1.1.0 | 1.1.0 |
| Livy | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating |
| MXNet | 1.7.0 | 1.6.0 | 1.6.0 | 1.5.1 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.2.0 | 5.2.0 | 5.2.0 | 5.2.0 |
| Phoenix | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.240.1-amzn-0 | 0.238.3-amzn-0 | 0.238.3-amzn-0 | 0.232 |
| Spark | 2.4.7-amzn-0 | 2.4.6-amzn-0.1 | 2.4.6-amzn-0 | 2.4.5-amzn-0.1 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 2.3.1 | 2.1.0 | 2.1.0 | 1.14.0 |
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.2 | 0.8.2 | 0.8.2 | 0.8.2 |
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 |
## 5.32.0 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.32.0에 대한 정보가 포함됩니다. 변경 사항은 5.31.0에 관련됩니다.
최초 릴리스 날짜: 2021년 1월 8일
**업그레이드**
+ Amazon Glue 커넥터를 버전 1.14.0으로 업그레이드함
+ Amazon SageMaker Spark SDK를 버전 1.4.1로 업그레이드함
+ 버전 1.11.890 AWS SDK for Java 으로 업그레이드됨
+ EMR DynamoDB Connector 버전 4.16.0을 업그레이드함
+ EMRFS를 버전 2.45.0으로 업그레이드함
+ EMR Log Analytics Metric을 버전 1.18.0으로 업그레이드함
+ EMR MetricsAndEventsApiGateway 클라이언트를 버전 1.5.0으로 업그레이드함
+ EMR Record Server를 버전 1.8.0으로 업그레이드함
+ EMR S3 Dist CP를 버전 2.17.0으로 업그레이드함
+ EMR Secret Agent를 버전 1.7.0으로 업그레이드함
+ Flink를 버전 1.11.2로 업그레이드함
+ Hadoop을 버전 2.10.1-amzn-0으로 업그레이드함
+ Hive를 버전 2.3.7-amzn-3으로 업그레이드함
+ Hue를 버전 4.8.0으로 업그레이드함
+ Mxnet을 버전 1.7.0으로 업그레이드함
+ OpenCV를 버전 4.4.0으로 업그레이드함
+ Presto를 버전 0.240.1-amzn-0으로 업그레이드함
+ Spark를 버전 2.4.7-amzn-0으로 업그레이드함
+ TensorFlow를 버전 2.3.1로 업그레이드함
**변경 사항, 향상된 기능 및 해결된 문제**
+ 이 릴리스는 Amazon EMR 조정에서 클러스터를 성공적으로 스케일 업 또는 스케일 다운하지 못하거나 애플리케이션 장애가 발생한 경우 이 기능과 관련된 문제를 수정하기 위한 릴리스입니다.
+ Amazon EMR 클러스터 내 대몬(daemon)이 YARN 노드 상태 및 HDFS 노드 상태 수집과 같은 상태 확인 활동을 실행할 때 활용도가 높은 대규모 클러스터에 대한 조정 요청이 실패하는 문제를 수정했습니다. 이는 클러스터 내 대몬(daemon)이 내부 Amazon EMR 구성 요소로 노드의 상태 데이터를 전달할 수 없었기 때문에 발생했습니다.
+ 조정 작업 중에 신뢰성을 개선하기 위해 IP 주소를 재사용할 때 노드 상태를 올바르게 추적하도록 EMR 클러스터 내 대몬(daemon)을 개선했습니다.
+ [SPARK-29683](https://issues.apache.org/jira/browse/SPARK-29683). Spark에서는 사용 가능한 모든 노드가 거부 목록에 있다고 가정했기 때문에 클러스터 스케일 다운 중에 작업 실패가 발생하는 문제를 수정했습니다.
+ [YARN-9011](https://issues.apache.org/jira/browse/YARN-9011). 클러스터를 스케일 업하거나 스케일 다운하려고 할 때 YARN 서비스 해제의 경쟁 조건으로 인해 작업 실패가 발생하는 문제를 수정했습니다.
+ Amazon EMR 클러스터 내 대몬(daemon)과 YARN 및 HDFS 사이에서 노드 상태가 항상 일관되도록 보장함으로써 클러스터 조정 중 단계 또는 작업이 실패하는 문제를 수정했습니다.
+ Kerberos 인증으로 활성화된 Amazon EMR 클러스터에서 스케일 다운 및 단계 제출과 같은 클러스터 작업이 실패하는 문제를 수정했습니다. 이는 Amazon EMR 클러스터 내 대몬(daemon)이 프라이머리 노드에서 실행되는 HDFS 및 YARN과 안전하게 통신하는 데 필요한 Kerberos 티켓을 갱신하지 않았기 때문입니다.
+ 최신 Amazon EMR 릴리스에서는 Amazon EMR의 이전 AL2에서 더 낮은 '최대 열린 파일' 한도와 관련된 문제가 수정되었습니다. Amazon EMR 릴리스 5.30.1, 5.30.2, 5.31.1, 5.32.1, 6.0.1, 6.1.1, 6.2.1, 5.33.0, 6.3.0 이상에는 이제 더 높은 '최대 열린 파일' 설정을 포함한 영구적 수정 사항이 포함되어 있습니다.
+ 업그레이드된 구성 요소 버전.
+ 구성 요소 버전 목록은 이 안내서에서 [Amazon EMR 릴리스 정보](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-release-components.html)를 참조하세요.
**새로운 기능**
+ Amazon EMR 5.32.0 및 6.5.0부터 Apache Spark의 동적 실행기 크기 조정이 기본적으로 활성화됩니다. 이 기능을 켜거나 끄기 위해 `spark.yarn.heterogeneousExecutors.enabled` 구성 파라미터를 사용할 수 있습니다.
+ 인스턴스 메타데이터 서비스(IMDS) V2 지원 상태: Amazon EMR 5.23.1, 5.27.1 및 5.32 이상의 구성 요소는 모든 IMDS 직접 호출에 IMDSv2를 사용합니다. 애플리케이션 코드에서 IMDS를 직접 호출하는 경우, IMDSv1 및 IMDSv2를 모두 사용하거나, 추가 보안을 위해 IMDSv2만 사용하도록 IMDS를 구성할 수 있습니다. 다른 5.x EMR 릴리스의 경우 IMDSv1을 비활성화하면 클러스터 시작 오류가 발생합니다.
+ Amazon EMR 5.32.0부터 Apache Ranger와 기본적으로 통합되는 클러스터를 시작할 수 있습니다. Apache Ranger는 Hadoop 플랫폼 전반에서 포괄적인 데이터 보안을 지원, 모니터링 및 관리할 수 있는 오픈 소스 프레임워크입니다. 자세한 내용은 [Apache Ranger](https://ranger.apache.org/)를 참조하세요. 기본 통합을 통해 자체 Apache Ranger를 이용해 Amazon EMR에서 세분화된 데이터 액세스 제어를 적용할 수 있습니다. *Amazon EMR 릴리스 안내서*에서 [Amazon EMR과 Apache Ranger 통합](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-ranger.html)을 참조하세요.
+ Amazon EMR 릴리스 5.32.0은 Amazon EMR on EKS를 지원합니다. EMR on EKS를 시작하는 방법에 대한 자세한 내용은 [Amazon EMR on EKS란 무엇인가요?](https://docs.aws.amazon.com/emr/latest/EMR-on-EKS-DevelopmentGuide/emr-eks.html)를 참조하세요.
+ Amazon EMR 릴리스 5.32.0은 Amazon EMR Studio(평가판)를 지원합니다. EMR Studio를 시작하는 방법에 대한 자세한 내용은 [Amazon EMR Studio(평가판)](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-studio.html)을 참조하세요.
+ 범위가 지정된 관리형 정책: AWS 모범 사례에 맞게 Amazon EMR은 더 이상 사용되지 않을 정책을 대체하기 위해 v2 EMR 범위 기본 관리형 정책을 도입했습니다. [Amazon EMR 관리형 정책](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-managed-iam-policies.html)을 참조하세요.
**알려진 문제**
+ Amazon EMR 6.3.0 및 6.2.0 프라이빗 서브넷 클러스터의 경우 Ganglia 웹 UI에 액세스할 수 없습니다. '액세스 거부됨(403)' 오류가 발생합니다. Spark, Hue, JupyterHub, Zeppelin, Livy, Tez와 같은 다른 웹 UI는 정상적으로 작동합니다. 퍼블릭 서브넷 클러스터에서 Ganglia 웹 UI 액세스도 정상적으로 작동합니다. 이 문제를 해결하려면 `sudo systemctl restart httpd`를 사용하여 프라이머리 노드에서 httpd 서비스를 다시 시작합니다. 이 문제는 Amazon EMR 6.4.0에서 수정되었습니다.
+ **이전 AL2에서 더 낮은 '최대 열린 파일' 한도[최신 릴리스에서 수정됨].** Amazon EMR 릴리스: emr-5.30.x, emr-5.31.0, emr-5.32.0, emr-6.0.0, emr-6.1.0, emr-6.2.0은 Amazon Linux 2(AL2)의 이전 버전에 기반합니다. 이전 버전에서는 Amazon EMR 클러스터가 기본 AMI에서 생성되는 경우 '최대 열린 파일'에 대한 ulimit 설정이 더 낮습니다. Amazon EMR 릴리스 5.30.1, 5.30.2, 5.31.1, 5.32.1, 6.0.1, 6.1.1, 6.2.1, 5.33.0, 6.3.0 이상에는 더 높은 '최대 열린 파일' 설정을 포함한 영구적 수정 사항이 포함되어 있습니다. 열린 파일 한도가 낮은 릴리스의 경우 Spark 작업을 제출할 때 'Too many open files' 오류가 발생합니다. 영향을 받는 릴리스에서 Amazon EMR 기본 AMI의 '최대 열린 파일'에 대한 기본 ulimit 설정은 4,096개이며, 이는 최신 Amazon Linux 2 AMI의 65,536개 파일 제한보다 낮습니다. '최대 열린 파일'에 대한 더 낮은 ulimit 설정을 사용하면 Spark 드라이버와 실행기가 4,096개가 넘는 파일을 열려고 할 때 Spark 작업이 실패합니다. 이 문제를 해결하기 위해 Amazon EMR에는 클러스터 생성 시 ulimit 설정을 조정하는 부트스트랩 작업(BA) 스크립트가 있습니다.
이 문제에 대한 영구 수정 사항이 포함되지 않은 이전 Amazon EMR 버전을 사용하는 경우 다음 해결 방법을 통해 instance-controller ulimit를 최대 65,536개의 파일로 명시적으로 설정할 수 있습니다.
**명령줄에서 ulimit를 명시적으로 설정합니다.**
1. `/etc/systemd/system/instance-controller.service`를 편집하여 Service 섹션에 다음 파라미터를 추가합니다.
`LimitNOFILE=65536`
`LimitNPROC=65536`
1. InstanceController 다시 시작
`$ sudo systemctl daemon-reload`
`$ sudo systemctl restart instance-controller`
**부트스트랩 작업(BA)을 사용하여 ulimit 설정**
클러스터 생성 시 부트스트랩 작업(BA) 스크립트를 사용하여 instance-controller ulimit를 65,536개 파일로 구성할 수도 있습니다.
```
#!/bin/bash
for user in hadoop spark hive; do
sudo tee /etc/security/limits.d/$user.conf << EOF
$user - nofile 65536
$user - nproc 65536
EOF
done
for proc in instancecontroller logpusher; do
sudo mkdir -p /etc/systemd/system/$proc.service.d/
sudo tee /etc/systemd/system/$proc.service.d/override.conf << EOF
[Service]
LimitNOFILE=65536
LimitNPROC=65536
EOF
pid=$(pgrep -f aws157.$proc.Main)
sudo prlimit --pid $pid --nofile=65535:65535 --nproc=65535:65535
done
sudo systemctl daemon-reload
```
+
**중요**
Amazon Linux 또는 Amazon Linux 2 Amazon Machine Image(AMI)를 실행하는 EMR 클러스터는 기본 Amazon Linux 동작을 사용하며, 재부팅이 필요한 중요한 핵심 커널 업데이트를 자동으로 다운로드하여 설치하지는 않습니다. 이는 기본 Amazon Linux AMI를 실행하는 다른 Amazon EC2 인스턴스와 동일한 동작입니다. Amazon EMR 릴리스가 출시된 후 재부팅이 필요한 새로운 Amazon Linux 소프트웨어 업데이트(예: 커널, NVIDIA, CUDA 업데이트)를 사용할 수 있게 되면 기본 AMI를 실행하는 EMR 클러스터 인스턴스는 해당 업데이트를 자동으로 다운로드하여 설치하지 않습니다. 커널 업데이트를 받으려면 [최신 Amazon Linux AMI를 사용](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/finding-an-ami.html)하도록 [Amazon EMR AMI를 사용자 지정](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-custom-ami.html)할 수 있습니다.
+ AWS Ranger 통합 옵션을 지정하는 보안 구성을 생성하는 콘솔 지원은 현재 GovCloud 리전에서 지원되지 않습니다. 보안 구성은 CLI를 사용하여 수행할 수 있습니다. *Amazon EMR 관리 안내서*에서 [EMR 보안 구성 생성](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-ranger-security-config.html)을 참조하세요.
+ Amazon EMR 5.31.0 또는 5.32.0을 사용하는 클러스터에서 AtRestEncryption 또는 HDFS 암호화를 활성화하면 Hive 쿼리에서 다음과 같은 런타임 예외가 발생합니다.
```
TaskAttempt 3 failed, info=[Error: Error while running task ( failure ) : attempt_1604112648850_0001_1_01_000000_3:java.lang.RuntimeException: java.lang.RuntimeException: Hive Runtime Error while closing operators: java.io.IOException: java.util.ServiceConfigurationError: org.apache.hadoop.security.token.TokenIdentifier: Provider org.apache.hadoop.hbase.security.token.AuthenticationTokenIdentifier not found
```
+ Hive 파티션 위치 형식과 함께 Spark를 사용하여 Amazon S3의 데이터를 읽고, Amazon EMR 릴리스 5.30.0\$15.36.0 및 6.2.0\$16.9.0에서 Spark를 실행하는 경우 클러스터가 데이터를 제대로 읽지 못하는 문제가 발생할 수 있습니다. 파티션에 다음과 같은 특성이 모두 있는 경우 이러한 상황이 발생할 수 있습니다.
+ 둘 이상의 파티션이 동일한 테이블에서 스캔됩니다.
+ 하나 이상의 파티션 디렉터리 경로가 하나 이상의 다른 파티션 디렉터리 경로의 접두사입니다. 예를 들어 `s3://bucket/table/p=a`는 `s3://bucket/table/p=a b`의 접두사입니다.
+ 다른 파티션 디렉터리에서 접두사 뒤에 오는 첫 번째 문자의 UTF-8 값이 `/` 문자(U\$1002F)보다 작습니다. 예를 들어 `s3://bucket/table/p=a b`에서 a와 b 사이에 있는 공백 문자(U\$10020)가 이 카테고리에 속합니다. `!"#$%&‘()*+,-`와 같은 14개의 비제어 문자가 있습니다. 자세한 내용은 [UTF-8 인코딩 테이블 및 유니코드 문자](https://www.utf8-chartable.de/)를 참조하세요.
이 문제를 해결하려면 `spark-defaults` 분류에서 `spark.sql.sources.fastS3PartitionDiscovery.enabled` 구성을 `false`로 설정합니다.
## 5.32.0 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.4.1 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.16.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.13.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.5.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-notebook-env | 1.1.0 | Jupyter Enterprise Gateway가 포함된 EMR 노트북용 Conda 환경 |
| emr-s3-dist-cp | 2.17.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emr-s3-select | 1.6.0 | EMR S3Select 커넥터 |
| emrfs | 2.45.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.11.2 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| flink-jobmanager-config | 1.11.2 | Apache Flink JobManager에 대한 EMR 노드에서 리소스를 관리합니다. |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.10.1-amzn-0 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.10.1-amzn-0 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.10.1-amzn-0 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.10.1-amzn-0 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-hdfs-journalnode | 2.10.1-amzn-0 | HA 클러스터에서 하둡 파일 시스템 저널을 관리하기 위한 HDFS 서비스 |
| hadoop-httpfs-server | 2.10.1-amzn-0 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.10.1-amzn-0 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.10.1-amzn-0 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.10.1-amzn-0 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.10.1-amzn-0 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.10.1-amzn-0 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.4.13 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.4.13 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.4.13 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.4.13 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.4.13 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.3.7-amzn-3 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.7-amzn-3 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.7-amzn-3 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.7-amzn-3 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.7-amzn-3 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.7-amzn-3 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.7-amzn-3 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hudi | 0.6.0-amzn-0 | 짧은 지연 시간 및 높은 효율성으로 데이터 파이프라인을 구동하는 증분 처리 프레임워크. |
| hudi-spark | 0.6.0-amzn-0 | Hudi와 함께 Spark를 실행하기 위한 번들 라이브러리. |
| hudi-presto | 0.6.0-amzn-0 | Hudi로 Presto를 실행하기 위한 번들 라이브러리. |
| hue-server | 4.8.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| jupyterhub | 1.1.0 | Jupyter Notebook용 다중 사용자 서버 |
| livy-server | 0.7.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| nginx | 1.12.1 | HTTP인 nginx [engine x] 및 역방향 프록시 서버 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 1.7.0 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mariadb-server | 5.5.68 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 10.1.243 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 5.2.0 | Oozie 명령줄 클라이언트 |
| oozie-server | 5.2.0 | Oozie 워크플로 요청을 수락하는 서비스 |
| opencv | 4.4.0 | 오픈 소스 컴퓨터 비전 라이브러리. |
| phoenix-library | 4.14.3-HBase-1.4 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.14.3-HBase-1.4 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.240.1-amzn-0 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.240.1-amzn-0 | 여러 쿼리를 실행하는 서비스. |
| presto-client | 0.240.1-amzn-0 | Presto 서버가 시작되지 않은 HA 클러스터의 대기 마스터에 설치된 Presto 명령줄 클라이언트. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| r | 3.4.3 | 통계 컴퓨팅용 R 프로젝트 |
| ranger-kms-server | 1.2.0 | Apache Ranger 키 관리 시스템 |
| spark-client | 2.4.7-amzn-0 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.4.7-amzn-0 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.4.7-amzn-0 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.4.7-amzn-0 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.7 | Apache Sqoop 명령줄 클라이언트. |
| tensorflow | 2.3.1 | TensorFlow는 고성능 수치 계산용 오픈 소스 소프트웨어 라이브러리입니다. |
| tez-on-yarn | 0.9.2 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.8.2 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.14 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.14 | ZooKeeper 명령줄 클라이언트. |
## 5.32.0 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
재구성 작업은 실행 중인 클러스터의 인스턴스 그룹에 대한 구성을 지정할 때 수행됩니다. Amazon EMR은 사용자가 수정한 분류에 대한 재구성 작업만 시작합니다. 자세한 내용은 [실행 중인 클러스터에서 인스턴스 그룹 재구성](emr-configure-apps-running-cluster.md) 단원을 참조하십시오.
**emr-5.32.0 분류**
| 분류 | 설명 | 재구성 작업 |
| --- | --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. | Restarts the ResourceManager service. |
| container-executor | Hadoop YARN container-executor.cfg 파일에서 값을 변경합니다. | Not available. |
| container-log4j | Hadoop YARN container-log4j.properties 파일에서 값을 변경합니다. | Not available. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. |
| docker-conf | Docker 관련 설정을 변경합니다. | Not available. |
| emrfs-site | EMRFS 설정을 변경합니다. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. | Restarts Flink history server. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. | Restarts Flink history server. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. | Not available. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. | Restarts Flink history server. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. | Not available. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. | Not available. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. |
| hbase-env | HBase 환경에서 값을 변경합니다. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. | Not available. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. | Should not be reconfigured. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. | Restarts Hive HCatalog Server. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. | Restarts Hive HCatalog Server. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. | Restarts Hive HCatalog Server. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. | Restarts Hive WebHCat Server. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. | Restarts Hive WebHCat Server. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. | Restarts Hive WebHCat Server. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. | Not available. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. | Not available. |
| hive-env | Hive 환경에서 값을 변경합니다. | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. | Restarts HiveServer2 and HiveMetastore. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. | Not available. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. | Not available. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. | Not available. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. | Restarts Hadoop Httpfs service. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. | Restarts Hadoop Httpfs service. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. | Not available. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. | Restarts Hadoop-KMS service. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. | Not available. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. | Restarts Hadoop-KMS and Ranger-KMS service. |
| hudi-env | Hudi 환경에서 값을 변경합니다. | Not available. |
| jupyter-notebook-conf | Jupyter Notebook jupyter\$1notebook\$1config.py 파일에서 값을 변경합니다. | Not available. |
| jupyter-hub-conf | JupyterHubs jupyterhub\$1config.py 파일에서 값을 변경합니다. | Not available. |
| jupyter-s3-conf | Jupyter Notebook S3 지속성 구성 | Not available. |
| jupyter-sparkmagic-conf | Sparkmagic config.json 파일에서 값을 변경합니다. | Not available. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. | Restarts Livy Server. |
| livy-env | Livy 환경에서 값을 변경합니다. | Restarts Livy Server. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. | Restarts Livy Server. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. | Restarts Hadoop MapReduce-HistoryServer. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. | Restarts Hadoop MapReduce-HistoryServer. |
| oozie-env | Oozie 환경에서 값을 변경합니다. | Restarts Oozie. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. | Restarts Oozie. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. | Restarts Oozie. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. | Not available. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. | Not available. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. | Restarts Phoenix-QueryServer. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. | Not available. |
| pig-env | Pig 환경에서 값을 변경합니다. | Not available. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. | Restarts Oozie. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. | Not available. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. | Restarts Presto-Server. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. | Restarts Presto-Server. |
| presto-password-authenticator | Presto password-authenticator.properties 파일에서 값을 변경합니다. | Not available. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. | Restarts Presto-Server. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. | Restarts Presto-Server. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-memory | Presto memory.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-redshift | Presto redshift.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. | Not available. |
| presto-connector-tpcds | Presto tpcds.properties 파일에서 값을 변경합니다. | Not available. |
| ranger-kms-dbks-site | Ranger KMS dbks-site.xml 파일에서 값을 변경합니다. | Restarts Ranger KMS Server. |
| ranger-kms-site | Ranger KMS ranger-kms-site.xml 파일에서 값을 변경합니다. | Restarts Ranger KMS Server. |
| ranger-kms-env | Ranger KMS 환경에서 값을 변경합니다. | Restarts Ranger KMS Server. |
| ranger-kms-log4j | Ranger KMS kms-log4j.properties 파일에서 값을 변경합니다. | Not available. |
| ranger-kms-db-ca | Ranger KMS와의 MySQL SSL 연결에서 CA 파일의 값을 변경합니다. | Not available. |
| recordserver-env | EMR RecordServer 환경에서 값을 변경합니다. | Restarts EMR record server. |
| recordserver-conf | EMR RecordServer erver.properties 파일에서 값을 변경합니다. | Restarts EMR record server. |
| recordserver-log4j | EMR RecordServer log4j.properties 파일에서 값을 변경합니다. | Restarts EMR record server. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. | This property modifies spark-defaults. See actions there. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. | Restarts Spark history server and Spark thrift server. |
| spark-env | Spark 환경에서 값을 변경합니다. | Restarts Spark history server and Spark thrift server. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. | Not available. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. | Restarts Spark history server and Spark thrift server. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. | Restarts Spark history server and Spark thrift server. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. | Not available. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. | Not available. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. | Not available. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. | Restarts Oozie. |
| yarn-env | YARN 환경에서 값을 변경합니다. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. | Restarts Zeppelin. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. | Restarts Zookeeper server. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. | Restarts Zookeeper server. |
# Amazon EMR 릴리스 5.31.1
## 5.31.1 애플리케이션 버전
이 릴리스에 포함된 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.31.1 | emr-5.31.0 | emr-5.30.2 | emr-5.30.1 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.852 | 1.11.852 | 1.11.759 | 1.11.759 |
| Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.11.0 | 1.11.0 | 1.10.0 | 1.10.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 |
| HCatalog | 2.3.7-amzn-1 | 2.3.7-amzn-1 | 2.3.6-amzn-2 | 2.3.6-amzn-2 |
| Hadoop | 2.10.0-amzn-0.1 | 2.10.0-amzn-0 | 2.8.5-amzn-6.1 | 2.8.5-amzn-6 |
| Hive | 2.3.7-amzn-1 | 2.3.7-amzn-1 | 2.3.6-amzn-2 | 2.3.6-amzn-2 |
| Hudi | 0.6.0-amzn-0 | 0.6.0-amzn-0 | 0.5.2-incubating | 0.5.2-incubating |
| Hue | 4.7.1 | 4.7.1 | 4.6.0 | 4.6.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 1.1.0 | 1.1.0 | 1.1.0 | 1.1.0 |
| Livy | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating |
| MXNet | 1.6.0 | 1.6.0 | 1.5.1 | 1.5.1 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.2.0 | 5.2.0 | 5.2.0 | 5.2.0 |
| Phoenix | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.238.3-amzn-0 | 0.238.3-amzn-0 | 0.232 | 0.232 |
| Spark | 2.4.6-amzn-0.1 | 2.4.6-amzn-0 | 2.4.5-amzn-0.1 | 2.4.5-amzn-0 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 2.1.0 | 2.1.0 | 1.14.0 | 1.14.0 |
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.2 | 0.8.2 | 0.8.2 | 0.8.2 |
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 |
## 5.31.1 릴리스 정보
이 릴리스는 Amazon EMR 조정에서 클러스터를 성공적으로 스케일 업 또는 스케일 다운하지 못하거나 애플리케이션 장애가 발생한 경우 이 기능과 관련된 문제를 수정하기 위한 릴리스입니다.
**변경 사항, 향상된 기능 및 해결된 문제**
+ Amazon EMR 클러스터 내 대몬(daemon)이 YARN 노드 상태 및 HDFS 노드 상태 수집과 같은 상태 확인 활동을 실행할 때 활용도가 높은 대규모 클러스터에 대한 조정 요청이 실패하는 문제를 수정했습니다. 이는 클러스터 내 대몬(daemon)이 내부 Amazon EMR 구성 요소로 노드의 상태 데이터를 전달할 수 없었기 때문에 발생했습니다.
+ 조정 작업 중에 신뢰성을 개선하기 위해 IP 주소를 재사용할 때 노드 상태를 올바르게 추적하도록 EMR 클러스터 내 대몬(daemon)을 개선했습니다.
+ [SPARK-29683](https://issues.apache.org/jira/browse/SPARK-29683). Spark에서는 사용 가능한 모든 노드가 거부 목록에 있다고 가정했기 때문에 클러스터 스케일 다운 중에 작업 실패가 발생하는 문제를 수정했습니다.
+ [YARN-9011](https://issues.apache.org/jira/browse/YARN-9011). 클러스터를 스케일 업하거나 스케일 다운하려고 할 때 YARN 서비스 해제의 경쟁 조건으로 인해 작업 실패가 발생하는 문제를 수정했습니다.
+ Amazon EMR 클러스터 내 대몬(daemon)과 YARN 및 HDFS 사이에서 노드 상태가 항상 일관되도록 보장함으로써 클러스터 조정 중 단계 또는 작업이 실패하는 문제를 수정했습니다.
+ Kerberos 인증으로 활성화된 Amazon EMR 클러스터에서 스케일 다운 및 단계 제출과 같은 클러스터 작업이 실패하는 문제를 수정했습니다. 이는 Amazon EMR 클러스터 내 대몬(daemon)이 프라이머리 노드에서 실행되는 HDFS 및 YARN과 안전하게 통신하는 데 필요한 Kerberos 티켓을 갱신하지 않았기 때문입니다.
+ 최신 Amazon EMR 릴리스에서는 Amazon EMR의 이전 AL2에서 더 낮은 '최대 열린 파일' 한도와 관련된 문제가 수정되었습니다. Amazon EMR 릴리스 5.30.1, 5.30.2, 5.31.1, 5.32.1, 6.0.1, 6.1.1, 6.2.1, 5.33.0, 6.3.0 이상에는 이제 더 높은 '최대 열린 파일' 설정을 포함한 영구적 수정 사항이 포함되어 있습니다.
+ 이제 Amazon Linux 리포지토리에서 HTTPS가 기본적으로 활성화됩니다. Amazon S3 VPCE 정책을 사용하여 특정 버킷에 대한 액세스를 제한하는 경우 새 Amazon Linux 버킷 ARN `arn:aws:s3:::amazonlinux-2-repos-$region/*`을 정책에 추가해야 합니다(`$region`을 엔드포인트가 있는 리전으로 바꿈). 자세한 내용은 AWS 토론 포럼에서이 주제를 참조하세요. [공지 사항: 이제 Amazon Linux 2는 패키지 리포지토리에 연결하는 동안 HTTPS를 사용하는 기능을 지원합니다](https://forums.aws.amazon.com/ann.jspa?annID=8528).
**알려진 문제**
+ Hive 파티션 위치 형식과 함께 Spark를 사용하여 Amazon S3의 데이터를 읽고, Amazon EMR 릴리스 5.30.0\$15.36.0 및 6.2.0\$16.9.0에서 Spark를 실행하는 경우 클러스터가 데이터를 제대로 읽지 못하는 문제가 발생할 수 있습니다. 파티션에 다음과 같은 특성이 모두 있는 경우 이러한 상황이 발생할 수 있습니다.
+ 둘 이상의 파티션이 동일한 테이블에서 스캔됩니다.
+ 하나 이상의 파티션 디렉터리 경로가 하나 이상의 다른 파티션 디렉터리 경로의 접두사입니다. 예를 들어 `s3://bucket/table/p=a`는 `s3://bucket/table/p=a b`의 접두사입니다.
+ 다른 파티션 디렉터리에서 접두사 뒤에 오는 첫 번째 문자의 UTF-8 값이 `/` 문자(U\$1002F)보다 작습니다. 예를 들어 `s3://bucket/table/p=a b`에서 a와 b 사이에 있는 공백 문자(U\$10020)가 이 카테고리에 속합니다. `!"#$%&‘()*+,-`와 같은 14개의 비제어 문자가 있습니다. 자세한 내용은 [UTF-8 인코딩 테이블 및 유니코드 문자](https://www.utf8-chartable.de/)를 참조하세요.
이 문제를 해결하려면 `spark-defaults` 분류에서 `spark.sql.sources.fastS3PartitionDiscovery.enabled` 구성을 `false`로 설정합니다.
## 5.31.1 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.4.0 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.15.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.13.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.5.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.15.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emr-s3-select | 1.6.0 | EMR S3Select 커넥터 |
| emrfs | 2.43.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.11.0 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| flink-jobmanager-config | 1.11.0 | Apache Flink JobManager에 대한 EMR 노드에서 리소스를 관리합니다. |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.10.0-amzn-0.1 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.10.0-amzn-0.1 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.10.0-amzn-0.1 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.10.0-amzn-0.1 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-hdfs-journalnode | 2.10.0-amzn-0.1 | HA 클러스터에서 하둡 파일 시스템 저널을 관리하기 위한 HDFS 서비스 |
| hadoop-httpfs-server | 2.10.0-amzn-0.1 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.10.0-amzn-0.1 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.10.0-amzn-0.1 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.10.0-amzn-0.1 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.10.0-amzn-0.1 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.10.0-amzn-0.1 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.4.13 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.4.13 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.4.13 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.4.13 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.4.13 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.3.7-amzn-1 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.7-amzn-1 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.7-amzn-1 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.7-amzn-1 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.7-amzn-1 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.7-amzn-1 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.7-amzn-1 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hudi | 0.6.0-amzn-0 | 짧은 지연 시간 및 높은 효율성으로 데이터 파이프라인을 구동하는 증분 처리 프레임워크. |
| hudi-spark | 0.6.0-amzn-0 | Hudi와 함께 Spark를 실행하기 위한 번들 라이브러리. |
| hudi-presto | 0.6.0-amzn-0 | Hudi로 Presto를 실행하기 위한 번들 라이브러리. |
| hue-server | 4.7.1 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| jupyterhub | 1.1.0 | Jupyter Notebook용 다중 사용자 서버 |
| livy-server | 0.7.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| nginx | 1.12.1 | HTTP인 nginx [engine x] 및 역방향 프록시 서버 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 1.6.0 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mariadb-server | 5.5.64 이상 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 9.2.88 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 5.2.0 | Oozie 명령줄 클라이언트 |
| oozie-server | 5.2.0 | Oozie 워크플로 요청을 수락하는 서비스 |
| opencv | 4.3.0 | 오픈 소스 컴퓨터 비전 라이브러리. |
| phoenix-library | 4.14.3-HBase-1.4 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.14.3-HBase-1.4 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.238.3-amzn-0 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.238.3-amzn-0 | 여러 쿼리를 실행하는 서비스. |
| presto-client | 0.238.3-amzn-0 | Presto 서버가 시작되지 않은 HA 클러스터의 대기 마스터에 설치된 Presto 명령줄 클라이언트. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| r | 3.4.3 | 통계 컴퓨팅용 R 프로젝트 |
| ranger-kms-server | 1.2.0 | Apache Ranger 키 관리 시스템 |
| spark-client | 2.4.6-amzn-0.1 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.4.6-amzn-0.1 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.4.6-amzn-0.1 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.4.6-amzn-0.1 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.7 | Apache Sqoop 명령줄 클라이언트. |
| tensorflow | 2.1.0 | TensorFlow는 고성능 수치 계산용 오픈 소스 소프트웨어 라이브러리입니다. |
| tez-on-yarn | 0.9.2 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.8.2 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.14 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.14 | ZooKeeper 명령줄 클라이언트. |
## 5.31.1 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.31.1 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| container-log4j | Hadoop YARN container-log4j.properties 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| hudi-env | Hudi 환경에서 값을 변경합니다. |
| jupyter-notebook-conf | Jupyter Notebook jupyter\$1notebook\$1config.py 파일에서 값을 변경합니다. |
| jupyter-hub-conf | JupyterHubs jupyterhub\$1config.py 파일에서 값을 변경합니다. |
| jupyter-s3-conf | Jupyter Notebook S3 지속성 구성 |
| jupyter-sparkmagic-conf | Sparkmagic config.json 파일에서 값을 변경합니다. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. |
| livy-env | Livy 환경에서 값을 변경합니다. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-env | Pig 환경에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-password-authenticator | Presto password-authenticator.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-memory | Presto memory.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-redshift | Presto redshift.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| presto-connector-tpcds | Presto tpcds.properties 파일에서 값을 변경합니다. |
| ranger-kms-dbks-site | Ranger KMS dbks-site.xml 파일에서 값을 변경합니다. |
| ranger-kms-site | Ranger KMS ranger-kms-site.xml 파일에서 값을 변경합니다. |
| ranger-kms-env | Ranger KMS 환경에서 값을 변경합니다. |
| ranger-kms-log4j | Ranger KMS kms-log4j.properties 파일에서 값을 변경합니다. |
| ranger-kms-db-ca | Ranger KMS와의 MySQL SSL 연결에서 CA 파일의 값을 변경합니다. |
| recordserver-env | EMR RecordServer 환경에서 값을 변경합니다. |
| recordserver-conf | EMR RecordServer erver.properties 파일에서 값을 변경합니다. |
| recordserver-log4j | EMR RecordServer log4j.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.31.0
## 5.31.0 애플리케이션 버전
이 릴리스에 포함된 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.31.0 | emr-5.30.2 | emr-5.30.1 | emr-5.30.0 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.852 | 1.11.759 | 1.11.759 | 1.11.759 |
| Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.11.0 | 1.10.0 | 1.10.0 | 1.10.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 |
| HCatalog | 2.3.7-amzn-1 | 2.3.6-amzn-2 | 2.3.6-amzn-2 | 2.3.6-amzn-2 |
| Hadoop | 2.10.0-amzn-0 | 2.8.5-amzn-6.1 | 2.8.5-amzn-6 | 2.8.5-amzn-6 |
| Hive | 2.3.7-amzn-1 | 2.3.6-amzn-2 | 2.3.6-amzn-2 | 2.3.6-amzn-2 |
| Hudi | 0.6.0-amzn-0 | 0.5.2-incubating | 0.5.2-incubating | 0.5.2-incubating |
| Hue | 4.7.1 | 4.6.0 | 4.6.0 | 4.6.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 1.1.0 | 1.1.0 | 1.1.0 | 1.1.0 |
| Livy | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating |
| MXNet | 1.6.0 | 1.5.1 | 1.5.1 | 1.5.1 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.2.0 | 5.2.0 | 5.2.0 | 5.2.0 |
| Phoenix | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.238.3-amzn-0 | 0.232 | 0.232 | 0.232 |
| Spark | 2.4.6-amzn-0 | 2.4.5-amzn-0.1 | 2.4.5-amzn-0 | 2.4.5-amzn-0 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 2.1.0 | 1.14.0 | 1.14.0 | 1.14.0 |
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.2 | 0.8.2 | 0.8.2 | 0.8.2 |
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 |
## 5.31.0 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.31.0에 대한 정보가 포함됩니다. 변경 사항은 5.30.1에 관련됩니다.
최초 릴리스 날짜: 2020년 10월 9일
최종 업데이트 날짜: 2020년 10월 15일
**업그레이드**
+ Amazon Glue 커넥터를 버전 1.13.0으로 업그레이드함
+ Amazon SageMaker Spark SDK를 버전 1.4.0으로 업그레이드함
+ Amazon Kinesis 커넥터를 버전 3.5.9로 업그레이드함
+ 버전 1.11.852 AWS SDK for Java 로 업그레이드됨
+ Bigtop-tomcat을 버전 8.5.56으로 업그레이드함
+ EMR FS를 버전 2.43.0으로 업그레이드함
+ EMR MetricsAndEventsApiGateway 클라이언트를 버전 1.4.0으로 업그레이드함
+ EMR S3 Dist CP를 버전 2.15.0으로 업그레이드함
+ EMR S3 Select를 버전 1.6.0으로 업그레이드함
+ Flink를 버전 1.11.0으로 업그레이드함
+ Hadoop을 버전 2.10.0으로 업그레이드함
+ Hive를 버전 2.3.7로 업그레이드함
+ Hudi를 버전 0.6.0으로 업그레이드함
+ Hue를 버전 4.7.1로 업그레이드함
+ JupyterHub가 버전 1.1.0으로 업그레이드됨
+ Mxnet을 버전 1.6.0으로 업그레이드함
+ OpenCV를 버전 4.3.0으로 업그레이드함
+ Presto를 버전 0.238.3으로 업그레이드함
+ TensorFlow를 버전 2.1.0으로 업그레이드함
**변경 사항, 향상된 기능 및 해결된 문제**
+ 이 릴리스는 Amazon EMR 조정에서 클러스터를 성공적으로 스케일 업 또는 스케일 다운하지 못하거나 애플리케이션 장애가 발생한 경우 이 기능과 관련된 문제를 수정하기 위한 릴리스입니다.
+ Amazon EMR 클러스터 내 대몬(daemon)이 YARN 노드 상태 및 HDFS 노드 상태 수집과 같은 상태 확인 활동을 실행할 때 활용도가 높은 대규모 클러스터에 대한 조정 요청이 실패하는 문제를 수정했습니다. 이는 클러스터 내 대몬(daemon)이 내부 Amazon EMR 구성 요소로 노드의 상태 데이터를 전달할 수 없었기 때문에 발생했습니다.
+ 조정 작업 중에 신뢰성을 개선하기 위해 IP 주소를 재사용할 때 노드 상태를 올바르게 추적하도록 EMR 클러스터 내 대몬(daemon)을 개선했습니다.
+ [SPARK-29683](https://issues.apache.org/jira/browse/SPARK-29683). Spark에서는 사용 가능한 모든 노드가 거부 목록에 있다고 가정했기 때문에 클러스터 스케일 다운 중에 작업 실패가 발생하는 문제를 수정했습니다.
+ [YARN-9011](https://issues.apache.org/jira/browse/YARN-9011). 클러스터를 스케일 업하거나 스케일 다운하려고 할 때 YARN 서비스 해제의 경쟁 조건으로 인해 작업 실패가 발생하는 문제를 수정했습니다.
+ Amazon EMR 클러스터 내 대몬(daemon)과 YARN 및 HDFS 사이에서 노드 상태가 항상 일관되도록 보장함으로써 클러스터 조정 중 단계 또는 작업이 실패하는 문제를 수정했습니다.
+ Kerberos 인증으로 활성화된 Amazon EMR 클러스터에서 스케일 다운 및 단계 제출과 같은 클러스터 작업이 실패하는 문제를 수정했습니다. 이는 Amazon EMR 클러스터 내 대몬(daemon)이 프라이머리 노드에서 실행되는 HDFS 및 YARN과 안전하게 통신하는 데 필요한 Kerberos 티켓을 갱신하지 않았기 때문입니다.
+ 최신 Amazon EMR 릴리스에서는 Amazon EMR의 이전 AL2에서 더 낮은 '최대 열린 파일' 한도와 관련된 문제가 수정되었습니다. Amazon EMR 릴리스 5.30.1, 5.30.2, 5.31.1, 5.32.1, 6.0.1, 6.1.1, 6.2.1, 5.33.0, 6.3.0 이상에는 이제 더 높은 '최대 열린 파일' 설정을 포함한 영구적 수정 사항이 포함되어 있습니다.
+ [Hive 열 통계](https://cwiki.apache.org/confluence/display/Hive/StatsDev#StatsDev-ColumnStatistics)는 Amazon EMR 버전 5.31.0 이상에서 지원됩니다.
+ 업그레이드된 구성 요소 버전.
+ Amazon EMR 5.31.0에서 EMRFS S3EC V2 지원. S3 Java SDK 릴리스 1.11.837 이상에서 암호화 클라이언트 버전 2(S3EC V2)가 다양한 보안 개선 사항과 함께 도입되었습니다. 자세한 내용은 다음을 참조하세요.
+ S3 블로그 게시물: [Updates to the Amazon S3 encryption client](https://aws.amazon.com/blogs/developer/updates-to-the-amazon-s3-encryption-client/).
+ AWS SDK for Java 개발자 안내서: [암호화 및 복호화 클라이언트를 V2로 마이그레이션](https://docs.aws.amazon.com/sdk-for-java/v1/developer-guide/s3-encryption-migration.html#s3-cse-update-code)합니다.
+ EMR 관리 안내서: [Amazon S3 클라이언트 측 암호화](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-emrfs-encryption-cse.html)
암호화 클라이언트 V1은 이전 버전과의 호환성을 위해 SDK에서 계속 사용할 수 있습니다.
**새로운 기능**
+ **이전 AL2에서 더 낮은 '최대 열린 파일' 한도[최신 릴리스에서 수정됨].** Amazon EMR 릴리스: emr-5.30.x, emr-5.31.0, emr-5.32.0, emr-6.0.0, emr-6.1.0, emr-6.2.0은 Amazon Linux 2(AL2)의 이전 버전에 기반합니다. 이전 버전에서는 Amazon EMR 클러스터가 기본 AMI에서 생성되는 경우 '최대 열린 파일'에 대한 ulimit 설정이 더 낮습니다. Amazon EMR 릴리스 5.30.1, 5.30.2, 5.31.1, 5.32.1, 6.0.1, 6.1.1, 6.2.1, 5.33.0, 6.3.0 이상에는 더 높은 '최대 열린 파일' 설정을 포함한 영구적 수정 사항이 포함되어 있습니다. 열린 파일 한도가 낮은 릴리스의 경우 Spark 작업을 제출할 때 'Too many open files' 오류가 발생합니다. 영향을 받는 릴리스에서 Amazon EMR 기본 AMI의 '최대 열린 파일'에 대한 기본 ulimit 설정은 4,096개이며, 이는 최신 Amazon Linux 2 AMI의 65,536개 파일 제한보다 낮습니다. '최대 열린 파일'에 대한 더 낮은 ulimit 설정을 사용하면 Spark 드라이버와 실행기가 4,096개가 넘는 파일을 열려고 할 때 Spark 작업이 실패합니다. 이 문제를 해결하기 위해 Amazon EMR에는 클러스터 생성 시 ulimit 설정을 조정하는 부트스트랩 작업(BA) 스크립트가 있습니다.
이 문제에 대한 영구 수정 사항이 포함되지 않은 이전 Amazon EMR 버전을 사용하는 경우 다음 해결 방법을 통해 instance-controller ulimit를 최대 65,536개의 파일로 명시적으로 설정할 수 있습니다.
**명령줄에서 ulimit를 명시적으로 설정합니다.**
1. `/etc/systemd/system/instance-controller.service`를 편집하여 Service 섹션에 다음 파라미터를 추가합니다.
`LimitNOFILE=65536`
`LimitNPROC=65536`
1. InstanceController 다시 시작
`$ sudo systemctl daemon-reload`
`$ sudo systemctl restart instance-controller`
**부트스트랩 작업(BA)을 사용하여 ulimit 설정**
클러스터 생성 시 부트스트랩 작업(BA) 스크립트를 사용하여 instance-controller ulimit를 65,536개 파일로 구성할 수도 있습니다.
```
#!/bin/bash
for user in hadoop spark hive; do
sudo tee /etc/security/limits.d/$user.conf << EOF
$user - nofile 65536
$user - nproc 65536
EOF
done
for proc in instancecontroller logpusher; do
sudo mkdir -p /etc/systemd/system/$proc.service.d/
sudo tee /etc/systemd/system/$proc.service.d/override.conf << EOF
[Service]
LimitNOFILE=65536
LimitNPROC=65536
EOF
pid=$(pgrep -f aws157.$proc.Main)
sudo prlimit --pid $pid --nofile=65535:65535 --nproc=65535:65535
done
sudo systemctl daemon-reload
```
+ Amazon EMR 5.31.0에서는 Lake Formation과 통합되는 클러스터를 시작할 수 있습니다. 이 통합은 AWS Glue 데이터 카탈로그의 데이터베이스 및 테이블에 대한 세분화된 열 수준 데이터 필터링을 제공합니다. 또한 엔터프라이즈 자격 증명 시스템에서 EMR 노트북 또는 Apache Zeppelin에 연동된 Single Sign-On을 사용할 수도 있습니다. 자세한 내용은 *Amazon EMR 관리 안내서*에서 [Amazon EMR과 AWS Lake Formation통합](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-lake-formation.html)을 참조하세요.
Lake Formation을 사용하는 Amazon EMR은 현재 미국 동부(오하이오 및 버지니아 북부), 미국 서부(캘리포니아 북부 및 오레곤), 아시아 태평양(뭄바이, 서울, 싱가포르, 시드니 및 도쿄), 캐나다(중부), 유럽(프랑크푸르트, 아일랜드, 런던, 파리 및 스톡홀름), 남아메리카(상파울루)의 16개 AWS 리전에서 사용할 수 있습니다.
**알려진 문제**
+ 여러 프라이머리 노드와 Kerberos 인증을 사용하는 클러스터에서 알려진 문제
Amazon EMR 릴리스 5.20.0 이상에서 여러 프라이머리 노드와 Kerberos 인증을 사용하여 클러스터를 실행하는 경우, 클러스터를 일정 시간 실행한 후 스케일 다운 또는 단계 제출과 같은 클러스터 작업에 문제가 발생할 수 있습니다. 기간은 정의한 Kerberos 티켓 유효 기간에 따라 다릅니다. 스케일 다운 문제는 제출한 자동 스케일 다운 및 명시적 스케일 다운 요청 모두에 영향을 미칩니다. 이외의 다른 클러스터 작업도 영향을 받을 수 있습니다.
해결 방법:
+ 여러 프라이머리 노드가 있는 EMR 클러스터의 리드 프라이머리 노드에 대한 `hadoop` 사용자로 SSH 연결합니다.
+ 다음 명령을 실행하여 `hadoop` 사용자의 Kerberos 티켓을 갱신합니다.
```
kinit -kt
```
일반적으로 keytab 파일은 `/etc/hadoop.keytab`에 있으며, 보안 주체는 `hadoop/@` 양식입니다.
**참고**
이 해결 방법은 Kerberos 티켓이 유효한 기간에 작동합니다. 이 기간은 기본적으로 10시간이지만 Kerberos 설정으로 구성할 수 있습니다. Kerberos 티켓이 만료되면 위 명령을 다시 실행해야 합니다.
+ Amazon EMR 5.31.0 또는 5.32.0을 사용하는 클러스터에서 AtRestEncryption 또는 HDFS 암호화를 활성화하면 Hive 쿼리에서 다음과 같은 런타임 예외가 발생합니다.
```
TaskAttempt 3 failed, info=[Error: Error while running task ( failure ) : attempt_1604112648850_0001_1_01_000000_3:java.lang.RuntimeException: java.lang.RuntimeException: Hive Runtime Error while closing operators: java.io.IOException: java.util.ServiceConfigurationError: org.apache.hadoop.security.token.TokenIdentifier: Provider org.apache.hadoop.hbase.security.token.AuthenticationTokenIdentifier not found
```
+ Hive 파티션 위치 형식과 함께 Spark를 사용하여 Amazon S3의 데이터를 읽고, Amazon EMR 릴리스 5.30.0\$15.36.0 및 6.2.0\$16.9.0에서 Spark를 실행하는 경우 클러스터가 데이터를 제대로 읽지 못하는 문제가 발생할 수 있습니다. 파티션에 다음과 같은 특성이 모두 있는 경우 이러한 상황이 발생할 수 있습니다.
+ 둘 이상의 파티션이 동일한 테이블에서 스캔됩니다.
+ 하나 이상의 파티션 디렉터리 경로가 하나 이상의 다른 파티션 디렉터리 경로의 접두사입니다. 예를 들어 `s3://bucket/table/p=a`는 `s3://bucket/table/p=a b`의 접두사입니다.
+ 다른 파티션 디렉터리에서 접두사 뒤에 오는 첫 번째 문자의 UTF-8 값이 `/` 문자(U\$1002F)보다 작습니다. 예를 들어 `s3://bucket/table/p=a b`에서 a와 b 사이에 있는 공백 문자(U\$10020)가 이 카테고리에 속합니다. `!"#$%&‘()*+,-`와 같은 14개의 비제어 문자가 있습니다. 자세한 내용은 [UTF-8 인코딩 테이블 및 유니코드 문자](https://www.utf8-chartable.de/)를 참조하세요.
이 문제를 해결하려면 `spark-defaults` 분류에서 `spark.sql.sources.fastS3PartitionDiscovery.enabled` 구성을 `false`로 설정합니다.
## 5.31.0 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.4.0 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.15.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.13.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.5.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.15.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emr-s3-select | 1.6.0 | EMR S3Select 커넥터 |
| emrfs | 2.43.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.11.0 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| flink-jobmanager-config | 1.11.0 | Apache Flink JobManager에 대한 EMR 노드에서 리소스를 관리합니다. |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.10.0-amzn-0 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.10.0-amzn-0 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.10.0-amzn-0 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.10.0-amzn-0 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-hdfs-journalnode | 2.10.0-amzn-0 | HA 클러스터에서 하둡 파일 시스템 저널을 관리하기 위한 HDFS 서비스 |
| hadoop-httpfs-server | 2.10.0-amzn-0 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.10.0-amzn-0 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.10.0-amzn-0 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.10.0-amzn-0 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.10.0-amzn-0 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.10.0-amzn-0 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.4.13 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.4.13 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.4.13 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.4.13 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.4.13 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.3.7-amzn-1 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.7-amzn-1 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.7-amzn-1 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.7-amzn-1 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.7-amzn-1 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.7-amzn-1 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.7-amzn-1 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hudi | 0.6.0-amzn-0 | 짧은 지연 시간 및 높은 효율성으로 데이터 파이프라인을 구동하는 증분 처리 프레임워크. |
| hudi-spark | 0.6.0-amzn-0 | Hudi와 함께 Spark를 실행하기 위한 번들 라이브러리. |
| hudi-presto | 0.6.0-amzn-0 | Hudi로 Presto를 실행하기 위한 번들 라이브러리. |
| hue-server | 4.7.1 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| jupyterhub | 1.1.0 | Jupyter Notebook용 다중 사용자 서버 |
| livy-server | 0.7.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| nginx | 1.12.1 | HTTP인 nginx [engine x] 및 역방향 프록시 서버 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 1.6.0 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mariadb-server | 5.5.64 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 9.2.88 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 5.2.0 | Oozie 명령줄 클라이언트 |
| oozie-server | 5.2.0 | Oozie 워크플로 요청을 수락하는 서비스 |
| opencv | 4.3.0 | 오픈 소스 컴퓨터 비전 라이브러리. |
| phoenix-library | 4.14.3-HBase-1.4 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.14.3-HBase-1.4 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.238.3-amzn-0 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.238.3-amzn-0 | 여러 쿼리를 실행하는 서비스. |
| presto-client | 0.238.3-amzn-0 | Presto 서버가 시작되지 않은 HA 클러스터의 대기 마스터에 설치된 Presto 명령줄 클라이언트. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| r | 3.4.3 | 통계 컴퓨팅용 R 프로젝트 |
| ranger-kms-server | 1.2.0 | Apache Ranger 키 관리 시스템 |
| spark-client | 2.4.6-amzn-0 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.4.6-amzn-0 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.4.6-amzn-0 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.4.6-amzn-0 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.7 | Apache Sqoop 명령줄 클라이언트. |
| tensorflow | 2.1.0 | TensorFlow는 고성능 수치 계산용 오픈 소스 소프트웨어 라이브러리입니다. |
| tez-on-yarn | 0.9.2 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.8.2 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.14 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.14 | ZooKeeper 명령줄 클라이언트. |
## 5.31.0 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.31.0 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| container-log4j | Hadoop YARN container-log4j.properties 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| hudi-env | Hudi 환경에서 값을 변경합니다. |
| jupyter-notebook-conf | Jupyter Notebook jupyter\$1notebook\$1config.py 파일에서 값을 변경합니다. |
| jupyter-hub-conf | JupyterHubs jupyterhub\$1config.py 파일에서 값을 변경합니다. |
| jupyter-s3-conf | Jupyter Notebook S3 지속성 구성 |
| jupyter-sparkmagic-conf | Sparkmagic config.json 파일에서 값을 변경합니다. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. |
| livy-env | Livy 환경에서 값을 변경합니다. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-env | Pig 환경에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-password-authenticator | Presto password-authenticator.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-memory | Presto memory.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-redshift | Presto redshift.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| presto-connector-tpcds | Presto tpcds.properties 파일에서 값을 변경합니다. |
| ranger-kms-dbks-site | Ranger KMS dbks-site.xml 파일에서 값을 변경합니다. |
| ranger-kms-site | Ranger KMS ranger-kms-site.xml 파일에서 값을 변경합니다. |
| ranger-kms-env | Ranger KMS 환경에서 값을 변경합니다. |
| ranger-kms-log4j | Ranger KMS kms-log4j.properties 파일에서 값을 변경합니다. |
| ranger-kms-db-ca | Ranger KMS와의 MySQL SSL 연결에서 CA 파일의 값을 변경합니다. |
| recordserver-env | EMR RecordServer 환경에서 값을 변경합니다. |
| recordserver-conf | EMR RecordServer erver.properties 파일에서 값을 변경합니다. |
| recordserver-log4j | EMR RecordServer log4j.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.30.2
## 5.30.2 애플리케이션 버전
이 릴리스에 포함된 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.30.2 | emr-5.30.1 | emr-5.30.0 | emr-5.29.0 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.759 | 1.11.759 | 1.11.759 | 1.11.682 |
| Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.6 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.10.0 | 1.10.0 | 1.10.0 | 1.9.1 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.10 |
| HCatalog | 2.3.6-amzn-2 | 2.3.6-amzn-2 | 2.3.6-amzn-2 | 2.3.6-amzn-1 |
| Hadoop | 2.8.5-amzn-6.1 | 2.8.5-amzn-6 | 2.8.5-amzn-6 | 2.8.5-amzn-5 |
| Hive | 2.3.6-amzn-2 | 2.3.6-amzn-2 | 2.3.6-amzn-2 | 2.3.6-amzn-1 |
| Hudi | 0.5.2-incubating | 0.5.2-incubating | 0.5.2-incubating | 0.5.0-incubating |
| Hue | 4.6.0 | 4.6.0 | 4.6.0 | 4.4.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 1.1.0 | 1.1.0 | 1.1.0 | 1.0.0 |
| Livy | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.6.0-incubating |
| MXNet | 1.5.1 | 1.5.1 | 1.5.1 | 1.5.1 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.2.0 | 5.2.0 | 5.2.0 | 5.1.0 |
| Phoenix | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.232 | 0.232 | 0.232 | 0.227 |
| Spark | 2.4.5-amzn-0.1 | 2.4.5-amzn-0 | 2.4.5-amzn-0 | 2.4.4 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.14.0 | 1.14.0 | 1.14.0 | 1.14.0 |
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.2 | 0.8.2 | 0.8.2 | 0.8.2 |
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 |
## 5.30.2 릴리스 정보
이 릴리스는 Amazon EMR 조정에서 클러스터를 성공적으로 스케일 업 또는 스케일 다운하지 못하거나 애플리케이션 장애가 발생한 경우 이 기능과 관련된 문제를 수정하기 위한 릴리스입니다.
**변경 사항, 향상된 기능 및 해결된 문제**
+ Amazon EMR 클러스터 내 대몬(daemon)이 YARN 노드 상태 및 HDFS 노드 상태 수집과 같은 상태 확인 활동을 실행할 때 활용도가 높은 대규모 클러스터에 대한 조정 요청이 실패하는 문제를 수정했습니다. 이는 클러스터 내 대몬(daemon)이 내부 Amazon EMR 구성 요소로 노드의 상태 데이터를 전달할 수 없었기 때문에 발생했습니다.
+ 조정 작업 중에 신뢰성을 개선하기 위해 IP 주소를 재사용할 때 노드 상태를 올바르게 추적하도록 EMR 클러스터 내 대몬(daemon)을 개선했습니다.
+ [SPARK-29683](https://issues.apache.org/jira/browse/SPARK-29683). Spark에서는 사용 가능한 모든 노드가 거부 목록에 있다고 가정했기 때문에 클러스터 스케일 다운 중에 작업 실패가 발생하는 문제를 수정했습니다.
+ [YARN-9011](https://issues.apache.org/jira/browse/YARN-9011). 클러스터를 스케일 업하거나 스케일 다운하려고 할 때 YARN 서비스 해제의 경쟁 조건으로 인해 작업 실패가 발생하는 문제를 수정했습니다.
+ Amazon EMR 클러스터 내 대몬(daemon)과 YARN 및 HDFS 사이에서 노드 상태가 항상 일관되도록 보장함으로써 클러스터 조정 중 단계 또는 작업이 실패하는 문제를 수정했습니다.
+ Kerberos 인증으로 활성화된 Amazon EMR 클러스터에서 스케일 다운 및 단계 제출과 같은 클러스터 작업이 실패하는 문제를 수정했습니다. 이는 Amazon EMR 클러스터 내 대몬(daemon)이 프라이머리 노드에서 실행되는 HDFS 및 YARN과 안전하게 통신하는 데 필요한 Kerberos 티켓을 갱신하지 않았기 때문입니다.
+ 최신 Amazon EMR 릴리스에서는 Amazon EMR의 이전 AL2에서 더 낮은 '최대 열린 파일' 한도와 관련된 문제가 수정되었습니다. Amazon EMR 릴리스 5.30.1, 5.30.2, 5.31.1, 5.32.1, 6.0.1, 6.1.1, 6.2.1, 5.33.0, 6.3.0 이상에는 이제 더 높은 '최대 열린 파일' 설정을 포함한 영구적 수정 사항이 포함되어 있습니다.
+ 이제 Amazon Linux 리포지토리에서 HTTPS가 기본적으로 활성화됩니다. Amazon S3 VPCE 정책을 사용하여 특정 버킷에 대한 액세스를 제한하는 경우 새 Amazon Linux 버킷 ARN `arn:aws:s3:::amazonlinux-2-repos-$region/*`을 정책에 추가해야 합니다(`$region`을 엔드포인트가 있는 리전으로 바꿈). 자세한 내용은 AWS 토론 포럼에서이 주제를 참조하세요. [공지 사항: 이제 Amazon Linux 2는 패키지 리포지토리에 연결하는 동안 HTTPS를 사용하는 기능을 지원합니다](https://forums.aws.amazon.com/ann.jspa?annID=8528).
**알려진 문제**
+ Hive 파티션 위치 형식과 함께 Spark를 사용하여 Amazon S3의 데이터를 읽고, Amazon EMR 릴리스 5.30.0\$15.36.0 및 6.2.0\$16.9.0에서 Spark를 실행하는 경우 클러스터가 데이터를 제대로 읽지 못하는 문제가 발생할 수 있습니다. 파티션에 다음과 같은 특성이 모두 있는 경우 이러한 상황이 발생할 수 있습니다.
+ 둘 이상의 파티션이 동일한 테이블에서 스캔됩니다.
+ 하나 이상의 파티션 디렉터리 경로가 하나 이상의 다른 파티션 디렉터리 경로의 접두사입니다. 예를 들어 `s3://bucket/table/p=a`는 `s3://bucket/table/p=a b`의 접두사입니다.
+ 다른 파티션 디렉터리에서 접두사 뒤에 오는 첫 번째 문자의 UTF-8 값이 `/` 문자(U\$1002F)보다 작습니다. 예를 들어 `s3://bucket/table/p=a b`에서 a와 b 사이에 있는 공백 문자(U\$10020)가 이 카테고리에 속합니다. `!"#$%&‘()*+,-`와 같은 14개의 비제어 문자가 있습니다. 자세한 내용은 [UTF-8 인코딩 테이블 및 유니코드 문자](https://www.utf8-chartable.de/)를 참조하세요.
이 문제를 해결하려면 `spark-defaults` 분류에서 `spark.sql.sources.fastS3PartitionDiscovery.enabled` 구성을 `false`로 설정합니다.
## 5.30.2 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.3.0 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.14.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.13.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.5.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.14.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emr-s3-select | 1.5.0 | EMR S3Select 커넥터 |
| emrfs | 2.40.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.10.0 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.8.5-amzn-6.1 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.8.5-amzn-6.1 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.8.5-amzn-6.1 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.8.5-amzn-6.1 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-hdfs-journalnode | 2.8.5-amzn-6.1 | HA 클러스터에서 하둡 파일 시스템 저널을 관리하기 위한 HDFS 서비스 |
| hadoop-httpfs-server | 2.8.5-amzn-6.1 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.8.5-amzn-6.1 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.8.5-amzn-6.1 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.8.5-amzn-6.1 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.8.5-amzn-6.1 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.8.5-amzn-6.1 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.4.13 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.4.13 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.4.13 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.4.13 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.4.13 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.3.6-amzn-2 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.6-amzn-2 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.6-amzn-2 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.6-amzn-2 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.6-amzn-2 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.6-amzn-2 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.6-amzn-2 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hudi | 0.5.2-incubating | 짧은 지연 시간 및 높은 효율성으로 데이터 파이프라인을 구동하는 증분 처리 프레임워크. |
| hudi-presto | 0.5.2-incubating | Hudi로 Presto를 실행하기 위한 번들 라이브러리. |
| hue-server | 4.6.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| jupyterhub | 1.1.0 | Jupyter Notebook용 다중 사용자 서버 |
| livy-server | 0.7.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| nginx | 1.12.1 | HTTP인 nginx [engine x] 및 역방향 프록시 서버 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 1.5.1 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mariadb-server | 5.5.64 이상 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 9.2.88 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 5.2.0 | Oozie 명령줄 클라이언트 |
| oozie-server | 5.2.0 | Oozie 워크플로 요청을 수락하는 서비스 |
| opencv | 3.4.0 | 오픈 소스 컴퓨터 비전 라이브러리. |
| phoenix-library | 4.14.3-HBase-1.4 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.14.3-HBase-1.4 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.232 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.232 | 여러 쿼리를 실행하는 서비스. |
| presto-client | 0.232 | Presto 서버가 시작되지 않은 HA 클러스터의 대기 마스터에 설치된 Presto 명령줄 클라이언트. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| r | 3.4.3 | 통계 컴퓨팅용 R 프로젝트 |
| ranger-kms-server | 1.2.0 | Apache Ranger 키 관리 시스템 |
| spark-client | 2.4.5-amzn-0.1 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.4.5-amzn-0.1 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.4.5-amzn-0.1 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.4.5-amzn-0.1 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.7 | Apache Sqoop 명령줄 클라이언트. |
| tensorflow | 1.14.0 | TensorFlow는 고성능 수치 계산용 오픈 소스 소프트웨어 라이브러리입니다. |
| tez-on-yarn | 0.9.2 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.8.2 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.14 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.14 | ZooKeeper 명령줄 클라이언트. |
## 5.30.2 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.30.2 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| container-log4j | Hadoop YARN container-log4j.properties 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| hudi-env | Hudi 환경에서 값을 변경합니다. |
| jupyter-notebook-conf | Jupyter Notebook jupyter\$1notebook\$1config.py 파일에서 값을 변경합니다. |
| jupyter-hub-conf | JupyterHubs jupyterhub\$1config.py 파일에서 값을 변경합니다. |
| jupyter-s3-conf | Jupyter Notebook S3 지속성 구성 |
| jupyter-sparkmagic-conf | Sparkmagic config.json 파일에서 값을 변경합니다. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. |
| livy-env | Livy 환경에서 값을 변경합니다. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-env | Pig 환경에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-password-authenticator | Presto password-authenticator.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-memory | Presto memory.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-redshift | Presto redshift.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| presto-connector-tpcds | Presto tpcds.properties 파일에서 값을 변경합니다. |
| ranger-kms-dbks-site | Ranger KMS dbks-site.xml 파일에서 값을 변경합니다. |
| ranger-kms-site | Ranger KMS ranger-kms-site.xml 파일에서 값을 변경합니다. |
| ranger-kms-env | Ranger KMS 환경에서 값을 변경합니다. |
| ranger-kms-log4j | Ranger KMS kms-log4j.properties 파일에서 값을 변경합니다. |
| ranger-kms-db-ca | Ranger KMS와의 MySQL SSL 연결에서 CA 파일의 값을 변경합니다. |
| recordserver-env | EMR RecordServer 환경에서 값을 변경합니다. |
| recordserver-conf | EMR RecordServer erver.properties 파일에서 값을 변경합니다. |
| recordserver-log4j | EMR RecordServer log4j.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.30.1
## 5.30.1 애플리케이션 버전
이 릴리스에 포함된 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.30.1 | emr-5.30.0 | emr-5.29.0 | emr-5.28.1 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.759 | 1.11.759 | 1.11.682 | 1.11.659 |
| Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.6 | 2.7, 3.6 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.10.0 | 1.10.0 | 1.9.1 | 1.9.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.13 | 1.4.13 | 1.4.10 | 1.4.10 |
| HCatalog | 2.3.6-amzn-2 | 2.3.6-amzn-2 | 2.3.6-amzn-1 | 2.3.6-amzn-0 |
| Hadoop | 2.8.5-amzn-6 | 2.8.5-amzn-6 | 2.8.5-amzn-5 | 2.8.5-amzn-5 |
| Hive | 2.3.6-amzn-2 | 2.3.6-amzn-2 | 2.3.6-amzn-1 | 2.3.6-amzn-0 |
| Hudi | 0.5.2-incubating | 0.5.2-incubating | 0.5.0-incubating | 0.5.0-incubating |
| Hue | 4.6.0 | 4.6.0 | 4.4.0 | 4.4.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 1.1.0 | 1.1.0 | 1.0.0 | 1.0.0 |
| Livy | 0.7.0-incubating | 0.7.0-incubating | 0.6.0-incubating | 0.6.0-incubating |
| MXNet | 1.5.1 | 1.5.1 | 1.5.1 | 1.5.1 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.2.0 | 5.2.0 | 5.1.0 | 5.1.0 |
| Phoenix | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.232 | 0.232 | 0.227 | 0.227 |
| Spark | 2.4.5-amzn-0 | 2.4.5-amzn-0 | 2.4.4 | 2.4.4 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.14.0 | 1.14.0 | 1.14.0 | 1.14.0 |
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.2 | 0.8.2 | 0.8.2 | 0.8.2 |
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 |
## 5.30.1 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.30.1에 대한 정보가 포함됩니다. 변경 사항은 5.30.0에 관련됩니다.
최초 릴리스 날짜: 2020년 6월 30일
최종 업데이트 날짜: 2020년 8월 24일
**변경 사항, 향상된 기능 및 해결된 문제**
+ 최신 Amazon EMR 릴리스에서는 Amazon EMR의 이전 AL2에서 더 낮은 '최대 열린 파일' 한도와 관련된 문제가 수정되었습니다. Amazon EMR 릴리스 5.30.1, 5.30.2, 5.31.1, 5.32.1, 6.0.1, 6.1.1, 6.2.1, 5.33.0, 6.3.0 이상에는 이제 더 높은 '최대 열린 파일' 설정을 포함한 영구적 수정 사항이 포함되어 있습니다.
+ 인스턴스 컨트롤러 프로세스에서 무한한 수의 프로세스를 생성하는 문제가 수정되었습니다.
+ Hue에서 Hive 쿼리를 실행할 수 없어서 'database is locked' 메시지를 표시하고 쿼리가 실행되지 않는 문제가 수정되었습니다.
+ EMR 클러스터에서 더 많은 작업을 동시에 실행할 수 있도록 Spark 문제가 수정되었습니다.
+ Jupyter 서버에서 'too many files open error'를 발생시키는 Jupyter Notebook 문제가 수정되었습니다.
+ 클러스터 시작 시간 관련 문제가 수정되었습니다.
**새로운 기능**
+ Amazon EMR 버전 6.x 및 EMR 버전 5.30.1 이상에서 Tez UI 및 YARN 타임라인 서버의 영구 애플리케이션 인터페이스를 사용할 수 있습니다. 영구 애플리케이션 기록에 대한 원클릭 링크 액세스를 사용하면 SSH 연결을 통해 웹 프록시를 설정하지 않고도 작업 기록에 빠르게 액세스할 수 있습니다. 활성 클러스터와 종료된 클러스터에 대한 로그는 애플리케이션 종료 후 30일 동안 사용할 수 있습니다. 자세한 내용은 *Amazon EMR 관리 안내서*에서 [영구 애플리케이션 사용자 인터페이스 보기](https://docs.aws.amazon.com/emr/latest/ManagementGuide/app-history-spark-UI.html)를 참조하세요.
+ EMR 노트북 실행 API는 스크립트 또는 명령줄을 통해 EMR 노트북을 실행하는 데 사용할 수 있습니다. AWS 콘솔 없이 EMR 노트북 실행을 시작, 중지, 나열 및 설명할 수 있으므로 EMR 노트북을 프로그래밍 방식으로 제어할 수 있습니다. 파라미터화된 노트북 셀을 사용하면 새로운 파라미터 값 세트마다 노트북의 복사본을 만들지 않고도 노트북에 다양한 파라미터 값을 전달할 수 있습니다. [EMR API 작업](https://docs.aws.amazon.com/emr/latest/APIReference/API_Operations.html)을 참조하세요. 샘플 코드는 [EMR Notebooks를 프로그래밍 방식으로 실행하는 샘플 명령](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-managed-notebooks-headless.html)을 참조하세요.
**알려진 문제**
+ **이전 AL2에서 더 낮은 '최대 열린 파일' 한도[최신 릴리스에서 수정됨].** Amazon EMR 릴리스: emr-5.30.x, emr-5.31.0, emr-5.32.0, emr-6.0.0, emr-6.1.0, emr-6.2.0은 Amazon Linux 2(AL2)의 이전 버전에 기반합니다. 이전 버전에서는 Amazon EMR 클러스터가 기본 AMI에서 생성되는 경우 '최대 열린 파일'에 대한 ulimit 설정이 더 낮습니다. Amazon EMR 릴리스 5.30.1, 5.30.2, 5.31.1, 5.32.1, 6.0.1, 6.1.1, 6.2.1, 5.33.0, 6.3.0 이상에는 더 높은 '최대 열린 파일' 설정을 포함한 영구적 수정 사항이 포함되어 있습니다. 열린 파일 한도가 낮은 릴리스의 경우 Spark 작업을 제출할 때 'Too many open files' 오류가 발생합니다. 영향을 받는 릴리스에서 Amazon EMR 기본 AMI의 '최대 열린 파일'에 대한 기본 ulimit 설정은 4,096개이며, 이는 최신 Amazon Linux 2 AMI의 65,536개 파일 제한보다 낮습니다. '최대 열린 파일'에 대한 더 낮은 ulimit 설정을 사용하면 Spark 드라이버와 실행기가 4,096개가 넘는 파일을 열려고 할 때 Spark 작업이 실패합니다. 이 문제를 해결하기 위해 Amazon EMR에는 클러스터 생성 시 ulimit 설정을 조정하는 부트스트랩 작업(BA) 스크립트가 있습니다.
이 문제에 대한 영구 수정 사항이 포함되지 않은 이전 Amazon EMR 버전을 사용하는 경우 다음 해결 방법을 통해 instance-controller ulimit를 최대 65,536개의 파일로 명시적으로 설정할 수 있습니다.
**명령줄에서 ulimit를 명시적으로 설정합니다.**
1. `/etc/systemd/system/instance-controller.service`를 편집하여 Service 섹션에 다음 파라미터를 추가합니다.
`LimitNOFILE=65536`
`LimitNPROC=65536`
1. InstanceController 다시 시작
`$ sudo systemctl daemon-reload`
`$ sudo systemctl restart instance-controller`
**부트스트랩 작업(BA)을 사용하여 ulimit 설정**
클러스터 생성 시 부트스트랩 작업(BA) 스크립트를 사용하여 instance-controller ulimit를 65,536개 파일로 구성할 수도 있습니다.
```
#!/bin/bash
for user in hadoop spark hive; do
sudo tee /etc/security/limits.d/$user.conf << EOF
$user - nofile 65536
$user - nproc 65536
EOF
done
for proc in instancecontroller logpusher; do
sudo mkdir -p /etc/systemd/system/$proc.service.d/
sudo tee /etc/systemd/system/$proc.service.d/override.conf << EOF
[Service]
LimitNOFILE=65536
LimitNPROC=65536
EOF
pid=$(pgrep -f aws157.$proc.Main)
sudo prlimit --pid $pid --nofile=65535:65535 --nproc=65535:65535
done
sudo systemctl daemon-reload
```
+ **EMR Notebooks**
클러스터 프라이머리 노드에 커널과 추가 Python 라이브러리를 설치할 수 있는 기능은 EMR 버전 5.30.1에서 기본적으로 비활성화됩니다. 이 기능에 대한 자세한 내용은 [클러스터 프라이머리 노드에 커널 및 Python 라이브러리 설치](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-managed-notebooks-installing-libraries-and-kernels.html)를 참조하세요.
이 기능을 활성화하려면 다음을 수행합니다.
1. EMR Notebooks의 서비스 역할에 연결된 권한 정책이 다음 작업을 허용하는지 확인합니다.
`elasticmapreduce:ListSteps`
자세한 내용은 [EMR 노트북 서비스 역할](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-managed-notebooks-service-role.html) 단원을 참조하십시오.
1. AWS CLI 를 사용하여 다음 예제와 같이 EMR 노트북을 설정하는 클러스터에서 단계를 실행합니다. *us-east-1*을 클러스터가 상주하는 리전으로 바꿉니다. 자세한 내용은 [AWS CLI를 사용하여 클러스터에 단계 추가](https://docs.aws.amazon.com/emr/latest/ManagementGuide/add-step-cli.html)를 참조하세요.
```
aws emr add-steps --cluster-id MyClusterID --steps Type=CUSTOM_JAR,Name=EMRNotebooksSetup,ActionOnFailure=CONTINUE,Jar=s3://us-east-1.elasticmapreduce/libs/script-runner/script-runner.jar,Args=["s3://awssupportdatasvcs.com/bootstrap-actions/EMRNotebooksSetup/emr-notebooks-setup.sh"]
```
+ **Managed Scaling**
Presto가 설치되지 않은 5.30.0 및 5.30.1 클러스터에서 Managed Scaling을 수행하면 애플리케이션 장애가 발생하거나 균일한 인스턴스 그룹 또는 인스턴스 플릿이 `ARRESTED` 상태로 유지될 수 있습니다. 특히 스케일 다운 작업 이후 바로 스케일 업 작업이 수행되는 경우가 이에 해당합니다.
해결 방법으로 작업에 Presto가 필요하지 않더라도 Amazon EMR 릴리스 5.30.0 및 5.30.1에서 클러스터를 생성할 때 설치할 애플리케이션으로 Presto를 선택합니다.
+ 여러 프라이머리 노드와 Kerberos 인증을 사용하는 클러스터에서 알려진 문제
Amazon EMR 릴리스 5.20.0 이상에서 여러 프라이머리 노드와 Kerberos 인증을 사용하여 클러스터를 실행하는 경우, 클러스터를 일정 시간 실행한 후 스케일 다운 또는 단계 제출과 같은 클러스터 작업에 문제가 발생할 수 있습니다. 기간은 정의한 Kerberos 티켓 유효 기간에 따라 다릅니다. 스케일 다운 문제는 제출한 자동 스케일 다운 및 명시적 스케일 다운 요청 모두에 영향을 미칩니다. 이외의 다른 클러스터 작업도 영향을 받을 수 있습니다.
해결 방법:
+ 여러 프라이머리 노드가 있는 EMR 클러스터의 리드 프라이머리 노드에 대한 `hadoop` 사용자로 SSH 연결합니다.
+ 다음 명령을 실행하여 `hadoop` 사용자의 Kerberos 티켓을 갱신합니다.
```
kinit -kt
```
일반적으로 keytab 파일은 `/etc/hadoop.keytab`에 있으며, 보안 주체는 `hadoop/@` 양식입니다.
**참고**
이 해결 방법은 Kerberos 티켓이 유효한 기간에 작동합니다. 이 기간은 기본적으로 10시간이지만 Kerberos 설정으로 구성할 수 있습니다. Kerberos 티켓이 만료되면 위 명령을 다시 실행해야 합니다.
+ Hive 파티션 위치 형식과 함께 Spark를 사용하여 Amazon S3의 데이터를 읽고, Amazon EMR 릴리스 5.30.0\$15.36.0 및 6.2.0\$16.9.0에서 Spark를 실행하는 경우 클러스터가 데이터를 제대로 읽지 못하는 문제가 발생할 수 있습니다. 파티션에 다음과 같은 특성이 모두 있는 경우 이러한 상황이 발생할 수 있습니다.
+ 둘 이상의 파티션이 동일한 테이블에서 스캔됩니다.
+ 하나 이상의 파티션 디렉터리 경로가 하나 이상의 다른 파티션 디렉터리 경로의 접두사입니다. 예를 들어 `s3://bucket/table/p=a`는 `s3://bucket/table/p=a b`의 접두사입니다.
+ 다른 파티션 디렉터리에서 접두사 뒤에 오는 첫 번째 문자의 UTF-8 값이 `/` 문자(U\$1002F)보다 작습니다. 예를 들어 `s3://bucket/table/p=a b`에서 a와 b 사이에 있는 공백 문자(U\$10020)가 이 카테고리에 속합니다. `!"#$%&‘()*+,-`와 같은 14개의 비제어 문자가 있습니다. 자세한 내용은 [UTF-8 인코딩 테이블 및 유니코드 문자](https://www.utf8-chartable.de/)를 참조하세요.
이 문제를 해결하려면 `spark-defaults` 분류에서 `spark.sql.sources.fastS3PartitionDiscovery.enabled` 구성을 `false`로 설정합니다.
## 5.30.1 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.3.0 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.14.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.13.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.5.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.14.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emr-s3-select | 1.5.0 | EMR S3Select 커넥터 |
| emrfs | 2.40.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.10.0 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.8.5-amzn-6 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.8.5-amzn-6 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.8.5-amzn-6 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.8.5-amzn-6 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-hdfs-journalnode | 2.8.5-amzn-6 | HA 클러스터에서 하둡 파일 시스템 저널을 관리하기 위한 HDFS 서비스 |
| hadoop-httpfs-server | 2.8.5-amzn-6 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.8.5-amzn-6 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.8.5-amzn-6 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.8.5-amzn-6 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.8.5-amzn-6 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.8.5-amzn-6 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.4.13 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.4.13 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.4.13 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.4.13 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.4.13 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.3.6-amzn-2 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.6-amzn-2 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.6-amzn-2 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.6-amzn-2 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.6-amzn-2 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.6-amzn-2 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.6-amzn-2 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hudi | 0.5.2-incubating | 짧은 지연 시간 및 높은 효율성으로 데이터 파이프라인을 구동하는 증분 처리 프레임워크. |
| hudi-presto | 0.5.2-incubating | Hudi로 Presto를 실행하기 위한 번들 라이브러리. |
| hue-server | 4.6.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| jupyterhub | 1.1.0 | Jupyter Notebook용 다중 사용자 서버 |
| livy-server | 0.7.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| nginx | 1.12.1 | HTTP인 nginx [engine x] 및 역방향 프록시 서버 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 1.5.1 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mariadb-server | 5.5.64 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 9.2.88 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 5.2.0 | Oozie 명령줄 클라이언트 |
| oozie-server | 5.2.0 | Oozie 워크플로 요청을 수락하는 서비스 |
| opencv | 3.4.0 | 오픈 소스 컴퓨터 비전 라이브러리. |
| phoenix-library | 4.14.3-HBase-1.4 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.14.3-HBase-1.4 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.232 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.232 | 여러 쿼리를 실행하는 서비스. |
| presto-client | 0.232 | Presto 서버가 시작되지 않은 HA 클러스터의 대기 마스터에 설치된 Presto 명령줄 클라이언트. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| r | 3.4.3 | 통계 컴퓨팅용 R 프로젝트 |
| ranger-kms-server | 1.2.0 | Apache Ranger 키 관리 시스템 |
| spark-client | 2.4.5-amzn-0 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.4.5-amzn-0 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.4.5-amzn-0 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.4.5-amzn-0 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.7 | Apache Sqoop 명령줄 클라이언트. |
| tensorflow | 1.14.0 | TensorFlow는 고성능 수치 계산용 오픈 소스 소프트웨어 라이브러리입니다. |
| tez-on-yarn | 0.9.2 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.8.2 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.14 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.14 | ZooKeeper 명령줄 클라이언트. |
## 5.30.1 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.30.1 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| container-log4j | Hadoop YARN container-log4j.properties 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| hudi-env | Hudi 환경에서 값을 변경합니다. |
| jupyter-notebook-conf | Jupyter Notebook jupyter\$1notebook\$1config.py 파일에서 값을 변경합니다. |
| jupyter-hub-conf | JupyterHubs jupyterhub\$1config.py 파일에서 값을 변경합니다. |
| jupyter-s3-conf | Jupyter Notebook S3 지속성 구성 |
| jupyter-sparkmagic-conf | Sparkmagic config.json 파일에서 값을 변경합니다. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. |
| livy-env | Livy 환경에서 값을 변경합니다. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-env | Pig 환경에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-password-authenticator | Presto password-authenticator.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-memory | Presto memory.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-redshift | Presto redshift.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| presto-connector-tpcds | Presto tpcds.properties 파일에서 값을 변경합니다. |
| ranger-kms-dbks-site | Ranger KMS dbks-site.xml 파일에서 값을 변경합니다. |
| ranger-kms-site | Ranger KMS ranger-kms-site.xml 파일에서 값을 변경합니다. |
| ranger-kms-env | Ranger KMS 환경에서 값을 변경합니다. |
| ranger-kms-log4j | Ranger KMS kms-log4j.properties 파일에서 값을 변경합니다. |
| ranger-kms-db-ca | Ranger KMS와의 MySQL SSL 연결에서 CA 파일의 값을 변경합니다. |
| recordserver-env | EMR RecordServer 환경에서 값을 변경합니다. |
| recordserver-conf | EMR RecordServer erver.properties 파일에서 값을 변경합니다. |
| recordserver-log4j | EMR RecordServer log4j.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.30.0
## 5.30.0 애플리케이션 버전
이 릴리스에 포함된 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.30.0 | emr-5.29.0 | emr-5.28.1 | emr-5.28.0 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.759 | 1.11.682 | 1.11.659 | 1.11.659 |
| Python | 2.7, 3.7 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.10.0 | 1.9.1 | 1.9.0 | 1.9.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.13 | 1.4.10 | 1.4.10 | 1.4.10 |
| HCatalog | 2.3.6-amzn-2 | 2.3.6-amzn-1 | 2.3.6-amzn-0 | 2.3.6-amzn-0 |
| Hadoop | 2.8.5-amzn-6 | 2.8.5-amzn-5 | 2.8.5-amzn-5 | 2.8.5-amzn-5 |
| Hive | 2.3.6-amzn-2 | 2.3.6-amzn-1 | 2.3.6-amzn-0 | 2.3.6-amzn-0 |
| Hudi | 0.5.2-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating |
| Hue | 4.6.0 | 4.4.0 | 4.4.0 | 4.4.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 1.1.0 | 1.0.0 | 1.0.0 | 1.0.0 |
| Livy | 0.7.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating |
| MXNet | 1.5.1 | 1.5.1 | 1.5.1 | 1.5.1 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.2.0 | 5.1.0 | 5.1.0 | 5.1.0 |
| Phoenix | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.232 | 0.227 | 0.227 | 0.227 |
| Spark | 2.4.5-amzn-0 | 2.4.4 | 2.4.4 | 2.4.4 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.14.0 | 1.14.0 | 1.14.0 | 1.14.0 |
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.2 | 0.8.2 | 0.8.2 | 0.8.2 |
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 |
## 5.30.0 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.30.0에 대한 정보가 포함됩니다. 변경 사항은 5.29.0에 관련됩니다.
최초 릴리스 날짜: 2020년 5월 13일
최종 업데이트 날짜: 2020년 6월 25일
**업그레이드**
+ 버전 1.11.759 AWS SDK for Java 로 업그레이드됨
+ Amazon SageMaker Spark SDK가 버전 1.3.0으로 업그레이드됨
+ EMR 레코드 서버가 버전 1.6.0으로 업그레이드됨
+ Flink가 버전 1.10.0으로 업그레이드됨
+ Ganglia가 버전 3.7.2로 업그레이드됨
+ HBase가 버전 1.4.13으로 업그레이드됨
+ Hudi가 버전 0.5.2-incubating으로 업그레이드됨
+ Hue가 버전 4.6.0으로 업그레이드됨
+ JupyterHub가 버전 1.1.0으로 업그레이드됨
+ Livy가 버전 0.7.0-incubating으로 업그레이드됨
+ Oozie가 버전 5.2.0으로 업그레이드됨
+ Presto가 버전 0.232로 업그레이드됨
+ Spark가 버전 2.4.5로 업그레이드됨
+ 업그레이드된 커넥터 및 드라이버: Amazon Glue 커넥터 1.12.0, Amazon Kinesis 커넥터 3.5.0, EMR DynamoDB 커넥터 4.14.0
**새로운 기능**
+ **EMR Notebooks** - 5.30.0을 사용하여 생성된 EMR 클러스터와 함께 사용하면 EMR 노트북 커널이 클러스터에서 실행됩니다. 이로써 노트북 성능이 향상되며, 커널을 설치하고 사용자 지정할 수 있습니다. 클러스터 프라이머리 노드에 Python 라이브러리를 설치할 수도 있습니다. 자세한 내용은 *EMR 관리 안내서*에서 [커널 및 라이브러리 설치 및 사용](https://docs.aws.amazon.com//emr/latest/ManagementGuide/emr-managed-notebooks-installing-libraries-and-kernels.html)을 참조하세요.
+ **Managed Scaling** - Amazon EMR 버전 5.30.0 이상에서는 EMR Managed Scaling을 활성화하여 워크로드에 따라 클러스터에서 인스턴스 또는 유닛 수를 자동으로 늘리거나 줄일 수 있습니다. Amazon EMR은 클러스터 지표를 지속적으로 평가하여 비용과 속도 측면에서 클러스터를 최적화하는 조정 결정을 내립니다. 자세한 내용은 *Amazon EMR 관리 안내서*에서 [클러스터 리소스 조정](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-scale-on-demand.html)을 참조하세요.
+ **Amazon S3에 저장된 로그 파일 암호화** - Amazon EMR 버전 5.30.0 이상에서는 AWS KMS 고객 관리형 키를 사용하여 Amazon S3에 저장된 로그 파일을 암호화할 수 있습니다. 자세한 내용은 *Amazon EMR 관리 안내서*에서 [Amazon S3에 저장된 로그 파일 암호화](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-debugging.html#emr-log-encryption)를 참조하세요.
+ **Amazon Linux 2 지원** - EMR 버전 5.30.0 이상에서 EMR은 Amazon Linux 2 OS를 사용합니다. 새로운 사용자 지정 Amazon Machine Image(AMI)는 Amazon Linux 2 AMI를 기반으로 해야 합니다. 자세한 내용은 [사용자 지정 AMI 사용](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-custom-ami.html)을 참조하십시오.
+ **Presto 단계적 자동 조정** - 5.30.0 버전을 사용하는 EMR 클러스터의 경우 Auto Scaling 제한 시간을 설정할 수 있습니다. 이 제한 시간을 통해 Presto에서 노드가 서비스 해제되기 전에 실행을 완료할 수 있습니다. 자세한 내용은 [단계적 서비스 해제 기능이 있는 자동 조정 사용](presto-graceful-autoscale.md) 단원을 참조하십시오.
+ **새 할당 전략 옵션을 사용한 플릿 인스턴스 생성** - 새 할당 전략 옵션은 EMR 버전 5.12.1 이상에서 사용할 수 있습니다. 이를 통해 클러스터 프로비저닝 속도가 빨라지고 스팟 할당이 더 정확해지며 스팟 인스턴스 중단이 줄어듭니다. 기본이 아닌 EMR 서비스 역할은 업데이트해야 합니다. [인스턴스 플릿 구성](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-instance-fleet.html)을 참조하세요.
+ **sudo systemctl stop 및 sudo systemctl start 명령** – Amazon Linux 2 OS를 사용하는 EMR 버전 5.30.0 이상에서 EMR은 `sudo systemctl stop` 및 `sudo systemctl start` 명령을 사용하여 서비스를 다시 시작합니다. 자세한 내용은 [Amazon EMR에서 서비스를 다시 시작하려면 어떻게 해야 하나요?](https://aws.amazon.com/premiumsupport/knowledge-center/restart-service-emr/)를 참조하세요.
**변경 사항, 향상된 기능 및 해결된 문제**
+ EMR 버전 5.30.0은 기본적으로 Ganglia를 설치하지 않습니다. 클러스터 생성 시 Ganglia를 설치하도록 명시적으로 선택할 수 있습니다.
+ Spark 성능 최적화
+ Presto 성능 최적화
+ Python 3은 Amazon EMR 버전 5.30.0 이상의 기본값입니다.
+ 프라이빗 서브넷의 서비스 액세스에 대한 기본 관리형 보안 그룹이 새 규칙으로 업데이트되었습니다. 서비스 액세스에 대한 사용자 지정 보안 그룹을 사용하는 경우, 기본 관리형 보안 그룹과 동일한 규칙을 포함시켜야 합니다. 자세한 내용은 [서비스 액세스에 대한 Amazon EMR 관리형 보안 그룹(프라이빗 서브넷)](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-man-sec-groups.html#emr-sg-elasticmapreduce-sa-private)을 참조하세요. Amazon EMR에 대해 사용자 지정 서비스 역할을 사용하는 경우 EMR에서 보안 그룹이 올바르게 생성되는지 여부를 검증할 수 있도록 `ec2:describeSecurityGroups`에 대한 권한을 부여해야 합니다. `EMR_DefaultRole`을 사용하는 경우 이 권한은 이미 기본 관리형 정책에 포함되어 있습니다.
**알려진 문제**
+ **이전 AL2에서 더 낮은 '최대 열린 파일' 한도[최신 릴리스에서 수정됨].** Amazon EMR 릴리스: emr-5.30.x, emr-5.31.0, emr-5.32.0, emr-6.0.0, emr-6.1.0, emr-6.2.0은 Amazon Linux 2(AL2)의 이전 버전에 기반합니다. 이전 버전에서는 Amazon EMR 클러스터가 기본 AMI에서 생성되는 경우 '최대 열린 파일'에 대한 ulimit 설정이 더 낮습니다. Amazon EMR 릴리스 5.30.1, 5.30.2, 5.31.1, 5.32.1, 6.0.1, 6.1.1, 6.2.1, 5.33.0, 6.3.0 이상에는 더 높은 '최대 열린 파일' 설정을 포함한 영구적 수정 사항이 포함되어 있습니다. 열린 파일 한도가 낮은 릴리스의 경우 Spark 작업을 제출할 때 'Too many open files' 오류가 발생합니다. 영향을 받는 릴리스에서 Amazon EMR 기본 AMI의 '최대 열린 파일'에 대한 기본 ulimit 설정은 4,096개이며, 이는 최신 Amazon Linux 2 AMI의 65,536개 파일 제한보다 낮습니다. '최대 열린 파일'에 대한 더 낮은 ulimit 설정을 사용하면 Spark 드라이버와 실행기가 4,096개가 넘는 파일을 열려고 할 때 Spark 작업이 실패합니다. 이 문제를 해결하기 위해 Amazon EMR에는 클러스터 생성 시 ulimit 설정을 조정하는 부트스트랩 작업(BA) 스크립트가 있습니다.
이 문제에 대한 영구 수정 사항이 포함되지 않은 이전 Amazon EMR 버전을 사용하는 경우 다음 해결 방법을 통해 instance-controller ulimit를 최대 65,536개의 파일로 명시적으로 설정할 수 있습니다.
**명령줄에서 ulimit를 명시적으로 설정합니다.**
1. `/etc/systemd/system/instance-controller.service`를 편집하여 Service 섹션에 다음 파라미터를 추가합니다.
`LimitNOFILE=65536`
`LimitNPROC=65536`
1. InstanceController 다시 시작
`$ sudo systemctl daemon-reload`
`$ sudo systemctl restart instance-controller`
**부트스트랩 작업(BA)을 사용하여 ulimit 설정**
클러스터 생성 시 부트스트랩 작업(BA) 스크립트를 사용하여 instance-controller ulimit를 65,536개 파일로 구성할 수도 있습니다.
```
#!/bin/bash
for user in hadoop spark hive; do
sudo tee /etc/security/limits.d/$user.conf << EOF
$user - nofile 65536
$user - nproc 65536
EOF
done
for proc in instancecontroller logpusher; do
sudo mkdir -p /etc/systemd/system/$proc.service.d/
sudo tee /etc/systemd/system/$proc.service.d/override.conf << EOF
[Service]
LimitNOFILE=65536
LimitNPROC=65536
EOF
pid=$(pgrep -f aws157.$proc.Main)
sudo prlimit --pid $pid --nofile=65535:65535 --nproc=65535:65535
done
sudo systemctl daemon-reload
```
+ **Managed Scaling**
Presto가 설치되지 않은 5.30.0 및 5.30.1 클러스터에서 Managed Scaling을 수행하면 애플리케이션 장애가 발생하거나 균일한 인스턴스 그룹 또는 인스턴스 플릿이 `ARRESTED` 상태로 유지될 수 있습니다. 특히 스케일 다운 작업 이후 바로 스케일 업 작업이 수행되는 경우가 이에 해당합니다.
해결 방법으로 작업에 Presto가 필요하지 않더라도 Amazon EMR 릴리스 5.30.0 및 5.30.1에서 클러스터를 생성할 때 설치할 애플리케이션으로 Presto를 선택합니다.
+ 여러 프라이머리 노드와 Kerberos 인증을 사용하는 클러스터에서 알려진 문제
Amazon EMR 릴리스 5.20.0 이상에서 여러 프라이머리 노드와 Kerberos 인증을 사용하여 클러스터를 실행하는 경우, 클러스터를 일정 시간 실행한 후 스케일 다운 또는 단계 제출과 같은 클러스터 작업에 문제가 발생할 수 있습니다. 기간은 정의한 Kerberos 티켓 유효 기간에 따라 다릅니다. 스케일 다운 문제는 제출한 자동 스케일 다운 및 명시적 스케일 다운 요청 모두에 영향을 미칩니다. 이외의 다른 클러스터 작업도 영향을 받을 수 있습니다.
해결 방법:
+ 여러 프라이머리 노드가 있는 EMR 클러스터의 리드 프라이머리 노드에 대한 `hadoop` 사용자로 SSH 연결합니다.
+ 다음 명령을 실행하여 `hadoop` 사용자의 Kerberos 티켓을 갱신합니다.
```
kinit -kt
```
일반적으로 keytab 파일은 `/etc/hadoop.keytab`에 있으며, 보안 주체는 `hadoop/@` 양식입니다.
**참고**
이 해결 방법은 Kerberos 티켓이 유효한 기간에 작동합니다. 이 기간은 기본적으로 10시간이지만 Kerberos 설정으로 구성할 수 있습니다. Kerberos 티켓이 만료되면 위 명령을 다시 실행해야 합니다.
+ Hue 4.6.0의 기본 데이터베이스 엔진은 SQLite이며, 이 때문에 외부 데이터베이스에서 Hue를 사용하려고 하면 문제가 발생합니다. 이 문제를 해결하려면 `hue-ini` 구성 분류에서 `engine`을 `mysql`로 설정합니다. 이 문제는 Amazon EMR 버전 5.30.1에서 수정되었습니다.
+ Hive 파티션 위치 형식과 함께 Spark를 사용하여 Amazon S3의 데이터를 읽고, Amazon EMR 릴리스 5.30.0\$15.36.0 및 6.2.0\$16.9.0에서 Spark를 실행하는 경우 클러스터가 데이터를 제대로 읽지 못하는 문제가 발생할 수 있습니다. 파티션에 다음과 같은 특성이 모두 있는 경우 이러한 상황이 발생할 수 있습니다.
+ 둘 이상의 파티션이 동일한 테이블에서 스캔됩니다.
+ 하나 이상의 파티션 디렉터리 경로가 하나 이상의 다른 파티션 디렉터리 경로의 접두사입니다. 예를 들어 `s3://bucket/table/p=a`는 `s3://bucket/table/p=a b`의 접두사입니다.
+ 다른 파티션 디렉터리에서 접두사 뒤에 오는 첫 번째 문자의 UTF-8 값이 `/` 문자(U\$1002F)보다 작습니다. 예를 들어 `s3://bucket/table/p=a b`에서 a와 b 사이에 있는 공백 문자(U\$10020)가 이 카테고리에 속합니다. `!"#$%&‘()*+,-`와 같은 14개의 비제어 문자가 있습니다. 자세한 내용은 [UTF-8 인코딩 테이블 및 유니코드 문자](https://www.utf8-chartable.de/)를 참조하세요.
이 문제를 해결하려면 `spark-defaults` 분류에서 `spark.sql.sources.fastS3PartitionDiscovery.enabled` 구성을 `false`로 설정합니다.
## 5.30.0 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.3.0 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.14.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.13.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.5.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-notebook-env | 1.0.0 | emr 노트북용 Conda env |
| emr-s3-dist-cp | 2.14.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emr-s3-select | 1.5.0 | EMR S3Select 커넥터 |
| emrfs | 2.40.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.10.0 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.8.5-amzn-6 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.8.5-amzn-6 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.8.5-amzn-6 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.8.5-amzn-6 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-hdfs-journalnode | 2.8.5-amzn-6 | HA 클러스터에서 하둡 파일 시스템 저널을 관리하기 위한 HDFS 서비스 |
| hadoop-httpfs-server | 2.8.5-amzn-6 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.8.5-amzn-6 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.8.5-amzn-6 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.8.5-amzn-6 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.8.5-amzn-6 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.8.5-amzn-6 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.4.13 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.4.13 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.4.13 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.4.13 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.4.13 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.3.6-amzn-2 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.6-amzn-2 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.6-amzn-2 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.6-amzn-2 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.6-amzn-2 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.6-amzn-2 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.6-amzn-2 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hudi | 0.5.2-incubating | 짧은 지연 시간 및 높은 효율성으로 데이터 파이프라인을 구동하는 증분 처리 프레임워크. |
| hudi-presto | 0.5.2-incubating | Hudi로 Presto를 실행하기 위한 번들 라이브러리. |
| hue-server | 4.6.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| jupyterhub | 1.1.0 | Jupyter Notebook용 다중 사용자 서버 |
| livy-server | 0.7.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| nginx | 1.12.1 | HTTP인 nginx [engine x] 및 역방향 프록시 서버 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 1.5.1 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mariadb-server | 5.5.64 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 9.2.88 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 5.2.0 | Oozie 명령줄 클라이언트 |
| oozie-server | 5.2.0 | Oozie 워크플로 요청을 수락하는 서비스 |
| opencv | 3.4.0 | 오픈 소스 컴퓨터 비전 라이브러리. |
| phoenix-library | 4.14.3-HBase-1.4 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.14.3-HBase-1.4 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.232 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.232 | 여러 쿼리를 실행하는 서비스. |
| presto-client | 0.232 | Presto 서버가 시작되지 않은 HA 클러스터의 대기 마스터에 설치된 Presto 명령줄 클라이언트. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| r | 3.4.3 | 통계 컴퓨팅용 R 프로젝트 |
| ranger-kms-server | 1.2.0 | Apache Ranger 키 관리 시스템 |
| spark-client | 2.4.5-amzn-0 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.4.5-amzn-0 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.4.5-amzn-0 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.4.5-amzn-0 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.7 | Apache Sqoop 명령줄 클라이언트. |
| tensorflow | 1.14.0 | TensorFlow는 고성능 수치 계산용 오픈 소스 소프트웨어 라이브러리입니다. |
| tez-on-yarn | 0.9.2 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.8.2 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.14 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.14 | ZooKeeper 명령줄 클라이언트. |
## 5.30.0 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.30.0 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| container-log4j | Hadoop YARN container-log4j.properties 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| hudi-env | Hudi 환경에서 값을 변경합니다. |
| jupyter-notebook-conf | Jupyter Notebook jupyter\$1notebook\$1config.py 파일에서 값을 변경합니다. |
| jupyter-hub-conf | JupyterHubs jupyterhub\$1config.py 파일에서 값을 변경합니다. |
| jupyter-s3-conf | Jupyter Notebook S3 지속성 구성 |
| jupyter-sparkmagic-conf | Sparkmagic config.json 파일에서 값을 변경합니다. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. |
| livy-env | Livy 환경에서 값을 변경합니다. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-env | Pig 환경에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-password-authenticator | Presto password-authenticator.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-memory | Presto memory.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-redshift | Presto redshift.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| presto-connector-tpcds | Presto tpcds.properties 파일에서 값을 변경합니다. |
| ranger-kms-dbks-site | Ranger KMS dbks-site.xml 파일에서 값을 변경합니다. |
| ranger-kms-site | Ranger KMS ranger-kms-site.xml 파일에서 값을 변경합니다. |
| ranger-kms-env | Ranger KMS 환경에서 값을 변경합니다. |
| ranger-kms-log4j | Ranger KMS kms-log4j.properties 파일에서 값을 변경합니다. |
| ranger-kms-db-ca | Ranger KMS와의 MySQL SSL 연결에서 CA 파일의 값을 변경합니다. |
| recordserver-env | EMR RecordServer 환경에서 값을 변경합니다. |
| recordserver-conf | EMR RecordServer erver.properties 파일에서 값을 변경합니다. |
| recordserver-log4j | EMR RecordServer log4j.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.29.0
## 5.29.0 애플리케이션 버전
이 릴리스에 포함된 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.29.0 | emr-5.28.1 | emr-5.28.0 | emr-5.27.1 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.682 | 1.11.659 | 1.11.659 | 1.11.615 |
| Python | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.9.1 | 1.9.0 | 1.9.0 | 1.8.1 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.10 | 1.4.10 | 1.4.10 | 1.4.10 |
| HCatalog | 2.3.6-amzn-1 | 2.3.6-amzn-0 | 2.3.6-amzn-0 | 2.3.5-amzn-1 |
| Hadoop | 2.8.5-amzn-5 | 2.8.5-amzn-5 | 2.8.5-amzn-5 | 2.8.5-amzn-4 |
| Hive | 2.3.6-amzn-1 | 2.3.6-amzn-0 | 2.3.6-amzn-0 | 2.3.5-amzn-1 |
| Hudi | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | - |
| Hue | 4.4.0 | 4.4.0 | 4.4.0 | 4.4.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 1.0.0 | 1.0.0 | 1.0.0 | 1.0.0 |
| Livy | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating |
| MXNet | 1.5.1 | 1.5.1 | 1.5.1 | 1.4.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 |
| Phoenix | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 | 4.14.2-HBase-1.4 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.227 | 0.227 | 0.227 | 0.224 |
| Spark | 2.4.4 | 2.4.4 | 2.4.4 | 2.4.4 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.14.0 | 1.14.0 | 1.14.0 | 1.14.0 |
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.2 | 0.8.2 | 0.8.2 | 0.8.1 |
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 |
## 5.29.0 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.29.0에 대한 정보가 포함됩니다. 변경 사항은 5.28.1에 관련됩니다.
최초 릴리스 날짜: 2020년 1월 17일
**업그레이드**
+ 버전 1.11.682 AWS SDK for Java 로 업그레이드됨
+ Hive가 버전 2.3.6으로 업그레이드됨
+ Flink가 버전 1.9.1로 업그레이드됨
+ EmrFS가 버전 2.38.0으로 업그레이드됨
+ EMR DynamoDB Connector가 버전 4.13.0으로 업그레이드됨
**변경 사항, 향상된 기능 및 해결된 문제**
+ Spark
+ Spark 성능 최적화
+ EMRFS
+ 일관된 보기를 위해 관리 안내서에서 emrfs-site.xml 기본 설정이 업데이트됩니다.
**알려진 문제**
+ 여러 프라이머리 노드와 Kerberos 인증을 사용하는 클러스터에서 알려진 문제
Amazon EMR 릴리스 5.20.0 이상에서 여러 프라이머리 노드와 Kerberos 인증을 사용하여 클러스터를 실행하는 경우, 클러스터를 일정 시간 실행한 후 스케일 다운 또는 단계 제출과 같은 클러스터 작업에 문제가 발생할 수 있습니다. 기간은 정의한 Kerberos 티켓 유효 기간에 따라 다릅니다. 스케일 다운 문제는 제출한 자동 스케일 다운 및 명시적 스케일 다운 요청 모두에 영향을 미칩니다. 이외의 다른 클러스터 작업도 영향을 받을 수 있습니다.
해결 방법:
+ 여러 프라이머리 노드가 있는 EMR 클러스터의 리드 프라이머리 노드에 대한 `hadoop` 사용자로 SSH 연결합니다.
+ 다음 명령을 실행하여 `hadoop` 사용자의 Kerberos 티켓을 갱신합니다.
```
kinit -kt
```
일반적으로 keytab 파일은 `/etc/hadoop.keytab`에 있으며, 보안 주체는 `hadoop/@` 양식입니다.
**참고**
이 해결 방법은 Kerberos 티켓이 유효한 기간에 작동합니다. 이 기간은 기본적으로 10시간이지만 Kerberos 설정으로 구성할 수 있습니다. Kerberos 티켓이 만료되면 위 명령을 다시 실행해야 합니다.
## 5.29.0 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.2.6 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.13.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.12.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.4.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.13.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emr-s3-select | 1.4.0 | EMR S3Select 커넥터 |
| emrfs | 2.38.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터 |
| flink-client | 1.9.1 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.8.5-amzn-5 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.8.5-amzn-5 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.8.5-amzn-5 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.8.5-amzn-5 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-hdfs-journalnode | 2.8.5-amzn-5 | HA 클러스터에서 하둡 파일 시스템 저널을 관리하기 위한 HDFS 서비스 |
| hadoop-httpfs-server | 2.8.5-amzn-5 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.8.5-amzn-5 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.8.5-amzn-5 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.8.5-amzn-5 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.8.5-amzn-5 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.8.5-amzn-5 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.4.10 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.4.10 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.4.10 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.4.10 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.4.10 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.3.6-amzn-1 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.6-amzn-1 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.6-amzn-1 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.6-amzn-1 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.6-amzn-1 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.6-amzn-1 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.6-amzn-1 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hudi | 0.5.0-incubating | 짧은 지연 시간 및 높은 효율성으로 데이터 파이프라인을 구동하는 증분 처리 프레임워크. |
| hudi-presto | 0.5.0-incubating | Hudi로 Presto를 실행하기 위한 번들 라이브러리. |
| hue-server | 4.4.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| jupyterhub | 1.0.0 | Jupyter 노트북용 다중 사용자 서버 |
| livy-server | 0.6.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| nginx | 1.12.1 | HTTP인 nginx [engine x] 및 역방향 프록시 서버 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 1.5.1 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 9.2.88 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 5.1.0 | Oozie 명령줄 클라이언트 |
| oozie-server | 5.1.0 | Oozie 워크플로 요청을 수락하는 서비스 |
| opencv | 3.4.0 | 오픈 소스 컴퓨터 비전 라이브러리. |
| phoenix-library | 4.14.3-HBase-1.4 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.14.3-HBase-1.4 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.227 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.227 | 여러 쿼리를 실행하는 서비스. |
| presto-client | 0.227 | Presto 서버가 시작되지 않은 HA 클러스터의 대기 마스터에 설치된 Presto 명령줄 클라이언트. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| r | 3.4.1 | 통계 컴퓨팅용 R 프로젝트 |
| spark-client | 2.4.4 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.4.4 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.4.4 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.4.4 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.7 | Apache Sqoop 명령줄 클라이언트. |
| tensorflow | 1.14.0 | TensorFlow는 고성능 수치 계산용 오픈 소스 소프트웨어 라이브러리입니다. |
| tez-on-yarn | 0.9.2 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.8.2 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.14 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.14 | ZooKeeper 명령줄 클라이언트. |
## 5.29.0 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.29.0 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| container-log4j | Hadoop YARN container-log4j.properties 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| jupyter-notebook-conf | Jupyter Notebook jupyter\$1notebook\$1config.py 파일에서 값을 변경합니다. |
| jupyter-hub-conf | JupyterHubs jupyterhub\$1config.py 파일에서 값을 변경합니다. |
| jupyter-s3-conf | Jupyter Notebook S3 지속성 구성 |
| jupyter-sparkmagic-conf | Sparkmagic config.json 파일에서 값을 변경합니다. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. |
| livy-env | Livy 환경에서 값을 변경합니다. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-env | Pig 환경에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-password-authenticator | Presto password-authenticator.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-memory | Presto memory.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-redshift | Presto redshift.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| presto-connector-tpcds | Presto tpcds.properties 파일에서 값을 변경합니다. |
| ranger-kms-dbks-site | Ranger KMS dbks-site.xml 파일에서 값을 변경합니다. |
| ranger-kms-site | Ranger KMS ranger-kms-site.xml 파일에서 값을 변경합니다. |
| ranger-kms-env | Ranger KMS 환경에서 값을 변경합니다. |
| ranger-kms-log4j | Ranger KMS kms-log4j.properties 파일에서 값을 변경합니다. |
| ranger-kms-db-ca | Ranger KMS와의 MySQL SSL 연결에서 CA 파일의 값을 변경합니다. |
| recordserver-env | EMR RecordServer 환경에서 값을 변경합니다. |
| recordserver-conf | EMR RecordServer erver.properties 파일에서 값을 변경합니다. |
| recordserver-log4j | EMR RecordServer log4j.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.28.1
## 5.28.1 애플리케이션 버전
이 릴리스에 포함된 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.28.1 | emr-5.28.0 | emr-5.27.1 | emr-5.27.0 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.659 | 1.11.659 | 1.11.615 | 1.11.615 |
| Python | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.9.0 | 1.9.0 | 1.8.1 | 1.8.1 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.10 | 1.4.10 | 1.4.10 | 1.4.10 |
| HCatalog | 2.3.6-amzn-0 | 2.3.6-amzn-0 | 2.3.5-amzn-1 | 2.3.5-amzn-1 |
| Hadoop | 2.8.5-amzn-5 | 2.8.5-amzn-5 | 2.8.5-amzn-4 | 2.8.5-amzn-4 |
| Hive | 2.3.6-amzn-0 | 2.3.6-amzn-0 | 2.3.5-amzn-1 | 2.3.5-amzn-1 |
| Hudi | 0.5.0-incubating | 0.5.0-incubating | - | - |
| Hue | 4.4.0 | 4.4.0 | 4.4.0 | 4.4.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 1.0.0 | 1.0.0 | 1.0.0 | 1.0.0 |
| Livy | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating |
| MXNet | 1.5.1 | 1.5.1 | 1.4.0 | 1.4.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 |
| Phoenix | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 | 4.14.2-HBase-1.4 | 4.14.2-HBase-1.4 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.227 | 0.227 | 0.224 | 0.224 |
| Spark | 2.4.4 | 2.4.4 | 2.4.4 | 2.4.4 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.14.0 | 1.14.0 | 1.14.0 | 1.14.0 |
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.2 | 0.8.2 | 0.8.1 | 0.8.1 |
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 |
## 5.28.1 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.28.1에 대한 정보가 포함됩니다. 변경 사항은 5.28.0에 관련됩니다.
최초 릴리스 날짜: 2020년 1월 10일
**변경 사항, 향상된 기능 및 해결된 문제**
+ Spark
+ Spark 호환성 문제를 수정했습니다.
+ CloudWatch 지표
+ 여러 프라이머리 노드가 있는 EMR 클러스터에 Amazon CloudWatch 지표가 게시되는 문제를 수정했습니다.
+ 로그 메시지 비활성화
+ false 로그 메시지 "이전 버전(<4.5.8)의 Apache http 클라이언트를 사용..."을 비활성화했습니다.
**알려진 문제**
+ 여러 프라이머리 노드와 Kerberos 인증을 사용하는 클러스터에서 알려진 문제
Amazon EMR 릴리스 5.20.0 이상에서 여러 프라이머리 노드와 Kerberos 인증을 사용하여 클러스터를 실행하는 경우, 클러스터를 일정 시간 실행한 후 스케일 다운 또는 단계 제출과 같은 클러스터 작업에 문제가 발생할 수 있습니다. 기간은 정의한 Kerberos 티켓 유효 기간에 따라 다릅니다. 스케일 다운 문제는 제출한 자동 스케일 다운 및 명시적 스케일 다운 요청 모두에 영향을 미칩니다. 이외의 다른 클러스터 작업도 영향을 받을 수 있습니다.
해결 방법:
+ 여러 프라이머리 노드가 있는 EMR 클러스터의 리드 프라이머리 노드에 대한 `hadoop` 사용자로 SSH 연결합니다.
+ 다음 명령을 실행하여 `hadoop` 사용자의 Kerberos 티켓을 갱신합니다.
```
kinit -kt
```
일반적으로 keytab 파일은 `/etc/hadoop.keytab`에 있으며, 보안 주체는 `hadoop/@` 양식입니다.
**참고**
이 해결 방법은 Kerberos 티켓이 유효한 기간에 작동합니다. 이 기간은 기본적으로 10시간이지만 Kerberos 설정으로 구성할 수 있습니다. Kerberos 티켓이 만료되면 위 명령을 다시 실행해야 합니다.
## 5.28.1 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.2.6 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.12.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.11.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.4.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.13.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emr-s3-select | 1.3.0 | EMR S3Select 커넥터 |
| emrfs | 2.37.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.9.0 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.8.5-amzn-5 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.8.5-amzn-5 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.8.5-amzn-5 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.8.5-amzn-5 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-hdfs-journalnode | 2.8.5-amzn-5 | HA 클러스터에서 하둡 파일 시스템 저널을 관리하기 위한 HDFS 서비스 |
| hadoop-httpfs-server | 2.8.5-amzn-5 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.8.5-amzn-5 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.8.5-amzn-5 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.8.5-amzn-5 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.8.5-amzn-5 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.8.5-amzn-5 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.4.10 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.4.10 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.4.10 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.4.10 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.4.10 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.3.6-amzn-0 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.6-amzn-0 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.6-amzn-0 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.6-amzn-0 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.6-amzn-0 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.6-amzn-0 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.6-amzn-0 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hudi | 0.5.0-incubating | 짧은 지연 시간 및 높은 효율성으로 데이터 파이프라인을 구동하는 증분 처리 프레임워크. |
| hudi-presto | 0.5.0-incubating | Hudi로 Presto를 실행하기 위한 번들 라이브러리. |
| hue-server | 4.4.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| jupyterhub | 1.0.0 | Jupyter 노트북용 다중 사용자 서버 |
| livy-server | 0.6.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| nginx | 1.12.1 | HTTP인 nginx [engine x] 및 역방향 프록시 서버 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 1.5.1 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 9.2.88 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 5.1.0 | Oozie 명령줄 클라이언트 |
| oozie-server | 5.1.0 | Oozie 워크플로 요청을 수락하는 서비스 |
| opencv | 3.4.0 | 오픈 소스 컴퓨터 비전 라이브러리. |
| phoenix-library | 4.14.3-HBase-1.4 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.14.3-HBase-1.4 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.227 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.227 | 여러 쿼리를 실행하는 서비스. |
| presto-client | 0.227 | Presto 서버가 시작되지 않은 HA 클러스터의 대기 마스터에 설치된 Presto 명령줄 클라이언트. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| r | 3.4.1 | 통계 컴퓨팅용 R 프로젝트 |
| spark-client | 2.4.4 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.4.4 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.4.4 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.4.4 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.7 | Apache Sqoop 명령줄 클라이언트. |
| tensorflow | 1.14.0 | TensorFlow는 고성능 수치 계산용 오픈 소스 소프트웨어 라이브러리입니다. |
| tez-on-yarn | 0.9.2 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.8.2 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.14 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.14 | ZooKeeper 명령줄 클라이언트. |
## 5.28.1 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.28.1 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| container-log4j | Hadoop YARN container-log4j.properties 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| jupyter-notebook-conf | Jupyter Notebook jupyter\$1notebook\$1config.py 파일에서 값을 변경합니다. |
| jupyter-hub-conf | JupyterHubs jupyterhub\$1config.py 파일에서 값을 변경합니다. |
| jupyter-s3-conf | Jupyter Notebook S3 지속성 구성 |
| jupyter-sparkmagic-conf | Sparkmagic config.json 파일에서 값을 변경합니다. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. |
| livy-env | Livy 환경에서 값을 변경합니다. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-env | Pig 환경에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-password-authenticator | Presto password-authenticator.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-memory | Presto memory.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-redshift | Presto redshift.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| presto-connector-tpcds | Presto tpcds.properties 파일에서 값을 변경합니다. |
| ranger-kms-dbks-site | Ranger KMS dbks-site.xml 파일에서 값을 변경합니다. |
| ranger-kms-site | Ranger KMS ranger-kms-site.xml 파일에서 값을 변경합니다. |
| ranger-kms-env | Ranger KMS 환경에서 값을 변경합니다. |
| ranger-kms-log4j | Ranger KMS kms-log4j.properties 파일에서 값을 변경합니다. |
| ranger-kms-db-ca | Ranger KMS와의 MySQL SSL 연결에서 CA 파일의 값을 변경합니다. |
| recordserver-env | EMR RecordServer 환경에서 값을 변경합니다. |
| recordserver-conf | EMR RecordServer erver.properties 파일에서 값을 변경합니다. |
| recordserver-log4j | EMR RecordServer log4j.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.28.0
## 5.28.0 애플리케이션 버전
이 릴리스에 포함된 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.28.0 | emr-5.27.1 | emr-5.27.0 | emr-5.26.0 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.659 | 1.11.615 | 1.11.615 | 1.11.595 |
| Python | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.9.0 | 1.8.1 | 1.8.1 | 1.8.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.10 | 1.4.10 | 1.4.10 | 1.4.10 |
| HCatalog | 2.3.6-amzn-0 | 2.3.5-amzn-1 | 2.3.5-amzn-1 | 2.3.5-amzn-0 |
| Hadoop | 2.8.5-amzn-5 | 2.8.5-amzn-4 | 2.8.5-amzn-4 | 2.8.5-amzn-4 |
| Hive | 2.3.6-amzn-0 | 2.3.5-amzn-1 | 2.3.5-amzn-1 | 2.3.5-amzn-0 |
| Hudi | 0.5.0-incubating | - | - | - |
| Hue | 4.4.0 | 4.4.0 | 4.4.0 | 4.4.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 1.0.0 | 1.0.0 | 1.0.0 | 0.9.6 |
| Livy | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating |
| MXNet | 1.5.1 | 1.4.0 | 1.4.0 | 1.4.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 |
| Phoenix | 4.14.3-HBase-1.4 | 4.14.2-HBase-1.4 | 4.14.2-HBase-1.4 | 4.14.2-HBase-1.4 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.227 | 0.224 | 0.224 | 0.220 |
| Spark | 2.4.4 | 2.4.4 | 2.4.4 | 2.4.3 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.14.0 | 1.14.0 | 1.14.0 | 1.13.1 |
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.2 | 0.8.1 | 0.8.1 | 0.8.1 |
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 |
## 5.28.0 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.28.0에 대한 정보가 포함됩니다. 변경 사항은 5.27.0에 관련됩니다.
최초 릴리스 날짜: 2019년 11월 12일
**업그레이드**
+ Flink가 버전 1.9.0으로 업그레이드됨
+ Hive가 버전 2.3.6으로 업그레이드됨
+ MXNet이 1.5.1로 업그레이드됨
+ Phoenix가 버전 4.14.3으로 업그레이드됨
+ Presto가 버전 0.227로 업그레이드됨
+ Zeppelin이 버전 0.8.2로 업그레이드됨
**새로운 기능**
+ 이제 [Apache Hudi](https://hudi.apache.org/)는 클러스터를 생성할 때 Amazon EMR에서 설치할 수 있습니다. 자세한 내용은 [Hudi](emr-hudi.md) 단원을 참조하십시오.
+ (2019년 11월 25일) 이제 클러스터 사용률을 개선하고 비용을 절감하기 위해 여러 단계를 병렬로 실행하도록 선택할 수 있습니다. 대기 중인 단계와 실행 중인 단계를 모두 취소할 수도 있습니다. 자세한 내용은 [AWS CLI 및 콘솔을 사용하여 단계 작업을 참조하세요](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-work-with-steps.html).
+ (2019년 12월 3일) 이제 온프레미스 시설에서 네이티브 AWS 서비스, 인프라 및 운영 모델을 AWS Outposts AWS Outposts 활성화하여 EMR 클러스터를 생성하고 실행할 수 있습니다. AWS Outposts 환경에서는 AWS 클라우드에서 사용하는 것과 동일한 AWS APIs, 도구 및 인프라를 사용할 수 있습니다. 자세한 내용은 [의 EMR 클러스터를 참조하세요 AWS Outposts](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-outposts.html).
+ (2020년 3월 11일) Amazon EMR 버전 5.28.0부터 AWS 로컬 영역을 지원하는 AWS 리전의 논리적 확장으로 로컬 영역 서브넷에서 Amazon EMR 클러스터를 생성하고 실행할 수 있습니다. 로컬 영역을 사용하면 Amazon EMR 기능과 컴퓨팅 및 스토리지 AWS 서비스와 같은 서비스 하위 집합을 사용자에게 더 가깝게 배치하여 로컬에서 실행되는 애플리케이션에 대한 매우 짧은 지연 시간 액세스를 제공할 수 있습니다. 사용 가능한 로컬 영역 목록은 [AWS Local Zones](https://aws.amazon.com/about-aws/global-infrastructure/localzones/)를 참조하세요. 사용 가능한 AWS 로컬 영역에 액세스하는 방법에 대한 자세한 내용은 [리전, 가용 영역 및 로컬 영역을 참조하세요](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/using-regions-availability-zones.html).
로컬 영역은 현재 Amazon EMR Notebooks를 지원하지 않으며 인터페이스 VPC 엔드포인트(AWS PrivateLink)를 사용하여 Amazon EMR에 직접 연결하는 기능도 지원하지 않습니다.
**변경 사항, 향상된 기능 및 해결된 문제**
+ 고가용성 클러스터에 대해 확장된 애플리케이션 지원
+ 자세한 내용은 *Amazon EMR 관리 안내서*에서 [여러 프라이머리 노드가 있는 EMR 클러스터에서 지원되는 애플리케이션](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-ha-applications.html#emr-plan-ha-applications-list)을 참조하세요.
+ Spark
+ 성능 최적화
+ Hive
+ 성능 최적화
+ Presto
+ 성능 최적화
**알려진 문제**
+ 여러 프라이머리 노드와 Kerberos 인증을 사용하는 클러스터에서 알려진 문제
Amazon EMR 릴리스 5.20.0 이상에서 여러 프라이머리 노드와 Kerberos 인증을 사용하여 클러스터를 실행하는 경우, 클러스터를 일정 시간 실행한 후 스케일 다운 또는 단계 제출과 같은 클러스터 작업에 문제가 발생할 수 있습니다. 기간은 정의한 Kerberos 티켓 유효 기간에 따라 다릅니다. 스케일 다운 문제는 제출한 자동 스케일 다운 및 명시적 스케일 다운 요청 모두에 영향을 미칩니다. 이외의 다른 클러스터 작업도 영향을 받을 수 있습니다.
해결 방법:
+ 여러 프라이머리 노드가 있는 EMR 클러스터의 리드 프라이머리 노드에 대한 `hadoop` 사용자로 SSH 연결합니다.
+ 다음 명령을 실행하여 `hadoop` 사용자의 Kerberos 티켓을 갱신합니다.
```
kinit -kt
```
일반적으로 keytab 파일은 `/etc/hadoop.keytab`에 있으며, 보안 주체는 `hadoop/@` 양식입니다.
**참고**
이 해결 방법은 Kerberos 티켓이 유효한 기간에 작동합니다. 이 기간은 기본적으로 10시간이지만 Kerberos 설정으로 구성할 수 있습니다. Kerberos 티켓이 만료되면 위 명령을 다시 실행해야 합니다.
## 5.28.0 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.2.6 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.12.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.11.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.4.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.13.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emr-s3-select | 1.3.0 | EMR S3Select 커넥터 |
| emrfs | 2.37.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.9.0 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.8.5-amzn-5 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.8.5-amzn-5 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.8.5-amzn-5 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.8.5-amzn-5 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-hdfs-journalnode | 2.8.5-amzn-5 | HA 클러스터에서 하둡 파일 시스템 저널을 관리하기 위한 HDFS 서비스 |
| hadoop-httpfs-server | 2.8.5-amzn-5 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.8.5-amzn-5 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.8.5-amzn-5 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.8.5-amzn-5 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.8.5-amzn-5 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.8.5-amzn-5 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.4.10 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.4.10 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.4.10 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.4.10 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.4.10 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.3.6-amzn-0 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.6-amzn-0 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.6-amzn-0 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.6-amzn-0 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.6-amzn-0 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.6-amzn-0 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.6-amzn-0 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hudi | 0.5.0-incubating | 짧은 지연 시간 및 높은 효율성으로 데이터 파이프라인을 구동하는 증분 처리 프레임워크. |
| hudi-presto | 0.5.0-incubating | Hudi로 Presto를 실행하기 위한 번들 라이브러리. |
| hue-server | 4.4.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| jupyterhub | 1.0.0 | Jupyter 노트북용 다중 사용자 서버 |
| livy-server | 0.6.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| nginx | 1.12.1 | HTTP인 nginx [engine x] 및 역방향 프록시 서버 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 1.5.1 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 9.2.88 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 5.1.0 | Oozie 명령줄 클라이언트 |
| oozie-server | 5.1.0 | Oozie 워크플로 요청을 수락하는 서비스 |
| opencv | 3.4.0 | 오픈 소스 컴퓨터 비전 라이브러리. |
| phoenix-library | 4.14.3-HBase-1.4 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.14.3-HBase-1.4 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.227 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.227 | 여러 쿼리를 실행하는 서비스. |
| presto-client | 0.227 | Presto 서버가 시작되지 않은 HA 클러스터의 대기 마스터에 설치된 Presto 명령줄 클라이언트. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| r | 3.4.1 | 통계 컴퓨팅용 R 프로젝트 |
| spark-client | 2.4.4 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.4.4 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.4.4 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.4.4 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.7 | Apache Sqoop 명령줄 클라이언트. |
| tensorflow | 1.14.0 | TensorFlow는 고성능 수치 계산용 오픈 소스 소프트웨어 라이브러리입니다. |
| tez-on-yarn | 0.9.2 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.8.2 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.14 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.14 | ZooKeeper 명령줄 클라이언트. |
## 5.28.0 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.28.0 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| container-log4j | Hadoop YARN container-log4j.properties 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| jupyter-notebook-conf | Jupyter Notebook jupyter\$1notebook\$1config.py 파일에서 값을 변경합니다. |
| jupyter-hub-conf | JupyterHubs jupyterhub\$1config.py 파일에서 값을 변경합니다. |
| jupyter-s3-conf | Jupyter Notebook S3 지속성 구성 |
| jupyter-sparkmagic-conf | Sparkmagic config.json 파일에서 값을 변경합니다. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. |
| livy-env | Livy 환경에서 값을 변경합니다. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-env | Pig 환경에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-password-authenticator | Presto password-authenticator.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-memory | Presto memory.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-redshift | Presto redshift.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| presto-connector-tpcds | Presto tpcds.properties 파일에서 값을 변경합니다. |
| ranger-kms-dbks-site | Ranger KMS dbks-site.xml 파일에서 값을 변경합니다. |
| ranger-kms-site | Ranger KMS ranger-kms-site.xml 파일에서 값을 변경합니다. |
| ranger-kms-env | Ranger KMS 환경에서 값을 변경합니다. |
| ranger-kms-log4j | Ranger KMS kms-log4j.properties 파일에서 값을 변경합니다. |
| ranger-kms-db-ca | Ranger KMS와의 MySQL SSL 연결에서 CA 파일의 값을 변경합니다. |
| recordserver-env | EMR RecordServer 환경에서 값을 변경합니다. |
| recordserver-conf | EMR RecordServer erver.properties 파일에서 값을 변경합니다. |
| recordserver-log4j | EMR RecordServer log4j.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.27.1
## 5.27.1 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.27.1 | emr-5.27.0 | emr-5.26.0 | emr-5.25.0 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.615 | 1.11.615 | 1.11.595 | 1.11.566 |
| Python | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.8.1 | 1.8.1 | 1.8.0 | 1.8.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.10 | 1.4.10 | 1.4.10 | 1.4.9 |
| HCatalog | 2.3.5-amzn-1 | 2.3.5-amzn-1 | 2.3.5-amzn-0 | 2.3.5-amzn-0 |
| Hadoop | 2.8.5-amzn-4 | 2.8.5-amzn-4 | 2.8.5-amzn-4 | 2.8.5-amzn-4 |
| Hive | 2.3.5-amzn-1 | 2.3.5-amzn-1 | 2.3.5-amzn-0 | 2.3.5-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 4.4.0 | 4.4.0 | 4.4.0 | 4.4.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 1.0.0 | 1.0.0 | 0.9.6 | 0.9.6 |
| Livy | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating |
| MXNet | 1.4.0 | 1.4.0 | 1.4.0 | 1.4.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 |
| Phoenix | 4.14.2-HBase-1.4 | 4.14.2-HBase-1.4 | 4.14.2-HBase-1.4 | 4.14.1-HBase-1.4 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.224 | 0.224 | 0.220 | 0.220 |
| Spark | 2.4.4 | 2.4.4 | 2.4.3 | 2.4.3 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.14.0 | 1.14.0 | 1.13.1 | 1.13.1 |
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 |
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 |
## 5.27.1 릴리스 정보
패치 릴리스입니다. 모든 애플리케이션 및 구성 요소는 이전 Amazon EMR 릴리스와 동일합니다.
인스턴스 메타데이터 서비스(IMDS) V2 지원 상태: Amazon EMR 5.23.1, 5.27.1 및 5.32 이상의 구성 요소는 모든 IMDS 직접 호출에 IMDSv2를 사용합니다. 애플리케이션 코드에서 IMDS를 직접 호출하는 경우, IMDSv1 및 IMDSv2를 모두 사용하거나, 추가 보안을 위해 IMDSv2만 사용하도록 IMDS를 구성할 수 있습니다. 다른 5.x EMR 릴리스의 경우 IMDSv1을 비활성화하면 클러스터 시작 오류가 발생합니다.
## 5.27.1 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.2.4 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.12.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.11.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.4.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.13.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emr-s3-select | 1.3.0 | EMR S3Select 커넥터 |
| emrfs | 2.36.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.8.1 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.8.5-amzn-4 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.8.5-amzn-4 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.8.5-amzn-4 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.8.5-amzn-4 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-hdfs-journalnode | 2.8.5-amzn-4 | HA 클러스터에서 하둡 파일 시스템 저널을 관리하기 위한 HDFS 서비스 |
| hadoop-httpfs-server | 2.8.5-amzn-4 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.8.5-amzn-4 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.8.5-amzn-4 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.8.5-amzn-4 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.8.5-amzn-4 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.8.5-amzn-4 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.4.10 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.4.10 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.4.10 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.4.10 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.4.10 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.3.5-amzn-1 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.5-amzn-1 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.5-amzn-1 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.5-amzn-1 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.5-amzn-1 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.5-amzn-1 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.5-amzn-1 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 4.4.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| jupyterhub | 1.0.0 | Jupyter 노트북용 다중 사용자 서버 |
| livy-server | 0.6.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| nginx | 1.12.1 | HTTP인 nginx [engine x] 및 역방향 프록시 서버 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 1.4.0 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 9.2.88 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 5.1.0 | Oozie 명령줄 클라이언트 |
| oozie-server | 5.1.0 | Oozie 워크플로 요청을 수락하는 서비스 |
| opencv | 3.4.0 | 오픈 소스 컴퓨터 비전 라이브러리. |
| phoenix-library | 4.14.2-HBase-1.4 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.14.2-HBase-1.4 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.224 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.224 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| r | 3.4.1 | 통계 컴퓨팅용 R 프로젝트 |
| spark-client | 2.4.4 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.4.4 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.4.4 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.4.4 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.7 | Apache Sqoop 명령줄 클라이언트. |
| tensorflow | 1.14.0 | TensorFlow는 고성능 수치 계산용 오픈 소스 소프트웨어 라이브러리입니다. |
| tez-on-yarn | 0.9.2 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.8.1 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.14 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.14 | ZooKeeper 명령줄 클라이언트. |
## 5.27.1 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.27.1 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| container-log4j | Hadoop YARN container-log4j.properties 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| jupyter-notebook-conf | Jupyter Notebook jupyter\$1notebook\$1config.py 파일에서 값을 변경합니다. |
| jupyter-hub-conf | JupyterHubs jupyterhub\$1config.py 파일에서 값을 변경합니다. |
| jupyter-s3-conf | Jupyter Notebook S3 지속성 구성 |
| jupyter-sparkmagic-conf | Sparkmagic config.json 파일에서 값을 변경합니다. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. |
| livy-env | Livy 환경에서 값을 변경합니다. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-env | Pig 환경에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-password-authenticator | Presto password-authenticator.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-memory | Presto memory.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-redshift | Presto redshift.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| presto-connector-tpcds | Presto tpcds.properties 파일에서 값을 변경합니다. |
| ranger-kms-dbks-site | Ranger KMS dbks-site.xml 파일에서 값을 변경합니다. |
| ranger-kms-site | Ranger KMS ranger-kms-site.xml 파일에서 값을 변경합니다. |
| ranger-kms-env | Ranger KMS 환경에서 값을 변경합니다. |
| ranger-kms-log4j | Ranger KMS kms-log4j.properties 파일에서 값을 변경합니다. |
| ranger-kms-db-ca | Ranger KMS와의 MySQL SSL 연결에서 CA 파일의 값을 변경합니다. |
| recordserver-env | EMR RecordServer 환경에서 값을 변경합니다. |
| recordserver-conf | EMR RecordServer erver.properties 파일에서 값을 변경합니다. |
| recordserver-log4j | EMR RecordServer log4j.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.27.0
## 5.27.0 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.27.0 | emr-5.26.0 | emr-5.25.0 | emr-5.24.1 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.615 | 1.11.595 | 1.11.566 | 1.11.546 |
| Python | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.8.1 | 1.8.0 | 1.8.0 | 1.8.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.10 | 1.4.10 | 1.4.9 | 1.4.9 |
| HCatalog | 2.3.5-amzn-1 | 2.3.5-amzn-0 | 2.3.5-amzn-0 | 2.3.4-amzn-2 |
| Hadoop | 2.8.5-amzn-4 | 2.8.5-amzn-4 | 2.8.5-amzn-4 | 2.8.5-amzn-4 |
| Hive | 2.3.5-amzn-1 | 2.3.5-amzn-0 | 2.3.5-amzn-0 | 2.3.4-amzn-2 |
| Hudi | - | - | - | - |
| Hue | 4.4.0 | 4.4.0 | 4.4.0 | 4.4.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 1.0.0 | 0.9.6 | 0.9.6 | 0.9.6 |
| Livy | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating |
| MXNet | 1.4.0 | 1.4.0 | 1.4.0 | 1.4.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 |
| Phoenix | 4.14.2-HBase-1.4 | 4.14.2-HBase-1.4 | 4.14.1-HBase-1.4 | 4.14.1-HBase-1.4 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.224 | 0.220 | 0.220 | 0.219 |
| Spark | 2.4.4 | 2.4.3 | 2.4.3 | 2.4.2 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.14.0 | 1.13.1 | 1.13.1 | 1.12.0 |
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.1 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 |
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.13 |
## 5.27.0 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.27.0에 대한 정보가 포함됩니다. 변경 사항은 5.26.0에 관련됩니다.
최초 릴리스 날짜: 2019년 9월 23일
**업그레이드**
+ AWS SDK for Java 1.11.615
+ Flink 1.8.1
+ JupyterHub 1.0.0
+ Spark 2.4.4
+ TensorFlow 1.14.0
+ 커넥터 및 드라이버:
+ DynamoDB 커넥터 4.12.0
**새로운 기능**
+ (2019년 10월 24일) 다음과 같은 EMR 노트북의 새로운 기능은 모든 Amazon EMR 릴리스에서 사용할 수 있습니다.
+ 이제 Git 리포지토리를 EMR 노트북과 연결하여 버전 제어 환경에서 노트북을 저장할 수 있습니다. 원격 Git 리포지토리를 통해 동료와 코드를 공유할 수 있고 기존 Jupyter Notebook을 재사용할 수 있습니다. 자세한 내용은 *Amazon EMR 관리 안내서*에서 [Amazon EMR Notebooks에 Git 리포지토리 연결](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-git-repo.html)을 참조하세요.
+ 이제 EMR 노트북에서 [nbdime 유틸리티](https://github.com/jupyter/nbdime)를 사용하여 노트북 비교 및 병합을 간소화할 수 있습니다.
+ 이제 EMR 노트북이 JupyterLab을 지원합니다. JupyterLab은 Jupyter Notebook과 완전히 호환 가능한 웹 기반 대화식 개발 환경입니다. 이제 JupyterLab 또는 Jupyter Notebook 편집기에서 노트북을 열 수 있는 옵션이 제공됩니다.
+ (2019년 10월 30일) Amazon EMR 버전 5.25.0 이상부터 콘솔에서 클러스터 **요약** 페이지 또는 **애플리케이션 기록** 탭을 사용해 Spark 기록 서버 UI에 연결할 수 있습니다. SSH 연결을 통해 웹 프록시를 설정하는 대신, Spark 기록 서버 UI에 액세스하여 애플리케이션 지표를 보고 활성 클러스터 및 종료된 클러스터에 대한 관련 로그 파일에 액세스할 수 있습니다. 자세한 내용은 *Amazon EMR 관리 안내서*에서 [영구 애플리케이션 사용자 인터페이스에 대해 클러스터 외부에서 액세스](https://docs.aws.amazon.com/emr/latest/ManagementGuide/app-history-spark-UI.html)를 참조하세요.
**변경 사항, 향상된 기능 및 해결된 문제**
+ 여러 프라이머리 노드를 포함하는 Amazon EMR 클러스터
+ 여러 프라이머리 노드를 포함하는 Amazon EMR 클러스터에 Flink를 설치하고 실행할 수 있습니다. 자세한 내용은 [지원되는 애플리케이션 및 기능](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-ha-applications.html)을 참조하세요.
+ 여러 프라이머리 노드를 포함하는 Amazon EMR 클러스터에서 HDFS 투명 암호화를 구성할 수 있습니다. 자세한 내용은 [여러 프라이머리 노드를 포함하는 EMR 클러스터에서 HDFS의 투명한 암호화](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-encryption-tdehdfs.html#emr-hadoop-kms-multi-master)를 참조하세요.
+ 이제 여러 프라이머리 노드를 포함하는 Amazon EMR 클러스터에서 실행 중인 애플리케이션의 구성을 수정할 수 있습니다. 자세한 내용은 [실행 중 클러스터의 인스턴스 그룹에 대해 구성 제공](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-configure-apps-running-cluster.html)을 참조하세요.
+ Amazon EMR-DynamoDB 커넥터
+ 이제 Amazon EMR-DynamoDB 커넥터에서 부울, 목록, 맵, 항목, null과 같은 DynamoDB 데이터 유형을 지원합니다. 자세한 정보는 [Hive 테이블을 설정하여 Hive 명령 실행](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/EMR_Interactive_Hive.html)을 참조하십시오.
**알려진 문제**
+ 여러 프라이머리 노드와 Kerberos 인증을 사용하는 클러스터에서 알려진 문제
Amazon EMR 릴리스 5.20.0 이상에서 여러 프라이머리 노드와 Kerberos 인증을 사용하여 클러스터를 실행하는 경우, 클러스터를 일정 시간 실행한 후 스케일 다운 또는 단계 제출과 같은 클러스터 작업에 문제가 발생할 수 있습니다. 기간은 정의한 Kerberos 티켓 유효 기간에 따라 다릅니다. 스케일 다운 문제는 제출한 자동 스케일 다운 및 명시적 스케일 다운 요청 모두에 영향을 미칩니다. 이외의 다른 클러스터 작업도 영향을 받을 수 있습니다.
해결 방법:
+ 여러 프라이머리 노드가 있는 EMR 클러스터의 리드 프라이머리 노드에 대한 `hadoop` 사용자로 SSH 연결합니다.
+ 다음 명령을 실행하여 `hadoop` 사용자의 Kerberos 티켓을 갱신합니다.
```
kinit -kt
```
일반적으로 keytab 파일은 `/etc/hadoop.keytab`에 있으며, 보안 주체는 `hadoop/@` 양식입니다.
**참고**
이 해결 방법은 Kerberos 티켓이 유효한 기간에 작동합니다. 이 기간은 기본적으로 10시간이지만 Kerberos 설정으로 구성할 수 있습니다. Kerberos 티켓이 만료되면 위 명령을 다시 실행해야 합니다.
## 5.27.0 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.2.4 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.12.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.11.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.4.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.13.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emr-s3-select | 1.3.0 | EMR S3Select 커넥터 |
| emrfs | 2.36.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.8.1 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.8.5-amzn-4 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.8.5-amzn-4 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.8.5-amzn-4 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.8.5-amzn-4 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-hdfs-journalnode | 2.8.5-amzn-4 | HA 클러스터에서 하둡 파일 시스템 저널을 관리하기 위한 HDFS 서비스 |
| hadoop-httpfs-server | 2.8.5-amzn-4 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.8.5-amzn-4 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.8.5-amzn-4 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.8.5-amzn-4 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.8.5-amzn-4 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.8.5-amzn-4 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.4.10 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.4.10 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.4.10 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.4.10 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.4.10 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.3.5-amzn-1 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.5-amzn-1 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.5-amzn-1 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.5-amzn-1 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.5-amzn-1 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.5-amzn-1 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.5-amzn-1 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 4.4.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| jupyterhub | 1.0.0 | Jupyter 노트북용 다중 사용자 서버 |
| livy-server | 0.6.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| nginx | 1.12.1 | HTTP인 nginx [engine x] 및 역방향 프록시 서버 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 1.4.0 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 9.2.88 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 5.1.0 | Oozie 명령줄 클라이언트 |
| oozie-server | 5.1.0 | Oozie 워크플로 요청을 수락하는 서비스 |
| opencv | 3.4.0 | 오픈 소스 컴퓨터 비전 라이브러리. |
| phoenix-library | 4.14.2-HBase-1.4 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.14.2-HBase-1.4 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.224 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.224 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| r | 3.4.1 | 통계 컴퓨팅용 R 프로젝트 |
| spark-client | 2.4.4 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.4.4 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.4.4 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.4.4 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.7 | Apache Sqoop 명령줄 클라이언트. |
| tensorflow | 1.14.0 | TensorFlow는 고성능 수치 계산용 오픈 소스 소프트웨어 라이브러리입니다. |
| tez-on-yarn | 0.9.2 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.8.1 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.14 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.14 | ZooKeeper 명령줄 클라이언트. |
## 5.27.0 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.27.0 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| container-log4j | Hadoop YARN container-log4j.properties 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| jupyter-notebook-conf | Jupyter Notebook jupyter\$1notebook\$1config.py 파일에서 값을 변경합니다. |
| jupyter-hub-conf | JupyterHubs jupyterhub\$1config.py 파일에서 값을 변경합니다. |
| jupyter-s3-conf | Jupyter Notebook S3 지속성 구성 |
| jupyter-sparkmagic-conf | Sparkmagic config.json 파일에서 값을 변경합니다. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. |
| livy-env | Livy 환경에서 값을 변경합니다. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-env | Pig 환경에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-password-authenticator | Presto password-authenticator.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-memory | Presto memory.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-redshift | Presto redshift.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| presto-connector-tpcds | Presto tpcds.properties 파일에서 값을 변경합니다. |
| ranger-kms-dbks-site | Ranger KMS dbks-site.xml 파일에서 값을 변경합니다. |
| ranger-kms-site | Ranger KMS ranger-kms-site.xml 파일에서 값을 변경합니다. |
| ranger-kms-env | Ranger KMS 환경에서 값을 변경합니다. |
| ranger-kms-log4j | Ranger KMS kms-log4j.properties 파일에서 값을 변경합니다. |
| ranger-kms-db-ca | Ranger KMS와의 MySQL SSL 연결에서 CA 파일의 값을 변경합니다. |
| recordserver-env | EMR RecordServer 환경에서 값을 변경합니다. |
| recordserver-conf | EMR RecordServer erver.properties 파일에서 값을 변경합니다. |
| recordserver-log4j | EMR RecordServer log4j.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.26.0
## 5.26.0 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.26.0 | emr-5.25.0 | emr-5.24.1 | emr-5.24.0 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.595 | 1.11.566 | 1.11.546 | 1.11.546 |
| Python | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.8.0 | 1.8.0 | 1.8.0 | 1.8.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.10 | 1.4.9 | 1.4.9 | 1.4.9 |
| HCatalog | 2.3.5-amzn-0 | 2.3.5-amzn-0 | 2.3.4-amzn-2 | 2.3.4-amzn-2 |
| Hadoop | 2.8.5-amzn-4 | 2.8.5-amzn-4 | 2.8.5-amzn-4 | 2.8.5-amzn-4 |
| Hive | 2.3.5-amzn-0 | 2.3.5-amzn-0 | 2.3.4-amzn-2 | 2.3.4-amzn-2 |
| Hudi | - | - | - | - |
| Hue | 4.4.0 | 4.4.0 | 4.4.0 | 4.4.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 0.9.6 | 0.9.6 | 0.9.6 | 0.9.6 |
| Livy | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating |
| MXNet | 1.4.0 | 1.4.0 | 1.4.0 | 1.4.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 |
| Phoenix | 4.14.2-HBase-1.4 | 4.14.1-HBase-1.4 | 4.14.1-HBase-1.4 | 4.14.1-HBase-1.4 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.220 | 0.220 | 0.219 | 0.219 |
| Spark | 2.4.3 | 2.4.3 | 2.4.2 | 2.4.2 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.13.1 | 1.13.1 | 1.12.0 | 1.12.0 |
| Tez | 0.9.2 | 0.9.2 | 0.9.1 | 0.9.1 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 |
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.13 | 3.4.13 |
## 5.26.0 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.26.0에 대한 정보가 포함됩니다. 변경 사항은 5.25.0에 관련됩니다.
최초 릴리스 날짜: 2019년 8월 8일
최종 업데이트 날짜: 2019년 8월 19일
**업그레이드**
+ AWS SDK for Java 1.11.595
+ HBase 1.4.10
+ Phoenix 4.14.2
+ 커넥터 및 드라이버:
+ DynamoDB 커넥터 4.11.0
+ MariaDB 커넥터 2.4.2
+ Amazon Redshift JDBC 드라이버 1.2.32.1056
**새로운 기능**
+ (베타) Amazon EMR 5.26.0에서 Lake Formation과 통합된 클러스터를 시작할 수 있습니다. 이 통합은 AWS Glue 데이터 카탈로그의 데이터베이스 및 테이블에 대한 세분화된 열 수준 액세스를 제공합니다. 또한 엔터프라이즈 자격 증명 시스템에서 EMR 노트북 또는 Apache Zeppelin에 연동된 Single Sign-On을 사용할 수도 있습니다. 자세한 내용은 [Integrating Amazon EMR with AWS Lake Formation (Beta)](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-lake-formation.html)를 참조하세요.
+ (2019년 8월 19일) 보안 그룹을 지원하는 모든 Amazon EMR 릴리스에 Amazon EMR 퍼블릭 액세스 차단 기능을 사용할 수 있습니다. 퍼블릭 액세스 차단은 각 AWS 리전에 적용되는 계정 전체의 설정입니다. 포트가 예외로 지정되지 않은 한, 퍼블릭 액세스 차단은 클러스터와 연결된 보안 그룹에 포트의 IPv4 0.0.0.0/0 또는 IPv6 ::/0(퍼블릭 액세스)에서 인바운드 트래픽을 허용하는 규칙이 있을 때 클러스터가 시작되지 않도록 합니다. 포트 22는 기본적으로 예외로 설정됩니다. 자세한 내용은 *Amazon EMR 관리 안내서*에서 [Amazon EMR 퍼블랙 액세스 차단 기능 사용](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-block-public-access.html)을 참조하세요.
**변경 사항, 향상된 기능 및 해결된 문제**
+ EMR Notebooks
+ EMR 5.26.0 이상에서 EMR Notebooks는 기본 Python 라이브러리 외에도 노트북 범위의 Python 라이브러리를 지원합니다. 클러스터를 다시 생성하거나 노트북을 클러스터에 다시 연결할 필요 없이 노트북 편집기 내에서 노트북 범위 라이브러리를 설치할 수 있습니다. 노트북 범위의 라이브러리는 Python 가상 환경에서 생성되므로 현재 노트북 세션에만 적용됩니다. 이를 통해 노트북 종속성을 분리할 수 있습니다. 자세한 내용은 *Amazon EMR 관리 안내서*에서 [노트북 범위 라이브러리 사용](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-managed-notebooks-custom-libraries-limitations.html)을 참조하세요.
+ EMRFS
+ `fs.s3.consistent.metadata.etag.verification.enabled`를 `true`로 설정하여 ETag 확인 기능(베타)을 활성화할 수 있습니다. 이 기능을 통해 EMRFS는 Amazon S3 ETag를 사용하여 읽고 있는 객체가 사용 가능한 최신 버전인지 확인합니다. 이 기능은 동일한 이름을 유지하면서 Amazon S3의 파일을 덮어쓰는 업데이트 후 읽기 사용 사례에 유용합니다. 이 ETag 확인 기능은 현재 S3 Select에서 작동하지 않습니다. 자세한 내용은 [일관된 보기 구성](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emrfs-configure-consistent-view.html) 단원을 참조하십시오.
+ Spark
+ 동적 파티션 잘라내기, INTERSECT에 앞선 DISTINCT, JOIN-DISTINCT 쿼리에 대한 SQL 계획 통계 추론의 개선, 스칼라 하위 쿼리 평면화, 최적화된 조인 재정렬 및 블룸 필터 조인과 같은 최적화가 이제 기본적으로 설정됩니다. 자세한 내용은 [Spark 성능 최적화](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-spark-performance.html)를 참조하십시오.
+ 정렬 병합 조인의 전체 스테이지 코드 생성 기능이 개선되었습니다.
+ 쿼리 조각 및 하위 쿼리 재사용이 개선되었습니다.
+ Spark 시작 시 실행기를 사전 할당하도록 개선되었습니다.
+ 조인의 작은 쪽에 브로드캐스트 힌트가 포함되어 있으면 블룸 필터 조인이 더 이상 적용되지 않습니다.
+ Tez의 Hive 실행 시간 비교
+ Tez 관련 문제를 해결했습니다. 이제 Tez UI는 여러 프라이머리 노드를 포함하는 Amazon EMR 클러스터에서 작동합니다.
**알려진 문제**
+ 정렬 병합 조인에 대한 향상된 전체 스테이지 코드 생성 기능을 사용하면 메모리 압력을 높일 수 있습니다. 이 최적화는 성능을 향상시키지만 `spark.yarn.executor.memoryOverheadFactor`가 충분한 메모리를 제공하도록 조정되지 않은 경우 작업 재시도 또는 실패를 초래할 수 있습니다. 이 기능을 비활성화하려면 `spark.sql.sortMergeJoinExec.extendedCodegen.enabled`를 false로 설정하십시오.
+ 여러 프라이머리 노드와 Kerberos 인증을 사용하는 클러스터에서 알려진 문제
Amazon EMR 릴리스 5.20.0 이상에서 여러 프라이머리 노드와 Kerberos 인증을 사용하여 클러스터를 실행하는 경우, 클러스터를 일정 시간 실행한 후 스케일 다운 또는 단계 제출과 같은 클러스터 작업에 문제가 발생할 수 있습니다. 기간은 정의한 Kerberos 티켓 유효 기간에 따라 다릅니다. 스케일 다운 문제는 제출한 자동 스케일 다운 및 명시적 스케일 다운 요청 모두에 영향을 미칩니다. 이외의 다른 클러스터 작업도 영향을 받을 수 있습니다.
해결 방법:
+ 여러 프라이머리 노드가 있는 EMR 클러스터의 리드 프라이머리 노드에 대한 `hadoop` 사용자로 SSH 연결합니다.
+ 다음 명령을 실행하여 `hadoop` 사용자의 Kerberos 티켓을 갱신합니다.
```
kinit -kt
```
일반적으로 keytab 파일은 `/etc/hadoop.keytab`에 있으며, 보안 주체는 `hadoop/@` 양식입니다.
**참고**
이 해결 방법은 Kerberos 티켓이 유효한 기간에 작동합니다. 이 기간은 기본적으로 10시간이지만 Kerberos 설정으로 구성할 수 있습니다. Kerberos 티켓이 만료되면 위 명령을 다시 실행해야 합니다.
## 5.26.0 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.2.4 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.11.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.10.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.4.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.12.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emr-s3-select | 1.3.0 | EMR S3Select 커넥터 |
| emrfs | 2.35.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.8.0 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.8.5-amzn-4 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.8.5-amzn-4 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.8.5-amzn-4 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.8.5-amzn-4 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-hdfs-journalnode | 2.8.5-amzn-4 | HA 클러스터에서 하둡 파일 시스템 저널을 관리하기 위한 HDFS 서비스 |
| hadoop-httpfs-server | 2.8.5-amzn-4 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.8.5-amzn-4 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.8.5-amzn-4 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.8.5-amzn-4 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.8.5-amzn-4 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.8.5-amzn-4 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.4.10 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.4.10 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.4.10 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.4.10 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.4.10 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.3.5-amzn-0 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.5-amzn-0 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.5-amzn-0 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.5-amzn-0 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.5-amzn-0 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.5-amzn-0 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.5-amzn-0 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 4.4.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| jupyterhub | 0.9.6 | Jupyter Notebook용 다중 사용자 서버 |
| livy-server | 0.6.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| nginx | 1.12.1 | HTTP인 nginx [engine x] 및 역방향 프록시 서버 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 1.4.0 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 9.2.88 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 5.1.0 | Oozie 명령줄 클라이언트 |
| oozie-server | 5.1.0 | Oozie 워크플로 요청을 수락하는 서비스 |
| opencv | 3.4.0 | 오픈 소스 컴퓨터 비전 라이브러리. |
| phoenix-library | 4.14.2-HBase-1.4 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.14.2-HBase-1.4 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.220 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.220 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| r | 3.4.1 | 통계 컴퓨팅용 R 프로젝트 |
| spark-client | 2.4.3 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.4.3 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.4.3 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.4.3 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.7 | Apache Sqoop 명령줄 클라이언트. |
| tensorflow | 1.13.1 | TensorFlow는 고성능 수치 계산용 오픈 소스 소프트웨어 라이브러리입니다. |
| tez-on-yarn | 0.9.2 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.8.1 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.14 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.14 | ZooKeeper 명령줄 클라이언트. |
## 5.26.0 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.26.0 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| container-log4j | Hadoop YARN container-log4j.properties 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| jupyter-notebook-conf | Jupyter Notebook jupyter\$1notebook\$1config.py 파일에서 값을 변경합니다. |
| jupyter-hub-conf | JupyterHubs jupyterhub\$1config.py 파일에서 값을 변경합니다. |
| jupyter-s3-conf | Jupyter Notebook S3 지속성 구성 |
| jupyter-sparkmagic-conf | Sparkmagic config.json 파일에서 값을 변경합니다. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. |
| livy-env | Livy 환경에서 값을 변경합니다. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-env | Pig 환경에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-password-authenticator | Presto password-authenticator.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-memory | Presto memory.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-redshift | Presto redshift.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| presto-connector-tpcds | Presto tpcds.properties 파일에서 값을 변경합니다. |
| recordserver-env | EMR RecordServer 환경에서 값을 변경합니다. |
| recordserver-conf | EMR RecordServer erver.properties 파일에서 값을 변경합니다. |
| recordserver-log4j | EMR RecordServer log4j.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.25.0
## 5.25.0 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.25.0 | emr-5.24.1 | emr-5.24.0 | emr-5.23.1 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.566 | 1.11.546 | 1.11.546 | 1.11.519 |
| Python | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.8.0 | 1.8.0 | 1.8.0 | 1.7.1 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.9 | 1.4.9 | 1.4.9 | 1.4.9 |
| HCatalog | 2.3.5-amzn-0 | 2.3.4-amzn-2 | 2.3.4-amzn-2 | 2.3.4-amzn-1 |
| Hadoop | 2.8.5-amzn-4 | 2.8.5-amzn-4 | 2.8.5-amzn-4 | 2.8.5-amzn-3 |
| Hive | 2.3.5-amzn-0 | 2.3.4-amzn-2 | 2.3.4-amzn-2 | 2.3.4-amzn-1 |
| Hudi | - | - | - | - |
| Hue | 4.4.0 | 4.4.0 | 4.4.0 | 4.3.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 0.9.6 | 0.9.6 | 0.9.6 | 0.9.4 |
| Livy | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 0.5.0-incubating |
| MXNet | 1.4.0 | 1.4.0 | 1.4.0 | 1.3.1 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 |
| Phoenix | 4.14.1-HBase-1.4 | 4.14.1-HBase-1.4 | 4.14.1-HBase-1.4 | 4.14.1-HBase-1.4 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.220 | 0.219 | 0.219 | 0.215 |
| Spark | 2.4.3 | 2.4.2 | 2.4.2 | 2.4.0 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.13.1 | 1.12.0 | 1.12.0 | 1.12.0 |
| Tez | 0.9.2 | 0.9.1 | 0.9.1 | 0.9.1 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 |
| ZooKeeper | 3.4.14 | 3.4.13 | 3.4.13 | 3.4.13 |
## 5.25.0 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.25.0에 대한 정보가 포함됩니다. 변경 사항은 5.24.1에 관련됩니다.
최초 릴리스 날짜: 2019년 7월 17일
최종 업데이트 날짜: 2019년 10월 30일
**Amazon EMR 5.25.0**
**업그레이드**
+ AWS SDK for Java 1.11.566
+ Hive 2.3.5
+ Presto 0.220
+ Spark 2.4.3
+ TensorFlow 1.13.1
+ Tez 0.9.2
+ Zookeeper 3.4.14
**새로운 기능**
+ (2019년 10월 30일) Amazon EMR 버전 5.25.0부터 콘솔에서 클러스터 **요약** 페이지 또는 **애플리케이션 기록** 탭을 사용해 Spark 기록 서버 UI에 연결할 수 있습니다. SSH 연결을 통해 웹 프록시를 설정하는 대신, Spark 기록 서버 UI에 액세스하여 애플리케이션 지표를 보고 활성 클러스터 및 종료된 클러스터에 대한 관련 로그 파일에 액세스할 수 있습니다. 자세한 내용은 *Amazon EMR 관리 안내서*에서 [영구 애플리케이션 사용자 인터페이스에 대해 클러스터 외부에서 액세스](https://docs.aws.amazon.com/emr/latest/ManagementGuide/app-history-spark-UI.html)를 참조하세요.
**변경 사항, 향상된 기능 및 해결된 문제**
+ Spark
+ Bloom 필터로 입력을 사전 필터링하여 일부 조인의 성능을 개선했습니다. 이 최적화는 기본적으로 비활성화되어 있으며, Spark 구성 파라미터 `spark.sql.bloomFilterJoin.enabled`를 `true`로 설정하여 활성화할 수 있습니다.
+ 문자열 형식 열을 기준으로 그룹화하는 성능을 개선했습니다.
+ HBase를 설치하지 않고 클러스터에 대한 R4 인스턴스 유형의 핵심 구성 및 기본 Spark 실행기 메모리를 개선했습니다.
+ 잘린 테이블이 조인의 왼쪽에 있어야 하는 이전의 동적 파티션 잘라내기 기능에 대한 문제를 해결했습니다.
+ 별칭과 관련된 추가 사례를 적용하기 위해 INTERSECT 이전 DISTINCT 최적화를 개선했습니다.
+ DISTINCT 쿼리 이전 JOIN에 대한 SQL 계획 통계 추론을 개선했습니다. 이 개선 사항은 기본적으로 비활성화되어 있으며, Spark 구성 파라미터 `spark.sql.statsImprovements.enabled`를 `true`로 설정하여 활성화할 수 있습니다. 이 최적화는 Intersect 이전 Distinct 기능에 필요하며 `spark.sql.optimizer.distinctBeforeIntersect.enabled`를 `true`로 설정할 경우 자동으로 활성화됩니다.
+ 테이블 크기 및 필터에 따라 조인 순서를 최적화했습니다. 이 최적화는 기본적으로 비활성화되어 있으며, Spark 구성 파라미터 `spark.sql.optimizer.sizeBasedJoinReorder.enabled`를 `true`로 설정하여 활성화할 수 있습니다.
자세한 내용은 [Spark 성능 최적화](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-spark-performance.html)를 참조하십시오.
+ EMRFS
+ 이제 EMRFS 설정 `fs.s3.buckets.create.enabled`가 기본적으로 비활성화됩니다. 테스트 결과 이 설정을 비활성화하면 성능이 향상되고 의도치 않은 S3 버킷 생성이 방지된다는 사실을 확인했습니다. 애플리케이션이 이 기능을 사용하는 경우 `emrfs-site` 구성 분류에서 속성 `fs.s3.buckets.create.enabled`를 `true`로 설정하여 활성화할 수 있습니다. 자세한 내용은 [클러스터를 생성할 때 구성 제공](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-configure-apps-create-cluster.html) 단원을 참조하십시오.
+ 보안 구성의 로컬 디스크 암호화 및 S3 암호화 개선(2019년 8월 5일)
+ 보안 구성 설정에서 로컬 디스크 암호화 설정과 Amazon S3 암호화 설정이 분리되었습니다.
+ EBS 암호화를 활성화하는 옵션이 5.24.0 이상 릴리스에 추가되었습니다. 이 옵션을 선택하면 스토리지 볼륨뿐만 아니라 루트 디바이스 볼륨도 암호화됩니다. 이전 버전에서는 사용자 지정 AMI를 사용하여 루트 디바이스 볼륨을 암호화해야 했습니다.
+ 자세한 내용은 *Amazon EMR 관리 안내서*에서 [암호화 옵션](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-data-encryption-options.html)을 참조하세요.
**알려진 문제**
+ 여러 프라이머리 노드와 Kerberos 인증을 사용하는 클러스터에서 알려진 문제
Amazon EMR 릴리스 5.20.0 이상에서 여러 프라이머리 노드와 Kerberos 인증을 사용하여 클러스터를 실행하는 경우, 클러스터를 일정 시간 실행한 후 스케일 다운 또는 단계 제출과 같은 클러스터 작업에 문제가 발생할 수 있습니다. 기간은 정의한 Kerberos 티켓 유효 기간에 따라 다릅니다. 스케일 다운 문제는 제출한 자동 스케일 다운 및 명시적 스케일 다운 요청 모두에 영향을 미칩니다. 이외의 다른 클러스터 작업도 영향을 받을 수 있습니다.
해결 방법:
+ 여러 프라이머리 노드가 있는 EMR 클러스터의 리드 프라이머리 노드에 대한 `hadoop` 사용자로 SSH 연결합니다.
+ 다음 명령을 실행하여 `hadoop` 사용자의 Kerberos 티켓을 갱신합니다.
```
kinit -kt
```
일반적으로 keytab 파일은 `/etc/hadoop.keytab`에 있으며, 보안 주체는 `hadoop/@` 양식입니다.
**참고**
이 해결 방법은 Kerberos 티켓이 유효한 기간에 작동합니다. 이 기간은 기본적으로 10시간이지만 Kerberos 설정으로 구성할 수 있습니다. Kerberos 티켓이 만료되면 위 명령을 다시 실행해야 합니다.
## 5.25.0 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.2.4 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.10.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.9.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.4.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.11.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emr-s3-select | 1.3.0 | EMR S3Select 커넥터 |
| emrfs | 2.34.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.8.0 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.8.5-amzn-4 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.8.5-amzn-4 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.8.5-amzn-4 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.8.5-amzn-4 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-hdfs-journalnode | 2.8.5-amzn-4 | HA 클러스터에서 하둡 파일 시스템 저널을 관리하기 위한 HDFS 서비스 |
| hadoop-httpfs-server | 2.8.5-amzn-4 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.8.5-amzn-4 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.8.5-amzn-4 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.8.5-amzn-4 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.8.5-amzn-4 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.8.5-amzn-4 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.4.9 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.4.9 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.4.9 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.4.9 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.4.9 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.3.5-amzn-0 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.5-amzn-0 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.5-amzn-0 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.5-amzn-0 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.5-amzn-0 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.5-amzn-0 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.5-amzn-0 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 4.4.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| jupyterhub | 0.9.6 | Jupyter Notebook용 다중 사용자 서버 |
| livy-server | 0.6.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| nginx | 1.12.1 | HTTP인 nginx [engine x] 및 역방향 프록시 서버 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 1.4.0 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 9.2.88 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 5.1.0 | Oozie 명령줄 클라이언트 |
| oozie-server | 5.1.0 | Oozie 워크플로 요청을 수락하는 서비스 |
| opencv | 3.4.0 | 오픈 소스 컴퓨터 비전 라이브러리. |
| phoenix-library | 4.14.1-HBase-1.4 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.14.1-HBase-1.4 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.220 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.220 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| r | 3.4.1 | 통계 컴퓨팅용 R 프로젝트 |
| spark-client | 2.4.3 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.4.3 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.4.3 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.4.3 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.7 | Apache Sqoop 명령줄 클라이언트. |
| tensorflow | 1.13.1 | TensorFlow는 고성능 수치 계산용 오픈 소스 소프트웨어 라이브러리입니다. |
| tez-on-yarn | 0.9.2 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.8.1 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.14 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.14 | ZooKeeper 명령줄 클라이언트. |
## 5.25.0 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.25.0 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| container-log4j | Hadoop YARN container-log4j.properties 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| jupyter-notebook-conf | Jupyter Notebook jupyter\$1notebook\$1config.py 파일에서 값을 변경합니다. |
| jupyter-hub-conf | JupyterHubs jupyterhub\$1config.py 파일에서 값을 변경합니다. |
| jupyter-s3-conf | Jupyter Notebook S3 지속성 구성 |
| jupyter-sparkmagic-conf | Sparkmagic config.json 파일에서 값을 변경합니다. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. |
| livy-env | Livy 환경에서 값을 변경합니다. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-env | Pig 환경에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-password-authenticator | Presto password-authenticator.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-memory | Presto memory.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-redshift | Presto redshift.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| presto-connector-tpcds | Presto tpcds.properties 파일에서 값을 변경합니다. |
| recordserver-env | EMR RecordServer 환경에서 값을 변경합니다. |
| recordserver-conf | EMR RecordServer erver.properties 파일에서 값을 변경합니다. |
| recordserver-log4j | EMR RecordServer log4j.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.24.1
## 5.24.1 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.24.1 | emr-5.24.0 | emr-5.23.1 | emr-5.23.0 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.546 | 1.11.546 | 1.11.519 | 1.11.519 |
| Python | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.8.0 | 1.8.0 | 1.7.1 | 1.7.1 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.9 | 1.4.9 | 1.4.9 | 1.4.9 |
| HCatalog | 2.3.4-amzn-2 | 2.3.4-amzn-2 | 2.3.4-amzn-1 | 2.3.4-amzn-1 |
| Hadoop | 2.8.5-amzn-4 | 2.8.5-amzn-4 | 2.8.5-amzn-3 | 2.8.5-amzn-3 |
| Hive | 2.3.4-amzn-2 | 2.3.4-amzn-2 | 2.3.4-amzn-1 | 2.3.4-amzn-1 |
| Hudi | - | - | - | - |
| Hue | 4.4.0 | 4.4.0 | 4.3.0 | 4.3.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 0.9.6 | 0.9.6 | 0.9.4 | 0.9.4 |
| Livy | 0.6.0-incubating | 0.6.0-incubating | 0.5.0-incubating | 0.5.0-incubating |
| MXNet | 1.4.0 | 1.4.0 | 1.3.1 | 1.3.1 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 |
| Phoenix | 4.14.1-HBase-1.4 | 4.14.1-HBase-1.4 | 4.14.1-HBase-1.4 | 4.14.1-HBase-1.4 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.219 | 0.219 | 0.215 | 0.215 |
| Spark | 2.4.2 | 2.4.2 | 2.4.0 | 2.4.0 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.12.0 | 1.12.0 | 1.12.0 | 1.12.0 |
| Tez | 0.9.1 | 0.9.1 | 0.9.1 | 0.9.1 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 |
| ZooKeeper | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 |
## 5.24.1 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.24.1에 대한 정보가 포함됩니다. 변경 사항은 5.24.0에 관련됩니다.
최초 릴리스 날짜: 2019년 6월 26일
**변경 사항, 향상된 기능 및 해결된 문제**
+ TCP SACK 서비스 거부 문제([AWS-2019-005](https://aws.amazon.com/security/security-bulletins/AWS-2019-005/))를 비롯한 중요한 Linux 커널 보안 업데이트를 포함하도록 Amazon EMR의 기본 Amazon Linux AMI를 업데이트했습니다.
**알려진 문제**
+ 여러 프라이머리 노드와 Kerberos 인증을 사용하는 클러스터에서 알려진 문제
Amazon EMR 릴리스 5.20.0 이상에서 여러 프라이머리 노드와 Kerberos 인증을 사용하여 클러스터를 실행하는 경우, 클러스터를 일정 시간 실행한 후 스케일 다운 또는 단계 제출과 같은 클러스터 작업에 문제가 발생할 수 있습니다. 기간은 정의한 Kerberos 티켓 유효 기간에 따라 다릅니다. 스케일 다운 문제는 제출한 자동 스케일 다운 및 명시적 스케일 다운 요청 모두에 영향을 미칩니다. 이외의 다른 클러스터 작업도 영향을 받을 수 있습니다.
해결 방법:
+ 여러 프라이머리 노드가 있는 EMR 클러스터의 리드 프라이머리 노드에 대한 `hadoop` 사용자로 SSH 연결합니다.
+ 다음 명령을 실행하여 `hadoop` 사용자의 Kerberos 티켓을 갱신합니다.
```
kinit -kt
```
일반적으로 keytab 파일은 `/etc/hadoop.keytab`에 있으며, 보안 주체는 `hadoop/@` 양식입니다.
**참고**
이 해결 방법은 Kerberos 티켓이 유효한 기간에 작동합니다. 이 기간은 기본적으로 10시간이지만 Kerberos 설정으로 구성할 수 있습니다. Kerberos 티켓이 만료되면 위 명령을 다시 실행해야 합니다.
## 5.24.1 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.2.1 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.9.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.8.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.4.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.11.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emr-s3-select | 1.3.0 | EMR S3Select 커넥터 |
| emrfs | 2.33.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.8.0 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.8.5-amzn-4 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.8.5-amzn-4 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.8.5-amzn-4 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.8.5-amzn-4 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-hdfs-journalnode | 2.8.5-amzn-4 | HA 클러스터에서 하둡 파일 시스템 저널을 관리하기 위한 HDFS 서비스 |
| hadoop-httpfs-server | 2.8.5-amzn-4 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.8.5-amzn-4 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.8.5-amzn-4 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.8.5-amzn-4 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.8.5-amzn-4 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.8.5-amzn-4 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.4.9 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.4.9 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.4.9 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.4.9 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.4.9 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.3.4-amzn-2 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.4-amzn-2 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.4-amzn-2 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.4-amzn-2 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.4-amzn-2 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.4-amzn-2 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.4-amzn-2 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 4.4.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| jupyterhub | 0.9.6 | Jupyter Notebook용 다중 사용자 서버 |
| livy-server | 0.6.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| nginx | 1.12.1 | HTTP인 nginx [engine x] 및 역방향 프록시 서버 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 1.4.0 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 9.2.88 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 5.1.0 | Oozie 명령줄 클라이언트 |
| oozie-server | 5.1.0 | Oozie 워크플로 요청을 수락하는 서비스 |
| opencv | 3.4.0 | 오픈 소스 컴퓨터 비전 라이브러리. |
| phoenix-library | 4.14.1-HBase-1.4 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.14.1-HBase-1.4 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.219 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.219 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| r | 3.4.1 | 통계 컴퓨팅용 R 프로젝트 |
| spark-client | 2.4.2 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.4.2 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.4.2 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.4.2 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.7 | Apache Sqoop 명령줄 클라이언트. |
| tensorflow | 1.12.0 | TensorFlow는 고성능 수치 계산용 오픈 소스 소프트웨어 라이브러리입니다. |
| tez-on-yarn | 0.9.1 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.8.1 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.13 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.13 | ZooKeeper 명령줄 클라이언트. |
## 5.24.1 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.24.1 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| container-log4j | Hadoop YARN container-log4j.properties 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| jupyter-notebook-conf | Jupyter Notebook jupyter\$1notebook\$1config.py 파일에서 값을 변경합니다. |
| jupyter-hub-conf | JupyterHubs jupyterhub\$1config.py 파일에서 값을 변경합니다. |
| jupyter-s3-conf | Jupyter Notebook S3 지속성 구성 |
| jupyter-sparkmagic-conf | Sparkmagic config.json 파일에서 값을 변경합니다. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. |
| livy-env | Livy 환경에서 값을 변경합니다. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-env | Pig 환경에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-password-authenticator | Presto password-authenticator.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-memory | Presto memory.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-redshift | Presto redshift.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| presto-connector-tpcds | Presto tpcds.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.24.0
## 5.24.0 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.24.0 | emr-5.23.1 | emr-5.23.0 | emr-5.22.0 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.546 | 1.11.519 | 1.11.519 | 1.11.510 |
| Python | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.8.0 | 1.7.1 | 1.7.1 | 1.7.1 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.9 | 1.4.9 | 1.4.9 | 1.4.9 |
| HCatalog | 2.3.4-amzn-2 | 2.3.4-amzn-1 | 2.3.4-amzn-1 | 2.3.4-amzn-1 |
| Hadoop | 2.8.5-amzn-4 | 2.8.5-amzn-3 | 2.8.5-amzn-3 | 2.8.5-amzn-2 |
| Hive | 2.3.4-amzn-2 | 2.3.4-amzn-1 | 2.3.4-amzn-1 | 2.3.4-amzn-1 |
| Hudi | - | - | - | - |
| Hue | 4.4.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 0.9.6 | 0.9.4 | 0.9.4 | 0.9.4 |
| Livy | 0.6.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating |
| MXNet | 1.4.0 | 1.3.1 | 1.3.1 | 1.3.1 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 |
| Phoenix | 4.14.1-HBase-1.4 | 4.14.1-HBase-1.4 | 4.14.1-HBase-1.4 | 4.14.1-HBase-1.4 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.219 | 0.215 | 0.215 | 0.215 |
| Spark | 2.4.2 | 2.4.0 | 2.4.0 | 2.4.0 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.12.0 | 1.12.0 | 1.12.0 | 1.12.0 |
| Tez | 0.9.1 | 0.9.1 | 0.9.1 | 0.9.1 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 |
| ZooKeeper | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 |
## 5.24.0 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.24.0에 대한 정보가 포함됩니다. 변경 사항은 5.23.0에 관련됩니다.
최초 릴리스 날짜: 2019년 6월 11일
최종 업데이트 날짜: 2019년 8월 5일
**업그레이드**
+ Flink 1.8.0
+ Hue 4.4.0
+ JupyterHub 0.9.6
+ Livy 0.6.0
+ MxNet 1.4.0
+ Presto 0.219
+ Spark 2.4.2
+ AWS SDK for Java 1.11.546
+ 커넥터 및 드라이버:
+ DynamoDB 커넥터 4.9.0
+ MariaDB 커넥터 2.4.1
+ Amazon Redshift JDBC 드라이버 1.2.27.1051
**변경 사항, 향상된 기능 및 해결된 문제**
+ Spark
+ 파티션을 동적으로 삭제하는 최적화가 추가되었습니다. 최적화는 기본적으로 비활성화되어 있습니다. 활성화하려면 Spark 구성 파라미터 `spark.sql.dynamicPartitionPruning.enabled`를 `true`로 설정하십시오.
+ `INTERSECT` 쿼리의 성능을 개선했습니다. 이 최적화는 기본적으로 비활성화되어 있습니다. 활성화하려면 Spark 구성 파라미터 `spark.sql.optimizer.distinctBeforeIntersect.enabled`를 `true`로 설정하십시오.
+ 동일한 관계를 사용하는 집계로 스칼라 하위 쿼리를 평면화하는 최적화가 추가되었습니다. 최적화는 기본적으로 비활성화되어 있습니다. 활성화하려면 Spark 구성 파라미터 `spark.sql.optimizer.flattenScalarSubqueriesWithAggregates.enabled`를 `true`로 설정하십시오.
+ 전체 스테이지 코드 생성이 개선되었습니다.
자세한 내용은 [Spark 성능 최적화](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-spark-performance.html)를 참조하십시오.
+ 보안 구성의 로컬 디스크 암호화 및 S3 암호화 개선(2019년 8월 5일)
+ 보안 구성 설정에서 로컬 디스크 암호화 설정과 Amazon S3 암호화 설정이 분리되었습니다.
+ EBS 암호화를 활성화하는 옵션이 추가되었습니다. 이 옵션을 선택하면 스토리지 볼륨뿐만 아니라 루트 디바이스 볼륨도 암호화됩니다. 이전 버전에서는 사용자 지정 AMI를 사용하여 루트 디바이스 볼륨을 암호화해야 했습니다.
+ 자세한 내용은 *Amazon EMR 관리 안내서*에서 [암호화 옵션](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-data-encryption-options.html)을 참조하세요.
**알려진 문제**
+ 여러 프라이머리 노드와 Kerberos 인증을 사용하는 클러스터에서 알려진 문제
Amazon EMR 릴리스 5.20.0 이상에서 여러 프라이머리 노드와 Kerberos 인증을 사용하여 클러스터를 실행하는 경우, 클러스터를 일정 시간 실행한 후 스케일 다운 또는 단계 제출과 같은 클러스터 작업에 문제가 발생할 수 있습니다. 기간은 정의한 Kerberos 티켓 유효 기간에 따라 다릅니다. 스케일 다운 문제는 제출한 자동 스케일 다운 및 명시적 스케일 다운 요청 모두에 영향을 미칩니다. 이외의 다른 클러스터 작업도 영향을 받을 수 있습니다.
해결 방법:
+ 여러 프라이머리 노드가 있는 EMR 클러스터의 리드 프라이머리 노드에 대한 `hadoop` 사용자로 SSH 연결합니다.
+ 다음 명령을 실행하여 `hadoop` 사용자의 Kerberos 티켓을 갱신합니다.
```
kinit -kt
```
일반적으로 keytab 파일은 `/etc/hadoop.keytab`에 있으며, 보안 주체는 `hadoop/@` 양식입니다.
**참고**
이 해결 방법은 Kerberos 티켓이 유효한 기간에 작동합니다. 이 기간은 기본적으로 10시간이지만 Kerberos 설정으로 구성할 수 있습니다. Kerberos 티켓이 만료되면 위 명령을 다시 실행해야 합니다.
## 5.24.0 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.2.1 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.9.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.8.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.4.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.11.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emr-s3-select | 1.3.0 | EMR S3Select 커넥터 |
| emrfs | 2.33.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.8.0 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.8.5-amzn-4 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.8.5-amzn-4 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.8.5-amzn-4 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.8.5-amzn-4 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-hdfs-journalnode | 2.8.5-amzn-4 | HA 클러스터에서 하둡 파일 시스템 저널을 관리하기 위한 HDFS 서비스 |
| hadoop-httpfs-server | 2.8.5-amzn-4 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.8.5-amzn-4 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.8.5-amzn-4 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.8.5-amzn-4 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.8.5-amzn-4 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.8.5-amzn-4 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.4.9 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.4.9 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.4.9 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.4.9 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.4.9 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.3.4-amzn-2 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.4-amzn-2 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.4-amzn-2 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.4-amzn-2 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.4-amzn-2 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.4-amzn-2 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.4-amzn-2 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 4.4.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| jupyterhub | 0.9.6 | Jupyter Notebook용 다중 사용자 서버 |
| livy-server | 0.6.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| nginx | 1.12.1 | HTTP인 nginx [engine x] 및 역방향 프록시 서버 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 1.4.0 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 9.2.88 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 5.1.0 | Oozie 명령줄 클라이언트 |
| oozie-server | 5.1.0 | Oozie 워크플로 요청을 수락하는 서비스 |
| opencv | 3.4.0 | 오픈 소스 컴퓨터 비전 라이브러리. |
| phoenix-library | 4.14.1-HBase-1.4 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.14.1-HBase-1.4 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.219 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.219 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| r | 3.4.1 | 통계 컴퓨팅용 R 프로젝트 |
| spark-client | 2.4.2 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.4.2 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.4.2 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.4.2 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.7 | Apache Sqoop 명령줄 클라이언트. |
| tensorflow | 1.12.0 | TensorFlow는 고성능 수치 계산용 오픈 소스 소프트웨어 라이브러리입니다. |
| tez-on-yarn | 0.9.1 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.8.1 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.13 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.13 | ZooKeeper 명령줄 클라이언트. |
## 5.24.0 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.24.0 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| container-log4j | Hadoop YARN container-log4j.properties 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| jupyter-notebook-conf | Jupyter Notebook jupyter\$1notebook\$1config.py 파일에서 값을 변경합니다. |
| jupyter-hub-conf | JupyterHubs jupyterhub\$1config.py 파일에서 값을 변경합니다. |
| jupyter-s3-conf | Jupyter Notebook S3 지속성 구성 |
| jupyter-sparkmagic-conf | Sparkmagic config.json 파일에서 값을 변경합니다. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. |
| livy-env | Livy 환경에서 값을 변경합니다. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-env | Pig 환경에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-password-authenticator | Presto password-authenticator.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-memory | Presto memory.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-redshift | Presto redshift.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| presto-connector-tpcds | Presto tpcds.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.23.1
## 5.23.1 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.23.1 | emr-5.23.0 | emr-5.22.0 | emr-5.21.2 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.519 | 1.11.519 | 1.11.510 | 1.11.479 |
| Python | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.7.1 | 1.7.1 | 1.7.1 | 1.7.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.9 | 1.4.9 | 1.4.9 | 1.4.8 |
| HCatalog | 2.3.4-amzn-1 | 2.3.4-amzn-1 | 2.3.4-amzn-1 | 2.3.4-amzn-0 |
| Hadoop | 2.8.5-amzn-3 | 2.8.5-amzn-3 | 2.8.5-amzn-2 | 2.8.5-amzn-1 |
| Hive | 2.3.4-amzn-1 | 2.3.4-amzn-1 | 2.3.4-amzn-1 | 2.3.4-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 0.9.4 | 0.9.4 | 0.9.4 | 0.9.4 |
| Livy | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating |
| MXNet | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.1.0 | 5.1.0 | 5.1.0 | 5.0.0 |
| Phoenix | 4.14.1-HBase-1.4 | 4.14.1-HBase-1.4 | 4.14.1-HBase-1.4 | 4.14.0-HBase-1.4 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.215 | 0.215 | 0.215 | 0.215 |
| Spark | 2.4.0 | 2.4.0 | 2.4.0 | 2.4.0 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.12.0 | 1.12.0 | 1.12.0 | 1.12.0 |
| Tez | 0.9.1 | 0.9.1 | 0.9.1 | 0.9.1 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.0 |
| ZooKeeper | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 |
## 5.23.1 릴리스 정보
패치 릴리스입니다. 모든 애플리케이션 및 구성 요소는 이전 Amazon EMR 릴리스와 동일합니다.
인스턴스 메타데이터 서비스(IMDS) V2 지원 상태: Amazon EMR 5.23.1, 5.27.1 및 5.32 이상의 구성 요소는 모든 IMDS 직접 호출에 IMDSv2를 사용합니다. 애플리케이션 코드에서 IMDS를 직접 호출하는 경우, IMDSv1 및 IMDSv2를 모두 사용하거나, 추가 보안을 위해 IMDSv2만 사용하도록 IMDS를 구성할 수 있습니다. 다른 5.x EMR 릴리스의 경우 IMDSv1을 비활성화하면 클러스터 시작 오류가 발생합니다.
## 5.23.1 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.2.1 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.8.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.7.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.4.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.11.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emr-s3-select | 1.2.0 | EMR S3Select 커넥터 |
| emrfs | 2.32.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.7.1 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.8.5-amzn-3 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.8.5-amzn-3 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.8.5-amzn-3 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.8.5-amzn-3 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-hdfs-journalnode | 2.8.5-amzn-3 | HA 클러스터에서 하둡 파일 시스템 저널을 관리하기 위한 HDFS 서비스 |
| hadoop-httpfs-server | 2.8.5-amzn-3 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.8.5-amzn-3 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.8.5-amzn-3 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.8.5-amzn-3 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.8.5-amzn-3 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.8.5-amzn-3 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.4.9 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.4.9 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.4.9 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.4.9 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.4.9 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.3.4-amzn-1 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.4-amzn-1 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.4-amzn-1 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.4-amzn-1 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.4-amzn-1 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.4-amzn-1 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.4-amzn-1 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 4.3.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| jupyterhub | 0.9.4 | Jupyter Notebook용 다중 사용자 서버 |
| livy-server | 0.5.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| nginx | 1.12.1 | HTTP인 nginx [engine x] 및 역방향 프록시 서버 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 1.3.1 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 9.2.88 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 5.1.0 | Oozie 명령줄 클라이언트 |
| oozie-server | 5.1.0 | Oozie 워크플로 요청을 수락하는 서비스 |
| opencv | 3.4.0 | 오픈 소스 컴퓨터 비전 라이브러리. |
| phoenix-library | 4.14.1-HBase-1.4 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.14.1-HBase-1.4 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.215 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.215 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| r | 3.4.1 | 통계 컴퓨팅용 R 프로젝트 |
| spark-client | 2.4.0 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.4.0 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.4.0 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.4.0 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.7 | Apache Sqoop 명령줄 클라이언트. |
| tensorflow | 1.12.0 | TensorFlow는 고성능 수치 계산용 오픈 소스 소프트웨어 라이브러리입니다. |
| tez-on-yarn | 0.9.1 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.8.1 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.13 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.13 | ZooKeeper 명령줄 클라이언트. |
## 5.23.1 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.23.1 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| container-log4j | Hadoop YARN container-log4j.properties 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| jupyter-notebook-conf | Jupyter Notebook jupyter\$1notebook\$1config.py 파일에서 값을 변경합니다. |
| jupyter-hub-conf | JupyterHubs jupyterhub\$1config.py 파일에서 값을 변경합니다. |
| jupyter-s3-conf | Jupyter Notebook S3 지속성 구성 |
| jupyter-sparkmagic-conf | Sparkmagic config.json 파일에서 값을 변경합니다. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. |
| livy-env | Livy 환경에서 값을 변경합니다. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-env | Pig 환경에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-password-authenticator | Presto password-authenticator.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-memory | Presto memory.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-redshift | Presto redshift.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| presto-connector-tpcds | Presto tpcds.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.23.0
## 5.23.0 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.23.0 | emr-5.22.0 | emr-5.21.2 | emr-5.21.1 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.519 | 1.11.510 | 1.11.479 | 1.11.479 |
| Python | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.7.1 | 1.7.1 | 1.7.0 | 1.7.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.9 | 1.4.9 | 1.4.8 | 1.4.8 |
| HCatalog | 2.3.4-amzn-1 | 2.3.4-amzn-1 | 2.3.4-amzn-0 | 2.3.4-amzn-0 |
| Hadoop | 2.8.5-amzn-3 | 2.8.5-amzn-2 | 2.8.5-amzn-1 | 2.8.5-amzn-1 |
| Hive | 2.3.4-amzn-1 | 2.3.4-amzn-1 | 2.3.4-amzn-0 | 2.3.4-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 0.9.4 | 0.9.4 | 0.9.4 | 0.9.4 |
| Livy | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating |
| MXNet | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.1.0 | 5.1.0 | 5.0.0 | 5.0.0 |
| Phoenix | 4.14.1-HBase-1.4 | 4.14.1-HBase-1.4 | 4.14.0-HBase-1.4 | 4.14.0-HBase-1.4 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.215 | 0.215 | 0.215 | 0.215 |
| Spark | 2.4.0 | 2.4.0 | 2.4.0 | 2.4.0 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.12.0 | 1.12.0 | 1.12.0 | 1.12.0 |
| Tez | 0.9.1 | 0.9.1 | 0.9.1 | 0.9.1 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.1 | 0.8.1 | 0.8.0 | 0.8.0 |
| ZooKeeper | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 |
## 5.23.0 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.23.0에 대한 정보가 포함됩니다. 변경 사항은 5.22.0에 관련됩니다.
최초 릴리스 날짜: 2019년 4월 1일
최종 업데이트 날짜: 2019년 4월 30일
**업그레이드**
+ AWS SDK for Java 1.11.519
**새로운 기능**
+ (2019년 4월 30일) Amazon EMR 5.23.0 이상에서 3개의 프라이머리 노드를 포함하는 클러스터를 시작하고 YARN Resource Manager, HDFS NameNode, Spark, Hive, Ganglia와 같은 애플리케이션의 고가용성을 지원할 수 있습니다. 이 기능을 사용하면 프라이머리 노드가 더 이상 잠재적 단일 장애 지점이 아닙니다. 프라이머리 노드 중 하나에 장애가 발생할 경우, Amazon EMR이 자동으로 대기 프라이머리 노드로 장애 조치하고 장애가 발생한 프라이머리 노드를 동일한 구성 및 부트스트랩 작업을 갖는 새로운 프라이머리 노드로 교체합니다. 자세한 내용은 [프라이머리 노드 계획 및 구성](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-ha.html)을 참조하세요.
**알려진 문제**
+ Tez UI(Amazon EMR 릴리스 5.26.0에서 수정됨)
Tez UI는 여러 프라이머리 노드를 포함하는 EMR 클러스터에서 작동하지 않습니다.
+ Hue(Amazon EMR 릴리스 5.24.0에서 수정됨)
+ Amazon EMR에서 실행되는 Hue는 Solr을 지원하지 않습니다. Amazon EMR 릴리스 5.20.0부터 잘못된 구성 문제로 인해 Solr이 활성화되고 다음과 유사한 무해한 오류 메시지가 표시됩니다.
`Solr server could not be contacted properly: HTTPConnectionPool('host=ip-xx-xx-xx-xx.ec2.internal', port=1978): Max retries exceeded with url: /solr/admin/info/system?user.name=hue&doAs=administrator&wt=json (Caused by NewConnectionError(': Failed to establish a new connection: [Errno 111] Connection refused',))`
**Solr 오류 메시지를 표시하지 않으려면**
1. SSH를 사용하여 프라이머리 노드 명령줄에 연결합니다.
1. 텍스트 편집기를 사용하여 `hue.ini` 파일을 엽니다. 예제:
`sudo vim /etc/hue/conf/hue.ini`
1. `appblacklist`라는 단어를 검색하고 해당 줄을 다음과 같이 수정합니다.
```
appblacklist = search
```
1. 변경 내용을 저장하고 다음 예와 같이 Hue를 다시 시작합니다.
```
sudo stop hue; sudo start hue
```
+ 여러 프라이머리 노드와 Kerberos 인증을 사용하는 클러스터에서 알려진 문제
Amazon EMR 릴리스 5.20.0 이상에서 여러 프라이머리 노드와 Kerberos 인증을 사용하여 클러스터를 실행하는 경우, 클러스터를 일정 시간 실행한 후 스케일 다운 또는 단계 제출과 같은 클러스터 작업에 문제가 발생할 수 있습니다. 기간은 정의한 Kerberos 티켓 유효 기간에 따라 다릅니다. 스케일 다운 문제는 제출한 자동 스케일 다운 및 명시적 스케일 다운 요청 모두에 영향을 미칩니다. 이외의 다른 클러스터 작업도 영향을 받을 수 있습니다.
해결 방법:
+ 여러 프라이머리 노드가 있는 EMR 클러스터의 리드 프라이머리 노드에 대한 `hadoop` 사용자로 SSH 연결합니다.
+ 다음 명령을 실행하여 `hadoop` 사용자의 Kerberos 티켓을 갱신합니다.
```
kinit -kt
```
일반적으로 keytab 파일은 `/etc/hadoop.keytab`에 있으며, 보안 주체는 `hadoop/@` 양식입니다.
**참고**
이 해결 방법은 Kerberos 티켓이 유효한 기간에 작동합니다. 이 기간은 기본적으로 10시간이지만 Kerberos 설정으로 구성할 수 있습니다. Kerberos 티켓이 만료되면 위 명령을 다시 실행해야 합니다.
## 5.23.0 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.2.1 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.8.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.7.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.4.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.11.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emr-s3-select | 1.2.0 | EMR S3Select 커넥터 |
| emrfs | 2.32.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.7.1 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.8.5-amzn-3 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.8.5-amzn-3 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.8.5-amzn-3 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.8.5-amzn-3 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-hdfs-journalnode | 2.8.5-amzn-3 | HA 클러스터에서 하둡 파일 시스템 저널을 관리하기 위한 HDFS 서비스 |
| hadoop-httpfs-server | 2.8.5-amzn-3 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.8.5-amzn-3 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.8.5-amzn-3 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.8.5-amzn-3 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.8.5-amzn-3 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.8.5-amzn-3 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.4.9 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.4.9 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.4.9 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.4.9 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.4.9 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.3.4-amzn-1 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.4-amzn-1 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.4-amzn-1 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.4-amzn-1 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.4-amzn-1 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.4-amzn-1 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.4-amzn-1 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 4.3.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| jupyterhub | 0.9.4 | Jupyter Notebook용 다중 사용자 서버 |
| livy-server | 0.5.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| nginx | 1.12.1 | HTTP인 nginx [engine x] 및 역방향 프록시 서버 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 1.3.1 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 9.2.88 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 5.1.0 | Oozie 명령줄 클라이언트 |
| oozie-server | 5.1.0 | Oozie 워크플로 요청을 수락하는 서비스 |
| opencv | 3.4.0 | 오픈 소스 컴퓨터 비전 라이브러리. |
| phoenix-library | 4.14.1-HBase-1.4 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.14.1-HBase-1.4 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.215 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.215 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| r | 3.4.1 | 통계 컴퓨팅용 R 프로젝트 |
| spark-client | 2.4.0 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.4.0 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.4.0 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.4.0 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.7 | Apache Sqoop 명령줄 클라이언트. |
| tensorflow | 1.12.0 | TensorFlow는 고성능 수치 계산용 오픈 소스 소프트웨어 라이브러리입니다. |
| tez-on-yarn | 0.9.1 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.8.1 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.13 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.13 | ZooKeeper 명령줄 클라이언트. |
## 5.23.0 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.23.0 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| container-log4j | Hadoop YARN container-log4j.properties 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| jupyter-notebook-conf | Jupyter Notebook jupyter\$1notebook\$1config.py 파일에서 값을 변경합니다. |
| jupyter-hub-conf | JupyterHubs jupyterhub\$1config.py 파일에서 값을 변경합니다. |
| jupyter-s3-conf | Jupyter Notebook S3 지속성 구성 |
| jupyter-sparkmagic-conf | Sparkmagic config.json 파일에서 값을 변경합니다. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. |
| livy-env | Livy 환경에서 값을 변경합니다. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-env | Pig 환경에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-password-authenticator | Presto password-authenticator.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-memory | Presto memory.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-redshift | Presto redshift.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| presto-connector-tpcds | Presto tpcds.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.22.0
## 5.22.0 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.22.0 | emr-5.21.2 | emr-5.21.1 | emr-5.21.0 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.510 | 1.11.479 | 1.11.479 | 1.11.479 |
| Python | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.7.1 | 1.7.0 | 1.7.0 | 1.7.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.9 | 1.4.8 | 1.4.8 | 1.4.8 |
| HCatalog | 2.3.4-amzn-1 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 |
| Hadoop | 2.8.5-amzn-2 | 2.8.5-amzn-1 | 2.8.5-amzn-1 | 2.8.5-amzn-1 |
| Hive | 2.3.4-amzn-1 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 0.9.4 | 0.9.4 | 0.9.4 | 0.9.4 |
| Livy | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating |
| MXNet | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.1.0 | 5.0.0 | 5.0.0 | 5.0.0 |
| Phoenix | 4.14.1-HBase-1.4 | 4.14.0-HBase-1.4 | 4.14.0-HBase-1.4 | 4.14.0-HBase-1.4 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.215 | 0.215 | 0.215 | 0.215 |
| Spark | 2.4.0 | 2.4.0 | 2.4.0 | 2.4.0 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.12.0 | 1.12.0 | 1.12.0 | 1.12.0 |
| Tez | 0.9.1 | 0.9.1 | 0.9.1 | 0.9.1 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.1 | 0.8.0 | 0.8.0 | 0.8.0 |
| ZooKeeper | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 |
## 5.22.0 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.22.0에 대한 정보가 포함됩니다. 변경 사항은 5.21.0에 관련됩니다.
**중요**
Amazon EMR 릴리스 5.22.0부터 Amazon EMR은 AWS 서명 버전 4만 사용하여 Amazon S3에 대한 요청을 인증합니다. 이전 Amazon EMR 릴리스는 경우에 따라 AWS 서명 버전 4만 사용된다는 릴리스 정보가 표시되지 않는 한 서명 버전 2를 사용합니다. 자세한 내용은 *Amazon Simple Storage Service 개발자 안내서*의 [요청 인증(AWS 서명 버전 4)](https://docs.aws.amazon.com/AmazonS3/latest/API/sig-v4-authenticating-requests.html) 및 [요청 인증(AWS 서명 버전 2)](https://docs.aws.amazon.com/AmazonS3/latest/API/auth-request-sig-v2.html)을 참조하세요.
최초 릴리스 날짜: 2019년 3월 20일
**업그레이드**
+ Flink 1.7.1
+ HBase 1.4.9
+ Oozie 5.1.0
+ Phoenix 4.14.1
+ Zeppelin 0.8.1
+ 커넥터 및 드라이버:
+ DynamoDB 커넥터 4.8.0
+ MariaDB Connector 2.2.6
+ Amazon Redshift JDBC 드라이버 1.2.20.1043
**새로운 기능**
+ EBS 전용 스토리지를 사용하는 EC2 인스턴스 유형에 대한 기본 EBS 구성을 수정했습니다. Amazon EMR 릴리스 5.22.0 이상을 사용하여 클러스터를 생성할 때 EBS 스토리지의 기본적인 크기가 인스턴스 크기에 따라 증가합니다. 뿐만 아니라 증가한 스토리지를 여러 볼륨에 분할하여 향상된 IOPS 성능을 제공합니다. 다른 EBS 인스턴스 스토리지 구성을 사용하려는 경우 EMR 클러스터를 생성하거나 기존 클러스터에 노드를 추가할 때 이 구성을 지정할 수 있습니다. 각 인스턴스 유형에 기본적으로 할당된 스토리지 크기와 볼륨 수에 대한 자세한 내용은 *Amazon EMR 관리 안내서*에서 [인스턴스의 기본 EBS 스토리지](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-storage.html#emr-plan-storage-ebs-storage-default)를 참조하세요.
**변경 사항, 향상된 기능 및 해결된 문제**
+ Spark
+ YARN의 Spark에 새로운 구성 속성 `spark.yarn.executor.memoryOverheadFactor`를 추가했습니다. 이 속성의 값은 최소 384MB의 메모리 오버헤드 값을 실행기 메모리의 백분율로 설정하는 확장 팩터입니다. 메모리 오버헤드가 `spark.yarn.executor.memoryOverhead`를 사용하여 명시적으로 설정된 경우 이 속성은 아무 효과가 없습니다. 기본값은 18.75%를 나타내는 `0.1875`입니다. Amazon EMR의 기본값은 실행기 메모리 오버헤드를 위해 Spark에서 내부적으로 설정한 기본값 10%보다 더 많은 공간을 YARN 컨테이너에 남깁니다. TPC-DS 벤치마크 결과 Amazon EMR 기본값, 18.75%로 설정하면 메모리 관련 오류가 경험적으로 적었습니다.
+ 성능 개선을 위해 [SPARK-26316](https://issues.apache.org/jira/browse/SPARK-26316)을 백포트했습니다.
+ Amazon EMR 버전 5.19.0, 5.20.0 및 5.21.0에서 YARN 노드 레이블은 HDFS 디렉터리에 저장됩니다. 이로 인해 경우에 따라 코어 노드 시작이 지연되어 클러스터가 시간 초과되고 시작이 실패할 수 있습니다. Amazon EMR 5.22.0부터 이 문제가 해결되었습니다. YARN 노드 레이블은 각 클러스터 노드의 로컬 디스크에 저장되어 HDFS에 종속되지 않습니다.
**알려진 문제**
+ Hue(Amazon EMR 릴리스 5.24.0에서 수정됨)
+ Amazon EMR에서 실행되는 Hue는 Solr을 지원하지 않습니다. Amazon EMR 릴리스 5.20.0부터 잘못된 구성 문제로 인해 Solr이 활성화되고 다음과 유사한 무해한 오류 메시지가 표시됩니다.
`Solr server could not be contacted properly: HTTPConnectionPool('host=ip-xx-xx-xx-xx.ec2.internal', port=1978): Max retries exceeded with url: /solr/admin/info/system?user.name=hue&doAs=administrator&wt=json (Caused by NewConnectionError(': Failed to establish a new connection: [Errno 111] Connection refused',))`
**Solr 오류 메시지를 표시하지 않으려면**
1. SSH를 사용하여 프라이머리 노드 명령줄에 연결합니다.
1. 텍스트 편집기를 사용하여 `hue.ini` 파일을 엽니다. 예제:
`sudo vim /etc/hue/conf/hue.ini`
1. `appblacklist`라는 단어를 검색하고 해당 줄을 다음과 같이 수정합니다.
```
appblacklist = search
```
1. 변경 내용을 저장하고 다음 예와 같이 Hue를 다시 시작합니다.
```
sudo stop hue; sudo start hue
```
+ 여러 프라이머리 노드와 Kerberos 인증을 사용하는 클러스터에서 알려진 문제
Amazon EMR 릴리스 5.20.0 이상에서 여러 프라이머리 노드와 Kerberos 인증을 사용하여 클러스터를 실행하는 경우, 클러스터를 일정 시간 실행한 후 스케일 다운 또는 단계 제출과 같은 클러스터 작업에 문제가 발생할 수 있습니다. 기간은 정의한 Kerberos 티켓 유효 기간에 따라 다릅니다. 스케일 다운 문제는 제출한 자동 스케일 다운 및 명시적 스케일 다운 요청 모두에 영향을 미칩니다. 이외의 다른 클러스터 작업도 영향을 받을 수 있습니다.
해결 방법:
+ 여러 프라이머리 노드가 있는 EMR 클러스터의 리드 프라이머리 노드에 대한 `hadoop` 사용자로 SSH 연결합니다.
+ 다음 명령을 실행하여 `hadoop` 사용자의 Kerberos 티켓을 갱신합니다.
```
kinit -kt
```
일반적으로 keytab 파일은 `/etc/hadoop.keytab`에 있으며, 보안 주체는 `hadoop/@` 양식입니다.
**참고**
이 해결 방법은 Kerberos 티켓이 유효한 기간에 작동합니다. 이 기간은 기본적으로 10시간이지만 Kerberos 설정으로 구성할 수 있습니다. Kerberos 티켓이 만료되면 위 명령을 다시 실행해야 합니다.
## 5.22.0 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.2.1 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.8.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.6.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.4.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.11.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emr-s3-select | 1.2.0 | EMR S3Select 커넥터 |
| emrfs | 2.31.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.7.1 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.8.5-amzn-2 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.8.5-amzn-2 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.8.5-amzn-2 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.8.5-amzn-2 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.8.5-amzn-2 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.8.5-amzn-2 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.8.5-amzn-2 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.8.5-amzn-2 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.8.5-amzn-2 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.8.5-amzn-2 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.4.9 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.4.9 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.4.9 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.4.9 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.4.9 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.3.4-amzn-1 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.4-amzn-1 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.4-amzn-1 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.4-amzn-1 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.4-amzn-1 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.4-amzn-1 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.4-amzn-1 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 4.3.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| jupyterhub | 0.9.4 | Jupyter Notebook용 다중 사용자 서버 |
| livy-server | 0.5.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| nginx | 1.12.1 | HTTP인 nginx [engine x] 및 역방향 프록시 서버 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 1.3.1 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 9.2.88 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 5.1.0 | Oozie 명령줄 클라이언트 |
| oozie-server | 5.1.0 | Oozie 워크플로 요청을 수락하는 서비스 |
| opencv | 3.4.0 | 오픈 소스 컴퓨터 비전 라이브러리. |
| phoenix-library | 4.14.1-HBase-1.4 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.14.1-HBase-1.4 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.215 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.215 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| r | 3.4.1 | 통계 컴퓨팅용 R 프로젝트 |
| spark-client | 2.4.0 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.4.0 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.4.0 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.4.0 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.7 | Apache Sqoop 명령줄 클라이언트. |
| tensorflow | 1.12.0 | TensorFlow는 고성능 수치 계산용 오픈 소스 소프트웨어 라이브러리입니다. |
| tez-on-yarn | 0.9.1 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.8.1 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.13 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.13 | ZooKeeper 명령줄 클라이언트. |
## 5.22.0 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.22.0 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| container-log4j | Hadoop YARN container-log4j.properties 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| jupyter-notebook-conf | Jupyter Notebook jupyter\$1notebook\$1config.py 파일에서 값을 변경합니다. |
| jupyter-hub-conf | JupyterHubs jupyterhub\$1config.py 파일에서 값을 변경합니다. |
| jupyter-s3-conf | Jupyter Notebook S3 지속성 구성 |
| jupyter-sparkmagic-conf | Sparkmagic config.json 파일에서 값을 변경합니다. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. |
| livy-env | Livy 환경에서 값을 변경합니다. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-env | Pig 환경에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-password-authenticator | Presto password-authenticator.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-memory | Presto memory.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-redshift | Presto redshift.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| presto-connector-tpcds | Presto tpcds.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.21.2
## 5.21.2 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.21.2 | emr-5.21.1 | emr-5.21.0 | emr-5.20.1 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.479 | 1.11.479 | 1.11.479 | 1.11.461 |
| Python | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.7.0 | 1.7.0 | 1.7.0 | 1.6.2 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.8 | 1.4.8 | 1.4.8 | 1.4.8 |
| HCatalog | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 |
| Hadoop | 2.8.5-amzn-1 | 2.8.5-amzn-1 | 2.8.5-amzn-1 | 2.8.5-amzn-1 |
| Hive | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 0.9.4 | 0.9.4 | 0.9.4 | 0.9.4 |
| Livy | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating |
| MXNet | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 |
| Phoenix | 4.14.0-HBase-1.4 | 4.14.0-HBase-1.4 | 4.14.0-HBase-1.4 | 4.14.0-HBase-1.4 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.215 | 0.215 | 0.215 | 0.214 |
| Spark | 2.4.0 | 2.4.0 | 2.4.0 | 2.4.0 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.12.0 | 1.12.0 | 1.12.0 | 1.12.0 |
| Tez | 0.9.1 | 0.9.1 | 0.9.1 | 0.9.1 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.0 | 0.8.0 | 0.8.0 | 0.8.0 |
| ZooKeeper | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 |
## 5.21.2 릴리스 정보
Amazon S3에 대한 요청에 AWS 서명 버전 4 인증을 추가하는 패치 릴리스입니다. 모든 애플리케이션 및 구성 요소는 이전 Amazon EMR 릴리스와 동일합니다.
**중요**
이 릴리스 버전에서 Amazon EMR은 AWS 서명 버전 4만 사용하여 Amazon S3에 대한 요청을 인증합니다. 자세한 내용은 [새 소식](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html)을 참조하십시오.
## 5.21.2 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.2.1 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.7.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.5.1 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.4.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.11.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emr-s3-select | 1.2.0 | EMR S3Select 커넥터 |
| emrfs | 2.30.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.7.0 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.8.5-amzn-1 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.8.5-amzn-1 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.8.5-amzn-1 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.8.5-amzn-1 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.8.5-amzn-1 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.8.5-amzn-1 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.8.5-amzn-1 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.8.5-amzn-1 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.8.5-amzn-1 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.8.5-amzn-1 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.4.8 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.4.8 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.4.8 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.4.8 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.4.8 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.3.4-amzn-0 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.4-amzn-0 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.4-amzn-0 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.4-amzn-0 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.4-amzn-0 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.4-amzn-0 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.4-amzn-0 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 4.3.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| jupyterhub | 0.9.4 | Jupyter Notebook용 다중 사용자 서버 |
| livy-server | 0.5.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| nginx | 1.12.1 | HTTP인 nginx [engine x] 및 역방향 프록시 서버 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 1.3.1 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 9.2.88 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 5.0.0 | Oozie 명령줄 클라이언트 |
| oozie-server | 5.0.0 | Oozie 워크플로 요청을 수락하는 서비스 |
| opencv | 3.4.0 | 오픈 소스 컴퓨터 비전 라이브러리. |
| phoenix-library | 4.14.0-HBase-1.4 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.14.0-HBase-1.4 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.215 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.215 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| r | 3.4.1 | 통계 컴퓨팅용 R 프로젝트 |
| spark-client | 2.4.0 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.4.0 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.4.0 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.4.0 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.7 | Apache Sqoop 명령줄 클라이언트. |
| tensorflow | 1.12.0 | TensorFlow는 고성능 수치 계산용 오픈 소스 소프트웨어 라이브러리입니다. |
| tez-on-yarn | 0.9.1 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.8.0 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.13 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.13 | ZooKeeper 명령줄 클라이언트. |
## 5.21.2 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.21.2 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| container-log4j | Hadoop YARN container-log4j.properties 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| jupyter-notebook-conf | Jupyter Notebook jupyter\$1notebook\$1config.py 파일에서 값을 변경합니다. |
| jupyter-hub-conf | JupyterHubs jupyterhub\$1config.py 파일에서 값을 변경합니다. |
| jupyter-s3-conf | Jupyter Notebook S3 지속성 구성 |
| jupyter-sparkmagic-conf | Sparkmagic config.json 파일에서 값을 변경합니다. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. |
| livy-env | Livy 환경에서 값을 변경합니다. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-env | Pig 환경에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-password-authenticator | Presto password-authenticator.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-memory | Presto memory.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-redshift | Presto redshift.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| presto-connector-tpcds | Presto tpcds.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.21.1
## 5.21.1 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.21.1 | emr-5.21.0 | emr-5.20.1 | emr-5.20.0 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.479 | 1.11.479 | 1.11.461 | 1.11.461 |
| Python | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.7.0 | 1.7.0 | 1.6.2 | 1.6.2 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.8 | 1.4.8 | 1.4.8 | 1.4.8 |
| HCatalog | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 |
| Hadoop | 2.8.5-amzn-1 | 2.8.5-amzn-1 | 2.8.5-amzn-1 | 2.8.5-amzn-1 |
| Hive | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 0.9.4 | 0.9.4 | 0.9.4 | 0.9.4 |
| Livy | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating |
| MXNet | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 |
| Phoenix | 4.14.0-HBase-1.4 | 4.14.0-HBase-1.4 | 4.14.0-HBase-1.4 | 4.14.0-HBase-1.4 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.215 | 0.215 | 0.214 | 0.214 |
| Spark | 2.4.0 | 2.4.0 | 2.4.0 | 2.4.0 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.12.0 | 1.12.0 | 1.12.0 | 1.12.0 |
| Tez | 0.9.1 | 0.9.1 | 0.9.1 | 0.9.1 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.0 | 0.8.0 | 0.8.0 | 0.8.0 |
| ZooKeeper | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 |
## 5.21.1 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.21.1에 대한 정보가 포함됩니다. 변경 사항은 5.21.0에 관련됩니다.
최초 릴리스 날짜: 2019년 7월 18일
**변경 사항, 향상된 기능 및 해결된 문제**
+ TCP SACK 서비스 거부 문제([AWS-2019-005](https://aws.amazon.com/security/security-bulletins/AWS-2019-005/))를 비롯한 중요한 Linux 커널 보안 업데이트를 포함하도록 Amazon EMR의 기본 Amazon Linux AMI를 업데이트했습니다.
**알려진 문제**
+ 여러 프라이머리 노드와 Kerberos 인증을 사용하는 클러스터에서 알려진 문제
Amazon EMR 릴리스 5.20.0 이상에서 여러 프라이머리 노드와 Kerberos 인증을 사용하여 클러스터를 실행하는 경우, 클러스터를 일정 시간 실행한 후 스케일 다운 또는 단계 제출과 같은 클러스터 작업에 문제가 발생할 수 있습니다. 기간은 정의한 Kerberos 티켓 유효 기간에 따라 다릅니다. 스케일 다운 문제는 제출한 자동 스케일 다운 및 명시적 스케일 다운 요청 모두에 영향을 미칩니다. 이외의 다른 클러스터 작업도 영향을 받을 수 있습니다.
해결 방법:
+ 여러 프라이머리 노드가 있는 EMR 클러스터의 리드 프라이머리 노드에 대한 `hadoop` 사용자로 SSH 연결합니다.
+ 다음 명령을 실행하여 `hadoop` 사용자의 Kerberos 티켓을 갱신합니다.
```
kinit -kt
```
일반적으로 keytab 파일은 `/etc/hadoop.keytab`에 있으며, 보안 주체는 `hadoop/@` 양식입니다.
**참고**
이 해결 방법은 Kerberos 티켓이 유효한 기간에 작동합니다. 이 기간은 기본적으로 10시간이지만 Kerberos 설정으로 구성할 수 있습니다. Kerberos 티켓이 만료되면 위 명령을 다시 실행해야 합니다.
## 5.21.1 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.2.1 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.7.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.5.1 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.4.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.11.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emr-s3-select | 1.2.0 | EMR S3Select 커넥터 |
| emrfs | 2.30.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.7.0 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.8.5-amzn-1 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.8.5-amzn-1 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.8.5-amzn-1 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.8.5-amzn-1 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.8.5-amzn-1 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.8.5-amzn-1 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.8.5-amzn-1 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.8.5-amzn-1 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.8.5-amzn-1 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.8.5-amzn-1 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.4.8 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.4.8 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.4.8 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.4.8 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.4.8 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.3.4-amzn-0 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.4-amzn-0 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.4-amzn-0 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.4-amzn-0 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.4-amzn-0 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.4-amzn-0 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.4-amzn-0 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 4.3.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| jupyterhub | 0.9.4 | Jupyter Notebook용 다중 사용자 서버 |
| livy-server | 0.5.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| nginx | 1.12.1 | HTTP인 nginx [engine x] 및 역방향 프록시 서버 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 1.3.1 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 9.2.88 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 5.0.0 | Oozie 명령줄 클라이언트 |
| oozie-server | 5.0.0 | Oozie 워크플로 요청을 수락하는 서비스 |
| opencv | 3.4.0 | 오픈 소스 컴퓨터 비전 라이브러리. |
| phoenix-library | 4.14.0-HBase-1.4 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.14.0-HBase-1.4 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.215 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.215 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| r | 3.4.1 | 통계 컴퓨팅용 R 프로젝트 |
| spark-client | 2.4.0 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.4.0 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.4.0 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.4.0 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.7 | Apache Sqoop 명령줄 클라이언트. |
| tensorflow | 1.12.0 | TensorFlow는 고성능 수치 계산용 오픈 소스 소프트웨어 라이브러리입니다. |
| tez-on-yarn | 0.9.1 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.8.0 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.13 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.13 | ZooKeeper 명령줄 클라이언트. |
## 5.21.1 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.21.1 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| container-log4j | Hadoop YARN container-log4j.properties 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| jupyter-notebook-conf | Jupyter Notebook jupyter\$1notebook\$1config.py 파일에서 값을 변경합니다. |
| jupyter-hub-conf | JupyterHubs jupyterhub\$1config.py 파일에서 값을 변경합니다. |
| jupyter-s3-conf | Jupyter Notebook S3 지속성 구성 |
| jupyter-sparkmagic-conf | Sparkmagic config.json 파일에서 값을 변경합니다. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. |
| livy-env | Livy 환경에서 값을 변경합니다. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-env | Pig 환경에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-password-authenticator | Presto password-authenticator.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-memory | Presto memory.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-redshift | Presto redshift.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| presto-connector-tpcds | Presto tpcds.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.21.0
## 5.21.0 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.21.0 | emr-5.20.1 | emr-5.20.0 | emr-5.19.1 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.479 | 1.11.461 | 1.11.461 | 1.11.433 |
| Python | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.4 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.7.0 | 1.6.2 | 1.6.2 | 1.6.1 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.8 | 1.4.8 | 1.4.8 | 1.4.7 |
| HCatalog | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.3-amzn-2 |
| Hadoop | 2.8.5-amzn-1 | 2.8.5-amzn-1 | 2.8.5-amzn-1 | 2.8.5-amzn-0 |
| Hive | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.3-amzn-1 |
| Hudi | - | - | - | - |
| Hue | 4.3.0 | 4.3.0 | 4.3.0 | 4.2.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 0.9.4 | 0.9.4 | 0.9.4 | 0.9.4 |
| Livy | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating |
| MXNet | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 |
| Phoenix | 4.14.0-HBase-1.4 | 4.14.0-HBase-1.4 | 4.14.0-HBase-1.4 | 4.14.0-HBase-1.4 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.215 | 0.214 | 0.214 | 0.212 |
| Spark | 2.4.0 | 2.4.0 | 2.4.0 | 2.3.2 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.12.0 | 1.12.0 | 1.12.0 | 1.11.0 |
| Tez | 0.9.1 | 0.9.1 | 0.9.1 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.0 | 0.8.0 | 0.8.0 | 0.8.0 |
| ZooKeeper | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 |
## 5.21.0 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.21.0에 대한 정보가 포함됩니다. 변경 사항은 5.20.0에 관련됩니다.
최초 릴리스 날짜: 2019년 2월 18일
최종 업데이트 날짜: 2019년 4월 3일
**업그레이드**
+ Flink 1.7.0
+ Presto 0.215
+ AWS SDK for Java 1.11.479
**새로운 기능**
+ (2019년 4월 3일) Amazon EMR 버전 5.21.0 이상에서는 클러스터 구성을 재정의할 수 있으며, 실행 중인 클러스터의 각 인스턴스 그룹에 대해 추가 구성 분류를 지정할 수 있습니다. Amazon EMR 콘솔, AWS Command Line Interface (AWS CLI) 또는 AWS SDK를 사용하여이 작업을 수행할 수 있습니다. 자세한 내용은 [실행 중 클러스터의 인스턴스 그룹에 대해 구성 제공](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-configure-apps-running-cluster.html)을 참조하세요.
**변경 사항, 향상된 기능 및 해결된 문제**
+ Zeppelin
+ [ZEPPELIN-3878](https://issues.apache.org/jira/browse/ZEPPELIN-3878)을 백포트했습니다.
**알려진 문제**
+ Hue(Amazon EMR 릴리스 5.24.0에서 수정됨)
+ Amazon EMR에서 실행되는 Hue는 Solr을 지원하지 않습니다. Amazon EMR 릴리스 5.20.0부터 잘못된 구성 문제로 인해 Solr이 활성화되고 다음과 유사한 무해한 오류 메시지가 표시됩니다.
`Solr server could not be contacted properly: HTTPConnectionPool('host=ip-xx-xx-xx-xx.ec2.internal', port=1978): Max retries exceeded with url: /solr/admin/info/system?user.name=hue&doAs=administrator&wt=json (Caused by NewConnectionError(': Failed to establish a new connection: [Errno 111] Connection refused',))`
**Solr 오류 메시지를 표시하지 않으려면**
1. SSH를 사용하여 프라이머리 노드 명령줄에 연결합니다.
1. 텍스트 편집기를 사용하여 `hue.ini` 파일을 엽니다. 예제:
`sudo vim /etc/hue/conf/hue.ini`
1. `appblacklist`라는 단어를 검색하고 해당 줄을 다음과 같이 수정합니다.
```
appblacklist = search
```
1. 변경 내용을 저장하고 다음 예와 같이 Hue를 다시 시작합니다.
```
sudo stop hue; sudo start hue
```
+ Tez의 Hive 실행 시간 비교
+ 이 문제는 Amazon EMR 5.22.0에서 해결되었습니다.
클러스터 프라이머리 노드에 대한 SSH 연결을 통해 http://*MasterDNS*:8080/tez-ui의 Tez UI에 연결할 때 'Adapter operation failed - Timeline server (ATS) is out of reach. Either it is down, or CORS is not enabled(어댑터 작동이 실패했습니다. - 타임라인 서버(ATS)가 범위를 벗어났습니다. 다운되었거나 CORS가 활성화되어 있지 않습니다.)"라는 오류가 나타나거나, 작업 중 예기치 않게 N/A(해당 사항 없음)가 표시됩니다.
이 오류는 Tez UI가 프라이머리 노드의 호스트 이름 대신 `localhost`를 사용하여 YARN 타임라인 서버에 요청할 때 발생합니다. 이 문제를 해결하기 위해 스크립트를 부트스트랩 작업 또는 단계로 실행할 수 있습니다. 스크립트는 Tez `configs.env` 파일의 호스트 이름을 업데이트합니다. 스크립트에 대한 자세한 내용과 위치를 보려면 [부트스트랩 지침](http://awssupportdatasvcs.com/bootstrap-actions/fix_tez_ui_0-9-1/)을 참조하십시오.
+ Amazon EMR 버전 5.19.0, 5.20.0 및 5.21.0에서 YARN 노드 레이블은 HDFS 디렉터리에 저장됩니다. 이로 인해 경우에 따라 코어 노드 시작이 지연되어 클러스터가 시간 초과되고 시작이 실패할 수 있습니다. Amazon EMR 5.22.0부터 이 문제가 해결되었습니다. YARN 노드 레이블은 각 클러스터 노드의 로컬 디스크에 저장되어 HDFS에 종속되지 않습니다.
+ 여러 프라이머리 노드와 Kerberos 인증을 사용하는 클러스터에서 알려진 문제
Amazon EMR 릴리스 5.20.0 이상에서 여러 프라이머리 노드와 Kerberos 인증을 사용하여 클러스터를 실행하는 경우, 클러스터를 일정 시간 실행한 후 스케일 다운 또는 단계 제출과 같은 클러스터 작업에 문제가 발생할 수 있습니다. 기간은 정의한 Kerberos 티켓 유효 기간에 따라 다릅니다. 스케일 다운 문제는 제출한 자동 스케일 다운 및 명시적 스케일 다운 요청 모두에 영향을 미칩니다. 이외의 다른 클러스터 작업도 영향을 받을 수 있습니다.
해결 방법:
+ 여러 프라이머리 노드가 있는 EMR 클러스터의 리드 프라이머리 노드에 대한 `hadoop` 사용자로 SSH 연결합니다.
+ 다음 명령을 실행하여 `hadoop` 사용자의 Kerberos 티켓을 갱신합니다.
```
kinit -kt
```
일반적으로 keytab 파일은 `/etc/hadoop.keytab`에 있으며, 보안 주체는 `hadoop/@` 양식입니다.
**참고**
이 해결 방법은 Kerberos 티켓이 유효한 기간에 작동합니다. 이 기간은 기본적으로 10시간이지만 Kerberos 설정으로 구성할 수 있습니다. Kerberos 티켓이 만료되면 위 명령을 다시 실행해야 합니다.
## 5.21.0 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.2.1 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.7.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.5.1 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.4.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.11.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emr-s3-select | 1.2.0 | EMR S3Select 커넥터 |
| emrfs | 2.30.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.7.0 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.8.5-amzn-1 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.8.5-amzn-1 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.8.5-amzn-1 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.8.5-amzn-1 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.8.5-amzn-1 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.8.5-amzn-1 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.8.5-amzn-1 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.8.5-amzn-1 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.8.5-amzn-1 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.8.5-amzn-1 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.4.8 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.4.8 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.4.8 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.4.8 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.4.8 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.3.4-amzn-0 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.4-amzn-0 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.4-amzn-0 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.4-amzn-0 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.4-amzn-0 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.4-amzn-0 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.4-amzn-0 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 4.3.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| jupyterhub | 0.9.4 | Jupyter Notebook용 다중 사용자 서버 |
| livy-server | 0.5.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| nginx | 1.12.1 | HTTP인 nginx [engine x] 및 역방향 프록시 서버 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 1.3.1 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 9.2.88 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 5.0.0 | Oozie 명령줄 클라이언트 |
| oozie-server | 5.0.0 | Oozie 워크플로 요청을 수락하는 서비스 |
| opencv | 3.4.0 | 오픈 소스 컴퓨터 비전 라이브러리. |
| phoenix-library | 4.14.0-HBase-1.4 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.14.0-HBase-1.4 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.215 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.215 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| r | 3.4.1 | 통계 컴퓨팅용 R 프로젝트 |
| spark-client | 2.4.0 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.4.0 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.4.0 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.4.0 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.7 | Apache Sqoop 명령줄 클라이언트. |
| tensorflow | 1.12.0 | TensorFlow는 고성능 수치 계산용 오픈 소스 소프트웨어 라이브러리입니다. |
| tez-on-yarn | 0.9.1 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.8.0 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.13 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.13 | ZooKeeper 명령줄 클라이언트. |
## 5.21.0 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.21.0 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| container-log4j | Hadoop YARN container-log4j.properties 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| jupyter-notebook-conf | Jupyter Notebook jupyter\$1notebook\$1config.py 파일에서 값을 변경합니다. |
| jupyter-hub-conf | JupyterHubs jupyterhub\$1config.py 파일에서 값을 변경합니다. |
| jupyter-s3-conf | Jupyter Notebook S3 지속성 구성 |
| jupyter-sparkmagic-conf | Sparkmagic config.json 파일에서 값을 변경합니다. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. |
| livy-env | Livy 환경에서 값을 변경합니다. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-env | Pig 환경에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-password-authenticator | Presto password-authenticator.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-memory | Presto memory.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-redshift | Presto redshift.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| presto-connector-tpcds | Presto tpcds.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.20.1
## 5.20.1 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.20.1 | emr-5.20.0 | emr-5.19.1 | emr-5.19.0 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.461 | 1.11.461 | 1.11.433 | 1.11.433 |
| Python | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.4 | 2.7, 3.4 |
| Scala | 2.11.12 | 2.11.12 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.6.2 | 1.6.2 | 1.6.1 | 1.6.1 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.8 | 1.4.8 | 1.4.7 | 1.4.7 |
| HCatalog | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.3-amzn-2 | 2.3.3-amzn-2 |
| Hadoop | 2.8.5-amzn-1 | 2.8.5-amzn-1 | 2.8.5-amzn-0 | 2.8.5-amzn-0 |
| Hive | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.3-amzn-1 | 2.3.3-amzn-1 |
| Hudi | - | - | - | - |
| Hue | 4.3.0 | 4.3.0 | 4.2.0 | 4.2.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 0.9.4 | 0.9.4 | 0.9.4 | 0.9.4 |
| Livy | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating |
| MXNet | 1.3.1 | 1.3.1 | 1.3.0 | 1.3.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 |
| Phoenix | 4.14.0-HBase-1.4 | 4.14.0-HBase-1.4 | 4.14.0-HBase-1.4 | 4.14.0-HBase-1.4 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.214 | 0.214 | 0.212 | 0.212 |
| Spark | 2.4.0 | 2.4.0 | 2.3.2 | 2.3.2 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.12.0 | 1.12.0 | 1.11.0 | 1.11.0 |
| Tez | 0.9.1 | 0.9.1 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.0 | 0.8.0 | 0.8.0 | 0.8.0 |
| ZooKeeper | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 |
## 5.20.1 릴리스 정보
Amazon S3에 대한 요청에 AWS 서명 버전 4 인증을 추가하는 패치 릴리스입니다. 모든 애플리케이션 및 구성 요소는 이전 Amazon EMR 릴리스와 동일합니다.
**중요**
이 릴리스 버전에서 Amazon EMR은 AWS 서명 버전 4만 사용하여 Amazon S3에 대한 요청을 인증합니다. 자세한 내용은 [새 소식](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html)을 참조하십시오.
## 5.20.1 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.2.1 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.7.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.5.1 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.4.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.10.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emr-s3-select | 1.2.0 | EMR S3Select 커넥터 |
| emrfs | 2.29.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.6.2 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.8.5-amzn-1 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.8.5-amzn-1 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.8.5-amzn-1 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.8.5-amzn-1 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.8.5-amzn-1 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.8.5-amzn-1 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.8.5-amzn-1 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.8.5-amzn-1 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.8.5-amzn-1 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.8.5-amzn-1 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.4.8 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.4.8 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.4.8 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.4.8 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.4.8 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.3.4-amzn-0 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.4-amzn-0 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.4-amzn-0 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.4-amzn-0 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.4-amzn-0 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.4-amzn-0 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.4-amzn-0 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 4.3.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| jupyterhub | 0.9.4 | Jupyter Notebook용 다중 사용자 서버 |
| livy-server | 0.5.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| nginx | 1.12.1 | HTTP인 nginx [engine x] 및 역방향 프록시 서버 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 1.3.1 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 9.2.88 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 5.0.0 | Oozie 명령줄 클라이언트 |
| oozie-server | 5.0.0 | Oozie 워크플로 요청을 수락하는 서비스 |
| opencv | 3.4.0 | 오픈 소스 컴퓨터 비전 라이브러리. |
| phoenix-library | 4.14.0-HBase-1.4 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.14.0-HBase-1.4 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.214 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.214 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| r | 3.4.1 | 통계 컴퓨팅용 R 프로젝트 |
| spark-client | 2.4.0 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.4.0 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.4.0 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.4.0 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.7 | Apache Sqoop 명령줄 클라이언트. |
| tensorflow | 1.12.0 | TensorFlow는 고성능 수치 계산용 오픈 소스 소프트웨어 라이브러리입니다. |
| tez-on-yarn | 0.9.1 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.8.0 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.13 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.13 | ZooKeeper 명령줄 클라이언트. |
## 5.20.1 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.20.1 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| container-log4j | Hadoop YARN container-log4j.properties 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| jupyter-notebook-conf | Jupyter Notebook jupyter\$1notebook\$1config.py 파일에서 값을 변경합니다. |
| jupyter-hub-conf | JupyterHubs jupyterhub\$1config.py 파일에서 값을 변경합니다. |
| jupyter-s3-conf | Jupyter Notebook S3 지속성 구성 |
| jupyter-sparkmagic-conf | Sparkmagic config.json 파일에서 값을 변경합니다. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. |
| livy-env | Livy 환경에서 값을 변경합니다. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-env | Pig 환경에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-password-authenticator | Presto password-authenticator.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-memory | Presto memory.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-redshift | Presto redshift.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| presto-connector-tpcds | Presto tpcds.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.20.0
## 5.20.0 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.20.0 | emr-5.19.1 | emr-5.19.0 | emr-5.18.1 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.461 | 1.11.433 | 1.11.433 | 1.11.393 |
| Python | 2.7, 3.6 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 |
| Scala | 2.11.12 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.6.2 | 1.6.1 | 1.6.1 | 1.6.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.8 | 1.4.7 | 1.4.7 | 1.4.7 |
| HCatalog | 2.3.4-amzn-0 | 2.3.3-amzn-2 | 2.3.3-amzn-2 | 2.3.3-amzn-2 |
| Hadoop | 2.8.5-amzn-1 | 2.8.5-amzn-0 | 2.8.5-amzn-0 | 2.8.4-amzn-1 |
| Hive | 2.3.4-amzn-0 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 |
| Hudi | - | - | - | - |
| Hue | 4.3.0 | 4.2.0 | 4.2.0 | 4.2.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 0.9.4 | 0.9.4 | 0.9.4 | 0.8.1 |
| Livy | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating |
| MXNet | 1.3.1 | 1.3.0 | 1.3.0 | 1.2.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 |
| Phoenix | 4.14.0-HBase-1.4 | 4.14.0-HBase-1.4 | 4.14.0-HBase-1.4 | 4.14.0-HBase-1.4 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.214 | 0.212 | 0.212 | 0.210 |
| Spark | 2.4.0 | 2.3.2 | 2.3.2 | 2.3.2 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.12.0 | 1.11.0 | 1.11.0 | 1.9.0 |
| Tez | 0.9.1 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.0 | 0.8.0 | 0.8.0 | 0.8.0 |
| ZooKeeper | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.12 |
## 5.20.0 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.20.0에 대한 정보가 포함됩니다. 변경 사항은 5.19.0에 관련됩니다.
최초 릴리스 날짜: 2018년 12월 18일
마지막 업데이트 날짜: 2019년 1월 22일
**업그레이드**
+ Flink 1.6.2
+ HBase 1.4.8
+ Hive 2.3.4
+ Hue 4.3.0
+ MXNet 1.3.1
+ Presto 0.214
+ Spark 2.4.0
+ TensorFlow 1.12.0
+ Tez 0.9.1
+ AWS SDK for Java 1.11.461
**새로운 기능**
+ (2019년 1월 22일) Amazon EMR의 Kerberos가 외부 KDC의 인증 보안 주체를 지원하도록 개선되었습니다. 이는 여러 클러스터가 하나의 외부 KDC를 공유할 수 있기 때문에 보안 주체 관리를 중앙 집중화합니다. 또한 외부 KDC는 Active Directory 도메인과 교차 영역 신뢰를 가질 수 있습니다. 이를 통해 모든 클러스터는 Active Directory의 보안 주체를 인증할 수 있습니다. 자세한 내용은 *Amazon EMR 관리 안내서*에서 [Kerberos 인증 사용](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-kerberos.html)을 참조하세요.
**변경 사항, 향상된 기능 및 해결된 문제**
+ Amazon EMR의 기본 Amazon Linux AMI
+ Python3 패키지가 python 3.4에서 3.6으로 업그레이드되었습니다.
+ EMRFS S3 최적화 커미터
+ EMRFS S3 최적화 커미터가 이제 기본적으로 활성화되며 쓰기 성능을 향상시킵니다. 자세한 내용은 [EMRFS S3 최적화 커미터 사용](emr-spark-s3-optimized-committer.md) 단원을 참조하십시오.
+ Hive
+ [HIVE-16686](https://issues.apache.org/jira/browse/HIVE-16686)를 백포트했습니다.
+ Glue와 Spark 및 Hive
+ EMR 5.20.0 이상에서는 AWS Glue 데이터 카탈로그를 메타스토어로 사용할 때 Spark 및 Hive에 대해 병렬 파티션 정리가 자동으로 활성화됩니다. 이 변경 사항은 여러 요청을 병렬로 실행하여 파티션을 검색함으로써 쿼리 계획 시간을 크게 단축합니다. 동시에 실행할 수 있는 총 세그먼트 수는 1\$110입니다. 기본값은 5이며, 또한 권장 설정입니다. `hive-site` 구성 분류에서 `aws.glue.partition.num.segments` 속성을 지정하여 이 설정을 변경할 수 있습니다. 조절이 발생할 경우 값을 1로 변경하여 기능을 끌 수 있습니다. 자세한 내용은 [AWS Glue 세그먼트 구조](https://docs.aws.amazon.com/glue/latest/dg/aws-glue-api-catalog-partitions.html#aws-glue-api-catalog-partitions-Segment)를 참조하세요.
**알려진 문제**
+ Hue(Amazon EMR 릴리스 5.24.0에서 수정됨)
+ Amazon EMR에서 실행되는 Hue는 Solr을 지원하지 않습니다. Amazon EMR 릴리스 5.20.0부터 잘못된 구성 문제로 인해 Solr이 활성화되고 다음과 유사한 무해한 오류 메시지가 표시됩니다.
`Solr server could not be contacted properly: HTTPConnectionPool('host=ip-xx-xx-xx-xx.ec2.internal', port=1978): Max retries exceeded with url: /solr/admin/info/system?user.name=hue&doAs=administrator&wt=json (Caused by NewConnectionError(': Failed to establish a new connection: [Errno 111] Connection refused',))`
**Solr 오류 메시지를 표시하지 않으려면**
1. SSH를 사용하여 프라이머리 노드 명령줄에 연결합니다.
1. 텍스트 편집기를 사용하여 `hue.ini` 파일을 엽니다. 예제:
`sudo vim /etc/hue/conf/hue.ini`
1. `appblacklist`라는 단어를 검색하고 해당 줄을 다음과 같이 수정합니다.
```
appblacklist = search
```
1. 변경 내용을 저장하고 다음 예와 같이 Hue를 다시 시작합니다.
```
sudo stop hue; sudo start hue
```
+ Tez의 Hive 실행 시간 비교
+ 이 문제는 Amazon EMR 5.22.0에서 해결되었습니다.
클러스터 프라이머리 노드에 대한 SSH 연결을 통해 http://*MasterDNS*:8080/tez-ui의 Tez UI에 연결할 때 'Adapter operation failed - Timeline server (ATS) is out of reach. Either it is down, or CORS is not enabled(어댑터 작동이 실패했습니다. - 타임라인 서버(ATS)가 범위를 벗어났습니다. 다운되었거나 CORS가 활성화되어 있지 않습니다.)"라는 오류가 나타나거나, 작업 중 예기치 않게 N/A(해당 사항 없음)가 표시됩니다.
이 오류는 Tez UI가 프라이머리 노드의 호스트 이름 대신 `localhost`를 사용하여 YARN 타임라인 서버에 요청할 때 발생합니다. 이 문제를 해결하기 위해 스크립트를 부트스트랩 작업 또는 단계로 실행할 수 있습니다. 스크립트는 Tez `configs.env` 파일의 호스트 이름을 업데이트합니다. 스크립트에 대한 자세한 내용과 위치를 보려면 [부트스트랩 지침](http://awssupportdatasvcs.com/bootstrap-actions/fix_tez_ui_0-9-1/)을 참조하십시오.
+ Amazon EMR 버전 5.19.0, 5.20.0 및 5.21.0에서 YARN 노드 레이블은 HDFS 디렉터리에 저장됩니다. 이로 인해 경우에 따라 코어 노드 시작이 지연되어 클러스터가 시간 초과되고 시작이 실패할 수 있습니다. Amazon EMR 5.22.0부터 이 문제가 해결되었습니다. YARN 노드 레이블은 각 클러스터 노드의 로컬 디스크에 저장되어 HDFS에 종속되지 않습니다.
+ 여러 프라이머리 노드와 Kerberos 인증을 사용하는 클러스터에서 알려진 문제
Amazon EMR 릴리스 5.20.0 이상에서 여러 프라이머리 노드와 Kerberos 인증을 사용하여 클러스터를 실행하는 경우, 클러스터를 일정 시간 실행한 후 스케일 다운 또는 단계 제출과 같은 클러스터 작업에 문제가 발생할 수 있습니다. 기간은 정의한 Kerberos 티켓 유효 기간에 따라 다릅니다. 스케일 다운 문제는 제출한 자동 스케일 다운 및 명시적 스케일 다운 요청 모두에 영향을 미칩니다. 이외의 다른 클러스터 작업도 영향을 받을 수 있습니다.
해결 방법:
+ 여러 프라이머리 노드가 있는 EMR 클러스터의 리드 프라이머리 노드에 대한 `hadoop` 사용자로 SSH 연결합니다.
+ 다음 명령을 실행하여 `hadoop` 사용자의 Kerberos 티켓을 갱신합니다.
```
kinit -kt
```
일반적으로 keytab 파일은 `/etc/hadoop.keytab`에 있으며, 보안 주체는 `hadoop/@` 양식입니다.
**참고**
이 해결 방법은 Kerberos 티켓이 유효한 기간에 작동합니다. 이 기간은 기본적으로 10시간이지만 Kerberos 설정으로 구성할 수 있습니다. Kerberos 티켓이 만료되면 위 명령을 다시 실행해야 합니다.
## 5.20.0 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.2.1 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.7.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.5.1 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.4.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.10.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emr-s3-select | 1.2.0 | EMR S3Select 커넥터 |
| emrfs | 2.29.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.6.2 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.8.5-amzn-1 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.8.5-amzn-1 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.8.5-amzn-1 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.8.5-amzn-1 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.8.5-amzn-1 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.8.5-amzn-1 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.8.5-amzn-1 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.8.5-amzn-1 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.8.5-amzn-1 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.8.5-amzn-1 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.4.8 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.4.8 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.4.8 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.4.8 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.4.8 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.3.4-amzn-0 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.4-amzn-0 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.4-amzn-0 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.4-amzn-0 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.4-amzn-0 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.4-amzn-0 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.4-amzn-0 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 4.3.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| jupyterhub | 0.9.4 | Jupyter Notebook용 다중 사용자 서버 |
| livy-server | 0.5.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| nginx | 1.12.1 | HTTP인 nginx [engine x] 및 역방향 프록시 서버 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 1.3.1 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 9.2.88 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 5.0.0 | Oozie 명령줄 클라이언트 |
| oozie-server | 5.0.0 | Oozie 워크플로 요청을 수락하는 서비스 |
| opencv | 3.4.0 | 오픈 소스 컴퓨터 비전 라이브러리. |
| phoenix-library | 4.14.0-HBase-1.4 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.14.0-HBase-1.4 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.214 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.214 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| r | 3.4.1 | 통계 컴퓨팅용 R 프로젝트 |
| spark-client | 2.4.0 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.4.0 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.4.0 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.4.0 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.7 | Apache Sqoop 명령줄 클라이언트. |
| tensorflow | 1.12.0 | TensorFlow는 고성능 수치 계산용 오픈 소스 소프트웨어 라이브러리입니다. |
| tez-on-yarn | 0.9.1 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.8.0 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.13 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.13 | ZooKeeper 명령줄 클라이언트. |
## 5.20.0 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.20.0 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| container-log4j | Hadoop YARN container-log4j.properties 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| jupyter-notebook-conf | Jupyter Notebook jupyter\$1notebook\$1config.py 파일에서 값을 변경합니다. |
| jupyter-hub-conf | JupyterHubs jupyterhub\$1config.py 파일에서 값을 변경합니다. |
| jupyter-s3-conf | Jupyter Notebook S3 지속성 구성 |
| jupyter-sparkmagic-conf | Sparkmagic config.json 파일에서 값을 변경합니다. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. |
| livy-env | Livy 환경에서 값을 변경합니다. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-env | Pig 환경에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-password-authenticator | Presto password-authenticator.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-memory | Presto memory.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-redshift | Presto redshift.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| presto-connector-tpcds | Presto tpcds.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.19.1
## 5.19.1 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.19.1 | emr-5.19.0 | emr-5.18.1 | emr-5.18.0 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.433 | 1.11.433 | 1.11.393 | 1.11.393 |
| Python | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.6.1 | 1.6.1 | 1.6.0 | 1.6.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| HCatalog | 2.3.3-amzn-2 | 2.3.3-amzn-2 | 2.3.3-amzn-2 | 2.3.3-amzn-2 |
| Hadoop | 2.8.5-amzn-0 | 2.8.5-amzn-0 | 2.8.4-amzn-1 | 2.8.4-amzn-1 |
| Hive | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 |
| Hudi | - | - | - | - |
| Hue | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 0.9.4 | 0.9.4 | 0.8.1 | 0.8.1 |
| Livy | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating |
| MXNet | 1.3.0 | 1.3.0 | 1.2.0 | 1.2.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 |
| Phoenix | 4.14.0-HBase-1.4 | 4.14.0-HBase-1.4 | 4.14.0-HBase-1.4 | 4.14.0-HBase-1.4 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.212 | 0.212 | 0.210 | 0.210 |
| Spark | 2.3.2 | 2.3.2 | 2.3.2 | 2.3.2 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.11.0 | 1.11.0 | 1.9.0 | 1.9.0 |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.0 | 0.8.0 | 0.8.0 | 0.8.0 |
| ZooKeeper | 3.4.13 | 3.4.13 | 3.4.12 | 3.4.12 |
## 5.19.1 릴리스 정보
Amazon S3에 대한 요청에 AWS 서명 버전 4 인증을 추가하는 패치 릴리스입니다. 모든 애플리케이션 및 구성 요소는 이전 Amazon EMR 릴리스와 동일합니다.
**중요**
이 릴리스 버전에서 Amazon EMR은 AWS 서명 버전 4만 사용하여 Amazon S3에 대한 요청을 인증합니다. 자세한 내용은 [새 소식](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html)을 참조하십시오.
## 5.19.1 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.2.0 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.7.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.5.1 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.4.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.10.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emr-s3-select | 1.1.0 | EMR S3Select 커넥터 |
| emrfs | 2.28.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.6.1 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.8.5-amzn-0 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.8.5-amzn-0 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.8.5-amzn-0 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.8.5-amzn-0 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.8.5-amzn-0 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.8.5-amzn-0 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.8.5-amzn-0 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.8.5-amzn-0 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.8.5-amzn-0 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.8.5-amzn-0 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.4.7 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.4.7 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.4.7 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.4.7 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.4.7 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.3.3-amzn-2 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.3-amzn-2 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.3-amzn-2 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.3-amzn-2 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.3-amzn-2 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.3-amzn-2 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.3-amzn-2 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 4.2.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| jupyterhub | 0.9.4 | Jupyter Notebook용 다중 사용자 서버 |
| livy-server | 0.5.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| nginx | 1.12.1 | HTTP인 nginx [engine x] 및 역방향 프록시 서버 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 1.3.0 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 9.2.88 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 5.0.0 | Oozie 명령줄 클라이언트 |
| oozie-server | 5.0.0 | Oozie 워크플로 요청을 수락하는 서비스 |
| opencv | 3.4.0 | 오픈 소스 컴퓨터 비전 라이브러리. |
| phoenix-library | 4.14.0-HBase-1.4 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.14.0-HBase-1.4 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.212 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.212 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| r | 3.4.1 | 통계 컴퓨팅용 R 프로젝트 |
| spark-client | 2.3.2 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.3.2 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.3.2 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.3.2 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.7 | Apache Sqoop 명령줄 클라이언트. |
| tensorflow | 1.11.0 | TensorFlow는 고성능 수치 계산용 오픈 소스 소프트웨어 라이브러리입니다. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.8.0 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.13 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.13 | ZooKeeper 명령줄 클라이언트. |
## 5.19.1 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.19.1 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| container-log4j | Hadoop YARN container-log4j.properties 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| jupyter-notebook-conf | Jupyter Notebook jupyter\$1notebook\$1config.py 파일에서 값을 변경합니다. |
| jupyter-hub-conf | JupyterHubs jupyterhub\$1config.py 파일에서 값을 변경합니다. |
| jupyter-s3-conf | Jupyter Notebook S3 지속성 구성 |
| jupyter-sparkmagic-conf | Sparkmagic config.json 파일에서 값을 변경합니다. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. |
| livy-env | Livy 환경에서 값을 변경합니다. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-env | Pig 환경에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-password-authenticator | Presto password-authenticator.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-memory | Presto memory.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-redshift | Presto redshift.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| presto-connector-tpcds | Presto tpcds.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.19.0
## 5.19.0 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.19.0 | emr-5.18.1 | emr-5.18.0 | emr-5.17.2 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.433 | 1.11.393 | 1.11.393 | 1.11.336 |
| Python | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.6.1 | 1.6.0 | 1.6.0 | 1.5.2 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.6 |
| HCatalog | 2.3.3-amzn-2 | 2.3.3-amzn-2 | 2.3.3-amzn-2 | 2.3.3-amzn-1 |
| Hadoop | 2.8.5-amzn-0 | 2.8.4-amzn-1 | 2.8.4-amzn-1 | 2.8.4-amzn-1 |
| Hive | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 |
| Hudi | - | - | - | - |
| Hue | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 0.9.4 | 0.8.1 | 0.8.1 | 0.8.1 |
| Livy | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating |
| MXNet | 1.3.0 | 1.2.0 | 1.2.0 | 1.2.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 |
| Phoenix | 4.14.0-HBase-1.4 | 4.14.0-HBase-1.4 | 4.14.0-HBase-1.4 | 4.14.0-HBase-1.4 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.212 | 0.210 | 0.210 | 0.206 |
| Spark | 2.3.2 | 2.3.2 | 2.3.2 | 2.3.1 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.11.0 | 1.9.0 | 1.9.0 | 1.9.0 |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.0 | 0.8.0 | 0.8.0 | 0.7.3 |
| ZooKeeper | 3.4.13 | 3.4.12 | 3.4.12 | 3.4.12 |
## 5.19.0 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.19.0에 대한 정보가 포함됩니다. 변경 사항은 5.18.0에 관련됩니다.
최초 릴리스 날짜: 2018년 11월 7일
최종 업데이트: 2018년 11월 19일
**업그레이드**
+ 하둡 2.8.5
+ Flink 1.6.1
+ JupyterHub 0.9.4
+ MXNet 1.3.0
+ Presto 0.212
+ TensorFlow 1.11.0
+ Zookeeper 3.4.13
+ AWS SDK for Java 1.11.433
**새로운 기능**
+ (2018년 11월 19일) EMR Notebooks는 Jupyter Notebook 기반의 관리형 환경입니다. PySpark, Spark SQL, Spark R 및 Scala에 대한 Spark 매직 커널을 지원합니다. EMR Notebooks는 Amazon EMR 릴리스 5.18.0 이상을 사용하여 생성한 클러스터와 함께 사용할 수 있습니다. 자세한 내용은 *Amazon EMR 관리 안내서*에서 [EMR Notebooks 사용](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-managed-notebooks.html)을 참조하세요.
+ Spark 및 EMRFS를 사용하여 Parquet 파일을 작성할 때 EMRFS S3 최적화 커미터를 사용할 수 있습니다. 이 커미터는 쓰기 성능을 향상시킵니다. 자세한 내용은 [EMRFS S3 최적화 커미터 사용](emr-spark-s3-optimized-committer.md) 단원을 참조하십시오.
**변경 사항, 향상된 기능 및 해결된 문제**
+ YARN
+ 코어 노드에서 실행할 때 애플리케이션 마스터 프로세스를 제한하는 로직이 수정되었습니다. 이 기능은 이제 YARN 노드 레이블 기능과 `yarn-site`의 속성 및 `capacity-scheduler` 구성 분류를 사용합니다. 자세한 정보는 [https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-instances-guidelines.html#emr-plan-spot-YARN.](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-instances-guidelines.html#emr-plan-spot-YARN.) 섹션을 참조하세요.
+ Amazon EMR의 기본 Amazon Linux AMI
+ `ruby18`, `php56`, `gcc48`이 이제 기본적으로 설치되지 않습니다. 필요할 경우 `yum`을 사용하여 설치할 수 있습니다.
+ aws-java-sdk ruby gem이 이제 더 이상 기본적으로 설치되지 않습니다. 필요할 경우 `gem install aws-sdk`를 사용하여 설치할 수 있습니다. 특정 구성 요소도 설치할 수 있습니다. 예를 들어 `gem install aws-sdk-s3`입니다.
**알려진 문제**
+ **EMR Notebooks** - 일부 상황에서 노트북 편집기가 여러 개 열려 있는 경우 노트북 편집기가 클러스터에 연결할 수 없는 것처럼 보일 수 있습니다. 이 경우 브라우저 쿠키를 지우고 노트북 편집기를 다시 여십시오.
+ **CloudWatch ContainerPending 지표 및 자동 조정** - (5.20.0에서 수정됨) Amazon EMR은 `ContainerPending`에 대해 음수 값을 생성할 수 있습니다. 자동 조정 규칙에 `ContainerPending`을 사용할 경우 자동 조정이 예상대로 작동하지 않습니다. 자동 조정에 `ContainerPending`을 사용하지 마십시오.
+ Amazon EMR 버전 5.19.0, 5.20.0 및 5.21.0에서 YARN 노드 레이블은 HDFS 디렉터리에 저장됩니다. 이로 인해 경우에 따라 코어 노드 시작이 지연되어 클러스터가 시간 초과되고 시작이 실패할 수 있습니다. Amazon EMR 5.22.0부터 이 문제가 해결되었습니다. YARN 노드 레이블은 각 클러스터 노드의 로컬 디스크에 저장되어 HDFS에 종속되지 않습니다.
## 5.19.0 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.2.0 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.7.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.5.1 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.4.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.10.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emr-s3-select | 1.1.0 | EMR S3Select 커넥터 |
| emrfs | 2.28.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.6.1 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.8.5-amzn-0 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.8.5-amzn-0 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.8.5-amzn-0 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.8.5-amzn-0 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.8.5-amzn-0 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.8.5-amzn-0 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.8.5-amzn-0 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.8.5-amzn-0 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.8.5-amzn-0 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.8.5-amzn-0 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.4.7 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.4.7 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.4.7 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.4.7 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.4.7 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.3.3-amzn-2 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.3-amzn-2 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.3-amzn-2 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.3-amzn-2 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.3-amzn-2 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.3-amzn-2 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.3-amzn-2 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 4.2.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| jupyterhub | 0.9.4 | Jupyter Notebook용 다중 사용자 서버 |
| livy-server | 0.5.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| nginx | 1.12.1 | HTTP인 nginx [engine x] 및 역방향 프록시 서버 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 1.3.0 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 9.2.88 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 5.0.0 | Oozie 명령줄 클라이언트 |
| oozie-server | 5.0.0 | Oozie 워크플로 요청을 수락하는 서비스 |
| opencv | 3.4.0 | 오픈 소스 컴퓨터 비전 라이브러리. |
| phoenix-library | 4.14.0-HBase-1.4 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.14.0-HBase-1.4 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.212 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.212 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| r | 3.4.1 | 통계 컴퓨팅용 R 프로젝트 |
| spark-client | 2.3.2 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.3.2 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.3.2 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.3.2 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.7 | Apache Sqoop 명령줄 클라이언트. |
| tensorflow | 1.11.0 | TensorFlow는 고성능 수치 계산용 오픈 소스 소프트웨어 라이브러리입니다. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.8.0 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.13 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.13 | ZooKeeper 명령줄 클라이언트. |
## 5.19.0 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.19.0 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| container-log4j | Hadoop YARN container-log4j.properties 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| jupyter-notebook-conf | Jupyter Notebook jupyter\$1notebook\$1config.py 파일에서 값을 변경합니다. |
| jupyter-hub-conf | JupyterHubs jupyterhub\$1config.py 파일에서 값을 변경합니다. |
| jupyter-s3-conf | Jupyter Notebook S3 지속성 구성 |
| jupyter-sparkmagic-conf | Sparkmagic config.json 파일에서 값을 변경합니다. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. |
| livy-env | Livy 환경에서 값을 변경합니다. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-env | Pig 환경에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-password-authenticator | Presto password-authenticator.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-memory | Presto memory.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-redshift | Presto redshift.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| presto-connector-tpcds | Presto tpcds.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.18.1
## 5.18.1 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.18.1 | emr-5.18.0 | emr-5.17.2 | emr-5.17.1 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.393 | 1.11.393 | 1.11.336 | 1.11.336 |
| Python | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.6.0 | 1.6.0 | 1.5.2 | 1.5.2 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.7 | 1.4.7 | 1.4.6 | 1.4.6 |
| HCatalog | 2.3.3-amzn-2 | 2.3.3-amzn-2 | 2.3.3-amzn-1 | 2.3.3-amzn-1 |
| Hadoop | 2.8.4-amzn-1 | 2.8.4-amzn-1 | 2.8.4-amzn-1 | 2.8.4-amzn-1 |
| Hive | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 |
| Hudi | - | - | - | - |
| Hue | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 |
| Livy | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating |
| MXNet | 1.2.0 | 1.2.0 | 1.2.0 | 1.2.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 |
| Phoenix | 4.14.0-HBase-1.4 | 4.14.0-HBase-1.4 | 4.14.0-HBase-1.4 | 4.14.0-HBase-1.4 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.210 | 0.210 | 0.206 | 0.206 |
| Spark | 2.3.2 | 2.3.2 | 2.3.1 | 2.3.1 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.9.0 | 1.9.0 | 1.9.0 | 1.9.0 |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.0 | 0.8.0 | 0.7.3 | 0.7.3 |
| ZooKeeper | 3.4.12 | 3.4.12 | 3.4.12 | 3.4.12 |
## 5.18.1 릴리스 정보
Amazon S3에 대한 요청에 AWS 서명 버전 4 인증을 추가하는 패치 릴리스입니다. 모든 애플리케이션 및 구성 요소는 이전 Amazon EMR 릴리스와 동일합니다.
**중요**
이 릴리스 버전에서 Amazon EMR은 AWS 서명 버전 4만 사용하여 Amazon S3에 대한 요청을 인증합니다. 자세한 내용은 [새 소식](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html)을 참조하십시오.
## 5.18.1 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.1.3 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.6.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.5.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.4.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.10.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emr-s3-select | 1.1.0 | EMR S3Select 커넥터 |
| emrfs | 2.27.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.6.0 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.8.4-amzn-1 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.8.4-amzn-1 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.8.4-amzn-1 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.8.4-amzn-1 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.8.4-amzn-1 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.8.4-amzn-1 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.8.4-amzn-1 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.8.4-amzn-1 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.8.4-amzn-1 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.8.4-amzn-1 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.4.7 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.4.7 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.4.7 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.4.7 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.4.7 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.3.3-amzn-2 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.3-amzn-2 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.3-amzn-2 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.3-amzn-2 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.3-amzn-2 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.3-amzn-2 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.3-amzn-2 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 4.2.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| jupyterhub | 0.8.1 | Jupyter Notebook용 다중 사용자 서버 |
| livy-server | 0.5.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| nginx | 1.12.1 | HTTP인 nginx [engine x] 및 역방향 프록시 서버 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 1.2.0 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 9.2.88 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 5.0.0 | Oozie 명령줄 클라이언트 |
| oozie-server | 5.0.0 | Oozie 워크플로 요청을 수락하는 서비스 |
| opencv | 3.4.0 | 오픈 소스 컴퓨터 비전 라이브러리. |
| phoenix-library | 4.14.0-HBase-1.4 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.14.0-HBase-1.4 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.210 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.210 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| r | 3.4.1 | 통계 컴퓨팅용 R 프로젝트 |
| spark-client | 2.3.2 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.3.2 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.3.2 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.3.2 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.7 | Apache Sqoop 명령줄 클라이언트. |
| tensorflow | 1.9.0 | TensorFlow는 고성능 수치 계산용 오픈 소스 소프트웨어 라이브러리입니다. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.8.0 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.12 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.12 | ZooKeeper 명령줄 클라이언트. |
## 5.18.1 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.18.1 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| container-log4j | Hadoop YARN container-log4j.properties 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| jupyter-notebook-conf | Jupyter Notebook jupyter\$1notebook\$1config.py 파일에서 값을 변경합니다. |
| jupyter-hub-conf | JupyterHubs jupyterhub\$1config.py 파일에서 값을 변경합니다. |
| jupyter-s3-conf | Jupyter Notebook S3 지속성 구성 |
| jupyter-sparkmagic-conf | Sparkmagic config.json 파일에서 값을 변경합니다. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. |
| livy-env | Livy 환경에서 값을 변경합니다. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-env | Pig 환경에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-password-authenticator | Presto password-authenticator.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-redshift | Presto redshift.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.18.0
## 5.18.0 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.18.0 | emr-5.17.2 | emr-5.17.1 | emr-5.17.0 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.393 | 1.11.336 | 1.11.336 | 1.11.336 |
| Python | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.6.0 | 1.5.2 | 1.5.2 | 1.5.2 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.7 | 1.4.6 | 1.4.6 | 1.4.6 |
| HCatalog | 2.3.3-amzn-2 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 |
| Hadoop | 2.8.4-amzn-1 | 2.8.4-amzn-1 | 2.8.4-amzn-1 | 2.8.4-amzn-1 |
| Hive | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 |
| Hudi | - | - | - | - |
| Hue | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 |
| Livy | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating |
| MXNet | 1.2.0 | 1.2.0 | 1.2.0 | 1.2.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 |
| Phoenix | 4.14.0-HBase-1.4 | 4.14.0-HBase-1.4 | 4.14.0-HBase-1.4 | 4.14.0-HBase-1.4 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.210 | 0.206 | 0.206 | 0.206 |
| Spark | 2.3.2 | 2.3.1 | 2.3.1 | 2.3.1 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.9.0 | 1.9.0 | 1.9.0 | 1.9.0 |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.0 | 0.7.3 | 0.7.3 | 0.7.3 |
| ZooKeeper | 3.4.12 | 3.4.12 | 3.4.12 | 3.4.12 |
## 5.18.0 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.18.0에 대한 정보가 포함됩니다. 변경 사항은 5.17.0에 관련됩니다.
최초 릴리스 날짜: 2018년 10월 24일
**업그레이드**
+ Flink 1.6.0
+ HBase 1.4.7
+ Presto 0.210
+ Spark 2.3.2
+ Zeppelin 0.8.0
**새로운 기능**
+ Amazon EMR 5.18.0부터 Amazon EMR 아티팩트 리포지토리를 사용하여 특정 Amazon EMR 릴리스 버전에서 사용할 수 있는 정확한 버전의 라이브러리와 종속 항목에 대해 작업 코드를 빌드할 수 있습니다. 자세한 내용은 [Amazon EMR 아티팩트 리포지토리를 사용하여 종속성 확인](emr-artifact-repository.md) 단원을 참조하십시오.
**변경 사항, 향상된 기능 및 해결된 문제**
+ Hive
+ S3 Select에 대한 지원을 추가했습니다. 자세한 내용은 [S3 Select와 함께 Hive를 사용하여 성능 향상](emr-hive-s3select.md) 단원을 참조하십시오.
+ Presto
+ [S3 Select](https://aws.amazon.com/blogs/aws/s3-glacier-select/) Pushdown에 대한 지원을 추가했습니다. 자세한 내용은 [S3 Select Pushdown과 함께 Presto를 사용하여 성능 향상](emr-presto-s3select.md) 단원을 참조하십시오.
+ Spark
+ Spark에 대한 기본 log4j 구성이 Spark 스트리밍 작업에 대한 컨테이너 로그를 1시간마다 넘기도록 변경되었습니다. 따라서 오래 실행되는 Spark 스트리밍 작업에 대한 로그가 삭제되지 않습니다.
## 5.18.0 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.1.3 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.6.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.5.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.4.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.10.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emr-s3-select | 1.1.0 | EMR S3Select 커넥터 |
| emrfs | 2.27.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.6.0 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.8.4-amzn-1 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.8.4-amzn-1 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.8.4-amzn-1 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.8.4-amzn-1 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.8.4-amzn-1 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.8.4-amzn-1 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.8.4-amzn-1 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.8.4-amzn-1 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.8.4-amzn-1 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.8.4-amzn-1 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.4.7 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.4.7 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.4.7 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.4.7 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.4.7 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.3.3-amzn-2 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.3-amzn-2 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.3-amzn-2 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.3-amzn-2 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.3-amzn-2 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.3-amzn-2 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.3-amzn-2 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 4.2.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| jupyterhub | 0.8.1 | Jupyter Notebook용 다중 사용자 서버 |
| livy-server | 0.5.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| nginx | 1.12.1 | HTTP인 nginx [engine x] 및 역방향 프록시 서버 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 1.2.0 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 9.2.88 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 5.0.0 | Oozie 명령줄 클라이언트 |
| oozie-server | 5.0.0 | Oozie 워크플로 요청을 수락하는 서비스 |
| opencv | 3.4.0 | 오픈 소스 컴퓨터 비전 라이브러리. |
| phoenix-library | 4.14.0-HBase-1.4 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.14.0-HBase-1.4 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.210 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.210 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| r | 3.4.1 | 통계 컴퓨팅용 R 프로젝트 |
| spark-client | 2.3.2 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.3.2 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.3.2 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.3.2 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.7 | Apache Sqoop 명령줄 클라이언트. |
| tensorflow | 1.9.0 | TensorFlow는 고성능 수치 계산용 오픈 소스 소프트웨어 라이브러리입니다. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.8.0 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.12 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.12 | ZooKeeper 명령줄 클라이언트. |
## 5.18.0 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.18.0 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| container-log4j | Hadoop YARN container-log4j.properties 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| jupyter-notebook-conf | Jupyter Notebook jupyter\$1notebook\$1config.py 파일에서 값을 변경합니다. |
| jupyter-hub-conf | JupyterHubs jupyterhub\$1config.py 파일에서 값을 변경합니다. |
| jupyter-s3-conf | Jupyter Notebook S3 지속성 구성 |
| jupyter-sparkmagic-conf | Sparkmagic config.json 파일에서 값을 변경합니다. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. |
| livy-env | Livy 환경에서 값을 변경합니다. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-env | Pig 환경에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-password-authenticator | Presto password-authenticator.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-redshift | Presto redshift.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.17.2
## 5.17.2 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.17.2 | emr-5.17.1 | emr-5.17.0 | emr-5.16.1 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.336 | 1.11.336 | 1.11.336 | 1.11.336 |
| Python | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.5.2 | 1.5.2 | 1.5.2 | 1.5.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.4 |
| HCatalog | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 |
| Hadoop | 2.8.4-amzn-1 | 2.8.4-amzn-1 | 2.8.4-amzn-1 | 2.8.4-amzn-0 |
| Hive | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 |
| Hudi | - | - | - | - |
| Hue | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 |
| Livy | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating |
| MXNet | 1.2.0 | 1.2.0 | 1.2.0 | 1.2.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 |
| Phoenix | 4.14.0-HBase-1.4 | 4.14.0-HBase-1.4 | 4.14.0-HBase-1.4 | 4.14.0-HBase-1.4 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.206 | 0.206 | 0.206 | 0.203 |
| Spark | 2.3.1 | 2.3.1 | 2.3.1 | 2.3.1 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.9.0 | 1.9.0 | 1.9.0 | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 |
| ZooKeeper | 3.4.12 | 3.4.12 | 3.4.12 | 3.4.12 |
## 5.17.2 릴리스 정보
Amazon S3에 대한 요청에 AWS 서명 버전 4 인증을 추가하는 패치 릴리스입니다. 모든 애플리케이션 및 구성 요소는 이전 Amazon EMR 릴리스와 동일합니다.
**중요**
이 릴리스 버전에서 Amazon EMR은 AWS 서명 버전 4만 사용하여 Amazon S3에 대한 요청을 인증합니다. 자세한 내용은 [새 소식](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html)을 참조하십시오.
## 5.17.2 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.1.3 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.6.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.5.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.4.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.10.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emr-s3-select | 1.0.0 | EMR S3Select 커넥터 |
| emrfs | 2.26.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.5.2 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.8.4-amzn-1 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.8.4-amzn-1 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.8.4-amzn-1 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.8.4-amzn-1 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.8.4-amzn-1 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.8.4-amzn-1 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.8.4-amzn-1 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.8.4-amzn-1 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.8.4-amzn-1 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.8.4-amzn-1 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.4.6 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.4.6 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.4.6 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.4.6 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.4.6 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.3.3-amzn-1 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.3-amzn-1 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.3-amzn-1 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.3-amzn-1 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.3-amzn-1 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.3-amzn-1 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.3-amzn-1 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 4.2.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| jupyterhub | 0.8.1 | Jupyter Notebook용 다중 사용자 서버 |
| livy-server | 0.5.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 1.2.0 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 9.2.88 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 5.0.0 | Oozie 명령줄 클라이언트 |
| oozie-server | 5.0.0 | Oozie 워크플로 요청을 수락하는 서비스 |
| opencv | 3.4.0 | 오픈 소스 컴퓨터 비전 라이브러리. |
| phoenix-library | 4.14.0-HBase-1.4 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.14.0-HBase-1.4 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.206 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.206 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| r | 3.4.1 | 통계 컴퓨팅용 R 프로젝트 |
| spark-client | 2.3.1 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.3.1 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.3.1 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.3.1 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.7 | Apache Sqoop 명령줄 클라이언트. |
| tensorflow | 1.9.0 | TensorFlow는 고성능 수치 계산용 오픈 소스 소프트웨어 라이브러리입니다. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.7.3 | 대화형 데이터 분석이 가능한 웹 기반 노트북. |
| zookeeper-server | 3.4.12 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.12 | ZooKeeper 명령줄 클라이언트. |
## 5.17.2 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.17.2 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| container-log4j | Hadoop YARN container-log4j.properties 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| jupyter-notebook-conf | Jupyter Notebook jupyter\$1notebook\$1config.py 파일에서 값을 변경합니다. |
| jupyter-hub-conf | JupyterHubs jupyterhub\$1config.py 파일에서 값을 변경합니다. |
| jupyter-s3-conf | Jupyter Notebook S3 지속성 구성 |
| jupyter-sparkmagic-conf | Sparkmagic config.json 파일에서 값을 변경합니다. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. |
| livy-env | Livy 환경에서 값을 변경합니다. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-env | Pig 환경에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-password-authenticator | Presto password-authenticator.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-redshift | Presto redshift.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.17.1
## 5.17.1 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.17.1 | emr-5.17.0 | emr-5.16.1 | emr-5.16.0 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.336 | 1.11.336 | 1.11.336 | 1.11.336 |
| Python | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.5.2 | 1.5.2 | 1.5.0 | 1.5.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.6 | 1.4.6 | 1.4.4 | 1.4.4 |
| HCatalog | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 |
| Hadoop | 2.8.4-amzn-1 | 2.8.4-amzn-1 | 2.8.4-amzn-0 | 2.8.4-amzn-0 |
| Hive | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 |
| Hudi | - | - | - | - |
| Hue | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 |
| Livy | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating |
| MXNet | 1.2.0 | 1.2.0 | 1.2.0 | 1.2.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 |
| Phoenix | 4.14.0-HBase-1.4 | 4.14.0-HBase-1.4 | 4.14.0-HBase-1.4 | 4.14.0-HBase-1.4 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.206 | 0.206 | 0.203 | 0.203 |
| Spark | 2.3.1 | 2.3.1 | 2.3.1 | 2.3.1 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.9.0 | 1.9.0 | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 |
| ZooKeeper | 3.4.12 | 3.4.12 | 3.4.12 | 3.4.12 |
## 5.17.1 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.17.1에 대한 정보가 포함됩니다. 변경 사항은 5.17.0에 관련됩니다.
최초 릴리스 날짜: 2019년 7월 18일
**변경 사항, 향상된 기능 및 해결된 문제**
+ TCP SACK 서비스 거부 문제([AWS-2019-005](https://aws.amazon.com/security/security-bulletins/AWS-2019-005/))를 비롯한 중요한 Linux 커널 보안 업데이트를 포함하도록 Amazon EMR의 기본 Amazon Linux AMI를 업데이트했습니다.
## 5.17.1 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.1.3 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.6.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.5.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.4.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.10.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emr-s3-select | 1.0.0 | EMR S3Select 커넥터 |
| emrfs | 2.26.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.5.2 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.8.4-amzn-1 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.8.4-amzn-1 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.8.4-amzn-1 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.8.4-amzn-1 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.8.4-amzn-1 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.8.4-amzn-1 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.8.4-amzn-1 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.8.4-amzn-1 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.8.4-amzn-1 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.8.4-amzn-1 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.4.6 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.4.6 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.4.6 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.4.6 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.4.6 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.3.3-amzn-1 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.3-amzn-1 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.3-amzn-1 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.3-amzn-1 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.3-amzn-1 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.3-amzn-1 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.3-amzn-1 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 4.2.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| jupyterhub | 0.8.1 | Jupyter Notebook용 다중 사용자 서버 |
| livy-server | 0.5.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 1.2.0 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 9.2.88 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 5.0.0 | Oozie 명령줄 클라이언트 |
| oozie-server | 5.0.0 | Oozie 워크플로 요청을 수락하는 서비스 |
| opencv | 3.4.0 | 오픈 소스 컴퓨터 비전 라이브러리. |
| phoenix-library | 4.14.0-HBase-1.4 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.14.0-HBase-1.4 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.206 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.206 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| r | 3.4.1 | 통계 컴퓨팅용 R 프로젝트 |
| spark-client | 2.3.1 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.3.1 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.3.1 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.3.1 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.7 | Apache Sqoop 명령줄 클라이언트. |
| tensorflow | 1.9.0 | TensorFlow는 고성능 수치 계산용 오픈 소스 소프트웨어 라이브러리입니다. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.7.3 | 대화형 데이터 분석이 가능한 웹 기반 노트북. |
| zookeeper-server | 3.4.12 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.12 | ZooKeeper 명령줄 클라이언트. |
## 5.17.1 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.17.1 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| container-log4j | Hadoop YARN container-log4j.properties 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| jupyter-notebook-conf | Jupyter Notebook jupyter\$1notebook\$1config.py 파일에서 값을 변경합니다. |
| jupyter-hub-conf | JupyterHubs jupyterhub\$1config.py 파일에서 값을 변경합니다. |
| jupyter-s3-conf | Jupyter Notebook S3 지속성 구성 |
| jupyter-sparkmagic-conf | Sparkmagic config.json 파일에서 값을 변경합니다. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. |
| livy-env | Livy 환경에서 값을 변경합니다. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-env | Pig 환경에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-password-authenticator | Presto password-authenticator.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-redshift | Presto redshift.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.17.0
## 5.17.0 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.17.0 | emr-5.16.1 | emr-5.16.0 | emr-5.15.1 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.336 | 1.11.336 | 1.11.336 | 1.11.333 |
| Python | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.5.2 | 1.5.0 | 1.5.0 | 1.4.2 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.6 | 1.4.4 | 1.4.4 | 1.4.4 |
| HCatalog | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-0 |
| Hadoop | 2.8.4-amzn-1 | 2.8.4-amzn-0 | 2.8.4-amzn-0 | 2.8.3-amzn-0 |
| Hive | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 |
| Livy | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.4.0-incubating |
| MXNet | 1.2.0 | 1.2.0 | 1.2.0 | 1.1.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 |
| Phoenix | 4.14.0-HBase-1.4 | 4.14.0-HBase-1.4 | 4.14.0-HBase-1.4 | 4.13.0-HBase-1.4 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.206 | 0.203 | 0.203 | 0.194 |
| Spark | 2.3.1 | 2.3.1 | 2.3.1 | 2.3.0 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.9.0 | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 |
| ZooKeeper | 3.4.12 | 3.4.12 | 3.4.12 | 3.4.12 |
## 5.17.0 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.17.0에 대한 정보가 포함됩니다. 변경 사항은 5.16.0에 관련됩니다.
최초 릴리스 날짜: 2018년 8월 30일
**업그레이드**
+ Flink 1.5.2
+ HBase 1.4.6
+ Presto 0.206
**새로운 기능**
+ Tensorflow에 대한 지원을 추가했습니다. 자세한 내용은 [TensorFlow](emr-tensorflow.md) 단원을 참조하십시오.
**변경 사항, 향상된 기능 및 해결된 문제**
+ JupyterHub
+ Amazon S3의 노트북 지속성에 대한 지원을 추가했습니다. 자세한 내용은 [Amazon S3에서 노트북의 지속성 구성](emr-jupyterhub-s3.md) 단원을 참조하십시오.
+ Spark
+ [S3 Select](https://aws.amazon.com/blogs/aws/s3-glacier-select/)에 대한 지원을 추가했습니다. 자세한 내용은 [S3 Select와 함께 Spark를 사용하여 쿼리 성능 향상](emr-spark-s3select.md) 단원을 참조하십시오.
+ Amazon EMR 버전 5.14.0, 5.15.0 또는 5.16.0의 CloudWatch 지표 및 자동 조정 기능 관련 문제를 해결했습니다.
**알려진 문제**
+ Kerberos 인증을 사용하는 클러스터를 생성하고 Livy를 설치하면 단순 인증이 활성화되지 않았다는 오류가 발생하면서 Livy가 실패합니다. Livy 서버를 재부팅하면 문제가 해결됩니다. 해결 방법으로, 클러스터 생성 중에 프라이머리 노드에서 `sudo restart livy-server`를 실행하는 단계를 추가합니다.
+ 생성 날짜가 2018-08-11인 Amazon Linux AMI를 기반으로 사용자 지정 Amazon Linux AMI를 사용하면 Oozie 서버가 시작에 실패합니다. Oozie를 사용하는 경우 생성 날짜가 다른 Amazon Linux AMI ID를 기반으로 사용자 지정 AMI를 생성하십시오. 다음 AWS CLI 명령을 사용하여 릴리스 날짜와 함께 2018.03 버전의 모든 HVM Amazon Linux AMIs에 대한 이미지 IDs 목록을 반환할 수 있으므로 적절한 Amazon Linux AMI를 기본으로 선택할 수 있습니다. MyRegion을 사용자의 리전 식별자(예: us-west-2)로 바꿉니다.
```
aws ec2 --region MyRegion describe-images --owner amazon --query 'Images[?Name!=`null`]|[?starts_with(Name, `amzn-ami-hvm-2018.03`) == `true`].[CreationDate,ImageId,Name]' --output text | sort -rk1
```
## 5.17.0 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.1.3 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.6.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.5.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.4.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.10.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emr-s3-select | 1.0.0 | EMR S3Select 커넥터 |
| emrfs | 2.26.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.5.2 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.8.4-amzn-1 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.8.4-amzn-1 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.8.4-amzn-1 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.8.4-amzn-1 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.8.4-amzn-1 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.8.4-amzn-1 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.8.4-amzn-1 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.8.4-amzn-1 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.8.4-amzn-1 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.8.4-amzn-1 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.4.6 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.4.6 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.4.6 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.4.6 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.4.6 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.3.3-amzn-1 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.3-amzn-1 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.3-amzn-1 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.3-amzn-1 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.3-amzn-1 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.3-amzn-1 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.3-amzn-1 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 4.2.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| jupyterhub | 0.8.1 | Jupyter Notebook용 다중 사용자 서버 |
| livy-server | 0.5.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 1.2.0 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 9.2.88 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 5.0.0 | Oozie 명령줄 클라이언트 |
| oozie-server | 5.0.0 | Oozie 워크플로 요청을 수락하는 서비스 |
| opencv | 3.4.0 | 오픈 소스 컴퓨터 비전 라이브러리. |
| phoenix-library | 4.14.0-HBase-1.4 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.14.0-HBase-1.4 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.206 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.206 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| r | 3.4.1 | 통계 컴퓨팅용 R 프로젝트 |
| spark-client | 2.3.1 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.3.1 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.3.1 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.3.1 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.7 | Apache Sqoop 명령줄 클라이언트. |
| tensorflow | 1.9.0 | TensorFlow는 고성능 수치 계산용 오픈 소스 소프트웨어 라이브러리입니다. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.7.3 | 대화형 데이터 분석이 가능한 웹 기반 노트북. |
| zookeeper-server | 3.4.12 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.12 | ZooKeeper 명령줄 클라이언트. |
## 5.17.0 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.17.0 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| container-log4j | Hadoop YARN container-log4j.properties 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| jupyter-notebook-conf | Jupyter Notebook jupyter\$1notebook\$1config.py 파일에서 값을 변경합니다. |
| jupyter-hub-conf | JupyterHubs jupyterhub\$1config.py 파일에서 값을 변경합니다. |
| jupyter-s3-conf | Jupyter Notebook S3 지속성 구성 |
| jupyter-sparkmagic-conf | Sparkmagic config.json 파일에서 값을 변경합니다. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. |
| livy-env | Livy 환경에서 값을 변경합니다. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-env | Pig 환경에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-password-authenticator | Presto password-authenticator.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-redshift | Presto redshift.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.16.1
## 5.16.1 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.16.1 | emr-5.16.0 | emr-5.15.1 | emr-5.15.0 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.336 | 1.11.336 | 1.11.333 | 1.11.333 |
| Python | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.5.0 | 1.5.0 | 1.4.2 | 1.4.2 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.4 | 1.4.4 | 1.4.4 | 1.4.4 |
| HCatalog | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-0 | 2.3.3-amzn-0 |
| Hadoop | 2.8.4-amzn-0 | 2.8.4-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 |
| Hive | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-0 | 2.3.3-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 |
| Livy | 0.5.0-incubating | 0.5.0-incubating | 0.4.0-incubating | 0.4.0-incubating |
| MXNet | 1.2.0 | 1.2.0 | 1.1.0 | 1.1.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 |
| Phoenix | 4.14.0-HBase-1.4 | 4.14.0-HBase-1.4 | 4.13.0-HBase-1.4 | 4.13.0-HBase-1.4 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.203 | 0.203 | 0.194 | 0.194 |
| Spark | 2.3.1 | 2.3.1 | 2.3.0 | 2.3.0 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 |
| ZooKeeper | 3.4.12 | 3.4.12 | 3.4.12 | 3.4.12 |
## 5.16.1 릴리스 정보
Amazon S3에 대한 요청에 AWS 서명 버전 4 인증을 추가하는 패치 릴리스입니다. 모든 애플리케이션 및 구성 요소는 이전 Amazon EMR 릴리스와 동일합니다.
**중요**
이 릴리스 버전에서 Amazon EMR은 AWS 서명 버전 4만 사용하여 Amazon S3에 대한 요청을 인증합니다. 자세한 내용은 [새 소식](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html)을 참조하십시오.
## 5.16.1 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.1.0 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.6.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.4.0 | 편리한 하둡 에코시스템용 추가 라이브러리. |
| emr-kinesis | 3.4.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.10.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emrfs | 2.25.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.5.0 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.8.4-amzn-0 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.8.4-amzn-0 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.8.4-amzn-0 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.8.4-amzn-0 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.8.4-amzn-0 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.8.4-amzn-0 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.8.4-amzn-0 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.8.4-amzn-0 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.8.4-amzn-0 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.8.4-amzn-0 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.4.4 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.4.4 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.4.4 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.4.4 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.4.4 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.3.3-amzn-1 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.3-amzn-1 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.3-amzn-1 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.3-amzn-1 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.3-amzn-1 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.3-amzn-1 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.3-amzn-1 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 4.2.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| jupyterhub | 0.8.1 | Jupyter Notebook용 다중 사용자 서버 |
| livy-server | 0.5.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 1.2.0 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 9.2.88 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 5.0.0 | Oozie 명령줄 클라이언트 |
| oozie-server | 5.0.0 | Oozie 워크플로 요청을 수락하는 서비스 |
| opencv | 3.4.0 | 오픈 소스 컴퓨터 비전 라이브러리. |
| phoenix-library | 4.14.0-HBase-1.4 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.14.0-HBase-1.4 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.203 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.203 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| r | 3.4.1 | 통계 컴퓨팅용 R 프로젝트 |
| spark-client | 2.3.1 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.3.1 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.3.1 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.3.1 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.7 | Apache Sqoop 명령줄 클라이언트. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.7.3 | 대화형 데이터 분석이 가능한 웹 기반 노트북. |
| zookeeper-server | 3.4.12 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.12 | ZooKeeper 명령줄 클라이언트. |
## 5.16.1 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.16.1 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| container-log4j | Hadoop YARN container-log4j.properties 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| jupyter-notebook-conf | Jupyter Notebook jupyter\$1notebook\$1config.py 파일에서 값을 변경합니다. |
| jupyter-hub-conf | JupyterHubs jupyterhub\$1config.py 파일에서 값을 변경합니다. |
| jupyter-sparkmagic-conf | Sparkmagic config.json 파일에서 값을 변경합니다. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. |
| livy-env | Livy 환경에서 값을 변경합니다. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-env | Pig 환경에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-password-authenticator | Presto password-authenticator.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-redshift | Presto redshift.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.16.0
## 5.16.0 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.16.0 | emr-5.15.1 | emr-5.15.0 | emr-5.14.2 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.336 | 1.11.333 | 1.11.333 | 1.11.297 |
| Python | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.5.0 | 1.4.2 | 1.4.2 | 1.4.2 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.4 | 1.4.4 | 1.4.4 | 1.4.2 |
| HCatalog | 2.3.3-amzn-1 | 2.3.3-amzn-0 | 2.3.3-amzn-0 | 2.3.2-amzn-2 |
| Hadoop | 2.8.4-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 |
| Hive | 2.3.3-amzn-1 | 2.3.3-amzn-0 | 2.3.3-amzn-0 | 2.3.2-amzn-2 |
| Hudi | - | - | - | - |
| Hue | 4.2.0 | 4.2.0 | 4.2.0 | 4.1.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 |
| Livy | 0.5.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating |
| MXNet | 1.2.0 | 1.1.0 | 1.1.0 | 1.1.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.0.0 | 5.0.0 | 5.0.0 | 4.3.0 |
| Phoenix | 4.14.0-HBase-1.4 | 4.13.0-HBase-1.4 | 4.13.0-HBase-1.4 | 4.13.0-HBase-1.4 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.203 | 0.194 | 0.194 | 0.194 |
| Spark | 2.3.1 | 2.3.0 | 2.3.0 | 2.3.0 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 |
| ZooKeeper | 3.4.12 | 3.4.12 | 3.4.12 | 3.4.10 |
## 5.16.0 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.16.0에 대한 정보가 포함됩니다. 변경 사항은 5.15.0에 관련됩니다.
최초 릴리스 날짜: 2018년 7월 19일
**업그레이드**
+ Hadoop 2.8.4
+ Flink 1.5.0
+ Livy 0.5.0
+ MXNet 1.2.0
+ Phoenix 4.14.0
+ Presto 0.203
+ Spark 2.3.1
+ AWS SDK for Java 1.11.336
+ CUDA 9.2
+ Redshift JDBC 드라이버 1.2.15.1025
**변경 사항, 향상된 기능 및 해결된 문제**
+ HBase
+ [HBASE-20723](https://issues.apache.org/jira/browse/HBASE-20723) 백포트
+ Presto
+ LDAP 인증을 지원하도록 구성을 변경합니다. 자세한 내용은 [Amazon EMR 기반 Presto에 대한 LDAP 인증 사용](emr-presto-ldap.md) 단원을 참조하십시오.
+ Spark
+ Amazon EMR 릴리스 5.16.0부터 사용할 수 있는 Apache Spark 버전 2.3.1은 [CVE-2018-8024](https://nvd.nist.gov/vuln/detail/CVE-2018-8024) 및 [CVE-2018-1334](https://nvd.nist.gov/vuln/detail/CVE-2018-1334)를 처리합니다. Spark의 이전 버전을 Spark 버전 2.3.1 이상으로 마이그레이션하는 것이 좋습니다.
**알려진 문제**
+ 이 릴리스 버전은 c1.medium 또는 m1.small 인스턴스 유형을 지원하지 않습니다. 둘 중 어느 쪽이든 이런 인스턴스 유형을 사용하는 클러스터는 시작되지 않습니다. 차선책으로 다른 인스턴스 유형을 지정하거나 다른 릴리스 버전을 사용하십시오.
+ Kerberos 인증을 사용하는 클러스터를 생성하고 Livy를 설치하면 단순 인증이 활성화되지 않았다는 오류가 발생하면서 Livy가 실패합니다. Livy 서버를 재부팅하면 문제가 해결됩니다. 해결 방법으로, 클러스터 생성 중에 프라이머리 노드에서 `sudo restart livy-server`를 실행하는 단계를 추가합니다.
+ 프라이머리 노드가 재부팅되거나 인스턴스 컨트롤러가 다시 시작된 후에는 CloudWatch 지표가 수집되지 않으며 Amazon EMR 버전 5.14.0, 5.15.0 또는 5.16.0에서는 자동 조정 기능을 사용할 수 없습니다. 이 문제는 Amazon EMR 5.17.0에서 수정되었습니다.
## 5.16.0 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.1.0 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.6.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.4.0 | 편리한 하둡 에코시스템용 추가 라이브러리. |
| emr-kinesis | 3.4.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.10.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emrfs | 2.25.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.5.0 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.8.4-amzn-0 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.8.4-amzn-0 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.8.4-amzn-0 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.8.4-amzn-0 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.8.4-amzn-0 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.8.4-amzn-0 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.8.4-amzn-0 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.8.4-amzn-0 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.8.4-amzn-0 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.8.4-amzn-0 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.4.4 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.4.4 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.4.4 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.4.4 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.4.4 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.3.3-amzn-1 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.3-amzn-1 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.3-amzn-1 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.3-amzn-1 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.3-amzn-1 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.3-amzn-1 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.3-amzn-1 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 4.2.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| jupyterhub | 0.8.1 | Jupyter Notebook용 다중 사용자 서버 |
| livy-server | 0.5.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 1.2.0 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 9.2.88 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 5.0.0 | Oozie 명령줄 클라이언트 |
| oozie-server | 5.0.0 | Oozie 워크플로 요청을 수락하는 서비스 |
| opencv | 3.4.0 | 오픈 소스 컴퓨터 비전 라이브러리. |
| phoenix-library | 4.14.0-HBase-1.4 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.14.0-HBase-1.4 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.203 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.203 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| r | 3.4.1 | 통계 컴퓨팅용 R 프로젝트 |
| spark-client | 2.3.1 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.3.1 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.3.1 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.3.1 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.7 | Apache Sqoop 명령줄 클라이언트. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.7.3 | 대화형 데이터 분석이 가능한 웹 기반 노트북. |
| zookeeper-server | 3.4.12 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.12 | ZooKeeper 명령줄 클라이언트. |
## 5.16.0 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.16.0 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| container-log4j | Hadoop YARN container-log4j.properties 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| jupyter-notebook-conf | Jupyter Notebook jupyter\$1notebook\$1config.py 파일에서 값을 변경합니다. |
| jupyter-hub-conf | JupyterHubs jupyterhub\$1config.py 파일에서 값을 변경합니다. |
| jupyter-sparkmagic-conf | Sparkmagic config.json 파일에서 값을 변경합니다. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. |
| livy-env | Livy 환경에서 값을 변경합니다. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-env | Pig 환경에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-password-authenticator | Presto password-authenticator.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-redshift | Presto redshift.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.15.1
## 5.15.1 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.15.1 | emr-5.15.0 | emr-5.14.2 | emr-5.14.1 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.333 | 1.11.333 | 1.11.297 | 1.11.297 |
| Python | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.4.2 | 1.4.2 | 1.4.2 | 1.4.2 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.4 | 1.4.4 | 1.4.2 | 1.4.2 |
| HCatalog | 2.3.3-amzn-0 | 2.3.3-amzn-0 | 2.3.2-amzn-2 | 2.3.2-amzn-2 |
| Hadoop | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 |
| Hive | 2.3.3-amzn-0 | 2.3.3-amzn-0 | 2.3.2-amzn-2 | 2.3.2-amzn-2 |
| Hudi | - | - | - | - |
| Hue | 4.2.0 | 4.2.0 | 4.1.0 | 4.1.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 |
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating |
| MXNet | 1.1.0 | 1.1.0 | 1.1.0 | 1.1.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.0.0 | 5.0.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.13.0-HBase-1.4 | 4.13.0-HBase-1.4 | 4.13.0-HBase-1.4 | 4.13.0-HBase-1.4 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.194 | 0.194 | 0.194 | 0.194 |
| Spark | 2.3.0 | 2.3.0 | 2.3.0 | 2.3.0 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 |
| ZooKeeper | 3.4.12 | 3.4.12 | 3.4.10 | 3.4.10 |
## 5.15.1 릴리스 정보
Amazon S3에 대한 요청에 AWS 서명 버전 4 인증을 추가하는 패치 릴리스입니다. 모든 애플리케이션 및 구성 요소는 이전 Amazon EMR 릴리스와 동일합니다.
**중요**
이 릴리스 버전에서 Amazon EMR은 AWS 서명 버전 4만 사용하여 Amazon S3에 대한 요청을 인증합니다. 자세한 내용은 [새 소식](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html)을 참조하십시오.
## 5.15.1 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.0.1 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.5.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터. |
| emr-goodies | 2.4.0 | 편리한 하둡 에코시스템용 추가 라이브러리. |
| emr-kinesis | 3.4.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.10.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emrfs | 2.24.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.4.2 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.8.3-amzn-1 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.8.3-amzn-1 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.8.3-amzn-1 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.8.3-amzn-1 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.8.3-amzn-1 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.8.3-amzn-1 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.8.3-amzn-1 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.8.3-amzn-1 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.8.3-amzn-1 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.8.3-amzn-1 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.4.4 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.4.4 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.4.4 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.4.4 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.4.4 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.3.3-amzn-0 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.3-amzn-0 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.3-amzn-0 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.3-amzn-0 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.3-amzn-0 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.3-amzn-0 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.3-amzn-0 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 4.2.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| jupyterhub | 0.8.1 | Jupyter Notebook용 다중 사용자 서버 |
| livy-server | 0.4.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 1.1.0 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 9.1.85 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 5.0.0 | Oozie 명령줄 클라이언트 |
| oozie-server | 5.0.0 | Oozie 워크플로 요청을 수락하는 서비스 |
| opencv | 3.4.0 | 오픈 소스 컴퓨터 비전 라이브러리. |
| phoenix-library | 4.13.0-HBase-1.4 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.13.0-HBase-1.4 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.194 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.194 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| r | 3.4.1 | 통계 컴퓨팅용 R 프로젝트 |
| spark-client | 2.3.0 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.3.0 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.3.0 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.3.0 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.7 | Apache Sqoop 명령줄 클라이언트. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.7.3 | 대화형 데이터 분석이 가능한 웹 기반 노트북. |
| zookeeper-server | 3.4.12 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.12 | ZooKeeper 명령줄 클라이언트. |
## 5.15.1 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.15.1 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| container-log4j | Hadoop YARN container-log4j.properties 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| jupyter-notebook-conf | Jupyter Notebook jupyter\$1notebook\$1config.py 파일에서 값을 변경합니다. |
| jupyter-hub-conf | JupyterHubs jupyterhub\$1config.py 파일에서 값을 변경합니다. |
| jupyter-sparkmagic-conf | Sparkmagic config.json 파일에서 값을 변경합니다. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. |
| livy-env | Livy 환경에서 값을 변경합니다. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-env | Pig 환경에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-redshift | Presto redshift.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.15.0
## 5.15.0 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.15.0 | emr-5.14.2 | emr-5.14.1 | emr-5.14.0 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.333 | 1.11.297 | 1.11.297 | 1.11.297 |
| Python | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.4.2 | 1.4.2 | 1.4.2 | 1.4.2 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.4 | 1.4.2 | 1.4.2 | 1.4.2 |
| HCatalog | 2.3.3-amzn-0 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 |
| Hadoop | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 |
| Hive | 2.3.3-amzn-0 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 |
| Hudi | - | - | - | - |
| Hue | 4.2.0 | 4.1.0 | 4.1.0 | 4.1.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 |
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating |
| MXNet | 1.1.0 | 1.1.0 | 1.1.0 | 1.1.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.0.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.13.0-HBase-1.4 | 4.13.0-HBase-1.4 | 4.13.0-HBase-1.4 | 4.13.0-HBase-1.4 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.194 | 0.194 | 0.194 | 0.194 |
| Spark | 2.3.0 | 2.3.0 | 2.3.0 | 2.3.0 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 |
| ZooKeeper | 3.4.12 | 3.4.10 | 3.4.10 | 3.4.10 |
## 5.15.0 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.15.0에 대한 정보가 포함됩니다. 변경 사항은 5.14.0에 관련됩니다.
최초 릴리스 날짜: 2018년 6월 21일
**업그레이드**
+ HBase를 1.4.4로 업그레이드
+ Hive를 2.3.3으로 업그레이드
+ Hue를 4.2.0으로 업그레이드
+ Oozie를 5.0.0로 업그레이드
+ Zookeeper를 3.4.12로 업그레이드
+ AWS SDK를 1.11.333으로 업그레이드
**변경 사항, 향상된 기능 및 해결된 문제**
+ Hive
+ [HIVE-18069](https://issues.apache.org/jira/browse/HIVE-18069)를 백포트했습니다.
+ Hue
+ Kerberos 사용 시 Livy로 올바로 인증하도록 Hue를 업데이트했습니다. 이제 Livy가 Amazon EMR에서 Kerberos를 사용할 때 지원됩니다.
+ JupyterHub
+ Amazon EMR이 LDAP 클라이언트 라이브러리를 기본으로 설치하도록 JupyterHub를 업데이트했습니다.
+ 자체 서명 인증서를 생성하는 스크립트 오류를 수정했습니다.
**알려진 문제**
+ 이 릴리스 버전은 c1.medium 또는 m1.small 인스턴스 유형을 지원하지 않습니다. 둘 중 어느 쪽이든 이런 인스턴스 유형을 사용하는 클러스터는 시작되지 않습니다. 차선책으로 다른 인스턴스 유형을 지정하거나 다른 릴리스 버전을 사용하십시오.
+ 프라이머리 노드가 재부팅되거나 인스턴스 컨트롤러가 다시 시작된 후에는 CloudWatch 지표가 수집되지 않으며 Amazon EMR 버전 5.14.0, 5.15.0 또는 5.16.0에서는 자동 조정 기능을 사용할 수 없습니다. 이 문제는 Amazon EMR 5.17.0에서 수정되었습니다.
## 5.15.0 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.0.1 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.5.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터. |
| emr-goodies | 2.4.0 | 편리한 하둡 에코시스템용 추가 라이브러리. |
| emr-kinesis | 3.4.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.10.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emrfs | 2.24.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.4.2 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.8.3-amzn-1 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.8.3-amzn-1 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.8.3-amzn-1 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.8.3-amzn-1 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.8.3-amzn-1 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.8.3-amzn-1 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.8.3-amzn-1 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.8.3-amzn-1 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.8.3-amzn-1 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.8.3-amzn-1 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.4.4 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.4.4 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.4.4 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.4.4 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.4.4 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.3.3-amzn-0 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.3-amzn-0 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.3-amzn-0 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.3-amzn-0 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.3-amzn-0 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.3-amzn-0 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.3-amzn-0 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 4.2.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| jupyterhub | 0.8.1 | Jupyter Notebook용 다중 사용자 서버 |
| livy-server | 0.4.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 1.1.0 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 9.1.85 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 5.0.0 | Oozie 명령줄 클라이언트 |
| oozie-server | 5.0.0 | Oozie 워크플로 요청을 수락하는 서비스 |
| opencv | 3.4.0 | 오픈 소스 컴퓨터 비전 라이브러리. |
| phoenix-library | 4.13.0-HBase-1.4 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.13.0-HBase-1.4 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.194 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.194 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| r | 3.4.1 | 통계 컴퓨팅용 R 프로젝트 |
| spark-client | 2.3.0 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.3.0 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.3.0 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.3.0 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.7 | Apache Sqoop 명령줄 클라이언트. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.7.3 | 대화형 데이터 분석이 가능한 웹 기반 노트북. |
| zookeeper-server | 3.4.12 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.12 | ZooKeeper 명령줄 클라이언트. |
## 5.15.0 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.15.0 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| container-log4j | Hadoop YARN container-log4j.properties 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| jupyter-notebook-conf | Jupyter Notebook jupyter\$1notebook\$1config.py 파일에서 값을 변경합니다. |
| jupyter-hub-conf | JupyterHubs jupyterhub\$1config.py 파일에서 값을 변경합니다. |
| jupyter-sparkmagic-conf | Sparkmagic config.json 파일에서 값을 변경합니다. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. |
| livy-env | Livy 환경에서 값을 변경합니다. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-env | Pig 환경에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-redshift | Presto redshift.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.14.2
## 5.14.2 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.14.2 | emr-5.14.1 | emr-5.14.0 | emr-5.13.1 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.297 | 1.11.297 | 1.11.297 | 1.11.297 |
| Python | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.4.2 | 1.4.2 | 1.4.2 | 1.4.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.2 | 1.4.2 | 1.4.2 | 1.4.2 |
| HCatalog | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 |
| Hadoop | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 |
| Hive | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 |
| Hudi | - | - | - | - |
| Hue | 4.1.0 | 4.1.0 | 4.1.0 | 4.1.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 0.8.1 | 0.8.1 | 0.8.1 | - |
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating |
| MXNet | 1.1.0 | 1.1.0 | 1.1.0 | 1.0.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.13.0-HBase-1.4 | 4.13.0-HBase-1.4 | 4.13.0-HBase-1.4 | 4.13.0-HBase-1.4 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.194 | 0.194 | 0.194 | 0.194 |
| Spark | 2.3.0 | 2.3.0 | 2.3.0 | 2.3.0 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## 5.14.2 릴리스 정보
Amazon S3에 대한 요청에 AWS 서명 버전 4 인증을 추가하는 패치 릴리스입니다. 모든 애플리케이션 및 구성 요소는 이전 Amazon EMR 릴리스와 동일합니다.
**중요**
이 릴리스 버전에서 Amazon EMR은 AWS 서명 버전 4만 사용하여 Amazon S3에 대한 요청을 인증합니다. 자세한 내용은 [새 소식](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html)을 참조하십시오.
## 5.14.2 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.0.1 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.5.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터. |
| emr-goodies | 2.4.0 | 편리한 하둡 에코시스템용 추가 라이브러리. |
| emr-kinesis | 3.4.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.10.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emrfs | 2.23.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.4.2 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.8.3-amzn-1 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.8.3-amzn-1 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.8.3-amzn-1 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.8.3-amzn-1 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.8.3-amzn-1 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.8.3-amzn-1 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.8.3-amzn-1 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.8.3-amzn-1 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.8.3-amzn-1 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.8.3-amzn-1 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.4.2 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.4.2 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.4.2 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.4.2 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.4.2 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.3.2-amzn-2 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.2-amzn-2 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.2-amzn-2 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.2-amzn-2 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.2-amzn-2 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.2-amzn-2 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.2-amzn-2 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 4.1.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| jupyterhub | 0.8.1 | Jupyter Notebook용 다중 사용자 서버 |
| livy-server | 0.4.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 1.1.0 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 9.1.85 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 4.3.0 | Oozie 명령줄 클라이언트. |
| oozie-server | 4.3.0 | Oozie 워크플로 요청을 수락하는 서비스. |
| opencv | 3.4.0 | 오픈 소스 컴퓨터 비전 라이브러리. |
| phoenix-library | 4.13.0-HBase-1.4 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.13.0-HBase-1.4 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.194 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.194 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| r | 3.4.1 | 통계 컴퓨팅용 R 프로젝트 |
| spark-client | 2.3.0 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.3.0 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.3.0 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.3.0 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.7 | Apache Sqoop 명령줄 클라이언트. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.7.3 | 대화형 데이터 분석이 가능한 웹 기반 노트북. |
| zookeeper-server | 3.4.10 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.10 | ZooKeeper 명령줄 클라이언트. |
## 5.14.2 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.14.2 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| container-log4j | Hadoop YARN container-log4j.properties 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| jupyter-notebook-conf | Jupyter Notebook jupyter\$1notebook\$1config.py 파일에서 값을 변경합니다. |
| jupyter-hub-conf | JupyterHubs jupyterhub\$1config.py 파일에서 값을 변경합니다. |
| jupyter-sparkmagic-conf | Sparkmagic config.json 파일에서 값을 변경합니다. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. |
| livy-env | Livy 환경에서 값을 변경합니다. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-env | Pig 환경에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-redshift | Presto redshift.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.14.1
## 5.14.1 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.14.1 | emr-5.14.0 | emr-5.13.1 | emr-5.13.0 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.297 | 1.11.297 | 1.11.297 | 1.11.297 |
| Python | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.4.2 | 1.4.2 | 1.4.0 | 1.4.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.2 | 1.4.2 | 1.4.2 | 1.4.2 |
| HCatalog | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 |
| Hadoop | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 |
| Hive | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 |
| Hudi | - | - | - | - |
| Hue | 4.1.0 | 4.1.0 | 4.1.0 | 4.1.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 0.8.1 | 0.8.1 | - | - |
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating |
| MXNet | 1.1.0 | 1.1.0 | 1.0.0 | 1.0.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.13.0-HBase-1.4 | 4.13.0-HBase-1.4 | 4.13.0-HBase-1.4 | 4.13.0-HBase-1.4 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.194 | 0.194 | 0.194 | 0.194 |
| Spark | 2.3.0 | 2.3.0 | 2.3.0 | 2.3.0 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## 5.14.1 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.14.1에 대한 정보가 포함됩니다. 변경 사항은 5.14.0에 관련됩니다.
최초 릴리스 날짜: 2018년 10월 17일
잠재적 보안 취약성을 해결하기 위해 Amazon EMR의 기본 AMI를 업데이트했습니다.
## 5.14.1 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.0.1 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.5.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터. |
| emr-goodies | 2.4.0 | 편리한 하둡 에코시스템용 추가 라이브러리. |
| emr-kinesis | 3.4.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.10.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emrfs | 2.23.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.4.2 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.8.3-amzn-1 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.8.3-amzn-1 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.8.3-amzn-1 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.8.3-amzn-1 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.8.3-amzn-1 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.8.3-amzn-1 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.8.3-amzn-1 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.8.3-amzn-1 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.8.3-amzn-1 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.8.3-amzn-1 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.4.2 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.4.2 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.4.2 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.4.2 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.4.2 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.3.2-amzn-2 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.2-amzn-2 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.2-amzn-2 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.2-amzn-2 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.2-amzn-2 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.2-amzn-2 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.2-amzn-2 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 4.1.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| jupyterhub | 0.8.1 | Jupyter Notebook용 다중 사용자 서버 |
| livy-server | 0.4.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 1.1.0 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 9.1.85 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 4.3.0 | Oozie 명령줄 클라이언트. |
| oozie-server | 4.3.0 | Oozie 워크플로 요청을 수락하는 서비스. |
| opencv | 3.4.0 | 오픈 소스 컴퓨터 비전 라이브러리. |
| phoenix-library | 4.13.0-HBase-1.4 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.13.0-HBase-1.4 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.194 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.194 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| r | 3.4.1 | 통계 컴퓨팅용 R 프로젝트 |
| spark-client | 2.3.0 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.3.0 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.3.0 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.3.0 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.7 | Apache Sqoop 명령줄 클라이언트. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.7.3 | 대화형 데이터 분석이 가능한 웹 기반 노트북. |
| zookeeper-server | 3.4.10 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.10 | ZooKeeper 명령줄 클라이언트. |
## 5.14.1 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.14.1 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| container-log4j | Hadoop YARN container-log4j.properties 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| jupyter-notebook-conf | Jupyter Notebook jupyter\$1notebook\$1config.py 파일에서 값을 변경합니다. |
| jupyter-hub-conf | JupyterHubs jupyterhub\$1config.py 파일에서 값을 변경합니다. |
| jupyter-sparkmagic-conf | Sparkmagic config.json 파일에서 값을 변경합니다. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. |
| livy-env | Livy 환경에서 값을 변경합니다. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-env | Pig 환경에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-redshift | Presto redshift.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.14.0
## 5.14.0 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.14.0 | emr-5.13.1 | emr-5.13.0 | emr-5.12.3 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.297 | 1.11.297 | 1.11.297 | 1.11.267 |
| Python | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.4.2 | 1.4.0 | 1.4.0 | 1.4.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.2 | 1.4.2 | 1.4.2 | 1.4.0 |
| HCatalog | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-1 |
| Hadoop | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 |
| Hive | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-1 |
| Hudi | - | - | - | - |
| Hue | 4.1.0 | 4.1.0 | 4.1.0 | 4.1.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 0.8.1 | - | - | - |
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating |
| MXNet | 1.1.0 | 1.0.0 | 1.0.0 | 1.0.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.13.0-HBase-1.4 | 4.13.0-HBase-1.4 | 4.13.0-HBase-1.4 | 4.13.0-HBase-1.4 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.194 | 0.194 | 0.194 | 0.188 |
| Spark | 2.3.0 | 2.3.0 | 2.3.0 | 2.2.1 |
| Sqoop | 1.4.7 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## 5.14.0 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.14.0에 대한 정보가 포함됩니다. 변경 사항은 5.13.0에 관련됩니다.
최초 릴리스 날짜: 2018년 6월 4일
**업그레이드**
+ Apache Flink를 1.4.2로 업그레이드
+ Apache MXnet을 1.1.0으로 업그레이드
+ Apache Sqoop를 1.4.7로 업그레이드
**새로운 기능**
+ JupyterHub 지원을 추가했습니다. 자세한 내용은 [JupyterHub](emr-jupyterhub.md) 단원을 참조하십시오.
**변경 사항, 향상된 기능 및 해결된 문제**
+ EMRFS
+ Amazon S3에 대한 요청의 userAgent 문자열이 간접 호출하는 보안 주체의 사용자 및 그룹 정보를 포함하도록 업데이트되었습니다. 이는 보다 포괄적인 요청 추적을 위해 AWS CloudTrail 로그와 함께 사용할 수 있습니다.
+ HBase
+ 포함된 [HBASE-20447](https://issues.apache.org/jira/browse/HBASE-20447)은 특히 분할된 리전과 함께 캐시 문제를 야기할 수 있는 문제를 해결합니다.
+ MXnet
+ OpenCV 라이브러리를 추가했습니다.
+ Spark
+ Spark가 EMRFS를 사용하여 Amazon S3 위치에 Parquet 파일을 쓸 때, FileOutputCommitter 알고리즘이 버전 1 대신 버전 2를 사용하도록 업데이트되었습니다. 따라서 이름 변경 횟수가 감소하여 애플리케이션 성능이 개선됩니다. 다음 애플리케이션에는 이 변경이 영향을 미치지 않습니다.
+ Spark 이외의 애플리케이션
+ HDFS(여전히 버전 1의 FileOutputCommitter를 사용)와 같이 다른 파일 시스템에 쓰는 애플리케이션
+ 텍스트 또는 csv 같이 이미 EMRFS 직접 쓰기를 사용하는 다른 출력 형식을 사용하는 애플리케이션
**알려진 문제**
+ JupyterHub
+ 클러스터를 생성할 때 구성 분류를 사용하여 JupyterHub 및 개별 Jupyter Notebook을 설정하는 것은 지원되지 않습니다. 각 사용자에 대해 수동으로 jupyterhub\$1config.py 파일 및 jupyter\$1notebook\$1config.py 파일을 편집하십시오. 자세한 내용은 [JupyterHub 구성](emr-jupyterhub-configure.md) 단원을 참조하십시오.
+ JupyterHub는 프라이빗 서브넷 내의 클러스터에서 시작되지 않으며 `Error: ENOENT: no such file or directory, open '/etc/jupyter/conf/server.crt' ` 메시지와 함께 실패합니다. 이는 자체 서명된 인증서를 생성하는 스크립트의 오류에 의해 야기됩니다. 다음 차선책을 사용하여 자체 서명된 인증서를 생성합니다. 모든 명령은 프라이머리 노드에 연결되어 있는 동안 실행됩니다.
1. 컨테이너에서 프라이머리 노드로 인증서 생성 스크립트를 복사합니다.
```
sudo docker cp jupyterhub:/tmp/gen_self_signed_cert.sh ./
```
1. 아래와 같이 텍스트 편집기를 사용하여 23행을 변경하고 퍼블릭 호스트 이름을 로컬 호스트 이름으로 변경합니다.
```
local hostname=$(curl -s $EC2_METADATA_SERVICE_URI/local-hostname)
```
1. 스크립트를 실행하여 자체 서명된 인증서를 생성합니다.
```
sudo bash ./gen_self_signed_cert.sh
```
1. 스크립트가 생성하는 인증서 파일을 `/etc/jupyter/conf/` 디렉터리로 이동합니다.
```
sudo mv /tmp/server.crt /tmp/server.key /etc/jupyter/conf/
```
JupyterHub의 재시작과 200 응답 코드의 반환을 확인하기 위해 `jupyter.log` 파일을 `tail`할 수 있습니다. 예제:
```
tail -f /var/log/jupyter/jupyter.log
```
그러면 다음과 비슷한 응답이 돌아옵니다.
```
# [I 2018-06-14 18:56:51.356 JupyterHub app:1581] JupyterHub is now running at https://:9443/
# 19:01:51.359 - info: [ConfigProxy] 200 GET /api/routes
```
+ 프라이머리 노드가 재부팅되거나 인스턴스 컨트롤러가 다시 시작된 후에는 CloudWatch 지표가 수집되지 않으며 Amazon EMR 버전 5.14.0, 5.15.0 또는 5.16.0에서는 자동 조정 기능을 사용할 수 없습니다. 이 문제는 Amazon EMR 5.17.0에서 수정되었습니다.
## 5.14.0 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.0.1 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.5.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터. |
| emr-goodies | 2.4.0 | 편리한 하둡 에코시스템용 추가 라이브러리. |
| emr-kinesis | 3.4.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.10.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emrfs | 2.23.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.4.2 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.8.3-amzn-1 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.8.3-amzn-1 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.8.3-amzn-1 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.8.3-amzn-1 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.8.3-amzn-1 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.8.3-amzn-1 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.8.3-amzn-1 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.8.3-amzn-1 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.8.3-amzn-1 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.8.3-amzn-1 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.4.2 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.4.2 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.4.2 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.4.2 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.4.2 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.3.2-amzn-2 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.2-amzn-2 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.2-amzn-2 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.2-amzn-2 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.2-amzn-2 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.2-amzn-2 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.2-amzn-2 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 4.1.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| jupyterhub | 0.8.1 | Jupyter Notebook용 다중 사용자 서버 |
| livy-server | 0.4.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 1.1.0 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 9.1.85 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 4.3.0 | Oozie 명령줄 클라이언트. |
| oozie-server | 4.3.0 | Oozie 워크플로 요청을 수락하는 서비스. |
| opencv | 3.4.0 | 오픈 소스 컴퓨터 비전 라이브러리. |
| phoenix-library | 4.13.0-HBase-1.4 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.13.0-HBase-1.4 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.194 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.194 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| r | 3.4.1 | 통계 컴퓨팅용 R 프로젝트 |
| spark-client | 2.3.0 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.3.0 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.3.0 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.3.0 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.7 | Apache Sqoop 명령줄 클라이언트. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.7.3 | 대화형 데이터 분석이 가능한 웹 기반 노트북. |
| zookeeper-server | 3.4.10 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.10 | ZooKeeper 명령줄 클라이언트. |
## 5.14.0 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.14.0 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| container-log4j | Hadoop YARN container-log4j.properties 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| jupyter-notebook-conf | Jupyter Notebook jupyter\$1notebook\$1config.py 파일에서 값을 변경합니다. |
| jupyter-hub-conf | JupyterHubs jupyterhub\$1config.py 파일에서 값을 변경합니다. |
| jupyter-sparkmagic-conf | Sparkmagic config.json 파일에서 값을 변경합니다. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. |
| livy-env | Livy 환경에서 값을 변경합니다. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-env | Pig 환경에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-redshift | Presto redshift.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.13.1
## 5.13.1 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.13.1 | emr-5.13.0 | emr-5.12.3 | emr-5.12.2 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.297 | 1.11.297 | 1.11.267 | 1.11.267 |
| Python | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.4.0 | 1.4.0 | 1.4.0 | 1.4.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.2 | 1.4.2 | 1.4.0 | 1.4.0 |
| HCatalog | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-1 | 2.3.2-amzn-1 |
| Hadoop | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 |
| Hive | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-1 | 2.3.2-amzn-1 |
| Hudi | - | - | - | - |
| Hue | 4.1.0 | 4.1.0 | 4.1.0 | 4.1.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating |
| MXNet | 1.0.0 | 1.0.0 | 1.0.0 | 1.0.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.13.0-HBase-1.4 | 4.13.0-HBase-1.4 | 4.13.0-HBase-1.4 | 4.13.0-HBase-1.4 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.194 | 0.194 | 0.188 | 0.188 |
| Spark | 2.3.0 | 2.3.0 | 2.2.1 | 2.2.1 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## 5.13.1 릴리스 정보
Amazon S3에 대한 요청에 AWS 서명 버전 4 인증을 추가하는 패치 릴리스입니다. 모든 애플리케이션 및 구성 요소는 이전 Amazon EMR 릴리스와 동일합니다.
**중요**
이 릴리스 버전에서 Amazon EMR은 AWS 서명 버전 4만 사용하여 Amazon S3에 대한 요청을 인증합니다. 자세한 내용은 [새 소식](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html)을 참조하십시오.
## 5.13.1 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.0.1 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.5.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터. |
| emr-goodies | 2.4.0 | 편리한 하둡 에코시스템용 추가 라이브러리. |
| emr-kinesis | 3.4.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.10.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emrfs | 2.22.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.4.0 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.8.3-amzn-0 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.8.3-amzn-0 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.8.3-amzn-0 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.8.3-amzn-0 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.8.3-amzn-0 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.8.3-amzn-0 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.8.3-amzn-0 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.8.3-amzn-0 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.8.3-amzn-0 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.8.3-amzn-0 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.4.2 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.4.2 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.4.2 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.4.2 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.4.2 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.3.2-amzn-2 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.2-amzn-2 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.2-amzn-2 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.2-amzn-2 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.2-amzn-2 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.2-amzn-2 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.2-amzn-2 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 4.1.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| livy-server | 0.4.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 1.0.0 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 9.1.85 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 4.3.0 | Oozie 명령줄 클라이언트. |
| oozie-server | 4.3.0 | Oozie 워크플로 요청을 수락하는 서비스. |
| phoenix-library | 4.13.0-HBase-1.4 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.13.0-HBase-1.4 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.194 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.194 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| r | 3.4.1 | 통계 컴퓨팅용 R 프로젝트 |
| spark-client | 2.3.0 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.3.0 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.3.0 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.3.0 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.6 | Apache Sqoop 명령줄 클라이언트. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.7.3 | 대화형 데이터 분석이 가능한 웹 기반 노트북. |
| zookeeper-server | 3.4.10 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.10 | ZooKeeper 명령줄 클라이언트. |
## 5.13.1 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.13.1 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. |
| livy-env | Livy 환경에서 값을 변경합니다. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-env | Pig 환경에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-redshift | Presto redshift.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.13.0
## 5.13.0 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.13.0 | emr-5.12.3 | emr-5.12.2 | emr-5.12.1 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.297 | 1.11.267 | 1.11.267 | 1.11.267 |
| Python | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.4.0 | 1.4.0 | 1.4.0 | 1.4.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.2 | 1.4.0 | 1.4.0 | 1.4.0 |
| HCatalog | 2.3.2-amzn-2 | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-1 |
| Hadoop | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 |
| Hive | 2.3.2-amzn-2 | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-1 |
| Hudi | - | - | - | - |
| Hue | 4.1.0 | 4.1.0 | 4.1.0 | 4.1.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating |
| MXNet | 1.0.0 | 1.0.0 | 1.0.0 | 1.0.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.13.0-HBase-1.4 | 4.13.0-HBase-1.4 | 4.13.0-HBase-1.4 | 4.13.0-HBase-1.4 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.194 | 0.188 | 0.188 | 0.188 |
| Spark | 2.3.0 | 2.2.1 | 2.2.1 | 2.2.1 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## 5.13.0 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.13.0에 대한 정보가 포함됩니다. 변경 사항은 5.12.0에 관련됩니다.
**업그레이드**
+ Spark를 2.3.0으로 업그레이드
+ HBase를 1.4.2로 업그레이드
+ Presto를 0.194로 업그레이드
+ 1.11.297 AWS SDK for Java 로 업그레이드됨
**변경 사항, 향상된 기능 및 해결된 문제**
+ Hive
+ [HIVE-15436](https://issues.apache.org/jira/browse/HIVE-15436)을 백포트했습니다. Hive API를 뷰만 반환하도록 개선했습니다.
**알려진 문제**
+ 현재 MXNet에는 OpenCV 라이브러리가 포함되어 있지 않습니다.
## 5.13.0 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.0.1 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.5.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터. |
| emr-goodies | 2.4.0 | 편리한 하둡 에코시스템용 추가 라이브러리. |
| emr-kinesis | 3.4.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.10.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emrfs | 2.22.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.4.0 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.8.3-amzn-0 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.8.3-amzn-0 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.8.3-amzn-0 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.8.3-amzn-0 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.8.3-amzn-0 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.8.3-amzn-0 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.8.3-amzn-0 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.8.3-amzn-0 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.8.3-amzn-0 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.8.3-amzn-0 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.4.2 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.4.2 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.4.2 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.4.2 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.4.2 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.3.2-amzn-2 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.2-amzn-2 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.2-amzn-2 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.2-amzn-2 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.2-amzn-2 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.2-amzn-2 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.2-amzn-2 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 4.1.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| livy-server | 0.4.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 1.0.0 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 9.1.85 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 4.3.0 | Oozie 명령줄 클라이언트. |
| oozie-server | 4.3.0 | Oozie 워크플로 요청을 수락하는 서비스. |
| phoenix-library | 4.13.0-HBase-1.4 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.13.0-HBase-1.4 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.194 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.194 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| r | 3.4.1 | 통계 컴퓨팅용 R 프로젝트 |
| spark-client | 2.3.0 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.3.0 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.3.0 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.3.0 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.6 | Apache Sqoop 명령줄 클라이언트. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.7.3 | 대화형 데이터 분석이 가능한 웹 기반 노트북. |
| zookeeper-server | 3.4.10 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.10 | ZooKeeper 명령줄 클라이언트. |
## 5.13.0 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.13.0 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. |
| livy-env | Livy 환경에서 값을 변경합니다. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-env | Pig 환경에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-redshift | Presto redshift.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.12.3
## 5.12.3 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.12.3 | emr-5.12.2 | emr-5.12.1 | emr-5.12.0 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.267 | 1.11.267 | 1.11.267 | 1.11.267 |
| Python | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.4.0 | 1.4.0 | 1.4.0 | 1.4.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.0 | 1.4.0 | 1.4.0 | 1.4.0 |
| HCatalog | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-1 |
| Hadoop | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 |
| Hive | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-1 |
| Hudi | - | - | - | - |
| Hue | 4.1.0 | 4.1.0 | 4.1.0 | 4.1.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating |
| MXNet | 1.0.0 | 1.0.0 | 1.0.0 | 1.0.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.13.0-HBase-1.4 | 4.13.0-HBase-1.4 | 4.13.0-HBase-1.4 | 4.13.0-HBase-1.4 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.188 | 0.188 | 0.188 | 0.188 |
| Spark | 2.2.1 | 2.2.1 | 2.2.1 | 2.2.1 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## 5.12.3 릴리스 정보
Amazon S3에 대한 요청에 AWS 서명 버전 4 인증을 추가하는 패치 릴리스입니다. 모든 애플리케이션 및 구성 요소는 이전 Amazon EMR 릴리스와 동일합니다.
**중요**
이 릴리스 버전에서 Amazon EMR은 AWS 서명 버전 4만 사용하여 Amazon S3에 대한 요청을 인증합니다. 자세한 내용은 [새 소식](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html)을 참조하십시오.
## 5.12.3 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.0.1 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.5.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터. |
| emr-goodies | 2.4.0 | 편리한 하둡 에코시스템용 추가 라이브러리. |
| emr-kinesis | 3.4.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.9.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emrfs | 2.21.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.4.0 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.8.3-amzn-0 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.8.3-amzn-0 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.8.3-amzn-0 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.8.3-amzn-0 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.8.3-amzn-0 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.8.3-amzn-0 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.8.3-amzn-0 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.8.3-amzn-0 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.8.3-amzn-0 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.8.3-amzn-0 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.4.0 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.4.0 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.4.0 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.4.0 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.4.0 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.3.2-amzn-1 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.2-amzn-1 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.2-amzn-1 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.2-amzn-1 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.2-amzn-1 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.2-amzn-1 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.2-amzn-1 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 4.1.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| livy-server | 0.4.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 1.0.0 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 9.1.85 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 4.3.0 | Oozie 명령줄 클라이언트. |
| oozie-server | 4.3.0 | Oozie 워크플로 요청을 수락하는 서비스. |
| phoenix-library | 4.13.0-HBase-1.4 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.13.0-HBase-1.4 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.188 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.188 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| spark-client | 2.2.1 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.2.1 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.2.1 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.2.1 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.6 | Apache Sqoop 명령줄 클라이언트. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.7.3 | 대화형 데이터 분석이 가능한 웹 기반 노트북. |
| zookeeper-server | 3.4.10 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.10 | ZooKeeper 명령줄 클라이언트. |
## 5.12.3 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.12.3 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. |
| livy-env | Livy 환경에서 값을 변경합니다. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-env | Pig 환경에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-redshift | Presto redshift.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.12.2
## 5.12.2 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.12.2 | emr-5.12.1 | emr-5.12.0 | emr-5.11.4 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.267 | 1.11.267 | 1.11.267 | 1.11.238 |
| Python | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.4.0 | 1.4.0 | 1.4.0 | 1.3.2 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.0 | 1.4.0 | 1.4.0 | 1.3.1 |
| HCatalog | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-0 |
| Hadoop | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.7.3-amzn-6 |
| Hive | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 4.1.0 | 4.1.0 | 4.1.0 | 4.0.1 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating |
| MXNet | 1.0.0 | 1.0.0 | 1.0.0 | 0.12.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.13.0-HBase-1.4 | 4.13.0-HBase-1.4 | 4.13.0-HBase-1.4 | 4.11.0-HBase-1.3 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.188 | 0.188 | 0.188 | 0.187 |
| Spark | 2.2.1 | 2.2.1 | 2.2.1 | 2.2.1 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## 5.12.2 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.12.2에 대한 정보가 포함됩니다. 변경 사항은 5.12.1에 관련됩니다.
최초 릴리스 날짜: 2018년 8월 29일
**변경 사항, 향상된 기능 및 해결된 문제**
+ 이 릴리스는 잠재적인 보안 취약점을 해결합니다.
## 5.12.2 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.0.1 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.5.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터. |
| emr-goodies | 2.4.0 | 편리한 하둡 에코시스템용 추가 라이브러리. |
| emr-kinesis | 3.4.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.9.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emrfs | 2.21.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.4.0 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.8.3-amzn-0 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.8.3-amzn-0 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.8.3-amzn-0 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.8.3-amzn-0 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.8.3-amzn-0 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.8.3-amzn-0 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.8.3-amzn-0 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.8.3-amzn-0 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.8.3-amzn-0 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.8.3-amzn-0 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.4.0 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.4.0 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.4.0 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.4.0 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.4.0 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.3.2-amzn-1 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.2-amzn-1 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.2-amzn-1 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.2-amzn-1 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.2-amzn-1 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.2-amzn-1 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.2-amzn-1 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 4.1.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| livy-server | 0.4.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 1.0.0 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 9.1.85 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 4.3.0 | Oozie 명령줄 클라이언트. |
| oozie-server | 4.3.0 | Oozie 워크플로 요청을 수락하는 서비스. |
| phoenix-library | 4.13.0-HBase-1.4 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.13.0-HBase-1.4 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.188 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.188 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| spark-client | 2.2.1 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.2.1 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.2.1 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.2.1 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.6 | Apache Sqoop 명령줄 클라이언트. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.7.3 | 대화형 데이터 분석이 가능한 웹 기반 노트북. |
| zookeeper-server | 3.4.10 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.10 | ZooKeeper 명령줄 클라이언트. |
## 5.12.2 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.12.2 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. |
| livy-env | Livy 환경에서 값을 변경합니다. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-env | Pig 환경에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-redshift | Presto redshift.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.12.1
## 5.12.1 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.12.1 | emr-5.12.0 | emr-5.11.4 | emr-5.11.3 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.267 | 1.11.267 | 1.11.238 | 1.11.238 |
| Python | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.4.0 | 1.4.0 | 1.3.2 | 1.3.2 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.0 | 1.4.0 | 1.3.1 | 1.3.1 |
| HCatalog | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-0 | 2.3.2-amzn-0 |
| Hadoop | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.7.3-amzn-6 | 2.7.3-amzn-6 |
| Hive | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-0 | 2.3.2-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 4.1.0 | 4.1.0 | 4.0.1 | 4.0.1 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating |
| MXNet | 1.0.0 | 1.0.0 | 0.12.0 | 0.12.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.13.0-HBase-1.4 | 4.13.0-HBase-1.4 | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.188 | 0.188 | 0.187 | 0.187 |
| Spark | 2.2.1 | 2.2.1 | 2.2.1 | 2.2.1 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## 5.12.1 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.12.1에 대한 정보가 포함됩니다. 변경 사항은 5.12.0에 관련됩니다.
최초 릴리스 날짜: 2018년 3월 29일
**변경 사항, 향상된 기능 및 해결된 문제**
+ 잠재적인 취약성을 해결하기 위해 Amazon EMR에 대한 기본 Amazon Linux AMI의 Amazon Linux 커널을 업데이트했습니다.
## 5.12.1 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.0.1 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.5.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터. |
| emr-goodies | 2.4.0 | 편리한 하둡 에코시스템용 추가 라이브러리. |
| emr-kinesis | 3.4.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.9.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emrfs | 2.21.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.4.0 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.8.3-amzn-0 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.8.3-amzn-0 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.8.3-amzn-0 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.8.3-amzn-0 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.8.3-amzn-0 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.8.3-amzn-0 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.8.3-amzn-0 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.8.3-amzn-0 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.8.3-amzn-0 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.8.3-amzn-0 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.4.0 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.4.0 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.4.0 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.4.0 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.4.0 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.3.2-amzn-1 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.2-amzn-1 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.2-amzn-1 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.2-amzn-1 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.2-amzn-1 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.2-amzn-1 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.2-amzn-1 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 4.1.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| livy-server | 0.4.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 1.0.0 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 9.1.85 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 4.3.0 | Oozie 명령줄 클라이언트. |
| oozie-server | 4.3.0 | Oozie 워크플로 요청을 수락하는 서비스. |
| phoenix-library | 4.13.0-HBase-1.4 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.13.0-HBase-1.4 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.188 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.188 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| spark-client | 2.2.1 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.2.1 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.2.1 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.2.1 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.6 | Apache Sqoop 명령줄 클라이언트. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.7.3 | 대화형 데이터 분석이 가능한 웹 기반 노트북. |
| zookeeper-server | 3.4.10 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.10 | ZooKeeper 명령줄 클라이언트. |
## 5.12.1 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.12.1 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. |
| livy-env | Livy 환경에서 값을 변경합니다. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-env | Pig 환경에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-redshift | Presto redshift.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.12.0
## 5.12.0 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.12.0 | emr-5.11.4 | emr-5.11.3 | emr-5.11.2 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.267 | 1.11.238 | 1.11.238 | 1.11.238 |
| Python | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.4.0 | 1.3.2 | 1.3.2 | 1.3.2 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.0 | 1.3.1 | 1.3.1 | 1.3.1 |
| HCatalog | 2.3.2-amzn-1 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 |
| Hadoop | 2.8.3-amzn-0 | 2.7.3-amzn-6 | 2.7.3-amzn-6 | 2.7.3-amzn-6 |
| Hive | 2.3.2-amzn-1 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 4.1.0 | 4.0.1 | 4.0.1 | 4.0.1 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating |
| MXNet | 1.0.0 | 0.12.0 | 0.12.0 | 0.12.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.13.0-HBase-1.4 | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.188 | 0.187 | 0.187 | 0.187 |
| Spark | 2.2.1 | 2.2.1 | 2.2.1 | 2.2.1 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## 5.12.0 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.12.0에 대한 정보가 포함됩니다. 변경 사항은 5.11.1에 관련됩니다.
**업그레이드**
+ AWS SDK for Java 1.11.238 " 1.11.267. 자세한 내용은 GitHub에서 [AWS SDK for Java Change Log](https://github.com/aws/aws-sdk-java/blob/master/CHANGELOG.md)를 참조하세요.
+ Hadoop 2.7.3 ⇒ 2.8.3. 자세한 내용은 [Apache Hadoop Releases](http://hadoop.apache.org/releases.html)를 참조하십시오.
+ Flink 1.3.2 ⇒ 1.4.0. 자세한 내용은 [Apache Flink 1.4.0 Release Announcement](https://flink.apache.org/news/2017/12/12/release-1.4.0.html)를 참조하십시오.
+ HBase 1.3.1 ⇒ 1.4.0. 자세한 내용은 [HBase Release Announcement](http://mail-archives.apache.org/mod_mbox/www-announce/201712.mbox/%3CCA+RK=_AU+tB=7SU1HRbeKVEd-sKA5WcJo3oa43vQ6PMB3L9pgQ@mail.gmail.com%3E)를 참조하십시오.
+ Hue 4.0.1 ⇒ 4.1.0. 자세한 내용은 [릴리스 정보](https://docs.gethue.com/releases/release-notes-4.10.0/)를 참조하십시오.
+ MxNet 0.12.0 ⇒ 1.0.0. 자세한 내용은 GitHub에서 [MXNet Change Log](https://github.com/apache/incubator-mxnet/releases/tag/1.0.0)를 참조하십시오.
+ Presto 0.187 ⇒ 0.188. 자세한 내용은 [릴리스 정보](https://prestodb.io/docs/current/release/release-0.188.html)를 참조하십시오.
**변경 사항, 향상된 기능 및 해결된 문제**
+ **Hadoop**
+ `yarn.resourcemanager.decommissioning.timeout` 속성을 `yarn.resourcemanager.nodemanager-graceful-decommission-timeout-secs`로 변경했습니다. 이 속성을 사용하여 클러스터 축소를 사용자 지정할 수 있습니다. 자세한 내용은 *Amazon EMR 관리 안내서*에서 [클러스터 스케일 다운](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-scaledown-behavior.html)을 참조하세요.
+ Hadoop CLI는 직접 복사를 지정하는 `-d`(복사) 명령에 `cp` 옵션을 추가했습니다. 이를 사용하면 중간 `.COPYING` 파일을 생성하지 않아도 되므로 Amazon S3 사이에서 데이터를 더 빠르게 복사할 수 있습니다. 자세한 내용은 [HADOOP-12384](https://issues.apache.org/jira/browse/HADOOP-12384)를 참조하십시오.
+ **Pig**
+ Pig 환경 속성의 구성을 단순화하는 `pig-env` 구성 분류를 추가했습니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
+ **Presto**
+ Presto `presto-connector-redshift` 구성 파일에서 값을 구성하는 데 사용할 수 있는 `redshift.properties` 구성 분류를 추가했습니다. 자세한 내용은 Presto 문서의 [Redshift Connector](https://prestodb.io/docs/current/connector/redshift.html) 및 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
+ EMRFS에 대한 Presto 지원이 추가되었으며 이것이 기본 구성입니다. 이전 Amazon EMR 릴리스에서는 유일한 옵션인 PrestoS3FileSystem을 사용했습니다. 자세한 내용은 [EMRFS 및 PrestoS3FileSystem 구성](emr-presto-considerations.md#emr-presto-prestos3) 단원을 참조하십시오.
**참고**
Amazon EMR 버전 5.12.0을 사용하여 Amazon S3에서 기본 데이터를 쿼리하는 경우 Presto 오류가 발생할 수 있습니다. 이는 Presto가 `emrfs-site.xml`에서 구성 분류 값을 가져오지 못하기 때문입니다. 이 문제를 해결하려면 `usr/lib/presto/plugin/hive-hadoop2/` 아래에 `emrfs` 하위 디렉터리를 생성하고 `usr/lib/presto/plugin/hive-hadoop2/emrfs`에서 기존 `/usr/share/aws/emr/emrfs/conf/emrfs-site.xml` 파일에 대한 기호 링크를 생성합니다. 그런 다음, presto-server 프로세스를 다시 시작합니다(`sudo presto-server stop` 및 `sudo presto-server start`의 순서대로)
+ **Spark**
+ [SPARK-22036: BigDecimal multiplication sometimes returns null](https://issues.apache.org/jira/browse/SPARK-22036)을 백포트했습니다.
**알려진 문제**
+ MXNet에는 OpenCV 라이브러리가 포함되어 있지 않습니다.
+ 클러스터 노드에 R이 기본적으로 설치되어 있지 않으므로 사용자 지정 AMI를 사용하여 만든 클러스터에는 SparkR을 사용할 수 없습니다.
## 5.12.0 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.0.1 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.5.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터. |
| emr-goodies | 2.4.0 | 편리한 하둡 에코시스템용 추가 라이브러리. |
| emr-kinesis | 3.4.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.9.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emrfs | 2.21.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.4.0 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.8.3-amzn-0 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.8.3-amzn-0 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.8.3-amzn-0 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.8.3-amzn-0 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.8.3-amzn-0 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.8.3-amzn-0 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.8.3-amzn-0 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.8.3-amzn-0 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.8.3-amzn-0 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.8.3-amzn-0 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.4.0 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.4.0 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.4.0 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.4.0 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.4.0 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.3.2-amzn-1 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.2-amzn-1 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.2-amzn-1 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.2-amzn-1 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.2-amzn-1 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.2-amzn-1 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.2-amzn-1 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 4.1.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| livy-server | 0.4.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 1.0.0 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 9.1.85 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 4.3.0 | Oozie 명령줄 클라이언트. |
| oozie-server | 4.3.0 | Oozie 워크플로 요청을 수락하는 서비스. |
| phoenix-library | 4.13.0-HBase-1.4 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.13.0-HBase-1.4 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.188 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.188 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| spark-client | 2.2.1 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.2.1 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.2.1 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.2.1 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.6 | Apache Sqoop 명령줄 클라이언트. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.7.3 | 대화형 데이터 분석이 가능한 웹 기반 노트북. |
| zookeeper-server | 3.4.10 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.10 | ZooKeeper 명령줄 클라이언트. |
## 5.12.0 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.12.0 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. |
| livy-env | Livy 환경에서 값을 변경합니다. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-env | Pig 환경에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-redshift | Presto redshift.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.11.4
## 5.11.4 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.11.4 | emr-5.11.3 | emr-5.11.2 | emr-5.11.1 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.238 | 1.11.238 | 1.11.238 | 1.11.238 |
| Python | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.3.2 | 1.3.2 | 1.3.2 | 1.3.2 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 |
| HCatalog | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 |
| Hadoop | 2.7.3-amzn-6 | 2.7.3-amzn-6 | 2.7.3-amzn-6 | 2.7.3-amzn-6 |
| Hive | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 4.0.1 | 4.0.1 | 4.0.1 | 4.0.1 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating |
| MXNet | 0.12.0 | 0.12.0 | 0.12.0 | 0.12.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.187 | 0.187 | 0.187 | 0.187 |
| Spark | 2.2.1 | 2.2.1 | 2.2.1 | 2.2.1 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## 5.11.4 릴리스 정보
Amazon S3에 대한 요청에 AWS 서명 버전 4 인증을 추가하는 패치 릴리스입니다. 모든 애플리케이션 및 구성 요소는 이전 Amazon EMR 릴리스와 동일합니다.
**중요**
이 릴리스 버전에서 Amazon EMR은 AWS 서명 버전 4만 사용하여 Amazon S3에 대한 요청을 인증합니다. 자세한 내용은 [새 소식](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html)을 참조하십시오.
## 5.11.4 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.0 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.5.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터. |
| emr-goodies | 2.4.0 | 편리한 하둡 에코시스템용 추가 라이브러리. |
| emr-kinesis | 3.4.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.8.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emrfs | 2.20.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.3.2 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션입니다. |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.7.3-amzn-6 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.7.3-amzn-6 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.7.3-amzn-6 | HDFS 명령줄 클라이언트 및 라이브러리. |
| hadoop-hdfs-namenode | 2.7.3-amzn-6 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.7.3-amzn-6 | HDFS 작업에 대한 HTTP 엔드포인트. |
| hadoop-kms-server | 2.7.3-amzn-6 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버. |
| hadoop-mapred | 2.7.3-amzn-6 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리. |
| hadoop-yarn-nodemanager | 2.7.3-amzn-6 | 개별 노드의 컨테이너를 관리하는 YARN 서비스. |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-6 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스. |
| hadoop-yarn-timeline-server | 2.7.3-amzn-6 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스. |
| hbase-hmaster | 1.3.1 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스. |
| hbase-region-server | 1.3.1 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스. |
| hbase-client | 1.3.1 | HBase 명령줄 클라이언트. |
| hbase-rest-server | 1.3.1 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스. |
| hbase-thrift-server | 1.3.1 | HBase에 Thrift 엔드포인트를 제공하는 서비스. |
| hcatalog-client | 2.3.2-amzn-0 | hcatalog-server에 대하 작업을 수행하기 위한 'hcat' 명령줄 클라이언트. |
| hcatalog-server | 2.3.2-amzn-0 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.2-amzn-0 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.2-amzn-0 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.2-amzn-0 | Hive-hbase client. |
| hive-metastore-server | 2.3.2-amzn-0 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.2-amzn-0 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스. |
| hue-server | 4.0.1 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| livy-server | 0.4.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 0.12.0 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 9.0.176 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 4.3.0 | Oozie 명령줄 클라이언트. |
| oozie-server | 4.3.0 | Oozie 워크플로 요청을 수락하는 서비스. |
| phoenix-library | 4.11.0-HBase-1.3 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.11.0-HBase-1.3 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.187 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.187 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| spark-client | 2.2.1 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.2.1 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.2.1 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.2.1 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.6 | Apache Sqoop 명령줄 클라이언트. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.7.3 | 대화형 데이터 분석이 가능한 웹 기반 노트북. |
| zookeeper-server | 3.4.10 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.10 | ZooKeeper 명령줄 클라이언트. |
## 5.11.4 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.11.4 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. |
| livy-env | Livy 환경에서 값을 변경합니다. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.11.3
## 5.11.3 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.11.3 | emr-5.11.2 | emr-5.11.1 | emr-5.11.0 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.238 | 1.11.238 | 1.11.238 | 1.11.238 |
| Python | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.3.2 | 1.3.2 | 1.3.2 | 1.3.2 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 |
| HCatalog | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 |
| Hadoop | 2.7.3-amzn-6 | 2.7.3-amzn-6 | 2.7.3-amzn-6 | 2.7.3-amzn-6 |
| Hive | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 4.0.1 | 4.0.1 | 4.0.1 | 4.0.1 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating |
| MXNet | 0.12.0 | 0.12.0 | 0.12.0 | 0.12.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.187 | 0.187 | 0.187 | 0.187 |
| Spark | 2.2.1 | 2.2.1 | 2.2.1 | 2.2.1 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## 5.11.3 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.11.3에 대한 정보가 포함됩니다. 변경 사항은 5.11.2에 관련됩니다.
최초 릴리스 날짜: 2019년 7월 18일
**변경 사항, 향상된 기능 및 해결된 문제**
+ TCP SACK 서비스 거부 문제([AWS-2019-005](https://aws.amazon.com/security/security-bulletins/AWS-2019-005/))를 비롯한 중요한 Linux 커널 보안 업데이트를 포함하도록 Amazon EMR의 기본 Amazon Linux AMI를 업데이트했습니다.
## 5.11.3 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.0 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.5.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터. |
| emr-goodies | 2.4.0 | 편리한 하둡 에코시스템용 추가 라이브러리. |
| emr-kinesis | 3.4.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.8.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emrfs | 2.20.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.3.2 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션입니다. |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.7.3-amzn-6 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.7.3-amzn-6 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.7.3-amzn-6 | HDFS 명령줄 클라이언트 및 라이브러리. |
| hadoop-hdfs-namenode | 2.7.3-amzn-6 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.7.3-amzn-6 | HDFS 작업에 대한 HTTP 엔드포인트. |
| hadoop-kms-server | 2.7.3-amzn-6 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버. |
| hadoop-mapred | 2.7.3-amzn-6 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리. |
| hadoop-yarn-nodemanager | 2.7.3-amzn-6 | 개별 노드의 컨테이너를 관리하는 YARN 서비스. |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-6 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스. |
| hadoop-yarn-timeline-server | 2.7.3-amzn-6 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스. |
| hbase-hmaster | 1.3.1 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스. |
| hbase-region-server | 1.3.1 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스. |
| hbase-client | 1.3.1 | HBase 명령줄 클라이언트. |
| hbase-rest-server | 1.3.1 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스. |
| hbase-thrift-server | 1.3.1 | HBase에 Thrift 엔드포인트를 제공하는 서비스. |
| hcatalog-client | 2.3.2-amzn-0 | hcatalog-server에 대하 작업을 수행하기 위한 'hcat' 명령줄 클라이언트. |
| hcatalog-server | 2.3.2-amzn-0 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.2-amzn-0 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.2-amzn-0 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.2-amzn-0 | Hive-hbase client. |
| hive-metastore-server | 2.3.2-amzn-0 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.2-amzn-0 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스. |
| hue-server | 4.0.1 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| livy-server | 0.4.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 0.12.0 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 9.0.176 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 4.3.0 | Oozie 명령줄 클라이언트. |
| oozie-server | 4.3.0 | Oozie 워크플로 요청을 수락하는 서비스. |
| phoenix-library | 4.11.0-HBase-1.3 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.11.0-HBase-1.3 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.187 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.187 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| spark-client | 2.2.1 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.2.1 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.2.1 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.2.1 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.6 | Apache Sqoop 명령줄 클라이언트. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.7.3 | 대화형 데이터 분석이 가능한 웹 기반 노트북. |
| zookeeper-server | 3.4.10 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.10 | ZooKeeper 명령줄 클라이언트. |
## 5.11.3 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.11.3 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. |
| livy-env | Livy 환경에서 값을 변경합니다. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.11.2
## 5.11.2 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.11.2 | emr-5.11.1 | emr-5.11.0 | emr-5.10.1 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.238 | 1.11.238 | 1.11.238 | 1.11.221 |
| Python | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.3.2 | 1.3.2 | 1.3.2 | 1.3.2 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 |
| HCatalog | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.1-amzn-0 |
| Hadoop | 2.7.3-amzn-6 | 2.7.3-amzn-6 | 2.7.3-amzn-6 | 2.7.3-amzn-5 |
| Hive | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.1-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 4.0.1 | 4.0.1 | 4.0.1 | 4.0.1 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating |
| MXNet | 0.12.0 | 0.12.0 | 0.12.0 | 0.12.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.187 | 0.187 | 0.187 | 0.187 |
| Spark | 2.2.1 | 2.2.1 | 2.2.1 | 2.2.0 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## 5.11.2 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.11.2에 대한 정보가 포함됩니다. 변경 사항은 5.11.1에 관련됩니다.
최초 릴리스 날짜: 2018년 8월 29일
**변경 사항, 향상된 기능 및 해결된 문제**
+ 이 릴리스는 잠재적인 보안 취약점을 해결합니다.
## 5.11.2 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.0 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.5.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터. |
| emr-goodies | 2.4.0 | 편리한 하둡 에코시스템용 추가 라이브러리. |
| emr-kinesis | 3.4.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.8.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emrfs | 2.20.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.3.2 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션입니다. |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.7.3-amzn-6 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.7.3-amzn-6 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.7.3-amzn-6 | HDFS 명령줄 클라이언트 및 라이브러리. |
| hadoop-hdfs-namenode | 2.7.3-amzn-6 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.7.3-amzn-6 | HDFS 작업에 대한 HTTP 엔드포인트. |
| hadoop-kms-server | 2.7.3-amzn-6 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버. |
| hadoop-mapred | 2.7.3-amzn-6 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리. |
| hadoop-yarn-nodemanager | 2.7.3-amzn-6 | 개별 노드의 컨테이너를 관리하는 YARN 서비스. |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-6 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스. |
| hadoop-yarn-timeline-server | 2.7.3-amzn-6 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스. |
| hbase-hmaster | 1.3.1 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스. |
| hbase-region-server | 1.3.1 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스. |
| hbase-client | 1.3.1 | HBase 명령줄 클라이언트. |
| hbase-rest-server | 1.3.1 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스. |
| hbase-thrift-server | 1.3.1 | HBase에 Thrift 엔드포인트를 제공하는 서비스. |
| hcatalog-client | 2.3.2-amzn-0 | hcatalog-server에 대하 작업을 수행하기 위한 'hcat' 명령줄 클라이언트. |
| hcatalog-server | 2.3.2-amzn-0 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.2-amzn-0 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.2-amzn-0 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.2-amzn-0 | Hive-hbase client. |
| hive-metastore-server | 2.3.2-amzn-0 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.2-amzn-0 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스. |
| hue-server | 4.0.1 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| livy-server | 0.4.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 0.12.0 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 9.0.176 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 4.3.0 | Oozie 명령줄 클라이언트. |
| oozie-server | 4.3.0 | Oozie 워크플로 요청을 수락하는 서비스. |
| phoenix-library | 4.11.0-HBase-1.3 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.11.0-HBase-1.3 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.187 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.187 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| spark-client | 2.2.1 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.2.1 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.2.1 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.2.1 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.6 | Apache Sqoop 명령줄 클라이언트. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.7.3 | 대화형 데이터 분석이 가능한 웹 기반 노트북. |
| zookeeper-server | 3.4.10 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.10 | ZooKeeper 명령줄 클라이언트. |
## 5.11.2 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.11.2 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. |
| livy-env | Livy 환경에서 값을 변경합니다. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.11.1
## 5.11.1 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.11.1 | emr-5.11.0 | emr-5.10.1 | emr-5.10.0 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.238 | 1.11.238 | 1.11.221 | 1.11.221 |
| Python | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.3.2 | 1.3.2 | 1.3.2 | 1.3.2 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 |
| HCatalog | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.1-amzn-0 | 2.3.1-amzn-0 |
| Hadoop | 2.7.3-amzn-6 | 2.7.3-amzn-6 | 2.7.3-amzn-5 | 2.7.3-amzn-5 |
| Hive | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.1-amzn-0 | 2.3.1-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 4.0.1 | 4.0.1 | 4.0.1 | 4.0.1 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating |
| MXNet | 0.12.0 | 0.12.0 | 0.12.0 | 0.12.0 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.187 | 0.187 | 0.187 | 0.187 |
| Spark | 2.2.1 | 2.2.1 | 2.2.0 | 2.2.0 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## 5.11.1 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.11.1에 대한 정보가 포함됩니다. 변경 사항은 Amazon EMR 5.8.0 릴리스에 관련됩니다.
최초 릴리스 날짜: 2018년 1월 22일
**변경 사항, 향상된 기능 및 해결된 문제**
+ 추론적 실행과 관련된 취약성을 해결하기 위해 Amazon EMR의 기본 Amazon Linux AMI에서 Amazon Linux 커널을 업데이트했습니다(CVE-2017-5715, CVE-2017-5753, CVE-2017-5754). 자세한 내용은 [https://aws.amazon.com/security/security-bulletins/AWS-2018-013/](https://aws.amazon.com/security/security-bulletins/AWS-2018-013/) 단원을 참조하십시오.
## 5.11.1 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.0 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.5.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터. |
| emr-goodies | 2.4.0 | 편리한 하둡 에코시스템용 추가 라이브러리. |
| emr-kinesis | 3.4.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.8.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emrfs | 2.20.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.3.2 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션입니다. |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.7.3-amzn-6 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.7.3-amzn-6 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.7.3-amzn-6 | HDFS 명령줄 클라이언트 및 라이브러리. |
| hadoop-hdfs-namenode | 2.7.3-amzn-6 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.7.3-amzn-6 | HDFS 작업에 대한 HTTP 엔드포인트. |
| hadoop-kms-server | 2.7.3-amzn-6 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버. |
| hadoop-mapred | 2.7.3-amzn-6 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리. |
| hadoop-yarn-nodemanager | 2.7.3-amzn-6 | 개별 노드의 컨테이너를 관리하는 YARN 서비스. |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-6 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스. |
| hadoop-yarn-timeline-server | 2.7.3-amzn-6 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스. |
| hbase-hmaster | 1.3.1 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스. |
| hbase-region-server | 1.3.1 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스. |
| hbase-client | 1.3.1 | HBase 명령줄 클라이언트. |
| hbase-rest-server | 1.3.1 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스. |
| hbase-thrift-server | 1.3.1 | HBase에 Thrift 엔드포인트를 제공하는 서비스. |
| hcatalog-client | 2.3.2-amzn-0 | hcatalog-server에 대하 작업을 수행하기 위한 'hcat' 명령줄 클라이언트. |
| hcatalog-server | 2.3.2-amzn-0 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.2-amzn-0 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.2-amzn-0 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.2-amzn-0 | Hive-hbase client. |
| hive-metastore-server | 2.3.2-amzn-0 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.2-amzn-0 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스. |
| hue-server | 4.0.1 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| livy-server | 0.4.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 0.12.0 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 9.0.176 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 4.3.0 | Oozie 명령줄 클라이언트. |
| oozie-server | 4.3.0 | Oozie 워크플로 요청을 수락하는 서비스. |
| phoenix-library | 4.11.0-HBase-1.3 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.11.0-HBase-1.3 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.187 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.187 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| spark-client | 2.2.1 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.2.1 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.2.1 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.2.1 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.6 | Apache Sqoop 명령줄 클라이언트. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.7.3 | 대화형 데이터 분석이 가능한 웹 기반 노트북. |
| zookeeper-server | 3.4.10 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.10 | ZooKeeper 명령줄 클라이언트. |
## 5.11.1 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.11.1 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. |
| livy-env | Livy 환경에서 값을 변경합니다. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.11.0
## 5.11.0 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.11.0 | emr-5.10.1 | emr-5.10.0 | emr-5.9.1 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.238 | 1.11.221 | 1.11.221 | 1.11.183 |
| Python | 2.7, 3.4 | 2.7, 3.4 | 2.7, 3.4 | 추적되지 않음 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.3.2 | 1.3.2 | 1.3.2 | 1.3.2 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 |
| HCatalog | 2.3.2-amzn-0 | 2.3.1-amzn-0 | 2.3.1-amzn-0 | 2.3.0-amzn-0 |
| Hadoop | 2.7.3-amzn-6 | 2.7.3-amzn-5 | 2.7.3-amzn-5 | 2.7.3-amzn-4 |
| Hive | 2.3.2-amzn-0 | 2.3.1-amzn-0 | 2.3.1-amzn-0 | 2.3.0-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 4.0.1 | 4.0.1 | 4.0.1 | 4.0.1 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating |
| MXNet | 0.12.0 | 0.12.0 | 0.12.0 | - |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.187 | 0.187 | 0.187 | 0.184 |
| Spark | 2.2.1 | 2.2.0 | 2.2.0 | 2.2.0 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.2 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## 5.11.0 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.11.0에 대한 정보가 포함됩니다. 변경 사항은 5.10.0에 관련됩니다.
**업그레이드**
+ Hive 2.3.2
+ Spark 2.2.1
+ SDK for Java 1.11.238
**새로운 기능**
+ Spark
+ 스팟 인스턴스 사용 시 Spark 폐기를 개선하는 `spark.decommissioning.timeout.threshold` 설정이 추가되었습니다. 자세한 내용은 [노드 서비스 해제 동작 구성](emr-spark-configure.md#spark-decommissioning) 단원을 참조하십시오.
+ Amazon SageMaker Spark 및 [Amazon SageMaker](https://aws.amazon.com/sagemaker/)와 Spark의 통합을 위한 관련 종속 항목을 설치하는 `aws-sagemaker-spark-sdk` 구성 요소가 Spark에 추가되었습니다. Amazon SageMaker Spark를 사용하면 Amazon SageMaker 단계를 사용하여 Spark 기계 학습(ML) 파이프라인을 생성할 수 있습니다. 자세한 내용은 GitHub의 [SageMaker Spark Readme](https://github.com/aws/sagemaker-spark/blob/master/README.md)와 [Amazon SageMaker 개발자 안내서](https://docs.aws.amazon.com/sagemaker/latest/dg/apache-spark.html)의 *Amazon SageMaker와 함께 Apache Spark 사용*을 참조하세요.
**알려진 문제**
+ MXNet에는 OpenCV 라이브러리가 포함되어 있지 않습니다.
+ Hive 2.3.2에서는 기본적으로 `hive.compute.query.using.stats=true`를 설정합니다. 따라서 쿼리에서는 데이터를 직접 가져오지 않고 기존 통계에서 데이터를 가져오므로 혼동될 수 있습니다. 예를 들어, `hive.compute.query.using.stats=true`인 테이블이 있을 때 새 파일을 `LOCATION` 테이블에 업로드하고 테이블에서 `SELECT COUNT(*)` 쿼리를 실행하면 추가된 행이 선택되지 않고 통계에 있는 수치가 반환됩니다.
차선책으로 `ANALYZE TABLE` 명령을 사용하여 새 통계를 수집하거나 `hive.compute.query.using.stats=false`를 설정합니다. 자세한 내용은 Apache Hive 설명서의 [Statistics in Hive](https://cwiki.apache.org/confluence/display/Hive/StatsDev#StatsDev-StatisticsinHive)를 참조하십시오.
## 5.11.0 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.0 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.5.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터. |
| emr-goodies | 2.4.0 | 편리한 하둡 에코시스템용 추가 라이브러리. |
| emr-kinesis | 3.4.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.8.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emrfs | 2.20.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.3.2 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션입니다. |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.7.3-amzn-6 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.7.3-amzn-6 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.7.3-amzn-6 | HDFS 명령줄 클라이언트 및 라이브러리. |
| hadoop-hdfs-namenode | 2.7.3-amzn-6 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.7.3-amzn-6 | HDFS 작업에 대한 HTTP 엔드포인트. |
| hadoop-kms-server | 2.7.3-amzn-6 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버. |
| hadoop-mapred | 2.7.3-amzn-6 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리. |
| hadoop-yarn-nodemanager | 2.7.3-amzn-6 | 개별 노드의 컨테이너를 관리하는 YARN 서비스. |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-6 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스. |
| hadoop-yarn-timeline-server | 2.7.3-amzn-6 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스. |
| hbase-hmaster | 1.3.1 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스. |
| hbase-region-server | 1.3.1 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스. |
| hbase-client | 1.3.1 | HBase 명령줄 클라이언트. |
| hbase-rest-server | 1.3.1 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스. |
| hbase-thrift-server | 1.3.1 | HBase에 Thrift 엔드포인트를 제공하는 서비스. |
| hcatalog-client | 2.3.2-amzn-0 | hcatalog-server에 대하 작업을 수행하기 위한 'hcat' 명령줄 클라이언트. |
| hcatalog-server | 2.3.2-amzn-0 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.2-amzn-0 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.2-amzn-0 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.2-amzn-0 | Hive-hbase client. |
| hive-metastore-server | 2.3.2-amzn-0 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.2-amzn-0 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스. |
| hue-server | 4.0.1 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| livy-server | 0.4.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 0.12.0 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 9.0.176 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 4.3.0 | Oozie 명령줄 클라이언트. |
| oozie-server | 4.3.0 | Oozie 워크플로 요청을 수락하는 서비스. |
| phoenix-library | 4.11.0-HBase-1.3 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.11.0-HBase-1.3 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.187 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.187 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| spark-client | 2.2.1 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.2.1 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.2.1 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.2.1 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.6 | Apache Sqoop 명령줄 클라이언트. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.7.3 | 대화형 데이터 분석이 가능한 웹 기반 노트북. |
| zookeeper-server | 3.4.10 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.10 | ZooKeeper 명령줄 클라이언트. |
## 5.11.0 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.11.0 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. |
| livy-env | Livy 환경에서 값을 변경합니다. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.10.1
## 5.10.1 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.10.1 | emr-5.10.0 | emr-5.9.1 | emr-5.9.0 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.221 | 1.11.221 | 1.11.183 | 1.11.183 |
| Python | 2.7, 3.4 | 2.7, 3.4 | 추적되지 않음 | 추적되지 않음 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.3.2 | 1.3.2 | 1.3.2 | 1.3.2 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 |
| HCatalog | 2.3.1-amzn-0 | 2.3.1-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 |
| Hadoop | 2.7.3-amzn-5 | 2.7.3-amzn-5 | 2.7.3-amzn-4 | 2.7.3-amzn-4 |
| Hive | 2.3.1-amzn-0 | 2.3.1-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 4.0.1 | 4.0.1 | 4.0.1 | 4.0.1 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating |
| MXNet | 0.12.0 | 0.12.0 | - | - |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.187 | 0.187 | 0.184 | 0.184 |
| Spark | 2.2.0 | 2.2.0 | 2.2.0 | 2.2.0 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.2 | 0.7.2 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## 5.10.1 릴리스 정보
Amazon S3에 대한 요청에 AWS 서명 버전 4 인증을 추가하는 패치 릴리스입니다. 모든 애플리케이션 및 구성 요소는 이전 Amazon EMR 릴리스와 동일합니다.
**중요**
이 릴리스 버전에서 Amazon EMR은 AWS 서명 버전 4만 사용하여 Amazon S3에 대한 요청을 인증합니다. 자세한 내용은 [새 소식](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html)을 참조하십시오.
## 5.10.1 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| emr-ddb | 4.5.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터. |
| emr-goodies | 2.4.0 | 편리한 하둡 에코시스템용 추가 라이브러리. |
| emr-kinesis | 3.4.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.7.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emrfs | 2.20.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.3.2 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션입니다. |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.7.3-amzn-5 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트. |
| hadoop-hdfs-datanode | 2.7.3-amzn-5 | 블록을 저장하는 HDFS 노드 수준 서비스. |
| hadoop-hdfs-library | 2.7.3-amzn-5 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.7.3-amzn-5 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스. |
| hadoop-httpfs-server | 2.7.3-amzn-5 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.7.3-amzn-5 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.7.3-amzn-5 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.7.3-amzn-5 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-5 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.7.3-amzn-5 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.3.1 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스. |
| hbase-region-server | 1.3.1 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스. |
| hbase-client | 1.3.1 | HBase 명령줄 클라이언트. |
| hbase-rest-server | 1.3.1 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스. |
| hbase-thrift-server | 1.3.1 | HBase에 Thrift 엔드포인트를 제공하는 서비스. |
| hcatalog-client | 2.3.1-amzn-0 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.1-amzn-0 | 분산 애플리케이션용 스토리지 관리 계층 및 테이블, HCatalog를 제공하는 서비스. |
| hcatalog-webhcat-server | 2.3.1-amzn-0 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트. |
| hive-client | 2.3.1-amzn-0 | Hive 명령줄 클라이언트. |
| hive-hbase | 2.3.1-amzn-0 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.1-amzn-0 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스. |
| hive-server2 | 2.3.1-amzn-0 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 4.0.1 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| livy-server | 0.4.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 0.12.0 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 9.0.176 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 4.3.0 | Oozie 명령줄 클라이언트. |
| oozie-server | 4.3.0 | Oozie 워크플로 요청을 수락하는 서비스. |
| phoenix-library | 4.11.0-HBase-1.3 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.11.0-HBase-1.3 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.187 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.187 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| spark-client | 2.2.0 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.2.0 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.2.0 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.2.0 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.6 | Apache Sqoop 명령줄 클라이언트. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.7.3 | 대화형 데이터 분석이 가능한 웹 기반 노트북. |
| zookeeper-server | 3.4.10 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.10 | ZooKeeper 명령줄 클라이언트. |
## 5.10.1 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.10.1 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. |
| livy-env | Livy 환경에서 값을 변경합니다. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.10.0
## 5.10.0 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.10.0 | emr-5.9.1 | emr-5.9.0 | emr-5.8.3 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.221 | 1.11.183 | 1.11.183 | 1.11.160 |
| Python | 2.7, 3.4 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.3.2 | 1.3.2 | 1.3.2 | 1.3.1 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 |
| HCatalog | 2.3.1-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 |
| Hadoop | 2.7.3-amzn-5 | 2.7.3-amzn-4 | 2.7.3-amzn-4 | 2.7.3-amzn-3 |
| Hive | 2.3.1-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 4.0.1 | 4.0.1 | 4.0.1 | 3.12.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | - |
| MXNet | 0.12.0 | - | - | - |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.16.0-amzn-1 |
| Presto | 0.187 | 0.184 | 0.184 | 0.170 |
| Spark | 2.2.0 | 2.2.0 | 2.2.0 | 2.2.0 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.3 | 0.7.2 | 0.7.2 | 0.7.2 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## 5.10.0 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.10.0에 대한 정보가 포함됩니다. 변경 사항은 Amazon EMR 5.9.0 릴리스에 관련됩니다.
**업그레이드**
+ AWS SDK for Java 1.11.221
+ Hive 2.3.1
+ Presto 0.187
**새로운 기능**
+ Kerberos 인증에 대한 지원이 추가되었습니다. 자세한 내용은 *Amazon EMR 관리 안내서*에서 [Kerberos 인증 사용](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-kerberos.html)을 참조하세요.
+ EMRFS의 IAM 역할에 대한 지원이 추가되었습니다. 자세한 내용은 *Amazon EMR 관리 안내서*에서 [Amazon S3에 대한 EMRFS 요청을 위해 IAM 역할 구성](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-emrfs-iam-role.html)을 참조하세요.
+ GPU 기반의 P2 및 P3 인스턴스 유형에 대한 지원을 추가했습니다. 자세한 내용은 [Amazon EC2 P2 인스턴스](https://aws.amazon.com/ec2/instance-types/p2/) 및 [Amazon EC2 P3 인스턴스](https://aws.amazon.com/ec2/instance-types/p3/)를 참조하세요. 기본적으로 이러한 유형의 인스턴스에 NVIDIA 드라이버 384.81 및 CUDA 드라이버 9.0.176가 설치됩니다.
+ [Apache MXNet](emr-mxnet.md) 지원이 추가되었습니다.
**변경 사항, 향상된 기능 및 해결된 문제**
+ Presto
+ Glue 데이터 카탈로그를 기본 Hive AWS 메타스토어로 사용하기 위한 지원이 추가되었습니다. 자세한 내용은 [AWS Glue 데이터 카탈로그에서 Presto 사용을](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-presto.html#emr-presto-glue) 참조하세요.
+ [지리 공간 함수](https://prestodb.io/docs/current/functions/geospatial.html)에 대한 지원이 추가되었습니다.
+ 조인의 [디스크로 유출](https://prestodb.io/docs/current/admin/spill.html)에 대한 지원이 추가되었습니다.
+ [Redshift 커넥터](https://prestodb.io/docs/current/connector/redshift.html)에 대한 지원이 추가되었습니다.
+ Spark
+ [SPARK-20640](https://issues.apache.org/jira/browse/SPARK-20640)을 백포트했습니다. 이를 통해 `spark.shuffle.registration.timeout` 및 `spark.shuffle.registration.maxAttempts` 속성을 사용하여 셔플 등록에 대한 제시도와 rpc 제한 시간을 구성할 수 있습니다.
+ 사용자 지정 OutputFormat를 비 HDFS 위치에 기록할 때 발생하는 오류를 교정하는 [SPARK-21549](https://issues.apache.org/jira/browse/SPARK-21549)를 백포트했습니다.
+ [하둡-13270](https://issues.apache.org/jira/browse/HADOOP-13270)을 백포트했습니다.
+ Numpy, Scipy 및 Matplotlib 라이브러리가 기본 Amazon EMR AMI에서 제거되었습니다. 애플리케이션에서 이러한 라이브러리가 필요한 경우, 애플리케이션 리포지토리에서 라이브러리를 사용할 수 있기 때문에 부트스트랩 작업 시 `yum install`을 사용하여 모든 노드에 라이브러리를 설치할 수 있습니다.
+ Amazon EMR 기본 AMI는 더 이상 애플리케이션 RPM 패키지를 포함하고 있지 않기 때문에 RPM 패키지가 더 이상 클러스터 노드에 존재하지 않습니다. 이제 사용자 지정 AMI 및 Amazon EMR 기본 AMI는 Amazon S3에서 RPM 패키지 리포지토리를 참조합니다.
+ Amazon EC2에 초당 요금이 도입됨에 따라 이제 기본 **스케일 다운 동작**은 **인스턴스 시간에 종료**가 아닌 **작업 완료 시 종료**입니다. 자세한 내용은 [클러스터 축소 구성](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-scaledown-behavior.html)을 참조하세요.
**알려진 문제**
+ MXNet에는 OpenCV 라이브러리가 포함되어 있지 않습니다.
+ Hive 2.3.1에서는 기본적으로 `hive.compute.query.using.stats=true`를 설정합니다. 따라서 쿼리에서는 데이터를 직접 가져오지 않고 기존 통계에서 데이터를 가져오므로 혼동될 수 있습니다. 예를 들어, `hive.compute.query.using.stats=true`인 테이블이 있을 때 새 파일을 `LOCATION` 테이블에 업로드하고 테이블에서 `SELECT COUNT(*)` 쿼리를 실행하면 추가된 행이 선택되지 않고 통계에 있는 수치가 반환됩니다.
차선책으로 `ANALYZE TABLE` 명령을 사용하여 새 통계를 수집하거나 `hive.compute.query.using.stats=false`를 설정합니다. 자세한 내용은 Apache Hive 설명서의 [Statistics in Hive](https://cwiki.apache.org/confluence/display/Hive/StatsDev#StatsDev-StatisticsinHive)를 참조하십시오.
## 5.10.0 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| emr-ddb | 4.5.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터. |
| emr-goodies | 2.4.0 | 편리한 하둡 에코시스템용 추가 라이브러리. |
| emr-kinesis | 3.4.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.7.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emrfs | 2.20.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.3.2 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션입니다. |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.7.3-amzn-5 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트. |
| hadoop-hdfs-datanode | 2.7.3-amzn-5 | 블록을 저장하는 HDFS 노드 수준 서비스. |
| hadoop-hdfs-library | 2.7.3-amzn-5 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.7.3-amzn-5 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스. |
| hadoop-httpfs-server | 2.7.3-amzn-5 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.7.3-amzn-5 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.7.3-amzn-5 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.7.3-amzn-5 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-5 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.7.3-amzn-5 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.3.1 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스. |
| hbase-region-server | 1.3.1 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스. |
| hbase-client | 1.3.1 | HBase 명령줄 클라이언트. |
| hbase-rest-server | 1.3.1 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스. |
| hbase-thrift-server | 1.3.1 | HBase에 Thrift 엔드포인트를 제공하는 서비스. |
| hcatalog-client | 2.3.1-amzn-0 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.1-amzn-0 | 분산 애플리케이션용 스토리지 관리 계층 및 테이블, HCatalog를 제공하는 서비스. |
| hcatalog-webhcat-server | 2.3.1-amzn-0 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트. |
| hive-client | 2.3.1-amzn-0 | Hive 명령줄 클라이언트. |
| hive-hbase | 2.3.1-amzn-0 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.1-amzn-0 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스. |
| hive-server2 | 2.3.1-amzn-0 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 4.0.1 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| livy-server | 0.4.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 0.12.0 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 9.0.176 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 4.3.0 | Oozie 명령줄 클라이언트. |
| oozie-server | 4.3.0 | Oozie 워크플로 요청을 수락하는 서비스. |
| phoenix-library | 4.11.0-HBase-1.3 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.11.0-HBase-1.3 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.187 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.187 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| spark-client | 2.2.0 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.2.0 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.2.0 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.2.0 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.6 | Apache Sqoop 명령줄 클라이언트. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.7.3 | 대화형 데이터 분석이 가능한 웹 기반 노트북. |
| zookeeper-server | 3.4.10 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.10 | ZooKeeper 명령줄 클라이언트. |
## 5.10.0 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.10.0 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. |
| livy-env | Livy 환경에서 값을 변경합니다. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.9.1
## 5.9.1 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.9.1 | emr-5.9.0 | emr-5.8.3 | emr-5.8.2 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.183 | 1.11.183 | 1.11.160 | 1.11.160 |
| Python | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.3.2 | 1.3.2 | 1.3.1 | 1.3.1 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 |
| HCatalog | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 |
| Hadoop | 2.7.3-amzn-4 | 2.7.3-amzn-4 | 2.7.3-amzn-3 | 2.7.3-amzn-3 |
| Hive | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 4.0.1 | 4.0.1 | 3.12.0 | 3.12.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | 0.4.0-incubating | 0.4.0-incubating | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 |
| Pig | 0.17.0 | 0.17.0 | 0.16.0-amzn-1 | 0.16.0-amzn-1 |
| Presto | 0.184 | 0.184 | 0.170 | 0.170 |
| Spark | 2.2.0 | 2.2.0 | 2.2.0 | 2.2.0 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.2 | 0.7.2 | 0.7.2 | 0.7.2 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## 5.9.1 릴리스 정보
Amazon S3에 대한 요청에 AWS 서명 버전 4 인증을 추가하는 패치 릴리스입니다. 모든 애플리케이션 및 구성 요소는 이전 Amazon EMR 릴리스와 동일합니다.
**중요**
이 릴리스 버전에서 Amazon EMR은 AWS 서명 버전 4만 사용하여 Amazon S3에 대한 요청을 인증합니다. 자세한 내용은 [새 소식](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html)을 참조하십시오.
## 5.9.1 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| emr-ddb | 4.4.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.4.0 | 편리한 하둡 에코시스템용 추가 라이브러리. |
| emr-kinesis | 3.4.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.7.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emrfs | 2.19.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.3.2 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션입니다. |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.7.3-amzn-4 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.7.3-amzn-4 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.7.3-amzn-4 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.7.3-amzn-4 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.7.3-amzn-4 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.7.3-amzn-4 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.7.3-amzn-4 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.7.3-amzn-4 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-4 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.7.3-amzn-4 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.3.1 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스. |
| hbase-region-server | 1.3.1 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스. |
| hbase-client | 1.3.1 | HBase 명령줄 클라이언트. |
| hbase-rest-server | 1.3.1 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스. |
| hbase-thrift-server | 1.3.1 | HBase에 Thrift 엔드포인트를 제공하는 서비스. |
| hcatalog-client | 2.3.0-amzn-0 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.0-amzn-0 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.0-amzn-0 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.0-amzn-0 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.0-amzn-0 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.0-amzn-0 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.0-amzn-0 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 4.0.1 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| livy-server | 0.4.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| oozie-client | 4.3.0 | Oozie 명령줄 클라이언트. |
| oozie-server | 4.3.0 | Oozie 워크플로 요청을 수락하는 서비스. |
| phoenix-library | 4.11.0-HBase-1.3 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.11.0-HBase-1.3 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.184 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.184 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| spark-client | 2.2.0 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.2.0 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.2.0 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.2.0 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.6 | Apache Sqoop 명령줄 클라이언트. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.7.2 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.10 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.10 | ZooKeeper 명령줄 클라이언트. |
## 5.9.1 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.9.1 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. |
| livy-env | Livy 환경에서 값을 변경합니다. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.9.0
## 5.9.0 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.9.0 | emr-5.8.3 | emr-5.8.2 | emr-5.8.1 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.183 | 1.11.160 | 1.11.160 | 1.11.160 |
| Python | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.3.2 | 1.3.1 | 1.3.1 | 1.3.1 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 |
| HCatalog | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 |
| Hadoop | 2.7.3-amzn-4 | 2.7.3-amzn-3 | 2.7.3-amzn-3 | 2.7.3-amzn-3 |
| Hive | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 4.0.1 | 3.12.0 | 3.12.0 | 3.12.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | 0.4.0-incubating | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 |
| Pig | 0.17.0 | 0.16.0-amzn-1 | 0.16.0-amzn-1 | 0.16.0-amzn-1 |
| Presto | 0.184 | 0.170 | 0.170 | 0.170 |
| Spark | 2.2.0 | 2.2.0 | 2.2.0 | 2.2.0 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.2 | 0.7.2 | 0.7.2 | 0.7.2 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## 5.9.0 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.9.0에 대한 정보가 포함됩니다. 변경 사항은 Amazon EMR 5.8.0 릴리스에 관련됩니다.
릴리스 날짜: 2017년 10월 5일
최근 기능 업데이트: 2017년 10월 12일
**업그레이드**
+ AWS SDK for Java 버전 1.11.183
+ Flink 1.3.2
+ Hue 4.0.1
+ Pig 0.17.0
+ Presto 0.184
**새로운 기능**
+ Livy 지원이 추가되었습니다(버전 0.4.0-incubating). 자세한 내용은 [Apache Livy](emr-livy.md) 단원을 참조하십시오.
+ Spark용 Hue Notebook에 대한 지원이 추가되었습니다.
+ i3 시리즈 Amazon EC2 인스턴스에 대한 지원이 추가되었습니다(2017년 10월 12일).
**변경 사항, 향상된 기능 및 해결된 문제**
+ Spark
+ Spark가 수동 크기 조절 또는 자동 조정 정책 요청으로 인한 노드 종료를 보다 원활하게 처리할 수 있도록 도움을 주는 새로운 기능 세트를 추가했습니다. 자세한 내용은 [노드 서비스 해제 동작 구성](emr-spark-configure.md#spark-decommissioning) 단원을 참조하십시오.
+ SSL은 블록 전송 서비스의 전송 중 암호화 시 3DES를 대신해 사용되며, AES-NI와 함께 Amazon EC2 인스턴스 유형을 사용할 때 성능을 개선합니다.
+ [SPARK-21494](https://issues.apache.org/jira/browse/SPARK-21494)를 백포트했습니다.
+ Zeppelin
+ [ZEPPELIN-2377](https://issues.apache.org/jira/browse/ZEPPELIN-2377)을 백포트했습니다.
+ HBase
+ [HBase-18533](https://issues.apache.org/jira/browse/HBASE-18533) 패치를 추가했습니다. 이 패치는 `hbase-site` 구성 분류를 사용하여 HBase BucketCache 구성을 위한 추가적인 값들을 허용합니다.
+ Hue
+ Hue의 Hive 쿼리 편집기에 대한 AWS Glue 데이터 카탈로그 지원이 추가되었습니다.
+ 기본적으로 Hue의 수퍼유저는 Amazon EMR IAM 역할에서 액세스할 수 있는 모든 파일에 액세스할 수 있습니다. 새로 생성된 사용자에게는 Amazon S3 파일 브라우저에 액세스할 수 있는 권한이 자동으로 부여되지 않기 때문에 사용자의 그룹에 대해 활성화된 `filebrowser.s3_access` 권한이 있어야 합니다.
+ AWS Glue 데이터 카탈로그를 사용하여 생성된 기본 JSON 데이터에 액세스할 수 없는 문제를 해결했습니다.
**알려진 문제**
+ 모든 애플리케이션을 설치하고 기본 Amazon EBS 루트 볼륨 크기를 변경하지 않은 상태에서 클러스터가 시작되지 않습니다. 해결 방법으로의 `aws emr create-cluster` 명령을 사용하고 더 큰 `--ebs-root-volume-size` 파라미터를 AWS CLI 지정합니다.
+ Hive 2.3.0에서는 기본적으로 `hive.compute.query.using.stats=true`를 설정합니다. 따라서 쿼리에서는 데이터를 직접 가져오지 않고 기존 통계에서 데이터를 가져오므로 혼동될 수 있습니다. 예를 들어, `hive.compute.query.using.stats=true`인 테이블이 있을 때 새 파일을 `LOCATION` 테이블에 업로드하고 테이블에서 `SELECT COUNT(*)` 쿼리를 실행하면 추가된 행이 선택되지 않고 통계에 있는 수치가 반환됩니다.
차선책으로 `ANALYZE TABLE` 명령을 사용하여 새 통계를 수집하거나 `hive.compute.query.using.stats=false`를 설정합니다. 자세한 내용은 Apache Hive 설명서의 [Statistics in Hive](https://cwiki.apache.org/confluence/display/Hive/StatsDev#StatsDev-StatisticsinHive)를 참조하십시오.
## 5.9.0 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| emr-ddb | 4.4.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.4.0 | 편리한 하둡 에코시스템용 추가 라이브러리. |
| emr-kinesis | 3.4.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.7.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emrfs | 2.19.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.3.2 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션입니다. |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.7.3-amzn-4 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.7.3-amzn-4 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.7.3-amzn-4 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.7.3-amzn-4 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.7.3-amzn-4 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.7.3-amzn-4 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.7.3-amzn-4 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.7.3-amzn-4 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-4 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.7.3-amzn-4 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.3.1 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스. |
| hbase-region-server | 1.3.1 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스. |
| hbase-client | 1.3.1 | HBase 명령줄 클라이언트. |
| hbase-rest-server | 1.3.1 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스. |
| hbase-thrift-server | 1.3.1 | HBase에 Thrift 엔드포인트를 제공하는 서비스. |
| hcatalog-client | 2.3.0-amzn-0 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.0-amzn-0 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.0-amzn-0 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.0-amzn-0 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.0-amzn-0 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.0-amzn-0 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.0-amzn-0 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 4.0.1 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| livy-server | 0.4.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| oozie-client | 4.3.0 | Oozie 명령줄 클라이언트. |
| oozie-server | 4.3.0 | Oozie 워크플로 요청을 수락하는 서비스. |
| phoenix-library | 4.11.0-HBase-1.3 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.11.0-HBase-1.3 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.184 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.184 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| spark-client | 2.2.0 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.2.0 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.2.0 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.2.0 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.6 | Apache Sqoop 명령줄 클라이언트. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.7.2 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.10 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.10 | ZooKeeper 명령줄 클라이언트. |
## 5.9.0 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.9.0 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. |
| livy-env | Livy 환경에서 값을 변경합니다. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.8.3
## 5.8.3 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.8.3 | emr-5.8.2 | emr-5.8.1 | emr-5.8.0 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.160 | 1.11.160 | 1.11.160 | 1.11.160 |
| Python | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 |
| HCatalog | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 |
| Hadoop | 2.7.3-amzn-3 | 2.7.3-amzn-3 | 2.7.3-amzn-3 | 2.7.3-amzn-3 |
| Hive | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 |
| Pig | 0.16.0-amzn-1 | 0.16.0-amzn-1 | 0.16.0-amzn-1 | 0.16.0-amzn-1 |
| Presto | 0.170 | 0.170 | 0.170 | 0.170 |
| Spark | 2.2.0 | 2.2.0 | 2.2.0 | 2.2.0 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.2 | 0.7.2 | 0.7.2 | 0.7.2 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## 5.8.3 릴리스 정보
Amazon S3에 대한 요청에 AWS 서명 버전 4 인증을 추가하는 패치 릴리스입니다. 모든 애플리케이션 및 구성 요소는 이전 Amazon EMR 릴리스와 동일합니다.
**중요**
이 릴리스 버전에서 Amazon EMR은 AWS 서명 버전 4만 사용하여 Amazon S3에 대한 요청을 인증합니다. 자세한 내용은 [새 소식](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html)을 참조하십시오.
## 5.8.3 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| emr-ddb | 4.4.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.4.0 | 편리한 하둡 에코시스템용 추가 라이브러리. |
| emr-kinesis | 3.4.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.6.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emrfs | 2.18.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.3.1 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.7.3-amzn-3 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.7.3-amzn-3 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.7.3-amzn-3 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.7.3-amzn-3 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.7.3-amzn-3 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.7.3-amzn-3 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.7.3-amzn-3 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.7.3-amzn-3 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-3 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.7.3-amzn-3 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.3.1 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스. |
| hbase-region-server | 1.3.1 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스. |
| hbase-client | 1.3.1 | HBase 명령줄 클라이언트. |
| hbase-rest-server | 1.3.1 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스. |
| hbase-thrift-server | 1.3.1 | HBase에 Thrift 엔드포인트를 제공하는 서비스. |
| hcatalog-client | 2.3.0-amzn-0 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.0-amzn-0 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.0-amzn-0 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.0-amzn-0 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.0-amzn-0 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.0-amzn-0 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.0-amzn-0 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 3.12.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| oozie-client | 4.3.0 | Oozie 명령줄 클라이언트. |
| oozie-server | 4.3.0 | Oozie 워크플로 요청을 수락하는 서비스. |
| phoenix-library | 4.11.0-HBase-1.3 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.11.0-HBase-1.3 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.170 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.170 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.16.0-amzn-1 | Pig 명령줄 클라이언트. |
| spark-client | 2.2.0 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.2.0 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.2.0 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.2.0 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.6 | Apache Sqoop 명령줄 클라이언트. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.7.2 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.10 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.10 | ZooKeeper 명령줄 클라이언트. |
## 5.8.3 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.8.3 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.8.2
## 5.8.2 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.8.2 | emr-5.8.1 | emr-5.8.0 | emr-5.7.1 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.160 | 1.11.160 | 1.11.160 | 1.10.75 |
| Python | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 |
| HCatalog | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.1.1-amzn-0 |
| Hadoop | 2.7.3-amzn-3 | 2.7.3-amzn-3 | 2.7.3-amzn-3 | 2.7.3-amzn-2 |
| Hive | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.1.1-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 |
| Pig | 0.16.0-amzn-1 | 0.16.0-amzn-1 | 0.16.0-amzn-1 | 0.16.0-amzn-0 |
| Presto | 0.170 | 0.170 | 0.170 | 0.170 |
| Spark | 2.2.0 | 2.2.0 | 2.2.0 | 2.1.1 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.2 | 0.7.2 | 0.7.2 | 0.7.2 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## 5.8.2 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.8.2에 대한 정보가 포함됩니다. 변경 사항은 5.8.1에 관련됩니다.
최초 릴리스 날짜: 2018년 3월 29일
**변경 사항, 향상된 기능 및 해결된 문제**
+ 잠재적인 취약성을 해결하기 위해 Amazon EMR에 대한 기본 Amazon Linux AMI의 Amazon Linux 커널을 업데이트했습니다.
## 5.8.2 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| emr-ddb | 4.4.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.4.0 | 편리한 하둡 에코시스템용 추가 라이브러리. |
| emr-kinesis | 3.4.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.6.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emrfs | 2.18.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.3.1 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.7.3-amzn-3 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.7.3-amzn-3 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.7.3-amzn-3 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.7.3-amzn-3 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.7.3-amzn-3 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.7.3-amzn-3 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.7.3-amzn-3 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.7.3-amzn-3 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-3 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.7.3-amzn-3 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.3.1 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스. |
| hbase-region-server | 1.3.1 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스. |
| hbase-client | 1.3.1 | HBase 명령줄 클라이언트. |
| hbase-rest-server | 1.3.1 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스. |
| hbase-thrift-server | 1.3.1 | HBase에 Thrift 엔드포인트를 제공하는 서비스. |
| hcatalog-client | 2.3.0-amzn-0 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.0-amzn-0 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.0-amzn-0 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.0-amzn-0 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.0-amzn-0 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.0-amzn-0 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.0-amzn-0 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 3.12.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| oozie-client | 4.3.0 | Oozie 명령줄 클라이언트. |
| oozie-server | 4.3.0 | Oozie 워크플로 요청을 수락하는 서비스. |
| phoenix-library | 4.11.0-HBase-1.3 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.11.0-HBase-1.3 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.170 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.170 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.16.0-amzn-1 | Pig 명령줄 클라이언트. |
| spark-client | 2.2.0 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.2.0 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.2.0 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.2.0 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.6 | Apache Sqoop 명령줄 클라이언트. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.7.2 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.10 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.10 | ZooKeeper 명령줄 클라이언트. |
## 5.8.2 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.8.2 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.8.1
## 5.8.1 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.8.1 | emr-5.8.0 | emr-5.7.1 | emr-5.7.0 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.160 | 1.11.160 | 1.10.75 | 1.10.75 |
| Python | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.3.1 | 1.3.1 | 1.3.0 | 1.3.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 |
| HCatalog | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 |
| Hadoop | 2.7.3-amzn-3 | 2.7.3-amzn-3 | 2.7.3-amzn-2 | 2.7.3-amzn-2 |
| Hive | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 |
| Pig | 0.16.0-amzn-1 | 0.16.0-amzn-1 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.170 | 0.170 | 0.170 | 0.170 |
| Spark | 2.2.0 | 2.2.0 | 2.1.1 | 2.1.1 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.2 | 0.7.2 | 0.7.2 | 0.7.2 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## 5.8.1 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.8.1에 대한 정보가 포함됩니다. 변경 사항은 Amazon EMR 5.8.0 릴리스에 관련됩니다.
최초 릴리스 날짜: 2018년 1월 22일
**변경 사항, 향상된 기능 및 해결된 문제**
+ 추론적 실행과 관련된 취약성을 해결하기 위해 Amazon EMR의 기본 Amazon Linux AMI에서 Amazon Linux 커널을 업데이트했습니다(CVE-2017-5715, CVE-2017-5753, CVE-2017-5754). 자세한 내용은 [https://aws.amazon.com/security/security-bulletins/AWS-2018-013/](https://aws.amazon.com/security/security-bulletins/AWS-2018-013/) 단원을 참조하십시오.
## 5.8.1 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| emr-ddb | 4.4.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.4.0 | 편리한 하둡 에코시스템용 추가 라이브러리. |
| emr-kinesis | 3.4.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.6.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emrfs | 2.18.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.3.1 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.7.3-amzn-3 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.7.3-amzn-3 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.7.3-amzn-3 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.7.3-amzn-3 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.7.3-amzn-3 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.7.3-amzn-3 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.7.3-amzn-3 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.7.3-amzn-3 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-3 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.7.3-amzn-3 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.3.1 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스. |
| hbase-region-server | 1.3.1 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스. |
| hbase-client | 1.3.1 | HBase 명령줄 클라이언트. |
| hbase-rest-server | 1.3.1 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스. |
| hbase-thrift-server | 1.3.1 | HBase에 Thrift 엔드포인트를 제공하는 서비스. |
| hcatalog-client | 2.3.0-amzn-0 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.0-amzn-0 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.0-amzn-0 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.0-amzn-0 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.0-amzn-0 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.0-amzn-0 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.0-amzn-0 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 3.12.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| oozie-client | 4.3.0 | Oozie 명령줄 클라이언트. |
| oozie-server | 4.3.0 | Oozie 워크플로 요청을 수락하는 서비스. |
| phoenix-library | 4.11.0-HBase-1.3 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.11.0-HBase-1.3 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.170 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.170 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.16.0-amzn-1 | Pig 명령줄 클라이언트. |
| spark-client | 2.2.0 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.2.0 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.2.0 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.2.0 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.6 | Apache Sqoop 명령줄 클라이언트. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.7.2 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.10 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.10 | ZooKeeper 명령줄 클라이언트. |
## 5.8.1 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.8.1 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.8.0
## 5.8.0 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.8.0 | emr-5.7.1 | emr-5.7.0 | emr-5.6.1 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.160 | 1.10.75 | 1.10.75 | 1.10.75 |
| Python | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.3.1 | 1.3.0 | 1.3.0 | 1.2.1 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.0 |
| HCatalog | 2.3.0-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 |
| Hadoop | 2.7.3-amzn-3 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 |
| Hive | 2.3.0-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 | 4.9.0-HBase-1.2 |
| Pig | 0.16.0-amzn-1 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.170 | 0.170 | 0.170 | 0.170 |
| Spark | 2.2.0 | 2.1.1 | 2.1.1 | 2.1.1 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.2 | 0.7.2 | 0.7.2 | 0.7.1 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## 5.8.0 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.8.0에 대한 정보가 포함됩니다. 변경 사항은 Amazon EMR 5.7.0 릴리스에 관련됩니다.
최초 릴리스 날짜: 2017년 8월 10일
최근 기능 업데이트: 2017년 9월 25일
**업그레이드**
+ AWS SDK 1.11.160
+ Flink 1.3.1
+ Hive 2.3.0 자세한 내용은 Apache Hive 사이트의 [릴리스 정보](https://issues.apache.org/jira/secure/ConfigureReleaseNote.jspa?projectId=12310843&version=12340269)를 참조하세요.
+ Spark 2.2.0 자세한 내용은 Apache Spark 사이트의 [릴리스 정보](https://spark.apache.org/releases/spark-release-2-2-0.html)를 참조하세요.
**새로운 기능**
+ 애플리케이션 이력 보기 지원이 추가되었습니다(2017년 9월 25일). 자세한 내용은 *Amazon EMR 관리 안내서*에서 [애플리케이션 기록 보기](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-cluster-application-history.html)를 참조하세요.
**변경 사항, 향상된 기능 및 해결된 문제**
+ ** AWS Glue 데이터 카탈로그와 통합**
+ Hive 및 Spark SQL이 AWS Glue 데이터 카탈로그를 Hive 메타데이터 스토어로 사용할 수 있는 기능이 추가되었습니다. 자세한 내용은 [Glue 데이터 카탈로그를 Hive의 AWS 메타스토어로 사용](emr-hive-metastore-glue.md) 및 [Amazon EMR에서 Spark와 함께 AWS Glue 데이터 카탈로그 사용](emr-spark-glue.md) 섹션을 참조하세요.
+ YARN 애플리케이션에 대한 기록 데이터 및 Spark 애플리케이션에 대한 추가 세부 정보를 볼 수 있는 클러스터 정보에 **애플리케이션 이력**을 추가했습니다. 자세한 내용은 *Amazon EMR 관리 안내서*에서 [애플리케이션 기록 보기](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-cluster-application-history.html)를 참조하세요.
+ **Oozie**
+ [OOZIE-2748](https://issues.apache.org/jira/browse/OOZIE-2748)을 백포트했습니다.
+ **Hue**
+ [HUE-5859](https://issues.cloudera.org/browse/HUE-5859)를 백포트했습니다
+ **HBase**
+ `getMasterInitializedTime`을 사용하여 JMX(Java Management Extensions)를 통해 HBase 마스터 서버 시작 시간을 공개하도록 패치를 추가했습니다.
+ 클러스터 시작 시간을 개선하는 패치를 추가했습니다.
**알려진 문제**
+ 모든 애플리케이션을 설치하고 기본 Amazon EBS 루트 볼륨 크기를 변경하지 않은 상태에서 클러스터가 시작되지 않습니다. 해결 방법으로의 `aws emr create-cluster` 명령을 사용하고 더 큰 `--ebs-root-volume-size` 파라미터를 AWS CLI 지정합니다.
+ Hive 2.3.0에서는 기본적으로 `hive.compute.query.using.stats=true`를 설정합니다. 따라서 쿼리에서는 데이터를 직접 가져오지 않고 기존 통계에서 데이터를 가져오므로 혼동될 수 있습니다. 예를 들어, `hive.compute.query.using.stats=true`인 테이블이 있을 때 새 파일을 `LOCATION` 테이블에 업로드하고 테이블에서 `SELECT COUNT(*)` 쿼리를 실행하면 추가된 행이 선택되지 않고 통계에 있는 수치가 반환됩니다.
차선책으로 `ANALYZE TABLE` 명령을 사용하여 새 통계를 수집하거나 `hive.compute.query.using.stats=false`를 설정합니다. 자세한 내용은 Apache Hive 설명서의 [Statistics in Hive](https://cwiki.apache.org/confluence/display/Hive/StatsDev#StatsDev-StatisticsinHive)를 참조하십시오.
+ **Spark** - Spark를 사용할 때, apppusher 대몬(daemon)과 관련된 파일 핸들러 유출 문제가 있습니다. 이는 몇 시간 또는 며칠 후에 장시간 실행되는 Spark 작업에 나타날 수 있습니다. 이 문제를 해결하려면 프라이머리 노드에 연결하고 `sudo /etc/init.d/apppusher stop`을 입력합니다. 이렇게 하면 apppusher 대몬(daemon)이 중단되며 Amazon EMR이 이를 자동으로 다시 시작합니다.
+ **애플리케이션 이력**
+ 작동 중단 Spark 실행기의 기록 데이터는 사용할 수 없습니다.
+ 진행 중인 암호화를 사용하기 위해 보안 구성을 사용하는 클러스터에서는 애플리케이션 이력을 사용할 수 없습니다.
## 5.8.0 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| emr-ddb | 4.4.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.4.0 | 편리한 하둡 에코시스템용 추가 라이브러리. |
| emr-kinesis | 3.4.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.6.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emrfs | 2.18.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.3.1 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.7.3-amzn-3 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.7.3-amzn-3 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.7.3-amzn-3 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.7.3-amzn-3 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.7.3-amzn-3 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.7.3-amzn-3 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.7.3-amzn-3 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.7.3-amzn-3 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-3 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.7.3-amzn-3 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.3.1 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스. |
| hbase-region-server | 1.3.1 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스. |
| hbase-client | 1.3.1 | HBase 명령줄 클라이언트. |
| hbase-rest-server | 1.3.1 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스. |
| hbase-thrift-server | 1.3.1 | HBase에 Thrift 엔드포인트를 제공하는 서비스. |
| hcatalog-client | 2.3.0-amzn-0 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.0-amzn-0 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.0-amzn-0 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.0-amzn-0 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.0-amzn-0 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.0-amzn-0 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.0-amzn-0 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 3.12.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| oozie-client | 4.3.0 | Oozie 명령줄 클라이언트. |
| oozie-server | 4.3.0 | Oozie 워크플로 요청을 수락하는 서비스. |
| phoenix-library | 4.11.0-HBase-1.3 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.11.0-HBase-1.3 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.170 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.170 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.16.0-amzn-1 | Pig 명령줄 클라이언트. |
| spark-client | 2.2.0 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.2.0 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.2.0 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.2.0 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.6 | Apache Sqoop 명령줄 클라이언트. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.7.2 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.10 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.10 | ZooKeeper 명령줄 클라이언트. |
## 5.8.0 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.8.0 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.7.1
## 5.7.1 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.7.1 | emr-5.7.0 | emr-5.6.1 | emr-5.6.0 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 |
| Python | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.3.0 | 1.3.0 | 1.2.1 | 1.2.1 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.3.1 | 1.3.1 | 1.3.0 | 1.3.0 |
| HCatalog | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 |
| Hadoop | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 |
| Hive | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.11.0-HBase-1.3 | 4.11.0-HBase-1.3 | 4.9.0-HBase-1.2 | 4.9.0-HBase-1.2 |
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.170 | 0.170 | 0.170 | 0.170 |
| Spark | 2.1.1 | 2.1.1 | 2.1.1 | 2.1.1 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.2 | 0.7.2 | 0.7.1 | 0.7.1 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## 5.7.1 릴리스 정보
Amazon S3에 대한 요청에 AWS 서명 버전 4 인증을 추가하는 패치 릴리스입니다. 모든 애플리케이션 및 구성 요소는 이전 Amazon EMR 릴리스와 동일합니다.
**중요**
이 릴리스 버전에서 Amazon EMR은 AWS 서명 버전 4만 사용하여 Amazon S3에 대한 요청을 인증합니다. 자세한 내용은 [새 소식](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html)을 참조하십시오.
## 5.7.1 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| emr-ddb | 4.3.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.3.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.3.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.5.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emrfs | 2.18.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.3.0 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.7.3-amzn-2 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.7.3-amzn-2 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.7.3-amzn-2 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.7.3-amzn-2 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.7.3-amzn-2 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.7.3-amzn-2 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.7.3-amzn-2 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.7.3-amzn-2 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-2 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.7.3-amzn-2 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.3.1 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스. |
| hbase-region-server | 1.3.1 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스. |
| hbase-client | 1.3.1 | HBase 명령줄 클라이언트. |
| hbase-rest-server | 1.3.1 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스. |
| hbase-thrift-server | 1.3.1 | HBase에 Thrift 엔드포인트를 제공하는 서비스. |
| hcatalog-client | 2.1.1-amzn-0 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.1.1-amzn-0 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.1.1-amzn-0 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.1.1-amzn-0 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.1.1-amzn-0 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.1.1-amzn-0 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.1.1-amzn-0 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 3.12.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| oozie-client | 4.3.0 | Oozie 명령줄 클라이언트. |
| oozie-server | 4.3.0 | Oozie 워크플로 요청을 수락하는 서비스. |
| phoenix-library | 4.11.0-HBase-1.3 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.11.0-HBase-1.3 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.170 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.170 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.16.0-amzn-0 | Pig 명령줄 클라이언트. |
| spark-client | 2.1.1 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.1.1 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.1.1 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.1.1 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.6 | Apache Sqoop 명령줄 클라이언트. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.7.2 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.10 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.10 | ZooKeeper 명령줄 클라이언트. |
## 5.7.1 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.7.1 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.7.0
## 5.7.0 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.7.0 | emr-5.6.1 | emr-5.6.0 | emr-5.5.4 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 |
| Python | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.3.0 | 1.2.1 | 1.2.1 | 1.2.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.3.1 | 1.3.0 | 1.3.0 | 1.3.0 |
| HCatalog | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 |
| Hadoop | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 |
| Hive | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.12.2 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.11.0-HBase-1.3 | 4.9.0-HBase-1.2 | 4.9.0-HBase-1.2 | 4.9.0-HBase-1.2 |
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.170 | 0.170 | 0.170 | 0.170 |
| Spark | 2.1.1 | 2.1.1 | 2.1.1 | 2.1.0 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.2 | 0.7.1 | 0.7.1 | 0.7.1 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## 5.7.0 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.7.0에 대한 정보가 포함됩니다. 변경 사항은 Amazon EMR 5.6.0 릴리스에 관련됩니다.
릴리스 날짜: 2017년 7월 13일
**업그레이드**
+ Flink 1.3.0
+ Phoenix 4.11.0
+ Zeppelin 0.7.2
**새로운 기능**
+ 클러스터를 생성할 때 사용자 지정 Amazon Linux AMI를 지정하는 기능을 추가했습니다. 자세한 내용은 [사용자 지정 AMI 사용](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-custom-ami.html)을 참조하십시오.
**변경 사항, 향상된 기능 및 해결된 문제**
+ **HBase**
+ HBase 읽기 전용 복제본 클러스터를 구성하는 기능을 추가했습니다. [읽기 전용 복제본 클러스터 사용](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hbase-s3.html#emr-hbase-s3-read-replica)을 참조하세요.
+ 다양한 버그 수정 사항 및 기능 향상
+ **Presto** - `node.properties` 구성 기능을 추가했습니다.
+ **YARN** - `container-log4j.properties` 구성 기능을 추가했습니다.
+ **Sqoop** - [SQOOP-2880](https://issues.apache.org/jira/browse/SQOOP-2880)을 백포트하여 Sqoop 임시 디렉터리를 설정할 수 있는 인수를 도입했습니다.
## 5.7.0 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| emr-ddb | 4.3.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.3.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.3.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.5.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emrfs | 2.18.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.3.0 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.7.3-amzn-2 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.7.3-amzn-2 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.7.3-amzn-2 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.7.3-amzn-2 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.7.3-amzn-2 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.7.3-amzn-2 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.7.3-amzn-2 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.7.3-amzn-2 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-2 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.7.3-amzn-2 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.3.1 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스. |
| hbase-region-server | 1.3.1 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스. |
| hbase-client | 1.3.1 | HBase 명령줄 클라이언트. |
| hbase-rest-server | 1.3.1 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스. |
| hbase-thrift-server | 1.3.1 | HBase에 Thrift 엔드포인트를 제공하는 서비스. |
| hcatalog-client | 2.1.1-amzn-0 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.1.1-amzn-0 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.1.1-amzn-0 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.1.1-amzn-0 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.1.1-amzn-0 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.1.1-amzn-0 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.1.1-amzn-0 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 3.12.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| oozie-client | 4.3.0 | Oozie 명령줄 클라이언트. |
| oozie-server | 4.3.0 | Oozie 워크플로 요청을 수락하는 서비스. |
| phoenix-library | 4.11.0-HBase-1.3 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.11.0-HBase-1.3 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.170 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.170 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.16.0-amzn-0 | Pig 명령줄 클라이언트. |
| spark-client | 2.1.1 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.1.1 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.1.1 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.1.1 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.6 | Apache Sqoop 명령줄 클라이언트. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.7.2 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.10 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.10 | ZooKeeper 명령줄 클라이언트. |
## 5.7.0 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.7.0 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.6.1
## 5.6.1 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.6.1 | emr-5.6.0 | emr-5.5.4 | emr-5.5.3 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 |
| Python | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.2.1 | 1.2.1 | 1.2.0 | 1.2.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.3.0 | 1.3.0 | 1.3.0 | 1.3.0 |
| HCatalog | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 |
| Hadoop | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 |
| Hive | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.13.0 | 0.13.0 | 0.12.2 | 0.12.2 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.9.0-HBase-1.2 | 4.9.0-HBase-1.2 | 4.9.0-HBase-1.2 | 4.9.0-HBase-1.2 |
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.170 | 0.170 | 0.170 | 0.170 |
| Spark | 2.1.1 | 2.1.1 | 2.1.0 | 2.1.0 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.1 | 0.7.1 | 0.7.1 | 0.7.1 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## 5.6.1 릴리스 정보
Amazon S3에 대한 요청에 AWS 서명 버전 4 인증을 추가하는 패치 릴리스입니다. 모든 애플리케이션 및 구성 요소는 이전 Amazon EMR 릴리스와 동일합니다.
**중요**
이 릴리스 버전에서 Amazon EMR은 AWS 서명 버전 4만 사용하여 Amazon S3에 대한 요청을 인증합니다. 자세한 내용은 [새 소식](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html)을 참조하십시오.
## 5.6.1 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| emr-ddb | 4.3.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.3.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.3.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.5.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emrfs | 2.17.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.2.1 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.7.3-amzn-2 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.7.3-amzn-2 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.7.3-amzn-2 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.7.3-amzn-2 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.7.3-amzn-2 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.7.3-amzn-2 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.7.3-amzn-2 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.7.3-amzn-2 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-2 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.7.3-amzn-2 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.3.1 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스. |
| hbase-region-server | 1.3.1 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스. |
| hbase-client | 1.3.1 | HBase 명령줄 클라이언트. |
| hbase-rest-server | 1.3.1 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스. |
| hbase-thrift-server | 1.3.1 | HBase에 Thrift 엔드포인트를 제공하는 서비스. |
| hcatalog-client | 2.1.1-amzn-0 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.1.1-amzn-0 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.1.1-amzn-0 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.1.1-amzn-0 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.1.1-amzn-0 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.1.1-amzn-0 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.1.1-amzn-0 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 3.12.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| oozie-client | 4.3.0 | Oozie 명령줄 클라이언트. |
| oozie-server | 4.3.0 | Oozie 워크플로 요청을 수락하는 서비스. |
| phoenix-library | 4.9.0-HBase-1.2 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.9.0-HBase-1.2 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.170 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.170 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.16.0-amzn-0 | Pig 명령줄 클라이언트. |
| spark-client | 2.1.1 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.1.1 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.1.1 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.1.1 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.6 | Apache Sqoop 명령줄 클라이언트. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.7.1 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.10 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.10 | ZooKeeper 명령줄 클라이언트. |
## 5.6.1 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.6.1 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.6.0
## 5.6.0 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.6.0 | emr-5.5.4 | emr-5.5.3 | emr-5.5.2 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 |
| Python | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.2.1 | 1.2.0 | 1.2.0 | 1.2.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.3.0 | 1.3.0 | 1.3.0 | 1.3.0 |
| HCatalog | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 |
| Hadoop | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 |
| Hive | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.13.0 | 0.12.2 | 0.12.2 | 0.12.2 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.9.0-HBase-1.2 | 4.9.0-HBase-1.2 | 4.9.0-HBase-1.2 | 4.9.0-HBase-1.2 |
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.170 | 0.170 | 0.170 | 0.170 |
| Spark | 2.1.1 | 2.1.0 | 2.1.0 | 2.1.0 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.1 | 0.7.1 | 0.7.1 | 0.7.1 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## 5.6.0 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.6.0에 대한 정보가 포함됩니다. 변경 사항은 Amazon EMR 5.5.0 릴리스에 관련됩니다.
릴리스 날짜: 2017년 6월 5일
**업그레이드**
+ Flink 1.2.1
+ HBase 1.3.1
+ Mahout 0.13.0. Amazon EMR 버전 5.0 이상에서 Spark 2.x를 지원하는 첫 번째 버전의 Mahout입니다.
+ Spark 2.1.1
**변경 사항, 향상된 기능 및 해결된 문제**
+ **Presto**
+ 보안 구성에서 전송 데이터 암호화를 사용하여 Presto 노드 간 SSL/TLS 보안 통신을 활성화할 수 있는 기능이 추가되었습니다. 자세한 내용은 [전송 중인 데이터 암호화](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-data-encryption-options.html#emr-encryption-intransit)를 참조하세요.
+ [Presto 7661](https://github.com/prestodb/presto/pull/7661/commits)의 백포트와 함께 `VERBOSE` 옵션이 `EXPLAIN ANALYZE` 문에 추가되면서 쿼리 계획에 대해 더욱 자세한 저레벨 통계를 보고할 수 있게 되었습니다.
## 5.6.0 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| emr-ddb | 4.3.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.3.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.3.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.5.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emrfs | 2.17.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.2.1 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.7.3-amzn-2 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.7.3-amzn-2 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.7.3-amzn-2 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.7.3-amzn-2 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.7.3-amzn-2 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.7.3-amzn-2 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.7.3-amzn-2 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.7.3-amzn-2 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-2 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.7.3-amzn-2 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.3.1 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스. |
| hbase-region-server | 1.3.1 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스. |
| hbase-client | 1.3.1 | HBase 명령줄 클라이언트. |
| hbase-rest-server | 1.3.1 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스. |
| hbase-thrift-server | 1.3.1 | HBase에 Thrift 엔드포인트를 제공하는 서비스. |
| hcatalog-client | 2.1.1-amzn-0 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.1.1-amzn-0 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.1.1-amzn-0 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.1.1-amzn-0 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.1.1-amzn-0 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.1.1-amzn-0 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.1.1-amzn-0 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 3.12.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| oozie-client | 4.3.0 | Oozie 명령줄 클라이언트. |
| oozie-server | 4.3.0 | Oozie 워크플로 요청을 수락하는 서비스. |
| phoenix-library | 4.9.0-HBase-1.2 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.9.0-HBase-1.2 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.170 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.170 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.16.0-amzn-0 | Pig 명령줄 클라이언트. |
| spark-client | 2.1.1 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.1.1 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.1.1 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.1.1 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.6 | Apache Sqoop 명령줄 클라이언트. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.7.1 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.10 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.10 | ZooKeeper 명령줄 클라이언트. |
## 5.6.0 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.6.0 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.5.4
## 5.5.4 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.5.4 | emr-5.5.3 | emr-5.5.2 | emr-5.5.1 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 |
| Python | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.2.0 | 1.2.0 | 1.2.0 | 1.2.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.3.0 | 1.3.0 | 1.3.0 | 1.3.0 |
| HCatalog | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 |
| Hadoop | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 |
| Hive | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.9.0-HBase-1.2 | 4.9.0-HBase-1.2 | 4.9.0-HBase-1.2 | 4.9.0-HBase-1.2 |
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.170 | 0.170 | 0.170 | 0.170 |
| Spark | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.1 | 0.7.1 | 0.7.1 | 0.7.1 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## 5.5.4 릴리스 정보
Amazon S3에 대한 요청에 AWS 서명 버전 4 인증을 추가하는 패치 릴리스입니다. 모든 애플리케이션 및 구성 요소는 이전 Amazon EMR 릴리스와 동일합니다.
**중요**
이 릴리스 버전에서 Amazon EMR은 AWS 서명 버전 4만 사용하여 Amazon S3에 대한 요청을 인증합니다. 자세한 내용은 [새 소식](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html)을 참조하십시오.
## 5.5.4 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| emr-ddb | 4.3.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.3.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.3.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.5.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emrfs | 2.16.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.2.0 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.7.3-amzn-2 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.7.3-amzn-2 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.7.3-amzn-2 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.7.3-amzn-2 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.7.3-amzn-2 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.7.3-amzn-2 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.7.3-amzn-2 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.7.3-amzn-2 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-2 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.7.3-amzn-2 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.3.0 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.3.0 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.3.0 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.3.0 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.3.0 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.1.1-amzn-0 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.1.1-amzn-0 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.1.1-amzn-0 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.1.1-amzn-0 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.1.1-amzn-0 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.1.1-amzn-0 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.1.1-amzn-0 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 3.12.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| mahout-client | 0.12.2 | 머신 러닝을 위한 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| oozie-client | 4.3.0 | Oozie 명령줄 클라이언트. |
| oozie-server | 4.3.0 | Oozie 워크플로 요청을 수락하는 서비스. |
| phoenix-library | 4.9.0-HBase-1.2 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.9.0-HBase-1.2 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.170 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.170 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.16.0-amzn-0 | Pig 명령줄 클라이언트. |
| spark-client | 2.1.0 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.1.0 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.1.0 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.1.0 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.6 | Apache Sqoop 명령줄 클라이언트. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.7.1 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.10 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.10 | ZooKeeper 명령줄 클라이언트. |
## 5.5.4 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.5.4 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbaase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.5.3
## 5.5.3 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.5.3 | emr-5.5.2 | emr-5.5.1 | emr-5.5.0 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 |
| Python | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.2.0 | 1.2.0 | 1.2.0 | 1.2.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.3.0 | 1.3.0 | 1.3.0 | 1.3.0 |
| HCatalog | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 |
| Hadoop | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 |
| Hive | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.9.0-HBase-1.2 | 4.9.0-HBase-1.2 | 4.9.0-HBase-1.2 | 4.9.0-HBase-1.2 |
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.170 | 0.170 | 0.170 | 0.170 |
| Spark | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.1 | 0.7.1 | 0.7.1 | 0.7.1 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 |
## 5.5.3 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.5.3에 대한 정보가 포함됩니다. 변경 사항은 5.5.2에 관련됩니다.
최초 릴리스 날짜: 2018년 8월 29일
**변경 사항, 향상된 기능 및 해결된 문제**
+ 이 릴리스는 잠재적인 보안 취약점을 해결합니다.
## 5.5.3 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| emr-ddb | 4.3.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.3.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.3.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.5.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emrfs | 2.16.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.2.0 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.7.3-amzn-2 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.7.3-amzn-2 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.7.3-amzn-2 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.7.3-amzn-2 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.7.3-amzn-2 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.7.3-amzn-2 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.7.3-amzn-2 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.7.3-amzn-2 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-2 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.7.3-amzn-2 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.3.0 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.3.0 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.3.0 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.3.0 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.3.0 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.1.1-amzn-0 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.1.1-amzn-0 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.1.1-amzn-0 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.1.1-amzn-0 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.1.1-amzn-0 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.1.1-amzn-0 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.1.1-amzn-0 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 3.12.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| mahout-client | 0.12.2 | 머신 러닝을 위한 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| oozie-client | 4.3.0 | Oozie 명령줄 클라이언트. |
| oozie-server | 4.3.0 | Oozie 워크플로 요청을 수락하는 서비스. |
| phoenix-library | 4.9.0-HBase-1.2 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.9.0-HBase-1.2 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.170 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.170 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.16.0-amzn-0 | Pig 명령줄 클라이언트. |
| spark-client | 2.1.0 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.1.0 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.1.0 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.1.0 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.6 | Apache Sqoop 명령줄 클라이언트. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.7.1 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.10 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.10 | ZooKeeper 명령줄 클라이언트. |
## 5.5.3 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.5.3 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbaase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.5.2
## 5.5.2 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.5.2 | emr-5.5.1 | emr-5.5.0 | emr-5.4.1 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 |
| Python | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.2.0 | 1.2.0 | 1.2.0 | 1.2.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.3.0 | 1.3.0 | 1.3.0 | 1.3.0 |
| HCatalog | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 |
| Hadoop | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-1 |
| Hive | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.12.0 | 3.12.0 | 3.12.0 | 3.11.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.9.0-HBase-1.2 | 4.9.0-HBase-1.2 | 4.9.0-HBase-1.2 | 4.9.0-HBase-1.2 |
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.170 | 0.170 | 0.170 | 0.166 |
| Spark | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.1 | 0.7.1 | 0.7.1 | 0.7.0 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.9 |
## 5.5.2 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.5.2에 대한 정보가 포함됩니다. 변경 사항은 5.5.1에 관련됩니다.
최초 릴리스 날짜: 2018년 3월 29일
**변경 사항, 향상된 기능 및 해결된 문제**
+ 잠재적인 취약성을 해결하기 위해 Amazon EMR에 대한 기본 Amazon Linux AMI의 Amazon Linux 커널을 업데이트했습니다.
## 5.5.2 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| emr-ddb | 4.3.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.3.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.3.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.5.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emrfs | 2.16.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.2.0 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.7.3-amzn-2 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.7.3-amzn-2 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.7.3-amzn-2 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.7.3-amzn-2 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.7.3-amzn-2 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.7.3-amzn-2 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.7.3-amzn-2 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.7.3-amzn-2 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-2 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.7.3-amzn-2 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.3.0 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.3.0 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.3.0 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.3.0 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.3.0 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.1.1-amzn-0 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.1.1-amzn-0 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.1.1-amzn-0 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.1.1-amzn-0 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.1.1-amzn-0 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.1.1-amzn-0 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.1.1-amzn-0 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 3.12.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| mahout-client | 0.12.2 | 머신 러닝을 위한 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| oozie-client | 4.3.0 | Oozie 명령줄 클라이언트. |
| oozie-server | 4.3.0 | Oozie 워크플로 요청을 수락하는 서비스. |
| phoenix-library | 4.9.0-HBase-1.2 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.9.0-HBase-1.2 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.170 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.170 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.16.0-amzn-0 | Pig 명령줄 클라이언트. |
| spark-client | 2.1.0 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.1.0 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.1.0 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.1.0 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.6 | Apache Sqoop 명령줄 클라이언트. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.7.1 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.10 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.10 | ZooKeeper 명령줄 클라이언트. |
## 5.5.2 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.5.2 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbaase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.5.1
## 5.5.1 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.5.1 | emr-5.5.0 | emr-5.4.1 | emr-5.4.0 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 |
| Python | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.2.0 | 1.2.0 | 1.2.0 | 1.2.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.3.0 | 1.3.0 | 1.3.0 | 1.3.0 |
| HCatalog | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 |
| Hadoop | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-1 | 2.7.3-amzn-1 |
| Hive | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.12.0 | 3.12.0 | 3.11.0 | 3.11.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.9.0-HBase-1.2 | 4.9.0-HBase-1.2 | 4.9.0-HBase-1.2 | 4.9.0-HBase-1.2 |
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.170 | 0.170 | 0.166 | 0.166 |
| Spark | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.1 | 0.7.1 | 0.7.0 | 0.7.0 |
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.9 | 3.4.9 |
## 5.5.1 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.5.1에 대한 정보가 포함됩니다. 변경 사항은 Amazon EMR 5.5.0 릴리스에 관련됩니다.
최초 릴리스 날짜: 2018년 1월 22일
**변경 사항, 향상된 기능 및 해결된 문제**
+ 추론적 실행과 관련된 취약성을 해결하기 위해 Amazon EMR의 기본 Amazon Linux AMI에서 Amazon Linux 커널을 업데이트했습니다(CVE-2017-5715, CVE-2017-5753, CVE-2017-5754). 자세한 내용은 [https://aws.amazon.com/security/security-bulletins/AWS-2018-013/](https://aws.amazon.com/security/security-bulletins/AWS-2018-013/) 단원을 참조하십시오.
## 5.5.1 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| emr-ddb | 4.3.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.3.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.3.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.5.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emrfs | 2.16.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.2.0 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.7.3-amzn-2 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.7.3-amzn-2 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.7.3-amzn-2 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.7.3-amzn-2 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.7.3-amzn-2 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.7.3-amzn-2 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.7.3-amzn-2 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.7.3-amzn-2 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-2 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.7.3-amzn-2 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.3.0 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.3.0 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.3.0 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.3.0 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.3.0 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.1.1-amzn-0 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.1.1-amzn-0 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.1.1-amzn-0 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.1.1-amzn-0 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.1.1-amzn-0 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.1.1-amzn-0 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.1.1-amzn-0 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 3.12.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| mahout-client | 0.12.2 | 머신 러닝을 위한 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| oozie-client | 4.3.0 | Oozie 명령줄 클라이언트. |
| oozie-server | 4.3.0 | Oozie 워크플로 요청을 수락하는 서비스. |
| phoenix-library | 4.9.0-HBase-1.2 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.9.0-HBase-1.2 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.170 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.170 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.16.0-amzn-0 | Pig 명령줄 클라이언트. |
| spark-client | 2.1.0 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.1.0 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.1.0 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.1.0 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.6 | Apache Sqoop 명령줄 클라이언트. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.7.1 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.10 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.10 | ZooKeeper 명령줄 클라이언트. |
## 5.5.1 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.5.1 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbaase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.5.0
## 5.5.0 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.5.0 | emr-5.4.1 | emr-5.4.0 | emr-5.3.2 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 |
| Python | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.2.0 | 1.2.0 | 1.2.0 | 1.1.4 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.3.0 | 1.3.0 | 1.3.0 | 1.2.3 |
| HCatalog | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 |
| Hadoop | 2.7.3-amzn-2 | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 |
| Hive | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.12.0 | 3.11.0 | 3.11.0 | 3.11.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.9.0-HBase-1.2 | 4.9.0-HBase-1.2 | 4.9.0-HBase-1.2 | 4.7.0-HBase-1.2 |
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.170 | 0.166 | 0.166 | 0.157.1 |
| Spark | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.1 | 0.7.0 | 0.7.0 | 0.6.2 |
| ZooKeeper | 3.4.10 | 3.4.9 | 3.4.9 | 3.4.9 |
## 5.5.0 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.5.0에 대한 정보가 포함됩니다. 변경 사항은 Amazon EMR 5.4.0 릴리스에 관련됩니다.
릴리스 날짜: 2017년 4월 26일
**업그레이드**
+ Hue 3.12
+ Presto 0.170
+ Zeppelin 0.7.1
+ ZooKeeper 3.4.10
**변경 사항, 향상된 기능 및 해결된 문제**
+ **Spark**
+ 외부 셔플 서비스를 사용할 수 없을 때 손실된 셔플 블록을 모두 재계산하기 위한 Spark Patch[(SPARK-20115) Fix DAGScheduler](https://issues.apache.org/jira/browse/SPARK-20115)가 이번 릴리스에 포함되어 있는 Spark 2.1.0으로 백포트되었습니다.
+ **Flink**
+ Flink는 이제 Scala 2.11로 빌드됩니다. 따라서 Scala API 및 라이브러리를 사용하는 경우에는 프로젝트에 Scala 2.11을 사용하는 것이 좋습니다.
+ `HADOOP_CONF_DIR` 및 `YARN_CONF_DIR` 기본값이 올바로 설정되지 않아서 `start-scala-shell.sh` 작업이 중단되던 문제가 해결되었습니다. 또한 `env.hadoop.conf.dir` 또는 `env.yarn.conf.dir` 구성 분류에서 `/etc/flink/conf/flink-conf.yaml` 및 `flink-conf`을 사용하여 이 값들을 설정할 수 있는 기능도 추가되었습니다.
+ 새로운 EMR 전용 명령인 `flink-scala-shell`이 `start-scala-shell.sh` 래퍼로 도입되었습니다. 앞으로 `start-scala-shell`이 아닌 이 명령을 사용하는 것이 좋습니다. 새로운 명령은 실행이 간편합니다. 예를 들어 `flink-scala-shell -n 2`는 Flink Scala 셸을 작업 병렬 처리 2로 시작합니다.
+ 새로운 EMR 전용 명령인 `flink-yarn-session`이 `yarn-session.sh` 래퍼로 도입되었습니다. 앞으로 `yarn-session`이 아닌 이 명령을 사용하는 것이 좋습니다. 새로운 명령은 실행이 간편합니다. 예를 들어, `flink-yarn-session -d -n 2`는 연결이 끊어진 상태에서 태스크 관리자 2개를 사용하여 장기 실행 Flink 세션을 시작합니다.
+ [(FLINK-6125) 공통 httpclient가 더 이상 Flink 1.2에서 셰이딩되지 않는 문제](https://issues.apache.org/jira/browse/FLINK-6125)가 해결되었습니다.
+ **Presto**
+ LDAP 인증에 대한 지원이 추가되었습니다. 단, Amazon EMR 기반 Presto에서 LDAP를 사용하려면 Presto 코디네이터의 HTTPS 액세스를 활성화해야 합니다(`config.properties`의 `http-server.https.enabled=true`). 구성에 대한 자세한 내용은 Presto 설명서에서 [LDAP Authentication](https://prestodb.io/docs/current/security/ldap.html)을 참조하세요.
+ `SHOW GRANTS` 지원이 추가되었습니다.
+ **Amazon EMR 기본 Linux AMI**
+ Amazon EMR 릴리스는 이제 Amazon Linux 2017.03을 기반으로 합니다. 자세한 내용은 [Amazon Linux AMI 2017.03 릴리스 정보](https://aws.amazon.com/amazon-linux-ami/2017.03-release-notes/)를 참조하세요.
+ Amazon EMR 기본 Linux 이미지에서 Python 2.6을 제거했습니다. 이제는 Python 2.7 및 3.4가 기본 설치됩니다. 필요하다면 Python 2.6을 수동으로 설치할 수도 있습니다.
## 5.5.0 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| emr-ddb | 4.3.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.3.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.3.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.5.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emrfs | 2.16.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.2.0 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.7.3-amzn-2 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.7.3-amzn-2 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.7.3-amzn-2 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.7.3-amzn-2 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.7.3-amzn-2 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.7.3-amzn-2 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.7.3-amzn-2 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.7.3-amzn-2 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-2 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.7.3-amzn-2 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.3.0 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.3.0 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.3.0 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.3.0 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.3.0 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.1.1-amzn-0 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.1.1-amzn-0 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.1.1-amzn-0 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.1.1-amzn-0 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.1.1-amzn-0 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.1.1-amzn-0 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.1.1-amzn-0 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 3.12.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| mahout-client | 0.12.2 | 머신 러닝을 위한 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| oozie-client | 4.3.0 | Oozie 명령줄 클라이언트. |
| oozie-server | 4.3.0 | Oozie 워크플로 요청을 수락하는 서비스. |
| phoenix-library | 4.9.0-HBase-1.2 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.9.0-HBase-1.2 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.170 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.170 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.16.0-amzn-0 | Pig 명령줄 클라이언트. |
| spark-client | 2.1.0 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.1.0 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.1.0 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.1.0 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.6 | Apache Sqoop 명령줄 클라이언트. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.7.1 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.10 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.10 | ZooKeeper 명령줄 클라이언트. |
## 5.5.0 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.5.0 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbaase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.4.1
## 5.4.1 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.4.1 | emr-5.4.0 | emr-5.3.2 | emr-5.3.1 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 |
| Python | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.2.0 | 1.2.0 | 1.1.4 | 1.1.4 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.3.0 | 1.3.0 | 1.2.3 | 1.2.3 |
| HCatalog | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 |
| Hadoop | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 |
| Hive | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.11.0 | 3.11.0 | 3.11.0 | 3.11.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.9.0-HBase-1.2 | 4.9.0-HBase-1.2 | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 |
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.166 | 0.166 | 0.157.1 | 0.157.1 |
| Spark | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.0 | 0.7.0 | 0.6.2 | 0.6.2 |
| ZooKeeper | 3.4.9 | 3.4.9 | 3.4.9 | 3.4.9 |
## 5.4.1 릴리스 정보
Amazon S3에 대한 요청에 AWS 서명 버전 4 인증을 추가하는 패치 릴리스입니다. 모든 애플리케이션 및 구성 요소는 이전 Amazon EMR 릴리스와 동일합니다.
**중요**
이 릴리스 버전에서 Amazon EMR은 AWS 서명 버전 4만 사용하여 Amazon S3에 대한 요청을 인증합니다. 자세한 내용은 [새 소식](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html)을 참조하십시오.
## 5.4.1 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| emr-ddb | 4.2.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.3.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.2.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.4.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emrfs | 2.15.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.2.0 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.7.3-amzn-1 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.7.3-amzn-1 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.7.3-amzn-1 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.7.3-amzn-1 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.7.3-amzn-1 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.7.3-amzn-1 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.7.3-amzn-1 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.7.3-amzn-1 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-1 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.7.3-amzn-1 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.3.0 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.3.0 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.3.0 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.3.0 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.3.0 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.1.1-amzn-0 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.1.1-amzn-0 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.1.1-amzn-0 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.1.1-amzn-0 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.1.1-amzn-0 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.1.1-amzn-0 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.1.1-amzn-0 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 3.11.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| mahout-client | 0.12.2 | 머신 러닝을 위한 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| oozie-client | 4.3.0 | Oozie 명령줄 클라이언트. |
| oozie-server | 4.3.0 | Oozie 워크플로 요청을 수락하는 서비스. |
| phoenix-library | 4.9.0-HBase-1.2 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.9.0-HBase-1.2 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.166 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.166 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.16.0-amzn-0 | Pig 명령줄 클라이언트. |
| spark-client | 2.1.0 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.1.0 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.1.0 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.1.0 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.6 | Apache Sqoop 명령줄 클라이언트. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.7.0 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.9 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.9 | ZooKeeper 명령줄 클라이언트. |
## 5.4.1 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.4.1 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbaase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.4.0
## 5.4.0 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.4.0 | emr-5.3.2 | emr-5.3.1 | emr-5.3.0 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 |
| Python | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.2.0 | 1.1.4 | 1.1.4 | 1.1.4 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.3.0 | 1.2.3 | 1.2.3 | 1.2.3 |
| HCatalog | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 |
| Hadoop | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 |
| Hive | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.11.0 | 3.11.0 | 3.11.0 | 3.11.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 |
| Phoenix | 4.9.0-HBase-1.2 | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 |
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.166 | 0.157.1 | 0.157.1 | 0.157.1 |
| Spark | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.7.0 | 0.6.2 | 0.6.2 | 0.6.2 |
| ZooKeeper | 3.4.9 | 3.4.9 | 3.4.9 | 3.4.9 |
## 5.4.0 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.4.0에 대한 정보가 포함됩니다. 변경 사항은 Amazon EMR 5.3.0 릴리스에 관련됩니다.
릴리스 날짜: 2017년 3월 8일
**업그레이드**
+ Flink 1.2.0로 업그레이드
+ HBase 1.3.0으로 업그레이드
+ Phoenix 4.9.0로 업그레이드
**참고**
이전 버전의 Amazon EMR에서 Amazon EMR 버전 5.4.0 이상으로 업그레이드하고 보조 인덱싱을 사용하는 경우 [Apache Phoenix 설명서](https://phoenix.apache.org/secondary_indexing.html#Upgrading_Local_Indexes_created_before_4.8.0)에 설명된 대로 로컬 인덱스를 업그레이드합니다. Amazon EMR은 `hbase-site` 분류에서 필수 구성을 제거하지만 인덱스를 다시 채워야 합니다. 인덱스의 온라인 및 오프라인 업그레이드가 지원됩니다. 온라인 업그레이드는 기본값이므로, 버전 4.8.0 이상인 Phoenix 클라이언트에서 초기화하는 동안 인덱스가 다시 채워집니다. 오프라인 업그레이드를 지정하려면 `phoenix.client.localIndexUpgrade` 분류에서 `phoenix-site` 구성을 false로 설정한 다음, SSH를 프라이머리 노드로 설정하여 `psql [zookeeper] -1`을 실행합니다.
+ Presto 0.166로 업그레이드
+ Zeppelin 0.7.0로 업그레이드
**변경 사항 및 기능 향상**
+ r4 인스턴스에 대한 지원을 추가했습니다. [Amazon EC2 인스턴스 유형](https://aws.amazon.com/ec2/instance-types/)을 참조하세요.
## 5.4.0 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| emr-ddb | 4.2.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.3.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.2.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.4.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emrfs | 2.15.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.2.0 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.7.3-amzn-1 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.7.3-amzn-1 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.7.3-amzn-1 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.7.3-amzn-1 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.7.3-amzn-1 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.7.3-amzn-1 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.7.3-amzn-1 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.7.3-amzn-1 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-1 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.7.3-amzn-1 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.3.0 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.3.0 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.3.0 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.3.0 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.3.0 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.1.1-amzn-0 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.1.1-amzn-0 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.1.1-amzn-0 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.1.1-amzn-0 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.1.1-amzn-0 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.1.1-amzn-0 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.1.1-amzn-0 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 3.11.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| mahout-client | 0.12.2 | 머신 러닝을 위한 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| oozie-client | 4.3.0 | Oozie 명령줄 클라이언트. |
| oozie-server | 4.3.0 | Oozie 워크플로 요청을 수락하는 서비스. |
| phoenix-library | 4.9.0-HBase-1.2 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.9.0-HBase-1.2 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.166 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.166 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.16.0-amzn-0 | Pig 명령줄 클라이언트. |
| spark-client | 2.1.0 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.1.0 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.1.0 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.1.0 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.6 | Apache Sqoop 명령줄 클라이언트. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.7.0 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.9 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.9 | ZooKeeper 명령줄 클라이언트. |
## 5.4.0 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.4.0 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbaase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.3.2
## 5.3.2 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.3.2 | emr-5.3.1 | emr-5.3.0 | emr-5.2.3 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 |
| Python | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.1.4 | 1.1.4 | 1.1.4 | 1.1.3 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.2.3 | 1.2.3 | 1.2.3 | 1.2.3 |
| HCatalog | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.0-amzn-0 |
| Hadoop | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 |
| Hive | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.0-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.11.0 | 3.11.0 | 3.11.0 | 3.10.0-amzn-0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 |
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.2.0 |
| Phoenix | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 |
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.157.1 | 0.157.1 | 0.157.1 | 0.157.1 |
| Spark | 2.1.0 | 2.1.0 | 2.1.0 | 2.0.2 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.6.2 | 0.6.2 | 0.6.2 | 0.6.2 |
| ZooKeeper | 3.4.9 | 3.4.9 | 3.4.9 | 3.4.9 |
## 5.3.2 릴리스 정보
Amazon S3에 대한 요청에 AWS 서명 버전 4 인증을 추가하는 패치 릴리스입니다. 모든 애플리케이션 및 구성 요소는 이전 Amazon EMR 릴리스와 동일합니다.
**중요**
이 릴리스 버전에서 Amazon EMR은 AWS 서명 버전 4만 사용하여 Amazon S3에 대한 요청을 인증합니다. 자세한 내용은 [새 소식](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html)을 참조하십시오.
## 5.3.2 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| emr-ddb | 4.2.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.2.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.2.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.4.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emrfs | 2.14.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.1.4 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.7.3-amzn-1 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.7.3-amzn-1 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.7.3-amzn-1 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.7.3-amzn-1 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.7.3-amzn-1 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.7.3-amzn-1 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.7.3-amzn-1 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.7.3-amzn-1 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-1 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.7.3-amzn-1 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.2.3 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.2.3 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.2.3 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.2.3 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.2.3 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.1.1-amzn-0 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.1.1-amzn-0 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.1.1-amzn-0 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.1.1-amzn-0 | Hive 명령줄 클라이언트 |
| hive-metastore-server | 2.1.1-amzn-0 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server | 2.1.1-amzn-0 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 3.11.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| mahout-client | 0.12.2 | 머신 러닝을 위한 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| oozie-client | 4.3.0 | Oozie 명령줄 클라이언트. |
| oozie-server | 4.3.0 | Oozie 워크플로 요청을 수락하는 서비스. |
| phoenix-library | 4.7.0-HBase-1.2 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.7.0-HBase-1.2 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.157.1 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.157.1 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.16.0-amzn-0 | Pig 명령줄 클라이언트. |
| spark-client | 2.1.0 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.1.0 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.1.0 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.1.0 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.6 | Apache Sqoop 명령줄 클라이언트. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.6.2 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.9 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.9 | ZooKeeper 명령줄 클라이언트. |
## 5.3.2 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.3.2 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbaase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.3.1
## 5.3.1 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.3.1 | emr-5.3.0 | emr-5.2.3 | emr-5.2.2 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 |
| Python | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.1.4 | 1.1.4 | 1.1.3 | 1.1.3 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.2.3 | 1.2.3 | 1.2.3 | 1.2.3 |
| HCatalog | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 |
| Hadoop | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 |
| Hive | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.11.0 | 3.11.0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 |
| Oozie | 4.3.0 | 4.3.0 | 4.2.0 | 4.2.0 |
| Phoenix | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 |
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.157.1 | 0.157.1 | 0.157.1 | 0.157.1 |
| Spark | 2.1.0 | 2.1.0 | 2.0.2 | 2.0.2 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.6.2 | 0.6.2 | 0.6.2 | 0.6.2 |
| ZooKeeper | 3.4.9 | 3.4.9 | 3.4.9 | 3.4.9 |
## 5.3.1 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.3.1에 대한 정보가 포함됩니다. 변경 사항은 Amazon EMR 5.3.0 릴리스에 관련됩니다.
릴리스 날짜: 2017년 2월 7일
Zeppelin 패치를 백포트하고 Amazon EMR의 기본 AMI를 업데이트하는 부수적 변경 내용을 포함합니다.
## 5.3.1 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| emr-ddb | 4.2.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.2.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.2.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.4.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emrfs | 2.14.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.1.4 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.7.3-amzn-1 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.7.3-amzn-1 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.7.3-amzn-1 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.7.3-amzn-1 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.7.3-amzn-1 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.7.3-amzn-1 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.7.3-amzn-1 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.7.3-amzn-1 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-1 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.7.3-amzn-1 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.2.3 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.2.3 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.2.3 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.2.3 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.2.3 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.1.1-amzn-0 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.1.1-amzn-0 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.1.1-amzn-0 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.1.1-amzn-0 | Hive 명령줄 클라이언트 |
| hive-metastore-server | 2.1.1-amzn-0 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server | 2.1.1-amzn-0 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 3.11.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| mahout-client | 0.12.2 | 머신 러닝을 위한 라이브러리. |
| mysql-server | 5.5.54\$1 | MySQL 데이터베이스 서버. |
| oozie-client | 4.3.0 | Oozie 명령줄 클라이언트. |
| oozie-server | 4.3.0 | Oozie 워크플로 요청을 수락하는 서비스. |
| phoenix-library | 4.7.0-HBase-1.2 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.7.0-HBase-1.2 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.157.1 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.157.1 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.16.0-amzn-0 | Pig 명령줄 클라이언트. |
| spark-client | 2.1.0 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.1.0 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.1.0 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.1.0 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.6 | Apache Sqoop 명령줄 클라이언트. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.6.2 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.9 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.9 | ZooKeeper 명령줄 클라이언트. |
## 5.3.1 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.3.1 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbaase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.3.0
## 5.3.0 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.3.0 | emr-5.2.3 | emr-5.2.2 | emr-5.2.1 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 |
| Python | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.1.4 | 1.1.3 | 1.1.3 | 1.1.3 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.2.3 | 1.2.3 | 1.2.3 | 1.2.3 |
| HCatalog | 2.1.1-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 |
| Hadoop | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 |
| Hive | 2.1.1-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.11.0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 |
| Oozie | 4.3.0 | 4.2.0 | 4.2.0 | 4.2.0 |
| Phoenix | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 |
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.157.1 | 0.157.1 | 0.157.1 | 0.157.1 |
| Spark | 2.1.0 | 2.0.2 | 2.0.2 | 2.0.2 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.6.2 | 0.6.2 | 0.6.2 | 0.6.2 |
| ZooKeeper | 3.4.9 | 3.4.9 | 3.4.9 | 3.4.9 |
## 5.3.0 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.3.0에 대한 정보가 포함됩니다. 변경 사항은 Amazon EMR 5.2.1 릴리스에 관련됩니다.
릴리스 날짜: 2017년 1월 26일
**업그레이드**
+ Hive 2.1.1으로 업그레이드
+ Hue 3.11.0로 업그레이드
+ Spark 2.1.0로 업그레이드
+ Oozie 4.3.0로 업그레이드
+ Flink 1.1.4로 업그레이드
**변경 사항 및 기능 향상**
+ `interpreters_shown_on_wheel` 파일에 지정된 순서와 상관없이 `hue.ini` 설정을 사용하여 노트북 선택 휠에 첫 번째로 표시할 인터프리터를 구성할 수 있는 Hue 패치를 추가했습니다.
+ Hive의 `hive-parquet-logging` 파일에서 값을 구성하는 데 사용할 수 있는 `parquet-logging.properties` 구성 분류를 추가했습니다.
## 5.3.0 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| emr-ddb | 4.2.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.2.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.2.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.4.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emrfs | 2.14.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.1.4 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.7.3-amzn-1 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.7.3-amzn-1 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.7.3-amzn-1 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.7.3-amzn-1 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.7.3-amzn-1 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.7.3-amzn-1 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.7.3-amzn-1 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.7.3-amzn-1 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-1 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.7.3-amzn-1 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.2.3 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.2.3 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.2.3 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.2.3 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.2.3 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.1.1-amzn-0 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.1.1-amzn-0 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.1.1-amzn-0 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.1.1-amzn-0 | Hive 명령줄 클라이언트 |
| hive-metastore-server | 2.1.1-amzn-0 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server | 2.1.1-amzn-0 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 3.11.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| mahout-client | 0.12.2 | 머신 러닝을 위한 라이브러리. |
| mysql-server | 5.5.52 | MySQL 데이터베이스 서버. |
| oozie-client | 4.3.0 | Oozie 명령줄 클라이언트. |
| oozie-server | 4.3.0 | Oozie 워크플로 요청을 수락하는 서비스. |
| phoenix-library | 4.7.0-HBase-1.2 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.7.0-HBase-1.2 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.157.1 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.157.1 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.16.0-amzn-0 | Pig 명령줄 클라이언트. |
| spark-client | 2.1.0 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.1.0 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.1.0 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.1.0 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.6 | Apache Sqoop 명령줄 클라이언트. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.6.2 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.9 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.9 | ZooKeeper 명령줄 클라이언트. |
## 5.3.0 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.3.0 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbaase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.2.3
## 5.2.3 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.2.3 | emr-5.2.2 | emr-5.2.1 | emr-5.2.0 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 |
| Python | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.1.3 | 1.1.3 | 1.1.3 | 1.1.3 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.2.3 | 1.2.3 | 1.2.3 | 1.2.3 |
| HCatalog | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 |
| Hadoop | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-0 |
| Hive | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 |
| Oozie | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 |
| Phoenix | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 |
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.157.1 | 0.157.1 | 0.157.1 | 0.152.3 |
| Spark | 2.0.2 | 2.0.2 | 2.0.2 | 2.0.2 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.6.2 | 0.6.2 | 0.6.2 | 0.6.2 |
| ZooKeeper | 3.4.9 | 3.4.9 | 3.4.9 | 3.4.8 |
## 5.2.3 릴리스 정보
Amazon S3에 대한 요청에 AWS 서명 버전 4 인증을 추가하는 패치 릴리스입니다. 모든 애플리케이션 및 구성 요소는 이전 Amazon EMR 릴리스와 동일합니다.
**중요**
이 릴리스 버전에서 Amazon EMR은 AWS 서명 버전 4만 사용하여 Amazon S3에 대한 요청을 인증합니다. 자세한 내용은 [새 소식](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html)을 참조하십시오.
## 5.2.3 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| emr-ddb | 4.2.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.2.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.2.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.4.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emrfs | 2.13.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.1.3 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.7.3-amzn-1 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.7.3-amzn-1 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.7.3-amzn-1 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.7.3-amzn-1 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.7.3-amzn-1 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.7.3-amzn-1 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.7.3-amzn-1 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.7.3-amzn-1 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-1 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.7.3-amzn-1 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.2.3 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.2.3 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.2.3 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.2.3 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.2.3 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.1.0-amzn-0 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.1.0-amzn-0 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.1.0-amzn-0 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.1.0-amzn-0 | Hive 명령줄 클라이언트 |
| hive-metastore-server | 2.1.0-amzn-0 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server | 2.1.0-amzn-0 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 3.10.0-amzn-0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| mahout-client | 0.12.2 | 머신 러닝을 위한 라이브러리. |
| mysql-server | 5.5.52 | MySQL 데이터베이스 서버. |
| oozie-client | 4.2.0 | Oozie 명령줄 클라이언트 |
| oozie-server | 4.2.0 | Oozie 워크플로 요청을 수락하는 서비스 |
| phoenix-library | 4.7.0-HBase-1.2 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.7.0-HBase-1.2 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.157.1 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.157.1 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.16.0-amzn-0 | Pig 명령줄 클라이언트. |
| spark-client | 2.0.2 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.0.2 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.0.2 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.0.2 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.6 | Apache Sqoop 명령줄 클라이언트. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.23 | Apache HTTP 서버. |
| zeppelin-server | 0.6.2 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.9 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.9 | ZooKeeper 명령줄 클라이언트. |
## 5.2.3 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.2.3 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbaase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.2.2
## 5.2.2 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.2.2 | emr-5.2.1 | emr-5.2.0 | emr-5.1.1 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 |
| Python | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.1.3 | 1.1.3 | 1.1.3 | 1.1.3 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.2.3 | 1.2.3 | 1.2.3 | 1.2.3 |
| HCatalog | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 |
| Hadoop | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-0 | 2.7.3-amzn-0 |
| Hive | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 |
| Oozie | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 |
| Phoenix | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 |
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.157.1 | 0.157.1 | 0.152.3 | 0.152.3 |
| Spark | 2.0.2 | 2.0.2 | 2.0.2 | 2.0.1 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.6.2 | 0.6.2 | 0.6.2 | 0.6.2 |
| ZooKeeper | 3.4.9 | 3.4.9 | 3.4.8 | 3.4.8 |
## 5.2.2 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.2.2에 대한 정보가 포함됩니다. 변경 사항은 Amazon EMR 5.2.1 릴리스에 관련됩니다.
릴리스 날짜: 2017년 5월 2일
**이전 릴리스에서 해결된 알려진 문제**
+ [SPARK-194459](https://issues.apache.org/jira/browse/SPARK-19459)의 백포트와 함께 char/varchar 열이 포함된 ORC 테이블에서 데이터를 읽어오지 못하던 문제가 해결되었습니다.
## 5.2.2 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| emr-ddb | 4.2.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.2.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.2.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.4.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emrfs | 2.13.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.1.3 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.7.3-amzn-1 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.7.3-amzn-1 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.7.3-amzn-1 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.7.3-amzn-1 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.7.3-amzn-1 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.7.3-amzn-1 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.7.3-amzn-1 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.7.3-amzn-1 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-1 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.7.3-amzn-1 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.2.3 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.2.3 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.2.3 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.2.3 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.2.3 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.1.0-amzn-0 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.1.0-amzn-0 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.1.0-amzn-0 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.1.0-amzn-0 | Hive 명령줄 클라이언트 |
| hive-metastore-server | 2.1.0-amzn-0 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server | 2.1.0-amzn-0 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 3.10.0-amzn-0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| mahout-client | 0.12.2 | 머신 러닝을 위한 라이브러리. |
| mysql-server | 5.5.52 | MySQL 데이터베이스 서버. |
| oozie-client | 4.2.0 | Oozie 명령줄 클라이언트 |
| oozie-server | 4.2.0 | Oozie 워크플로 요청을 수락하는 서비스 |
| phoenix-library | 4.7.0-HBase-1.2 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.7.0-HBase-1.2 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.157.1 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.157.1 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.16.0-amzn-0 | Pig 명령줄 클라이언트. |
| spark-client | 2.0.2 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.0.2 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.0.2 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.0.2 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.6 | Apache Sqoop 명령줄 클라이언트. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.23 | Apache HTTP 서버. |
| zeppelin-server | 0.6.2 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.9 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.9 | ZooKeeper 명령줄 클라이언트. |
## 5.2.2 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.2.2 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbaase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.2.1
## 5.2.1 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.2.1 | emr-5.2.0 | emr-5.1.1 | emr-5.1.0 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 |
| Python | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.1.3 | 1.1.3 | 1.1.3 | 1.1.3 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.2.3 | 1.2.3 | 1.2.3 | 1.2.3 |
| HCatalog | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 |
| Hadoop | 2.7.3-amzn-1 | 2.7.3-amzn-0 | 2.7.3-amzn-0 | 2.7.3-amzn-0 |
| Hive | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 |
| Oozie | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 |
| Phoenix | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 |
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.157.1 | 0.152.3 | 0.152.3 | 0.152.3 |
| Spark | 2.0.2 | 2.0.2 | 2.0.1 | 2.0.1 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.6.2 | 0.6.2 | 0.6.2 | 0.6.2 |
| ZooKeeper | 3.4.9 | 3.4.8 | 3.4.8 | 3.4.8 |
## 5.2.1 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.2.1에 대한 정보가 포함됩니다. 변경 사항은 Amazon EMR 5.2.0 릴리스에 관련됩니다.
릴리스 날짜: 2016년 12월 29일
**업그레이드**
+ Presto 0.157.1로 업그레이드되었습니다. 자세한 내용은 Presto 설명서의 [Presto 릴리스 정보](https://prestodb.io/docs/current/release/release-0.157.1.html)를 참조하십시오.
+ Zookeeper 3.4.9로 업그레이드되었습니다. 자세한 내용은 Apache ZooKeeper 설명서의 [ZooKeeper 릴리스 정보](https://zookeeper.apache.org/doc/r3.4.9/releasenotes.html)를 참조하십시오.
**변경 사항 및 기능 향상**
+ Amazon EMR 버전 4.8.3 이상(5.0.0, 5.0.3 및 5.2.0 제외)에서 Amazon EC2 m4.16xlarge 인스턴스 유형에 대한 지원을 추가했습니다.
+ Amazon EMR 릴리스는 이제 Amazon Linux 2016.09를 기반으로 합니다. 자세한 내용은 [https://aws.amazon.com/amazon-linux-ami/2016.09-release-notes/](https://aws.amazon.com/amazon-linux-ami/2016.09-release-notes/) 단원을 참조하십시오.
+ 이제 Flink 및 YARN 구성 경로가 `/etc/default/flink`에서 기본적으로 설정되므로 `FLINK_CONF_DIR` 또는 `HADOOP_CONF_DIR` 드라이버 스크립트를 실행하여 Flink 작업을 시작할 때 환경 변수 `flink` 및 `yarn-session.sh`을 설정할 필요가 없습니다.
+ FlinkKinesisConsumer 클래스에 대한 지원을 추가했습니다.
**이전 릴리스에서 해결된 알려진 문제**
+ 대규모 클러스터에서 동일한 파일의 복제 및 삭제 간 경합 때문에 ReplicationMonitor 스레드가 장시간 정체될 수 있는 하둡 문제를 수정했습니다.
+ 작업 상태가 성공적으로 업데이트되지 않은 경우 ControlledJob\$1toString이 null 포인터 예외(NPE)와 함께 실패하는 문제를 수정했습니다.
## 5.2.1 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| emr-ddb | 4.2.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.2.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.2.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.4.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emrfs | 2.13.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.1.3 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.7.3-amzn-1 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.7.3-amzn-1 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.7.3-amzn-1 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.7.3-amzn-1 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.7.3-amzn-1 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.7.3-amzn-1 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.7.3-amzn-1 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.7.3-amzn-1 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-1 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.7.3-amzn-1 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.2.3 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.2.3 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.2.3 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.2.3 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.2.3 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.1.0-amzn-0 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.1.0-amzn-0 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.1.0-amzn-0 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.1.0-amzn-0 | Hive 명령줄 클라이언트 |
| hive-metastore-server | 2.1.0-amzn-0 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server | 2.1.0-amzn-0 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 3.10.0-amzn-0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| mahout-client | 0.12.2 | 머신 러닝을 위한 라이브러리. |
| mysql-server | 5.5.52 | MySQL 데이터베이스 서버. |
| oozie-client | 4.2.0 | Oozie 명령줄 클라이언트 |
| oozie-server | 4.2.0 | Oozie 워크플로 요청을 수락하는 서비스 |
| phoenix-library | 4.7.0-HBase-1.2 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.7.0-HBase-1.2 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.157.1 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.157.1 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.16.0-amzn-0 | Pig 명령줄 클라이언트. |
| spark-client | 2.0.2 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.0.2 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.0.2 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.0.2 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.6 | Apache Sqoop 명령줄 클라이언트. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.23 | Apache HTTP 서버. |
| zeppelin-server | 0.6.2 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.9 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.9 | ZooKeeper 명령줄 클라이언트. |
## 5.2.1 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.2.1 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbaase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.2.0
## 5.2.0 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.2.0 | emr-5.1.1 | emr-5.1.0 | emr-5.0.3 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 |
| Python | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.1.3 | 1.1.3 | 1.1.3 | - |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.2.3 | 1.2.3 | 1.2.3 | 1.2.2 |
| HCatalog | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 |
| Hadoop | 2.7.3-amzn-0 | 2.7.3-amzn-0 | 2.7.3-amzn-0 | 2.7.3-amzn-0 |
| Hive | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 |
| Oozie | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 |
| Phoenix | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 |
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.152.3 | 0.152.3 | 0.152.3 | 0.152.3 |
| Spark | 2.0.2 | 2.0.1 | 2.0.1 | 2.0.1 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.6.2 | 0.6.2 | 0.6.2 | 0.6.1 |
| ZooKeeper | 3.4.8 | 3.4.8 | 3.4.8 | 3.4.8 |
## 5.2.0 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.2.0에 대한 정보가 포함됩니다. 변경 사항은 Amazon EMR 5.1.0 릴리스에 관련됩니다.
릴리스 날짜: 2016년 11월 21일
**변경 사항 및 기능 향상**
+ HBase에 대한 Amazon S3 스토리지 모드를 추가했습니다.
+ HBase rootdir의 Amazon S3 위치를 지정할 수 있습니다. 자세한 내용은 [Amazon S3용 HBase](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hbase-s3.html)를 참조하세요.
**업그레이드**
+ Spark 2.0.2로 업그레이드
**이전 릴리스에서 해결된 알려진 문제**
+ EBS 전용 인스턴스 유형에서 /mnt가 2TB로 제약되는 문제를 수정했습니다.
+ instance-controller 및 logpusher 로그가 매시간 회전하는 정상적인 log4j-configured .log 파일 대신 해당 .out 파일로 출력되는 문제를 수정했습니다. .out 파일은 회전하지 않으므로 결국 /emr 파티션이 파일로 가득 찰 수 있습니다. 이 문제는 하드웨어 가상 머신(HVM) 인스턴스 유형에만 영향을 미칩니다.
## 5.2.0 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| emr-ddb | 4.1.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.1.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.2.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.4.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emrfs | 2.12.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.1.3 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.7.3-amzn-0 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.7.3-amzn-0 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.7.3-amzn-0 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.7.3-amzn-0 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.7.3-amzn-0 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.7.3-amzn-0 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.7.3-amzn-0 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.7.3-amzn-0 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-0 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.7.3-amzn-0 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.2.3 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.2.3 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.2.3 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.2.3 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.2.3 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.1.0-amzn-0 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.1.0-amzn-0 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.1.0-amzn-0 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.1.0-amzn-0 | Hive 명령줄 클라이언트 |
| hive-metastore-server | 2.1.0-amzn-0 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server | 2.1.0-amzn-0 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 3.10.0-amzn-0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| mahout-client | 0.12.2 | 머신 러닝을 위한 라이브러리. |
| mysql-server | 5.5.52 | MySQL 데이터베이스 서버. |
| oozie-client | 4.2.0 | Oozie 명령줄 클라이언트 |
| oozie-server | 4.2.0 | Oozie 워크플로 요청을 수락하는 서비스 |
| phoenix-library | 4.7.0-HBase-1.2 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.7.0-HBase-1.2 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.152.3 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.152.3 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.16.0-amzn-0 | Pig 명령줄 클라이언트. |
| spark-client | 2.0.2 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.0.2 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.0.2 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.0.2 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.6 | Apache Sqoop 명령줄 클라이언트. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.23 | Apache HTTP 서버. |
| zeppelin-server | 0.6.2 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.8 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.8 | ZooKeeper 명령줄 클라이언트. |
## 5.2.0 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.2.0 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbaase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.1.1
## 5.1.1 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.1.1 | emr-5.1.0 | emr-5.0.3 | emr-5.0.2 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 |
| Python | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.1.3 | 1.1.3 | - | - |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.2.3 | 1.2.3 | 1.2.2 | 1.2.2 |
| HCatalog | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 |
| Hadoop | 2.7.3-amzn-0 | 2.7.3-amzn-0 | 2.7.3-amzn-0 | 2.7.2-amzn-3 |
| Hive | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 |
| Oozie | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 |
| Phoenix | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 |
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.152.3 | 0.152.3 | 0.152.3 | 0.150 |
| Spark | 2.0.1 | 2.0.1 | 2.0.1 | 2.0.0 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.6.2 | 0.6.2 | 0.6.1 | 0.6.1-SNAPSHOT |
| ZooKeeper | 3.4.8 | 3.4.8 | 3.4.8 | 3.4.8 |
## 5.1.1 릴리스 정보
Amazon S3에 대한 요청에 AWS 서명 버전 4 인증을 추가하는 패치 릴리스입니다. 모든 애플리케이션 및 구성 요소는 이전 Amazon EMR 릴리스와 동일합니다.
**중요**
이 릴리스 버전에서 Amazon EMR은 AWS 서명 버전 4만 사용하여 Amazon S3에 대한 요청을 인증합니다. 자세한 내용은 [새 소식](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html)을 참조하십시오.
## 5.1.1 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| emr-ddb | 4.1.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.1.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.2.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.4.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emrfs | 2.11.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.1.3 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.7.3-amzn-0 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.7.3-amzn-0 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.7.3-amzn-0 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.7.3-amzn-0 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.7.3-amzn-0 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.7.3-amzn-0 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.7.3-amzn-0 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.7.3-amzn-0 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-0 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.7.3-amzn-0 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.2.3 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.2.3 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.2.3 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.2.3 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.2.3 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.1.0-amzn-0 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.1.0-amzn-0 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.1.0-amzn-0 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.1.0-amzn-0 | Hive 명령줄 클라이언트 |
| hive-metastore-server | 2.1.0-amzn-0 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server | 2.1.0-amzn-0 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 3.10.0-amzn-0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| mahout-client | 0.12.2 | 머신 러닝을 위한 라이브러리. |
| mysql-server | 5.5.52 | MySQL 데이터베이스 서버. |
| oozie-client | 4.2.0 | Oozie 명령줄 클라이언트 |
| oozie-server | 4.2.0 | Oozie 워크플로 요청을 수락하는 서비스 |
| phoenix-library | 4.7.0-HBase-1.2 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.7.0-HBase-1.2 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.152.3 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.152.3 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.16.0-amzn-0 | Pig 명령줄 클라이언트. |
| spark-client | 2.0.1 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.0.1 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.0.1 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.0.1 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.6 | Apache Sqoop 명령줄 클라이언트. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.23 | Apache HTTP 서버. |
| zeppelin-server | 0.6.2 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.8 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.8 | ZooKeeper 명령줄 클라이언트. |
## 5.1.1 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.1.1 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbaase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.1.0
## 5.1.0 애플리케이션 버전
이 릴리스에서 지원되는 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.1.0 | emr-5.0.3 | emr-5.0.2 | emr-5.0.1 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 |
| Python | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.1.3 | - | - | - |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.2.3 | 1.2.2 | 1.2.2 | 1.2.2 |
| HCatalog | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 |
| Hadoop | 2.7.3-amzn-0 | 2.7.3-amzn-0 | 2.7.2-amzn-3 | 2.7.2-amzn-3 |
| Hive | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 |
| Oozie | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 |
| Phoenix | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 |
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.152.3 | 0.152.3 | 0.150 | 0.150 |
| Spark | 2.0.1 | 2.0.1 | 2.0.0 | 2.0.0 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.6.2 | 0.6.1 | 0.6.1-SNAPSHOT | 0.6.1-SNAPSHOT |
| ZooKeeper | 3.4.8 | 3.4.8 | 3.4.8 | 3.4.8 |
## 5.1.0 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.1.0에 대한 정보가 포함됩니다. 변경 사항은 Amazon EMR 5.0.3 릴리스에 관련됩니다.
릴리스 날짜: 2016년 11월 3일
**변경 사항 및 기능 향상**
+ Flink 1.1.3에 대한 지원을 추가했습니다.
+ Presto는 Hue의 노트북 섹션에서 옵션으로 추가되었습니다.
**업그레이드**
+ HBase 1.2.3로 업그레이드
+ Zeppelin 0.6.2로 업그레이드
**이전 릴리스에서 해결된 알려진 문제**
+ ORC 파일이 이전 Amazon EMR 4.x 버전만큼 좋은 성능을 나타내지 않는 Amazon S3의 Tez 쿼리 문제를 수정했습니다.
## 5.1.0 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| emr-ddb | 4.1.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.1.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.2.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.4.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emrfs | 2.11.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.1.3 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.7.3-amzn-0 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.7.3-amzn-0 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.7.3-amzn-0 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.7.3-amzn-0 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.7.3-amzn-0 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.7.3-amzn-0 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.7.3-amzn-0 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.7.3-amzn-0 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-0 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.7.3-amzn-0 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.2.3 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.2.3 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.2.3 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.2.3 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.2.3 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.1.0-amzn-0 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.1.0-amzn-0 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.1.0-amzn-0 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.1.0-amzn-0 | Hive 명령줄 클라이언트 |
| hive-metastore-server | 2.1.0-amzn-0 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server | 2.1.0-amzn-0 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 3.10.0-amzn-0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| mahout-client | 0.12.2 | 머신 러닝을 위한 라이브러리. |
| mysql-server | 5.5.52 | MySQL 데이터베이스 서버. |
| oozie-client | 4.2.0 | Oozie 명령줄 클라이언트 |
| oozie-server | 4.2.0 | Oozie 워크플로 요청을 수락하는 서비스 |
| phoenix-library | 4.7.0-HBase-1.2 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.7.0-HBase-1.2 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.152.3 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.152.3 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.16.0-amzn-0 | Pig 명령줄 클라이언트. |
| spark-client | 2.0.1 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.0.1 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.0.1 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.0.1 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.6 | Apache Sqoop 명령줄 클라이언트. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.23 | Apache HTTP 서버. |
| zeppelin-server | 0.6.2 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.8 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.8 | ZooKeeper 명령줄 클라이언트. |
## 5.1.0 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.1.0 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbaase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.0.3
## 5.0.3 애플리케이션 버전
이 릴리스에 포함된 애플리케이션은 [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.0.3 | emr-5.0.2 | emr-5.0.1 | emr-5.0.0 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 |
| Python | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | - | - | - | - |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.2.2 | 1.2.2 | 1.2.2 | 1.2.2 |
| HCatalog | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 |
| Hadoop | 2.7.3-amzn-0 | 2.7.2-amzn-3 | 2.7.2-amzn-3 | 2.7.2-amzn-3 |
| Hive | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 |
| Oozie | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 |
| Phoenix | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 |
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.152.3 | 0.150 | 0.150 | 0.150 |
| Spark | 2.0.1 | 2.0.0 | 2.0.0 | 2.0.0 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.6.1 | 0.6.1-SNAPSHOT | 0.6.1-SNAPSHOT | 0.6.1-SNAPSHOT |
| ZooKeeper | 3.4.8 | 3.4.8 | 3.4.8 | 3.4.8 |
## 5.0.3 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.0.3에 대한 정보가 포함됩니다. 변경 사항은 Amazon EMR 5.0.0 릴리스에 관련됩니다.
릴리스 날짜: 2016년 10월 24일
**업그레이드**
+ Hadoop 2.7.3로 업그레이드
+ Presto 0.152.3로 업그레이드했습니다. 여기에는 Presto 웹 인터페이스에 대한 지원이 포함됩니다. 포트 8889를 사용하여 Presto 코디네이터의 Presto 웹 인터페이스에 액세스할 수 있습니다. Presto 웹 인터페이스에 대한 자세한 내용은 Presto 설명서의 [웹 인터페이스](https://prestodb.io/docs/current/admin/web-interface.html)를 참조하십시오.
+ Spark 2.0.1으로 업그레이드
+ Amazon EMR 릴리스는 이제 Amazon Linux 2016.09를 기반으로 합니다. 자세한 내용은 [https://aws.amazon.com/amazon-linux-ami/2016.09-release-notes/](https://aws.amazon.com/amazon-linux-ami/2016.09-release-notes/) 단원을 참조하십시오.
## 5.0.3 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| emr-ddb | 4.1.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.1.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.2.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.4.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emrfs | 2.10.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.7.3-amzn-0 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.7.3-amzn-0 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.7.3-amzn-0 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.7.3-amzn-0 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.7.3-amzn-0 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.7.3-amzn-0 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.7.3-amzn-0 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.7.3-amzn-0 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.7.3-amzn-0 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.7.3-amzn-0 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.2.2 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.2.2 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.2.2 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.2.2 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.2.2 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.1.0-amzn-0 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.1.0-amzn-0 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.1.0-amzn-0 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.1.0-amzn-0 | Hive 명령줄 클라이언트 |
| hive-metastore-server | 2.1.0-amzn-0 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server | 2.1.0-amzn-0 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 3.10.0-amzn-0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| mahout-client | 0.12.2 | 머신 러닝을 위한 라이브러리. |
| mysql-server | 5.5.52 | MySQL 데이터베이스 서버. |
| oozie-client | 4.2.0 | Oozie 명령줄 클라이언트 |
| oozie-server | 4.2.0 | Oozie 워크플로 요청을 수락하는 서비스 |
| phoenix-library | 4.7.0-HBase-1.2 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.7.0-HBase-1.2 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.152.3 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.152.3 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.16.0-amzn-0 | Pig 명령줄 클라이언트. |
| spark-client | 2.0.1 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.0.1 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.0.1 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.0.1 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.6 | Apache Sqoop 명령줄 클라이언트. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.23 | Apache HTTP 서버. |
| zeppelin-server | 0.6.1 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.8 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.8 | ZooKeeper 명령줄 클라이언트. |
## 5.0.3 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.0.3 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbaase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.0.2
## 5.0.2 애플리케이션 버전
이 릴리스에 포함된 애플리케이션은 [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.0.3 | emr-5.0.2 | emr-5.0.1 | emr-5.0.0 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 |
| Python | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | - | - | - | - |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.2.2 | 1.2.2 | 1.2.2 | 1.2.2 |
| HCatalog | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 |
| Hadoop | 2.7.3-amzn-0 | 2.7.2-amzn-3 | 2.7.2-amzn-3 | 2.7.2-amzn-3 |
| Hive | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 |
| Oozie | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 |
| Phoenix | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 |
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.152.3 | 0.150 | 0.150 | 0.150 |
| Spark | 2.0.1 | 2.0.0 | 2.0.0 | 2.0.0 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.6.1 | 0.6.1-SNAPSHOT | 0.6.1-SNAPSHOT | 0.6.1-SNAPSHOT |
| ZooKeeper | 3.4.8 | 3.4.8 | 3.4.8 | 3.4.8 |
## 5.0.2 릴리스 정보
## 5.0.2 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| emr-ddb | 4.0.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.1.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.2.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.4.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emrfs | 2.9.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.7.2-amzn-3 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.7.2-amzn-3 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.7.2-amzn-3 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.7.2-amzn-3 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.7.2-amzn-3 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.7.2-amzn-3 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.7.2-amzn-3 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.7.2-amzn-3 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.7.2-amzn-3 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.7.2-amzn-3 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.2.2 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.2.2 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.2.2 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.2.2 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.2.2 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.1.0-amzn-0 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.1.0-amzn-0 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.1.0-amzn-0 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.1.0-amzn-0 | Hive 명령줄 클라이언트 |
| hive-metastore-server | 2.1.0-amzn-0 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server | 2.1.0-amzn-0 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 3.10.0-amzn-0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| mahout-client | 0.12.2 | 머신 러닝을 위한 라이브러리. |
| mysql-server | 5.5.46 | MySQL 데이터베이스 서버. |
| oozie-client | 4.2.0 | Oozie 명령줄 클라이언트 |
| oozie-server | 4.2.0 | Oozie 워크플로 요청을 수락하는 서비스 |
| phoenix-library | 4.7.0-HBase-1.2 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.7.0-HBase-1.2 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.150 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.150 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.16.0-amzn-0 | Pig 명령줄 클라이언트. |
| spark-client | 2.0.0 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.0.0 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.0.0 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.0.0 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.6 | Apache Sqoop 명령줄 클라이언트. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.23 | Apache HTTP 서버. |
| zeppelin-server | 0.6.1-SNAPSHOT | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.8 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.8 | ZooKeeper 명령줄 클라이언트. |
## 5.0.2 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.0.2 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbaase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.0.1
## 5.0.1 애플리케이션 버전
이 릴리스에 포함된 애플리케이션은 [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.0.3 | emr-5.0.2 | emr-5.0.1 | emr-5.0.0 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 |
| Python | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | - | - | - | - |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.2.2 | 1.2.2 | 1.2.2 | 1.2.2 |
| HCatalog | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 |
| Hadoop | 2.7.3-amzn-0 | 2.7.2-amzn-3 | 2.7.2-amzn-3 | 2.7.2-amzn-3 |
| Hive | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 |
| Oozie | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 |
| Phoenix | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 |
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.152.3 | 0.150 | 0.150 | 0.150 |
| Spark | 2.0.1 | 2.0.0 | 2.0.0 | 2.0.0 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.6.1 | 0.6.1-SNAPSHOT | 0.6.1-SNAPSHOT | 0.6.1-SNAPSHOT |
| ZooKeeper | 3.4.8 | 3.4.8 | 3.4.8 | 3.4.8 |
## 5.0.1 릴리스 정보
## 5.0.1 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| emr-ddb | 4.0.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.1.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.2.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.4.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emrfs | 2.9.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.7.2-amzn-3 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.7.2-amzn-3 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.7.2-amzn-3 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.7.2-amzn-3 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.7.2-amzn-3 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.7.2-amzn-3 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.7.2-amzn-3 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.7.2-amzn-3 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.7.2-amzn-3 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.7.2-amzn-3 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.2.2 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.2.2 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.2.2 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.2.2 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.2.2 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.1.0-amzn-0 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.1.0-amzn-0 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.1.0-amzn-0 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.1.0-amzn-0 | Hive 명령줄 클라이언트 |
| hive-metastore-server | 2.1.0-amzn-0 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server | 2.1.0-amzn-0 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 3.10.0-amzn-0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| mahout-client | 0.12.2 | 머신 러닝을 위한 라이브러리. |
| mysql-server | 5.5.46 | MySQL 데이터베이스 서버. |
| oozie-client | 4.2.0 | Oozie 명령줄 클라이언트 |
| oozie-server | 4.2.0 | Oozie 워크플로 요청을 수락하는 서비스 |
| phoenix-library | 4.7.0-HBase-1.2 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.7.0-HBase-1.2 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.150 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.150 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.16.0-amzn-0 | Pig 명령줄 클라이언트. |
| spark-client | 2.0.0 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.0.0 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.0.0 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.0.0 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.6 | Apache Sqoop 명령줄 클라이언트. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.23 | Apache HTTP 서버. |
| zeppelin-server | 0.6.1-SNAPSHOT | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.8 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.8 | ZooKeeper 명령줄 클라이언트. |
## 5.0.1 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.0.1 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbaase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |
# Amazon EMR 릴리스 5.0.0
## 5.0.0 애플리케이션 버전
이 릴리스에 포함된 애플리케이션은 [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [http://gethue.com/](http://gethue.com/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.0.3 | emr-5.0.2 | emr-5.0.1 | emr-5.0.0 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 |
| Python | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 | 추적되지 않음 |
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | - | - | - | - |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.2.2 | 1.2.2 | 1.2.2 | 1.2.2 |
| HCatalog | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 |
| Hadoop | 2.7.3-amzn-0 | 2.7.2-amzn-3 | 2.7.2-amzn-3 | 2.7.2-amzn-3 |
| Hive | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 |
| Hudi | - | - | - | - |
| Hue | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | - | - | - | - |
| Livy | - | - | - | - |
| MXNet | - | - | - | - |
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 |
| Oozie | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 |
| Phoenix | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 | 4.7.0-HBase-1.2 |
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 |
| Presto | 0.152.3 | 0.150 | 0.150 | 0.150 |
| Spark | 2.0.1 | 2.0.0 | 2.0.0 | 2.0.0 |
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 |
| TensorFlow | - | - | - | - |
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.6.1 | 0.6.1-SNAPSHOT | 0.6.1-SNAPSHOT | 0.6.1-SNAPSHOT |
| ZooKeeper | 3.4.8 | 3.4.8 | 3.4.8 | 3.4.8 |
## 5.0.0 릴리스 정보
릴리스 날짜: 2016년 7월 27일
**업그레이드**
+ Hive 2.1으로 업그레이드
+ Presto 0.150로 업그레이드
+ Spark 2.0로 업그레이드
+ Hue 3.10.0로 업그레이드
+ Pig 0.16.0로 업그레이드
+ Tez 0.8.4로 업그레이드
+ Zeppelin 0.6.1으로 업그레이드
**변경 사항 및 기능 향상**
+ Amazon EMR은 최신 오픈 소스 버전의 Hive(버전 2.1)와 Pig(버전 0.16.0)를 지원합니다. 이전에 Amazon EMR에서 Hive나 Pig를 사용한 적이 있는 경우 일부 사용 사례에 영향을 미칠 수 있습니다. 자세한 내용은 [Hive](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hive.html) 및 [Pig](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-pig.html)를 참조하십시오.
+ Hive 및 Pig용 기본 실행 엔진은 이제 Tez입니다. 이 항목을 변경하려면 각각 `hive-site` 및 `pig-properties` 구성 분류에서 해당 값을 편집합니다.
+ 향상된 단계 디버깅 기능이 추가되었습니다. 서비스에서 원인을 결정할 수 있는 경우 이 기능을 사용하여 단계 실패의 근본 원인을 확인할 수 있습니다. 자세한 내용은 Amazon EMR 관리 안내서에서 [향상된 단계 디버깅](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-enhanced-step-debugging.html)을 참조하세요.
+ 이전에 "-Sandbox"로 끝났던 애플리케이션은 더 이상 해당 접미사를 사용하지 않습니다. 이로 인해 예를 들어 스크립트를 사용하여 이 애플리케이션이 있는 클러스터를 시작하는 경우 자동화가 중단될 수 있습니다. 다음 테이블에서는 Amazon EMR 5.0.0 대비 Amazon EMR 4.7.2의 애플리케이션 이름을 보여줍니다.
**애플리케이션 이름 변경**
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ReleaseGuide/emr-500-release.html)
+ Spark는 이제 Scala 2.11용으로 컴파일됩니다.
+ 이제 기본 JVM은 Java 8입니다. 모든 애플리케이션은 Java 8 실행 시간을 사용하여 실행됩니다. 애플리케이션의 바이트 코드 대상에는 변경 사항이 없습니다. 대부분의 애플리케이션은 계속해서 Java 7을 대상으로 합니다.
+ Zeppelin에는 이제 인증 기능이 포함됩니다. 자세한 내용은 [Zeppelin](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-zeppelin.html)을 참조하십시오.
+ 암호화 옵션을 더 쉽게 생성하고 적용할 수 있도록 보안 구성에 대한 지원을 추가했습니다. 자세한 내용은 [데이터 암호화](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-data-encryption.html)를 참조하십시오.
## 5.0.0 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| emr-ddb | 4.0.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.1.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.2.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-s3-dist-cp | 2.4.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emrfs | 2.9.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.7.2-amzn-3 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.7.2-amzn-3 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.7.2-amzn-3 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.7.2-amzn-3 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-httpfs-server | 2.7.2-amzn-3 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.7.2-amzn-3 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.7.2-amzn-3 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.7.2-amzn-3 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.7.2-amzn-3 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.7.2-amzn-3 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.2.2 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.2.2 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.2.2 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.2.2 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.2.2 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.1.0-amzn-0 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.1.0-amzn-0 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.1.0-amzn-0 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.1.0-amzn-0 | Hive 명령줄 클라이언트 |
| hive-metastore-server | 2.1.0-amzn-0 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server | 2.1.0-amzn-0 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hue-server | 3.10.0-amzn-0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| mahout-client | 0.12.2 | 머신 러닝을 위한 라이브러리. |
| mysql-server | 5.5.46 | MySQL 데이터베이스 서버. |
| oozie-client | 4.2.0 | Oozie 명령줄 클라이언트 |
| oozie-server | 4.2.0 | Oozie 워크플로 요청을 수락하는 서비스 |
| phoenix-library | 4.7.0-HBase-1.2 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.7.0-HBase-1.2 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.150 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.150 | 여러 쿼리를 실행하는 서비스. |
| pig-client | 0.16.0-amzn-0 | Pig 명령줄 클라이언트. |
| spark-client | 2.0.0 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.0.0 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.0.0 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.0.0 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.6 | Apache Sqoop 명령줄 클라이언트. |
| tez-on-yarn | 0.8.4 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.23 | Apache HTTP 서버. |
| zeppelin-server | 0.6.1-SNAPSHOT | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.8 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.8 | ZooKeeper 명령줄 클라이언트. |
## 5.0.0 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.0.0 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbaase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |