기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
# Amazon EMR 릴리스 5.30.0
## 5.30.0 애플리케이션 버전
이 릴리스에 포함된 애플리케이션은 [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://mahout.apache.org/](http://mahout.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/), [https://zookeeper.apache.org](https://zookeeper.apache.org)입니다.
아래 테이블에는 이번 Amazon EMR 릴리스에서 사용할 수 있는 애플리케이션 버전과 이전 세 가지 Amazon EMR 릴리스(해당하는 경우)의 애플리케이션 버전이 나와 있습니다.
각 Amazon EMR 릴리스에서 애플리케이션 버전의 전체 기록은 다음 주제를 참조하세요.
+ [Amazon EMR 7.x 릴리스의 애플리케이션 버전](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 릴리스의 애플리케이션 버전](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 릴리스의 애플리케이션 버전](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 릴리스의 애플리케이션 버전](emr-release-app-versions-4.x.md)
**애플리케이션 버전 정보**
| | emr-5.30.0 | emr-5.29.0 | emr-5.28.1 | emr-5.28.0 |
| --- | --- | --- | --- | --- |
| AWS Java용 SDK | 1.11.759 | 1.11.682 | 1.11.659 | 1.11.659 |
| Python | 2.7, 3.7 | 2.7, 3.6 | 2.7, 3.6 | 2.7, 3.6 |
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
| AmazonCloudWatchAgent | - | - | - | - |
| Delta | - | - | - | - |
| Flink | 1.10.0 | 1.9.1 | 1.9.0 | 1.9.0 |
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
| HBase | 1.4.13 | 1.4.10 | 1.4.10 | 1.4.10 |
| HCatalog | 2.3.6-amzn-2 | 2.3.6-amzn-1 | 2.3.6-amzn-0 | 2.3.6-amzn-0 |
| Hadoop | 2.8.5-amzn-6 | 2.8.5-amzn-5 | 2.8.5-amzn-5 | 2.8.5-amzn-5 |
| Hive | 2.3.6-amzn-2 | 2.3.6-amzn-1 | 2.3.6-amzn-0 | 2.3.6-amzn-0 |
| Hudi | 0.5.2-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating |
| Hue | 4.6.0 | 4.4.0 | 4.4.0 | 4.4.0 |
| Iceberg | - | - | - | - |
| JupyterEnterpriseGateway | - | - | - | - |
| JupyterHub | 1.1.0 | 1.0.0 | 1.0.0 | 1.0.0 |
| Livy | 0.7.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating |
| MXNet | 1.5.1 | 1.5.1 | 1.5.1 | 1.5.1 |
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
| Oozie | 5.2.0 | 5.1.0 | 5.1.0 | 5.1.0 |
| Phoenix | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 | 4.14.3-HBase-1.4 |
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
| Presto | 0.232 | 0.227 | 0.227 | 0.227 |
| Spark | 2.4.5-amzn-0 | 2.4.4 | 2.4.4 | 2.4.4 |
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
| TensorFlow | 1.14.0 | 1.14.0 | 1.14.0 | 1.14.0 |
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 |
| Trino (PrestoSQL) | - | - | - | - |
| Zeppelin | 0.8.2 | 0.8.2 | 0.8.2 | 0.8.2 |
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 |
## 5.30.0 릴리스 정보
다음 릴리스 정보에는 Amazon EMR 릴리스 5.30.0에 대한 정보가 포함됩니다. 변경 사항은 5.29.0에 관련됩니다.
최초 릴리스 날짜: 2020년 5월 13일
최종 업데이트 날짜: 2020년 6월 25일
**업그레이드**
+ 버전 1.11.759 AWS SDK for Java 로 업그레이드됨
+ Amazon SageMaker Spark SDK가 버전 1.3.0으로 업그레이드됨
+ EMR 레코드 서버가 버전 1.6.0으로 업그레이드됨
+ Flink가 버전 1.10.0으로 업그레이드됨
+ Ganglia가 버전 3.7.2로 업그레이드됨
+ HBase가 버전 1.4.13으로 업그레이드됨
+ Hudi가 버전 0.5.2-incubating으로 업그레이드됨
+ Hue가 버전 4.6.0으로 업그레이드됨
+ JupyterHub가 버전 1.1.0으로 업그레이드됨
+ Livy가 버전 0.7.0-incubating으로 업그레이드됨
+ Oozie가 버전 5.2.0으로 업그레이드됨
+ Presto가 버전 0.232로 업그레이드됨
+ Spark가 버전 2.4.5로 업그레이드됨
+ 업그레이드된 커넥터 및 드라이버: Amazon Glue 커넥터 1.12.0, Amazon Kinesis 커넥터 3.5.0, EMR DynamoDB 커넥터 4.14.0
**새로운 기능**
+ **EMR Notebooks** - 5.30.0을 사용하여 생성된 EMR 클러스터와 함께 사용하면 EMR 노트북 커널이 클러스터에서 실행됩니다. 이로써 노트북 성능이 향상되며, 커널을 설치하고 사용자 지정할 수 있습니다. 클러스터 프라이머리 노드에 Python 라이브러리를 설치할 수도 있습니다. 자세한 내용은 *EMR 관리 안내서*에서 [커널 및 라이브러리 설치 및 사용](https://docs.aws.amazon.com//emr/latest/ManagementGuide/emr-managed-notebooks-installing-libraries-and-kernels.html)을 참조하세요.
+ **Managed Scaling** - Amazon EMR 버전 5.30.0 이상에서는 EMR Managed Scaling을 활성화하여 워크로드에 따라 클러스터에서 인스턴스 또는 유닛 수를 자동으로 늘리거나 줄일 수 있습니다. Amazon EMR은 클러스터 지표를 지속적으로 평가하여 비용과 속도 측면에서 클러스터를 최적화하는 조정 결정을 내립니다. 자세한 내용은 *Amazon EMR 관리 안내서*에서 [클러스터 리소스 조정](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-scale-on-demand.html)을 참조하세요.
+ **Amazon S3에 저장된 로그 파일 암호화** - Amazon EMR 버전 5.30.0 이상에서는 AWS KMS 고객 관리형 키를 사용하여 Amazon S3에 저장된 로그 파일을 암호화할 수 있습니다. 자세한 내용은 *Amazon EMR 관리 안내서*에서 [Amazon S3에 저장된 로그 파일 암호화](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-debugging.html#emr-log-encryption)를 참조하세요.
+ **Amazon Linux 2 지원** - EMR 버전 5.30.0 이상에서 EMR은 Amazon Linux 2 OS를 사용합니다. 새로운 사용자 지정 Amazon Machine Image(AMI)는 Amazon Linux 2 AMI를 기반으로 해야 합니다. 자세한 내용은 [사용자 지정 AMI 사용](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-custom-ami.html)을 참조하십시오.
+ **Presto 단계적 자동 조정** - 5.30.0 버전을 사용하는 EMR 클러스터의 경우 Auto Scaling 제한 시간을 설정할 수 있습니다. 이 제한 시간을 통해 Presto에서 노드가 서비스 해제되기 전에 실행을 완료할 수 있습니다. 자세한 내용은 [단계적 서비스 해제 기능이 있는 자동 조정 사용](presto-graceful-autoscale.md) 단원을 참조하십시오.
+ **새 할당 전략 옵션을 사용한 플릿 인스턴스 생성** - 새 할당 전략 옵션은 EMR 버전 5.12.1 이상에서 사용할 수 있습니다. 이를 통해 클러스터 프로비저닝 속도가 빨라지고 스팟 할당이 더 정확해지며 스팟 인스턴스 중단이 줄어듭니다. 기본이 아닌 EMR 서비스 역할은 업데이트해야 합니다. [인스턴스 플릿 구성](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-instance-fleet.html)을 참조하세요.
+ **sudo systemctl stop 및 sudo systemctl start 명령** – Amazon Linux 2 OS를 사용하는 EMR 버전 5.30.0 이상에서 EMR은 `sudo systemctl stop` 및 `sudo systemctl start` 명령을 사용하여 서비스를 다시 시작합니다. 자세한 내용은 [Amazon EMR에서 서비스를 다시 시작하려면 어떻게 해야 하나요?](https://aws.amazon.com/premiumsupport/knowledge-center/restart-service-emr/)를 참조하세요.
**변경 사항, 향상된 기능 및 해결된 문제**
+ EMR 버전 5.30.0은 기본적으로 Ganglia를 설치하지 않습니다. 클러스터 생성 시 Ganglia를 설치하도록 명시적으로 선택할 수 있습니다.
+ Spark 성능 최적화
+ Presto 성능 최적화
+ Python 3은 Amazon EMR 버전 5.30.0 이상의 기본값입니다.
+ 프라이빗 서브넷의 서비스 액세스에 대한 기본 관리형 보안 그룹이 새 규칙으로 업데이트되었습니다. 서비스 액세스에 대한 사용자 지정 보안 그룹을 사용하는 경우, 기본 관리형 보안 그룹과 동일한 규칙을 포함시켜야 합니다. 자세한 내용은 [서비스 액세스에 대한 Amazon EMR 관리형 보안 그룹(프라이빗 서브넷)](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-man-sec-groups.html#emr-sg-elasticmapreduce-sa-private)을 참조하세요. Amazon EMR에 대해 사용자 지정 서비스 역할을 사용하는 경우 EMR에서 보안 그룹이 올바르게 생성되는지 여부를 검증할 수 있도록 `ec2:describeSecurityGroups`에 대한 권한을 부여해야 합니다. `EMR_DefaultRole`을 사용하는 경우 이 권한은 이미 기본 관리형 정책에 포함되어 있습니다.
**알려진 문제**
+ **이전 AL2에서 더 낮은 '최대 열린 파일' 한도[최신 릴리스에서 수정됨].** Amazon EMR 릴리스: emr-5.30.x, emr-5.31.0, emr-5.32.0, emr-6.0.0, emr-6.1.0, emr-6.2.0은 Amazon Linux 2(AL2)의 이전 버전에 기반합니다. 이전 버전에서는 Amazon EMR 클러스터가 기본 AMI에서 생성되는 경우 '최대 열린 파일'에 대한 ulimit 설정이 더 낮습니다. Amazon EMR 릴리스 5.30.1, 5.30.2, 5.31.1, 5.32.1, 6.0.1, 6.1.1, 6.2.1, 5.33.0, 6.3.0 이상에는 더 높은 '최대 열린 파일' 설정을 포함한 영구적 수정 사항이 포함되어 있습니다. 열린 파일 한도가 낮은 릴리스의 경우 Spark 작업을 제출할 때 'Too many open files' 오류가 발생합니다. 영향을 받는 릴리스에서 Amazon EMR 기본 AMI의 '최대 열린 파일'에 대한 기본 ulimit 설정은 4,096개이며, 이는 최신 Amazon Linux 2 AMI의 65,536개 파일 제한보다 낮습니다. '최대 열린 파일'에 대한 더 낮은 ulimit 설정을 사용하면 Spark 드라이버와 실행기가 4,096개가 넘는 파일을 열려고 할 때 Spark 작업이 실패합니다. 이 문제를 해결하기 위해 Amazon EMR에는 클러스터 생성 시 ulimit 설정을 조정하는 부트스트랩 작업(BA) 스크립트가 있습니다.
이 문제에 대한 영구 수정 사항이 포함되지 않은 이전 Amazon EMR 버전을 사용하는 경우 다음 해결 방법을 통해 instance-controller ulimit를 최대 65,536개의 파일로 명시적으로 설정할 수 있습니다.
**명령줄에서 ulimit를 명시적으로 설정합니다.**
1. `/etc/systemd/system/instance-controller.service`를 편집하여 Service 섹션에 다음 파라미터를 추가합니다.
`LimitNOFILE=65536`
`LimitNPROC=65536`
1. InstanceController 다시 시작
`$ sudo systemctl daemon-reload`
`$ sudo systemctl restart instance-controller`
**부트스트랩 작업(BA)을 사용하여 ulimit 설정**
클러스터 생성 시 부트스트랩 작업(BA) 스크립트를 사용하여 instance-controller ulimit를 65,536개 파일로 구성할 수도 있습니다.
```
#!/bin/bash
for user in hadoop spark hive; do
sudo tee /etc/security/limits.d/$user.conf << EOF
$user - nofile 65536
$user - nproc 65536
EOF
done
for proc in instancecontroller logpusher; do
sudo mkdir -p /etc/systemd/system/$proc.service.d/
sudo tee /etc/systemd/system/$proc.service.d/override.conf << EOF
[Service]
LimitNOFILE=65536
LimitNPROC=65536
EOF
pid=$(pgrep -f aws157.$proc.Main)
sudo prlimit --pid $pid --nofile=65535:65535 --nproc=65535:65535
done
sudo systemctl daemon-reload
```
+ **Managed Scaling**
Presto가 설치되지 않은 5.30.0 및 5.30.1 클러스터에서 Managed Scaling을 수행하면 애플리케이션 장애가 발생하거나 균일한 인스턴스 그룹 또는 인스턴스 플릿이 `ARRESTED` 상태로 유지될 수 있습니다. 특히 스케일 다운 작업 이후 바로 스케일 업 작업이 수행되는 경우가 이에 해당합니다.
해결 방법으로 작업에 Presto가 필요하지 않더라도 Amazon EMR 릴리스 5.30.0 및 5.30.1에서 클러스터를 생성할 때 설치할 애플리케이션으로 Presto를 선택합니다.
+ 여러 프라이머리 노드와 Kerberos 인증을 사용하는 클러스터에서 알려진 문제
Amazon EMR 릴리스 5.20.0 이상에서 여러 프라이머리 노드와 Kerberos 인증을 사용하여 클러스터를 실행하는 경우, 클러스터를 일정 시간 실행한 후 스케일 다운 또는 단계 제출과 같은 클러스터 작업에 문제가 발생할 수 있습니다. 기간은 정의한 Kerberos 티켓 유효 기간에 따라 다릅니다. 스케일 다운 문제는 제출한 자동 스케일 다운 및 명시적 스케일 다운 요청 모두에 영향을 미칩니다. 이외의 다른 클러스터 작업도 영향을 받을 수 있습니다.
해결 방법:
+ 여러 프라이머리 노드가 있는 EMR 클러스터의 리드 프라이머리 노드에 대한 `hadoop` 사용자로 SSH 연결합니다.
+ 다음 명령을 실행하여 `hadoop` 사용자의 Kerberos 티켓을 갱신합니다.
```
kinit -kt
```
일반적으로 keytab 파일은 `/etc/hadoop.keytab`에 있으며, 보안 주체는 `hadoop/@` 양식입니다.
**참고**
이 해결 방법은 Kerberos 티켓이 유효한 기간에 작동합니다. 이 기간은 기본적으로 10시간이지만 Kerberos 설정으로 구성할 수 있습니다. Kerberos 티켓이 만료되면 위 명령을 다시 실행해야 합니다.
+ Hue 4.6.0의 기본 데이터베이스 엔진은 SQLite이며, 이 때문에 외부 데이터베이스에서 Hue를 사용하려고 하면 문제가 발생합니다. 이 문제를 해결하려면 `hue-ini` 구성 분류에서 `engine`을 `mysql`로 설정합니다. 이 문제는 Amazon EMR 버전 5.30.1에서 수정되었습니다.
+ Hive 파티션 위치 형식과 함께 Spark를 사용하여 Amazon S3의 데이터를 읽고, Amazon EMR 릴리스 5.30.0\$15.36.0 및 6.2.0\$16.9.0에서 Spark를 실행하는 경우 클러스터가 데이터를 제대로 읽지 못하는 문제가 발생할 수 있습니다. 파티션에 다음과 같은 특성이 모두 있는 경우 이러한 상황이 발생할 수 있습니다.
+ 둘 이상의 파티션이 동일한 테이블에서 스캔됩니다.
+ 하나 이상의 파티션 디렉터리 경로가 하나 이상의 다른 파티션 디렉터리 경로의 접두사입니다. 예를 들어 `s3://bucket/table/p=a`는 `s3://bucket/table/p=a b`의 접두사입니다.
+ 다른 파티션 디렉터리에서 접두사 뒤에 오는 첫 번째 문자의 UTF-8 값이 `/` 문자(U\$1002F)보다 작습니다. 예를 들어 `s3://bucket/table/p=a b`에서 a와 b 사이에 있는 공백 문자(U\$10020)가 이 카테고리에 속합니다. `!"#$%&‘()*+,-`와 같은 14개의 비제어 문자가 있습니다. 자세한 내용은 [UTF-8 인코딩 테이블 및 유니코드 문자](https://www.utf8-chartable.de/)를 참조하세요.
이 문제를 해결하려면 `spark-defaults` 분류에서 `spark.sql.sources.fastS3PartitionDiscovery.enabled` 구성을 `false`로 설정합니다.
## 5.30.0 구성 요소 버전
이 릴리스를 통해 Amazon EMR이 설치하는 구성 요소는 다음과 같습니다. 일부는 빅 데이터 애플리케이션 패키지의 일부로 설치됩니다. 나머지는 Amazon EMR에 고유하며 시스템 프로세스 및 기능을 위해 설치됩니다. 이는 일반적으로 `emr` 또는 `aws`로 시작됩니다. 최근 Amazon EMR 릴리스의 빅 데이터 애플리케이션 패키지는 일반적으로 커뮤니티에서 발견된 최신 버전입니다. 가능한 한 빨리 Amazon EMR에서 커뮤니티 릴리스를 제공합니다.
Amazon EMR의 일부 구성 요소는 커뮤니티 버전과 다릅니다. 이러한 구성 요소에는 `CommunityVersion-amzn-EmrVersion` 양식의 버전 레이블이 있습니다. `EmrVersion`은 0에서 시작합니다. 예를 들어, 버전 2.2의 `myapp-component`라는 오픈 소스 커뮤니티 구성 요소가 다른 Amazon EMR 릴리스에 포함되도록 세 번 수정된 경우 해당 릴리스 버전은 `2.2-amzn-2`로 나열됩니다.
| 구성 요소 | 버전 | 설명 |
| --- | --- | --- |
| aws-sagemaker-spark-sdk | 1.3.0 | Amazon SageMaker Spark SDK |
| emr-ddb | 4.14.0 | 하둡 에코시스템 애플리케이션용 Amazon DynamoDB 커넥터 |
| emr-goodies | 2.13.0 | 편리한 하둡 에코시스템용 추가 라이브러리 |
| emr-kinesis | 3.5.0 | 하둡 에코시스템 애플리케이션용 Amazon Kinesis 커넥터. |
| emr-notebook-env | 1.0.0 | emr 노트북용 Conda env |
| emr-s3-dist-cp | 2.14.0 | Amazon S3용으로 최적화된 분사 복사 애플리케이션. |
| emr-s3-select | 1.5.0 | EMR S3Select 커넥터 |
| emrfs | 2.40.0 | 하둡 에코시스템 애플리케이션용 Amazon S3 커넥터. |
| flink-client | 1.10.0 | Apache Flink 명령줄 클라이언트 스크립트 및 애플리케이션 |
| ganglia-monitor | 3.7.2 | 하둡 에코시스템 애플리케이션용 내장형 Ganglia 에이전트와 Ganglia 모니터링 에이전트. |
| ganglia-metadata-collector | 3.7.2 | Ganglia 모니터링 에이전트의 측정치를 집계하기 위한 Ganglia 메타데이터 수집기. |
| ganglia-web | 3.7.1 | Ganglia 메타데이터 수집기에서 수집되는 측정치를 볼 수 있는 웹 애플리케이션. |
| hadoop-client | 2.8.5-amzn-6 | 'hdfs', 'hadoop', 'yarn' 등과 같은 하둡 명령줄 클라이언트 |
| hadoop-hdfs-datanode | 2.8.5-amzn-6 | 블록을 저장하는 HDFS 노드 수준 서비스 |
| hadoop-hdfs-library | 2.8.5-amzn-6 | HDFS 명령줄 클라이언트 및 라이브러리 |
| hadoop-hdfs-namenode | 2.8.5-amzn-6 | 파일 이름 및 블록 위치를 추적하는 HDFS 서비스 |
| hadoop-hdfs-journalnode | 2.8.5-amzn-6 | HA 클러스터에서 하둡 파일 시스템 저널을 관리하기 위한 HDFS 서비스 |
| hadoop-httpfs-server | 2.8.5-amzn-6 | HDFS 작업에 대한 HTTP 엔드포인트 |
| hadoop-kms-server | 2.8.5-amzn-6 | 하둡의 KeyProvider API를 기반으로 하는 암호화 키 관리 서버 |
| hadoop-mapred | 2.8.5-amzn-6 | MapReduce 애플리케이션을 실행하는 MapReduce 실행 엔진 라이브러리 |
| hadoop-yarn-nodemanager | 2.8.5-amzn-6 | 개별 노드의 컨테이너를 관리하는 YARN 서비스 |
| hadoop-yarn-resourcemanager | 2.8.5-amzn-6 | 클러스터 리소스 및 분산 애플리케이션을 할당 및 관리하는 YARN 서비스 |
| hadoop-yarn-timeline-server | 2.8.5-amzn-6 | YARN 애플리케이션의 현재 및 기록 정보를 가져오는 서비스 |
| hbase-hmaster | 1.4.13 | 리전 조정 및 관리 명령의 실행을 담당하는 HBase 클러스터용 서비스 |
| hbase-region-server | 1.4.13 | 한 개 이상의 HBase 리전에 서비스를 제공하는 서비스 |
| hbase-client | 1.4.13 | HBase 명령줄 클라이언트 |
| hbase-rest-server | 1.4.13 | HBase용 RESTful HTTP 엔드포인트를 제공하는 서비스 |
| hbase-thrift-server | 1.4.13 | HBase에 Thrift 엔드포인트를 제공하는 서비스 |
| hcatalog-client | 2.3.6-amzn-2 | hcatalog-server를 조정하기 위한 'hcat' 명령줄 클라이언트 |
| hcatalog-server | 2.3.6-amzn-2 | 분산 애플리케이션용 스토리지 관리 계층, 테이블 및 HCatalog를 제공하는 서비스 |
| hcatalog-webhcat-server | 2.3.6-amzn-2 | HCatalog에 REST 인터페이스를 제공하는 HTTP 엔드포인트 |
| hive-client | 2.3.6-amzn-2 | Hive 명령줄 클라이언트 |
| hive-hbase | 2.3.6-amzn-2 | Hive-hbase 클라이언트 |
| hive-metastore-server | 2.3.6-amzn-2 | 하둡 작업에 대한 SQL용 메타데이터가 저장되는 시맨틱 리포지토리인 Hive 메타스토어에 액세스하기 위한 서비스 |
| hive-server2 | 2.3.6-amzn-2 | Hive 쿼리를 웹 요청으로 수락하기 위한 서비스 |
| hudi | 0.5.2-incubating | 짧은 지연 시간 및 높은 효율성으로 데이터 파이프라인을 구동하는 증분 처리 프레임워크. |
| hudi-presto | 0.5.2-incubating | Hudi로 Presto를 실행하기 위한 번들 라이브러리. |
| hue-server | 4.6.0 | 하둡 에코시스템 애플리케이션을 사용하여 데이터를 분석하는 웹 애플리케이션. |
| jupyterhub | 1.1.0 | Jupyter Notebook용 다중 사용자 서버 |
| livy-server | 0.7.0-incubating | Apache Spark와 상호작용하기 위한 REST 인터페이스 |
| nginx | 1.12.1 | HTTP인 nginx [engine x] 및 역방향 프록시 서버 |
| mahout-client | 0.13.0 | 머신 러닝을 위한 라이브러리. |
| mxnet | 1.5.1 | 유연성, 확장성 및 효율성이 뛰어난 딥 러닝용 라이브러리. |
| mariadb-server | 5.5.64 | MySQL 데이터베이스 서버. |
| nvidia-cuda | 9.2.88 | Nvidia 드라이버와 Cuda 도구 키트 |
| oozie-client | 5.2.0 | Oozie 명령줄 클라이언트 |
| oozie-server | 5.2.0 | Oozie 워크플로 요청을 수락하는 서비스 |
| opencv | 3.4.0 | 오픈 소스 컴퓨터 비전 라이브러리. |
| phoenix-library | 4.14.3-HBase-1.4 | 서버 및 클라이언트의 phoenix 라이브러리 |
| phoenix-query-server | 4.14.3-HBase-1.4 | Avatica API에 대한 JSON 형식 액세스 및 프로토콜 버퍼 액세스를 비롯하여 JDBC 액세스를 제공하는 경량 서버 |
| presto-coordinator | 0.232 | presto-worker의 쿼리를 수락하고 쿼리 실행을 관리하는 서비스. |
| presto-worker | 0.232 | 여러 쿼리를 실행하는 서비스. |
| presto-client | 0.232 | Presto 서버가 시작되지 않은 HA 클러스터의 대기 마스터에 설치된 Presto 명령줄 클라이언트. |
| pig-client | 0.17.0 | Pig 명령줄 클라이언트. |
| r | 3.4.3 | 통계 컴퓨팅용 R 프로젝트 |
| ranger-kms-server | 1.2.0 | Apache Ranger 키 관리 시스템 |
| spark-client | 2.4.5-amzn-0 | Spark 명령줄 클라이언트. |
| spark-history-server | 2.4.5-amzn-0 | 완료된 Spark 애플리케이션의 수명에 대해 기록된 이벤트를 조회하는 웹 UI. |
| spark-on-yarn | 2.4.5-amzn-0 | YARN용 인 메모리 실행 엔진. |
| spark-yarn-slave | 2.4.5-amzn-0 | YARN 슬레이브에서 필요한 Apache Spark 라이브러리. |
| sqoop-client | 1.4.7 | Apache Sqoop 명령줄 클라이언트. |
| tensorflow | 1.14.0 | TensorFlow는 고성능 수치 계산용 오픈 소스 소프트웨어 라이브러리입니다. |
| tez-on-yarn | 0.9.2 | tez YARN 애플리케이션 및 라이브러리. |
| webserver | 2.4.25\$1 | Apache HTTP 서버. |
| zeppelin-server | 0.8.2 | 대화형 데이터 분석이 가능한 웹 기반 노트북 |
| zookeeper-server | 3.4.14 | 구성 정보 유지 관리, 이름 지정, 분산 동기화 제공 및 그룹 서비스 제공을 위한 중앙 집중식 서비스. |
| zookeeper-client | 3.4.14 | ZooKeeper 명령줄 클라이언트. |
## 5.30.0 구성 분류
구성 분류를 사용하면 애플리케이션을 사용자 지정할 수 있습니다. 이는 종종 `hive-site.xml`과 같이 애플리케이션의 구성 XML 파일에 해당합니다. 자세한 내용은 [애플리케이션 구성](emr-configure-apps.md) 단원을 참조하십시오.
**emr-5.30.0 분류**
| 분류 | 설명 |
| --- | --- |
| capacity-scheduler | Hadoop capacity-scheduler.xml 파일에서 값을 변경합니다. |
| container-log4j | Hadoop YARN container-log4j.properties 파일에서 값을 변경합니다. |
| core-site | Hadoop core-site.xml 파일에서 값을 변경합니다. |
| emrfs-site | EMRFS 설정을 변경합니다. |
| flink-conf | flink-conf.yaml 설정을 변경합니다. |
| flink-log4j | Flink log4j.properties 설정을 변경합니다. |
| flink-log4j-yarn-session | Flink log4j-yarn-session.properties 설정을 변경합니다. |
| flink-log4j-cli | Flink log4j-cli.properties 설정을 변경합니다. |
| hadoop-env | 모든 Hadoop 구성 요소에 대한 Hadoop 환경에서 값을 변경합니다. |
| hadoop-log4j | Hadoop log4j.properties 파일에서 값을 변경합니다. |
| hadoop-ssl-server | hadoop ssl 서버 구성을 변경합니다. |
| hadoop-ssl-client | hadoop ssl 클라이언트 구성을 변경합니다. |
| hbase | Apache HBase에 대한 Amazon EMR 큐레이트 설정입니다. |
| hbase-env | HBase 환경에서 값을 변경합니다. |
| hbase-log4j | HBase hbase-log4j.properties 파일에서 값을 변경합니다. |
| hbase-metrics | HBase hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| hbase-policy | HBase hbase-policy.xml 파일에서 값을 변경합니다. |
| hbase-site | HBase hbase-site.xml 파일에서 값을 변경합니다. |
| hdfs-encryption-zones | HDFS 암호화 영역을 구성합니다. |
| hdfs-site | HDFS hdfs-site.xml에서 값을 변경합니다. |
| hcatalog-env | HCatalog 환경에서 값을 변경합니다. |
| hcatalog-server-jndi | HCatalog jndi.properties 환경에서 값을 변경합니다. |
| hcatalog-server-proto-hive-site | HCatalog proto-hive-site.xml에서 값을 변경합니다. |
| hcatalog-webhcat-env | HCatalog WebHCat 환경에서 값을 변경합니다. |
| hcatalog-webhcat-log4j2 | HCatalog WebHCat log4j2.properties에서 값을 변경합니다. |
| hcatalog-webhcat-site | HCatalog WebHCat webhcat-site.xml 파일에서 값을 변경합니다. |
| hive-beeline-log4j2 | Hive beeline-log4j2.properties 파일에서 값을 변경합니다. |
| hive-parquet-logging | Hive parquet-logging.properties 파일에서 값을 변경합니다. |
| hive-env | Hive 환경에서 값을 변경합니다. |
| hive-exec-log4j2 | Hive hive-exec-log4j2.properties 파일에서 값을 변경합니다. |
| hive-llap-daemon-log4j2 | Hive llap-daemon-log4j2.properties 파일에서 값을 변경합니다. |
| hive-log4j2 | Hive hive-log4j2.properties 파일에서 값을 변경합니다. |
| hive-site | Hive hive-site.xml 파일에서 값을 변경합니다. |
| hiveserver2-site | Hive Server2 hiveserver2-site.xml 파일에서 값을 변경합니다. |
| hue-ini | Hue ini 파일에서 값을 변경합니다. |
| httpfs-env | HTTPFS 환경에서 값을 변경합니다. |
| httpfs-site | Hadoop httpfs-site.xml 파일에서 값을 변경합니다. |
| hadoop-kms-acls | Hadoop kms-acls.xml 파일에서 값을 변경합니다. |
| hadoop-kms-env | Hadoop KMS 환경에서 값을 변경합니다. |
| hadoop-kms-log4j | Hadoop kms-log4j.properties 파일에서 값을 변경합니다. |
| hadoop-kms-site | Hadoop kms-site.xml 파일에서 값을 변경합니다. |
| hudi-env | Hudi 환경에서 값을 변경합니다. |
| jupyter-notebook-conf | Jupyter Notebook jupyter\$1notebook\$1config.py 파일에서 값을 변경합니다. |
| jupyter-hub-conf | JupyterHubs jupyterhub\$1config.py 파일에서 값을 변경합니다. |
| jupyter-s3-conf | Jupyter Notebook S3 지속성 구성 |
| jupyter-sparkmagic-conf | Sparkmagic config.json 파일에서 값을 변경합니다. |
| livy-conf | Livy livy.conf 파일에서 값을 변경합니다. |
| livy-env | Livy 환경에서 값을 변경합니다. |
| livy-log4j | Livy log4j.properties 설정을 변경합니다. |
| mapred-env | MapReduce 애플리케이션 환경에서 값을 변경합니다. |
| mapred-site | MapReduce 애플리케이션 mapred-site.xml 파일에서 값을 변경합니다. |
| oozie-env | Oozie 환경에서 값을 변경합니다. |
| oozie-log4j | Oozie oozie-log4j.properties 파일에서 값을 변경합니다. |
| oozie-site | Oozie oozie-site.xml 파일에서 값을 변경합니다. |
| phoenix-hbase-metrics | Phoenix hadoop-metrics2-hbase.properties 파일에서 값을 변경합니다. |
| phoenix-hbase-site | Phoenix hbase-site.xml 파일에서 값을 변경합니다. |
| phoenix-log4j | Phoenix log4j.properties 파일에서 값을 변경합니다. |
| phoenix-metrics | Phoenix hadoop-metrics2-phoenix.properties 파일에서 값을 변경합니다. |
| pig-env | Pig 환경에서 값을 변경합니다. |
| pig-properties | Pig pig.properties 파일에서 값을 변경합니다. |
| pig-log4j | Pig log4j.properties 파일에서 값을 변경합니다. |
| presto-log | Presto log.properties 파일에서 값을 변경합니다. |
| presto-config | Presto config.properties 파일에서 값을 변경합니다. |
| presto-password-authenticator | Presto password-authenticator.properties 파일에서 값을 변경합니다. |
| presto-env | Presto presto-env.sh 파일에서 값을 변경합니다. |
| presto-node | Presto node.properties 파일에서 값을 변경합니다. |
| presto-connector-blackhole | Presto blackhole.properties 파일에서 값을 변경합니다. |
| presto-connector-cassandra | Presto cassandra.properties 파일에서 값을 변경합니다. |
| presto-connector-hive | Presto hive.properties 파일에서 값을 변경합니다. |
| presto-connector-jmx | Presto jmx.properties 파일에서 값을 변경합니다. |
| presto-connector-kafka | Presto kafka.properties 파일에서 값을 변경합니다. |
| presto-connector-localfile | Presto localfile.properties 파일에서 값을 변경합니다. |
| presto-connector-memory | Presto memory.properties 파일에서 값을 변경합니다. |
| presto-connector-mongodb | Presto mongodb.properties 파일에서 값을 변경합니다. |
| presto-connector-mysql | Presto mysql.properties 파일에서 값을 변경합니다. |
| presto-connector-postgresql | Presto postgresql.properties 파일에서 값을 변경합니다. |
| presto-connector-raptor | Presto raptor.properties 파일에서 값을 변경합니다. |
| presto-connector-redis | Presto redis.properties 파일에서 값을 변경합니다. |
| presto-connector-redshift | Presto redshift.properties 파일에서 값을 변경합니다. |
| presto-connector-tpch | Presto tpch.properties 파일에서 값을 변경합니다. |
| presto-connector-tpcds | Presto tpcds.properties 파일에서 값을 변경합니다. |
| ranger-kms-dbks-site | Ranger KMS dbks-site.xml 파일에서 값을 변경합니다. |
| ranger-kms-site | Ranger KMS ranger-kms-site.xml 파일에서 값을 변경합니다. |
| ranger-kms-env | Ranger KMS 환경에서 값을 변경합니다. |
| ranger-kms-log4j | Ranger KMS kms-log4j.properties 파일에서 값을 변경합니다. |
| ranger-kms-db-ca | Ranger KMS와의 MySQL SSL 연결에서 CA 파일의 값을 변경합니다. |
| recordserver-env | EMR RecordServer 환경에서 값을 변경합니다. |
| recordserver-conf | EMR RecordServer erver.properties 파일에서 값을 변경합니다. |
| recordserver-log4j | EMR RecordServer log4j.properties 파일에서 값을 변경합니다. |
| spark | Apache Spark에 대한 Amazon EMR 큐레이트 설정입니다. |
| spark-defaults | Spark spark-defaults.conf 파일에서 값을 변경합니다. |
| spark-env | Spark 환경에서 값을 변경합니다. |
| spark-hive-site | Spark hive-site.xml 파일에서 값을 변경합니다. |
| spark-log4j | Spark log4j.properties 파일에서 값을 변경합니다. |
| spark-metrics | Spark metrics.properties 파일에서 값을 변경합니다. |
| sqoop-env | Sqoop 환경에서 값을 변경합니다. |
| sqoop-oraoop-site | Sqoop OraOop oraoop-site.xml 파일에서 값을 변경합니다. |
| sqoop-site | Sqoop sqoop-site.xml 파일에서 값을 변경합니다. |
| tez-site | Tez tez-site.xml 파일에서 값을 변경합니다. |
| yarn-env | YARN 환경에서 값을 변경합니다. |
| yarn-site | YARN yarn-site.xml 파일에서 값을 변경합니다. |
| zeppelin-env | Zeppelin 환경에서 값을 변경합니다. |
| zookeeper-config | ZooKeeper zoo.cfg 파일에서 값을 변경합니다. |
| zookeeper-log4j | ZooKeeper log4j.properties 파일에서 값을 변경합니다. |