本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

# Amazon EMR 5.x 发行版
<a name="emr-release-5x"></a>

本部分内容涵盖每个 Amazon EMR 5.x 发行版中可用的应用程序版本、发布说明、组件版本和配置分类。

启动集群时，有多个 Amazon EMR 发行版可供选择。这允许您测试和使用满足您解决方案兼容性需求的应用程序版本。您可以使用*发行版标注*指定版本号。版本标签的格式是 `emr-x.x.x`。例如 `emr-7.12.0`。

从初始发布日期的第一个区域开始，新的 Amazon EMR 发行版将在几天内陆续在不同区域提供。在此期间，您所在区域可能无法提供最新发行版。

有关每个 Amazon EMR 5.x 发行版本中应用程序版本的综合表格，请参阅[Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)。

**Topics**
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 发行版 5.36.2](emr-5362-release.md)
+ [Amazon EMR 版本 5.36.1](emr-5361-release.md)
+ [Amazon EMR 发行版 5.36.0](emr-5360-release.md)
+ [Amazon EMR 发行版 5.35.0](emr-5350-release.md)
+ [Amazon EMR 发行版 5.34.0](emr-5340-release.md)
+ [Amazon EMR 发行版 5.33.1](emr-5331-release.md)
+ [Amazon EMR 发行版 5.33.0](emr-5330-release.md)
+ [Amazon EMR 发行版 5.32.1](emr-5321-release.md)
+ [Amazon EMR 发行版 5.32.0](emr-5320-release.md)
+ [Amazon EMR 发行版 5.31.1](emr-5311-release.md)
+ [Amazon EMR 发行版 5.31.0](emr-5310-release.md)
+ [Amazon EMR 发行版 5.30.2](emr-5302-release.md)
+ [Amazon EMR 发行版 5.30.1](emr-5301-release.md)
+ [Amazon EMR 发行版 5.30.0](emr-5300-release.md)
+ [Amazon EMR 发行版 5.29.0](emr-5290-release.md)
+ [Amazon EMR 发行版 5.28.1](emr-5281-release.md)
+ [Amazon EMR 发行版 5.28.0](emr-5280-release.md)
+ [Amazon EMR 发行版 5.27.1](emr-5271-release.md)
+ [Amazon EMR 发行版 5.27.0](emr-5270-release.md)
+ [Amazon EMR 发行版 5.26.0](emr-5260-release.md)
+ [Amazon EMR 发行版 5.25.0](emr-5250-release.md)
+ [Amazon EMR 发行版 5.24.1](emr-5241-release.md)
+ [Amazon EMR 发行版 5.24.0](emr-5240-release.md)
+ [Amazon EMR 发行版 5.23.1](emr-5231-release.md)
+ [Amazon EMR 发行版 5.23.0](emr-5230-release.md)
+ [Amazon EMR 发行版 5.22.0](emr-5220-release.md)
+ [Amazon EMR 发行版 5.21.2](emr-5212-release.md)
+ [Amazon EMR 发行版 5.21.1](emr-5211-release.md)
+ [Amazon EMR 发行版 5.21.0](emr-5210-release.md)
+ [Amazon EMR 发行版 5.20.1](emr-5201-release.md)
+ [Amazon EMR 发行版 5.20.0](emr-5200-release.md)
+ [Amazon EMR 发行版 5.19.1](emr-5191-release.md)
+ [Amazon EMR 发行版 5.19.0](emr-5190-release.md)
+ [Amazon EMR 发行版 5.18.1](emr-5181-release.md)
+ [Amazon EMR 发行版 5.18.0](emr-5180-release.md)
+ [Amazon EMR 发行版 5.17.2](emr-5172-release.md)
+ [Amazon EMR 发行版 5.17.1](emr-5171-release.md)
+ [Amazon EMR 发行版 5.17.0](emr-5170-release.md)
+ [Amazon EMR 发行版 5.16.1](emr-5161-release.md)
+ [Amazon EMR 发行版 5.16.0](emr-5160-release.md)
+ [Amazon EMR 发行版 5.15.1](emr-5151-release.md)
+ [Amazon EMR 发行版 5.15.0](emr-5150-release.md)
+ [Amazon EMR 发行版 5.14.2](emr-5142-release.md)
+ [Amazon EMR 发行版 5.14.1](emr-5141-release.md)
+ [Amazon EMR 发行版 5.14.0](emr-5140-release.md)
+ [Amazon EMR 发行版 5.13.1](emr-5131-release.md)
+ [Amazon EMR 发行版 5.13.0](emr-5130-release.md)
+ [Amazon EMR 发行版 5.12.3](emr-5123-release.md)
+ [Amazon EMR 发行版 5.12.2](emr-5122-release.md)
+ [Amazon EMR 发行版 5.12.1](emr-5121-release.md)
+ [Amazon EMR 发行版 5.12.0](emr-5120-release.md)
+ [Amazon EMR 发行版 5.11.4](emr-5114-release.md)
+ [Amazon EMR 发行版 5.11.3](emr-5113-release.md)
+ [Amazon EMR 发行版 5.11.2](emr-5112-release.md)
+ [Amazon EMR 发行版 5.11.1](emr-5111-release.md)
+ [Amazon EMR 发行版 5.11.0](emr-5110-release.md)
+ [Amazon EMR 发行版 5.10.1](emr-5101-release.md)
+ [Amazon EMR 发行版 5.10.0](emr-5100-release.md)
+ [Amazon EMR 发行版 5.9.1](emr-591-release.md)
+ [Amazon EMR 发行版 5.9.0](emr-590-release.md)
+ [Amazon EMR 发行版 5.8.3](emr-583-release.md)
+ [Amazon EMR 发行版 5.8.2](emr-582-release.md)
+ [Amazon EMR 发行版 5.8.1](emr-581-release.md)
+ [Amazon EMR 发行版 5.8.0](emr-580-release.md)
+ [Amazon EMR 发行版 5.7.1](emr-571-release.md)
+ [Amazon EMR 发行版 5.7.0](emr-570-release.md)
+ [Amazon EMR 发行版 5.6.1](emr-561-release.md)
+ [Amazon EMR 发行版 5.6.0](emr-560-release.md)
+ [Amazon EMR 发行版 5.5.4](emr-554-release.md)
+ [Amazon EMR 发行版 5.5.3](emr-553-release.md)
+ [Amazon EMR 发行版 5.5.2](emr-552-release.md)
+ [Amazon EMR 发行版 5.5.1](emr-551-release.md)
+ [Amazon EMR 发行版 5.5.0](emr-550-release.md)
+ [Amazon EMR 发行版 5.4.1](emr-541-release.md)
+ [Amazon EMR 发行版 5.4.0](emr-540-release.md)
+ [Amazon EMR 发行版 5.3.2](emr-532-release.md)
+ [Amazon EMR 发行版 5.3.1](emr-531-release.md)
+ [Amazon EMR 发行版 5.3.0](emr-530-release.md)
+ [Amazon EMR 发行版 5.2.3](emr-523-release.md)
+ [Amazon EMR 发行版 5.2.2](emr-522-release.md)
+ [Amazon EMR 发行版 5.2.1](emr-521-release.md)
+ [Amazon EMR 发行版 5.2.0](emr-520-release.md)
+ [Amazon EMR 发行版 5.1.1](emr-511-release.md)
+ [Amazon EMR 发行版 5.1.0](emr-510-release.md)
+ [Amazon EMR 发行版 5.0.3](emr-503-release.md)
+ [Amazon EMR 发行版 5.0.2](emr-502-release.md)
+ [Amazon EMR 发行版 5.0.1](emr-501-release.md)
+ [Amazon EMR 发行版 5.0.0](emr-500-release.md)

# Amazon EMR 5.x 发行版中的应用程序版本
<a name="emr-release-app-versions-5.x"></a>

下表列出了每个 Amazon EMR 5.x 发行版中可用的应用程序版本。


**应用程序版本信息**  

|  | emr-5.36.2 | emr-5.36.1 | emr-5.36.0 | emr-5.35.0 | emr-5.34.0 | emr-5.33.1 | emr-5.33.0 | emr-5.32.1 | emr-5.32.0 | emr-5.31.1 | emr-5.31.0 | emr-5.30.2 | emr-5.30.1 | emr-5.30.0 | emr-5.29.0 | emr-5.28.1 | emr-5.28.0 | emr-5.27.1 | emr-5.27.0 | emr-5.26.0 | emr-5.25.0 | emr-5.24.1 | emr-5.24.0 | emr-5.23.1 | emr-5.23.0 | emr-5.22.0 | emr-5.21.2 | emr-5.21.1 | emr-5.21.0 | emr-5.20.1 | emr-5.20.0 | emr-5.19.1 | emr-5.19.0 | emr-5.18.1 | emr-5.18.0 | emr-5.17.2 | emr-5.17.1 | emr-5.17.0 | emr-5.16.1 | emr-5.16.0 | emr-5.15.1 | emr-5.15.0 | emr-5.14.2 | emr-5.14.1 | emr-5.14.0 | emr-5.13.1 | emr-5.13.0 | emr-5.12.3 | emr-5.12.2 | emr-5.12.1 | emr-5.12.0 | emr-5.11.4 | emr-5.11.3 | emr-5.11.2 | emr-5.11.1 | emr-5.11.0 | emr-5.10.1 | emr-5.10.0 | emr-5.9.1 | emr-5.9.0 | emr-5.8.3 | emr-5.8.2 | emr-5.8.1 | emr-5.8.0 | emr-5.7.1 | emr-5.7.0 | emr-5.6.1 | emr-5.6.0 | emr-5.5.4 | emr-5.5.3 | emr-5.5.2 | emr-5.5.1 | emr-5.5.0 | emr-5.4.1 | emr-5.4.0 | emr-5.3.2 | emr-5.3.1 | emr-5.3.0 | emr-5.2.3 | emr-5.2.2 | emr-5.2.1 | emr-5.2.0 | emr-5.1.1 | emr-5.1.0 | emr-5.0.3 | emr-5.0.2 | emr-5.0.1 | emr-5.0.0 | 
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.12.206 | 1.12.206 | 1.12.206 | 1.12.159 | 1.11.970 | 1.11.970 | 1.11.970 | 1.11.890 | 1.11.890 | 1.11.852 | 1.11.852 | 1.11.759 | 1.11.759 | 1.11.759 | 1.11.682 | 1.11.659 | 1.11.659 | 1.11.615 | 1.11.615 | 1.11.595 | 1.11.566 | 1.11.546 | 1.11.546 | 1.11.519 | 1.11.519 | 1.11.510 | 1.11.479 | 1.11.479 | 1.11.479 | 1.11.461 | 1.11.461 | 1.11.433 | 1.11.433 | 1.11.393 | 1.11.393 | 1.11.336 | 1.11.336 | 1.11.336 | 1.11.336 | 1.11.336 | 1.11.333 | 1.11.333 | 1.11.297 | 1.11.297 | 1.11.297 | 1.11.297 | 1.11.297 | 1.11.267 | 1.11.267 | 1.11.267 | 1.11.267 | 1.11.238 | 1.11.238 | 1.11.238 | 1.11.238 | 1.11.238 | 1.11.221 | 1.11.221 | 1.11.183 | 1.11.183 | 1.11.160 | 1.11.160 | 1.11.160 | 1.11.160 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.6 | 2.7、3.6 | 2.7、3.6 | 2.7、3.6 | 2.7、3.6 | 2.7、3.6 | 2.7、3.6 | 2.7、3.6 | 2.7、3.6 | 2.7、3.6 | 2.7、3.6 | 2.7、3.6 | 2.7、3.6 | 2.7、3.6 | 2.7、3.6 | 2.7、3.6 | 2.7、3.6 | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  | 
| Flink | 1.14.2 | 1.14.2 | 1.14.2 | 1.14.2 | 1.13.1 | 1.12.1 | 1.12.1 | 1.11.2 | 1.11.2 | 1.11.0 | 1.11.0 | 1.10.0 | 1.10.0 | 1.10.0 | 1.9.1 | 1.9.0 | 1.9.0 | 1.8.1 | 1.8.1 | 1.8.0 | 1.8.0 | 1.8.0 | 1.8.0 | 1.7.1 | 1.7.1 | 1.7.1 | 1.7.0 | 1.7.0 | 1.7.0 | 1.6.2 | 1.6.2 | 1.6.1 | 1.6.1 | 1.6.0 | 1.6.0 | 1.5.2 | 1.5.2 | 1.5.2 | 1.5.0 | 1.5.0 | 1.4.2 | 1.4.2 | 1.4.2 | 1.4.2 | 1.4.2 | 1.4.0 | 1.4.0 | 1.4.0 | 1.4.0 | 1.4.0 | 1.4.0 | 1.3.2 | 1.3.2 | 1.3.2 | 1.3.2 | 1.3.2 | 1.3.2 | 1.3.2 | 1.3.2 | 1.3.2 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.0 | 1.3.0 | 1.2.1 | 1.2.1 | 1.2.0 | 1.2.0 | 1.2.0 | 1.2.0 | 1.2.0 | 1.2.0 | 1.2.0 | flink-client | flink-client | flink-client | 1.1.3 | 1.1.3 | 1.1.3 | 1.1.3 | 1.1.3 | 1.1.3 |  -  |  -  |  -  |  -  | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.10 | 1.4.10 | 1.4.10 | 1.4.10 | 1.4.10 | 1.4.10 | 1.4.9 | 1.4.9 | 1.4.9 | 1.4.9 | 1.4.9 | 1.4.9 | 1.4.8 | 1.4.8 | 1.4.8 | 1.4.8 | 1.4.8 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.4 | 1.4.4 | 1.4.4 | 1.4.4 | 1.4.2 | 1.4.2 | 1.4.2 | 1.4.2 | 1.4.2 | 1.4.0 | 1.4.0 | 1.4.0 | 1.4.0 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.0 | 1.3.0 | 1.3.0 | 1.3.0 | 1.3.0 | 1.3.0 | 1.3.0 | 1.3.0 | 1.3.0 | 1.2.3 | 1.2.3 | 1.2.3 | 1.2.3 | 1.2.3 | 1.2.3 | 1.2.3 | 1.2.3 | 1.2.3 | 1.2.2 | 1.2.2 | 1.2.2 | 1.2.2 | 
| HCatalog | 2.3.9-amzn-2 | 2.3.9-amzn-2 | 2.3.9-amzn-2 | 2.3.9-amzn-0 | 2.3.8-amzn-0 | 2.3.7-amzn-4 | 2.3.7-amzn-4 | 2.3.7-amzn-3 | 2.3.7-amzn-3 | 2.3.7-amzn-1 | 2.3.7-amzn-1 | 2.3.6-amzn-2 | 2.3.6-amzn-2 | 2.3.6-amzn-2 | 2.3.6-amzn-1 | 2.3.6-amzn-0 | 2.3.6-amzn-0 | 2.3.5-amzn-1 | 2.3.5-amzn-1 | 2.3.5-amzn-0 | 2.3.5-amzn-0 | 2.3.4-amzn-2 | 2.3.4-amzn-2 | 2.3.4-amzn-1 | 2.3.4-amzn-1 | 2.3.4-amzn-1 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.3-amzn-2 | 2.3.3-amzn-2 | 2.3.3-amzn-2 | 2.3.3-amzn-2 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-0 | 2.3.3-amzn-0 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.1-amzn-0 | 2.3.1-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 
| Hadoop | 2.10.1-amzn-4 | 2.10.1-amzn-4 | 2.10.1-amzn-4 | 2.10.1-amzn-3 | 2.10.1-amzn-2 | 2.10.1-amzn-1.1 | 2.10.1-amzn-1 | 2.10.1-amzn-0.1 | 2.10.1-amzn-0 | 2.10.0-amzn-0.1 | 2.10.0-amzn-0 | 2.8.5-amzn-6.1 | 2.8.5-amzn-6 | 2.8.5-amzn-6 | 2.8.5-amzn-5 | 2.8.5-amzn-5 | 2.8.5-amzn-5 | 2.8.5-amzn-4 | 2.8.5-amzn-4 | 2.8.5-amzn-4 | 2.8.5-amzn-4 | 2.8.5-amzn-4 | 2.8.5-amzn-4 | 2.8.5-amzn-3 | 2.8.5-amzn-3 | 2.8.5-amzn-2 | 2.8.5-amzn-1 | 2.8.5-amzn-1 | 2.8.5-amzn-1 | 2.8.5-amzn-1 | 2.8.5-amzn-1 | 2.8.5-amzn-0 | 2.8.5-amzn-0 | 2.8.4-amzn-1 | 2.8.4-amzn-1 | 2.8.4-amzn-1 | 2.8.4-amzn-1 | 2.8.4-amzn-1 | 2.8.4-amzn-0 | 2.8.4-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.7.3-amzn-6 | 2.7.3-amzn-6 | 2.7.3-amzn-6 | 2.7.3-amzn-6 | 2.7.3-amzn-6 | 2.7.3-amzn-5 | 2.7.3-amzn-5 | 2.7.3-amzn-4 | 2.7.3-amzn-4 | 2.7.3-amzn-3 | 2.7.3-amzn-3 | 2.7.3-amzn-3 | 2.7.3-amzn-3 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-0 | 2.7.3-amzn-0 | 2.7.3-amzn-0 | 2.7.3-amzn-0 | 2.7.2-amzn-3 | 2.7.2-amzn-3 | 2.7.2-amzn-3 | 
| Hive | 2.3.9-amzn-2 | 2.3.9-amzn-2 | 2.3.9-amzn-2 | 2.3.9-amzn-0 | 2.3.8-amzn-0 | 2.3.7-amzn-4 | 2.3.7-amzn-4 | 2.3.7-amzn-3 | 2.3.7-amzn-3 | 2.3.7-amzn-1 | 2.3.7-amzn-1 | 2.3.6-amzn-2 | 2.3.6-amzn-2 | 2.3.6-amzn-2 | 2.3.6-amzn-1 | 2.3.6-amzn-0 | 2.3.6-amzn-0 | 2.3.5-amzn-1 | 2.3.5-amzn-1 | 2.3.5-amzn-0 | 2.3.5-amzn-0 | 2.3.4-amzn-2 | 2.3.4-amzn-2 | 2.3.4-amzn-1 | 2.3.4-amzn-1 | 2.3.4-amzn-1 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-0 | 2.3.3-amzn-0 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.1-amzn-0 | 2.3.1-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 
| Hudi | 0.10.1-amzn-1 | 0.10.1-amzn-1 | 0.10.1-amzn-1 | 0.9.0-amzn-2 | 0.9.0-amzn-0 | 0.7.0-amzn-1 | 0.7.0-amzn-1 | 0.6.0-amzn-0 | 0.6.0-amzn-0 | 0.6.0-amzn-0 | 0.6.0-amzn-0 | 0.5.2-incubating | 0.5.2-incubating | 0.5.2-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  | 
| Hue | 4.10.0 | 4.10.0 | 4.10.0 | 4.10.0 | 4.9.0 | 4.9.0 | 4.9.0 | 4.8.0 | 4.8.0 | 4.7.1 | 4.7.1 | 4.6.0 | 4.6.0 | 4.6.0 | 4.4.0 | 4.4.0 | 4.4.0 | 4.4.0 | 4.4.0 | 4.4.0 | 4.4.0 | 4.4.0 | 4.4.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 4.1.0 | 4.1.0 | 4.1.0 | 4.1.0 | 4.1.0 | 4.1.0 | 4.1.0 | 4.1.0 | 4.1.0 | 4.0.1 | 4.0.1 | 4.0.1 | 4.0.1 | 4.0.1 | 4.0.1 | 4.0.1 | 4.0.1 | 4.0.1 | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 | 3.11.0 | 3.11.0 | 3.11.0 | 3.11.0 | 3.11.0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 
| Iceberg |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway | 2.6.0 | 2.6.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  | 
| JupyterHub | 1.4.1 | 1.4.1 | 1.4.1 | 1.4.1 | 1.4.1 | 1.2.2 | 1.2.2 | 1.1.0 | 1.1.0 | 1.1.0 | 1.1.0 | 1.1.0 | 1.1.0 | 1.1.0 | 1.0.0 | 1.0.0 | 1.0.0 | 1.0.0 | 1.0.0 | 0.9.6 | 0.9.6 | 0.9.6 | 0.9.6 | 0.9.4 | 0.9.4 | 0.9.4 | 0.9.4 | 0.9.4 | 0.9.4 | 0.9.4 | 0.9.4 | 0.9.4 | 0.9.4 | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  | 
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  | 
| MXNet | 1.8.0 | 1.8.0 | 1.8.0 | 1.8.0 | 1.8.0 | 1.7.0 | 1.7.0 | 1.7.0 | 1.7.0 | 1.6.0 | 1.6.0 | 1.5.1 | 1.5.1 | 1.5.1 | 1.5.1 | 1.5.1 | 1.5.1 | 1.4.0 | 1.4.0 | 1.4.0 | 1.4.0 | 1.4.0 | 1.4.0 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.0 | 1.3.0 | 1.2.0 | 1.2.0 | 1.2.0 | 1.2.0 | 1.2.0 | 1.2.0 | 1.2.0 | 1.1.0 | 1.1.0 | 1.1.0 | 1.1.0 | 1.1.0 | 1.0.0 | 1.0.0 | 1.0.0 | 1.0.0 | 1.0.0 | 1.0.0 | 0.12.0 | 0.12.0 | 0.12.0 | 0.12.0 | 0.12.0 | 0.12.0 | 0.12.0 |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.0 | 5.2.0 | 5.2.0 | 5.2.0 | 5.2.0 | 5.2.0 | 5.2.0 | 5.2.0 | 5.2.0 | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 
| Phoenix | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 4.14.2--1.4 HBase | 4.14.2--1.4 HBase | 4.14.2--1.4 HBase | 4.14.1--1.4 HBase | 4.14.1--1.4 HBase | 4.14.1--1.4 HBase | 4.14.1--1.4 HBase | 4.14.1--1.4 HBase | 4.14.1--1.4 HBase | 4.14.0--1.4 HBase | 4.14.0--1.4 HBase | 4.14.0--1.4 HBase | 4.14.0--1.4 HBase | 4.14.0--1.4 HBase | 4.14.0--1.4 HBase | 4.14.0--1.4 HBase | 4.14.0--1.4 HBase | 4.14.0--1.4 HBase | 4.14.0--1.4 HBase | 4.14.0--1.4 HBase | 4.14.0--1.4 HBase | 4.14.0--1.4 HBase | 4.14.0--1.4 HBase | 4.13.0--1.4 HBase | 4.13.0--1.4 HBase | 4.13.0--1.4 HBase | 4.13.0--1.4 HBase | 4.13.0--1.4 HBase | 4.13.0--1.4 HBase | 4.13.0--1.4 HBase | 4.13.0--1.4 HBase | 4.13.0--1.4 HBase | 4.13.0--1.4 HBase | 4.13.0--1.4 HBase | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 4.9.0--1.2 HBase | 4.9.0--1.2 HBase | 4.9.0--1.2 HBase | 4.9.0--1.2 HBase | 4.9.0--1.2 HBase | 4.9.0--1.2 HBase | 4.9.0--1.2 HBase | 4.9.0--1.2 HBase | 4.9.0--1.2 HBase | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.16.0-amzn-1 | 0.16.0-amzn-1 | 0.16.0-amzn-1 | 0.16.0-amzn-1 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 
| Presto | 0.267-amzn-1 | 0.267-amzn-1 | 0.267-amzn-1 | 0.266-amzn-0 | 0.261-amzn-0 | 0.245.1-amzn-0 | 0.245.1-amzn-0 | 0.240.1-amzn-0 | 0.240.1-amzn-0 | 0.238.3-amzn-0 | 0.238.3-amzn-0 | 0.232 | 0.232 | 0.232 | 0.227 | 0.227 | 0.227 | 0.224 | 0.224 | 0.220 | 0.220 | 0.219 | 0.219 | 0.215 | 0.215 | 0.215 | 0.215 | 0.215 | 0.215 | 0.214 | 0.214 | 0.212 | 0.212 | 0.210 | 0.210 | 0.206 | 0.206 | 0.206 | 0.203 | 0.203 | 0.194 | 0.194 | 0.194 | 0.194 | 0.194 | 0.194 | 0.194 | 0.188 | 0.188 | 0.188 | 0.188 | 0.187 | 0.187 | 0.187 | 0.187 | 0.187 | 0.187 | 0.187 | 0.184 | 0.184 | 0.170 | 0.170 | 0.170 | 0.170 | 0.170 | 0.170 | 0.170 | 0.170 | 0.170 | 0.170 | 0.170 | 0.170 | 0.170 | 0.166 | 0.166 | 0.157.1 | 0.157.1 | 0.157.1 | 0.157.1 | 0.157.1 | 0.157.1 | 0.152.3 | 0.152.3 | 0.152.3 | 0.152.3 | 0.150 | 0.150 | 0.150 | 
| Spark | 2.4.8-amzn-2 | 2.4.8-amzn-2 | 2.4.8-amzn-2 | 2.4.8-amzn-1 | 2.4.8-amzn-0 | 2.4.7-amzn-1.1 | 2.4.7-amzn-1 | 2.4.7-amzn-0.1 | 2.4.7-amzn-0 | 2.4.6-amzn-0.1 | 2.4.6-amzn-0 | 2.4.5-amzn-0.1 | 2.4.5-amzn-0 | 2.4.5-amzn-0 | 2.4.4 | 2.4.4 | 2.4.4 | 2.4.4 | 2.4.4 | 2.4.3 | 2.4.3 | 2.4.2 | 2.4.2 | 2.4.0 | 2.4.0 | 2.4.0 | 2.4.0 | 2.4.0 | 2.4.0 | 2.4.0 | 2.4.0 | 2.3.2 | 2.3.2 | 2.3.2 | 2.3.2 | 2.3.1 | 2.3.1 | 2.3.1 | 2.3.1 | 2.3.1 | 2.3.0 | 2.3.0 | 2.3.0 | 2.3.0 | 2.3.0 | 2.3.0 | 2.3.0 | 2.2.1 | 2.2.1 | 2.2.1 | 2.2.1 | 2.2.1 | 2.2.1 | 2.2.1 | 2.2.1 | 2.2.1 | 2.2.0 | 2.2.0 | 2.2.0 | 2.2.0 | 2.2.0 | 2.2.0 | 2.2.0 | 2.2.0 | 2.1.1 | 2.1.1 | 2.1.1 | 2.1.1 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.0.2 | 2.0.2 | 2.0.2 | 2.0.2 | 2.0.1 | 2.0.1 | 2.0.1 | 2.0.0 | 2.0.0 | 2.0.0 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 
| TensorFlow | 2.4.1 | 2.4.1 | 2.4.1 | 2.4.1 | 2.4.1 | 2.4.1 | 2.4.1 | 2.3.1 | 2.3.1 | 2.1.0 | 2.1.0 | 1.14.0 | 1.14.0 | 1.14.0 | 1.14.0 | 1.14.0 | 1.14.0 | 1.14.0 | 1.14.0 | 1.13.1 | 1.13.1 | 1.12.0 | 1.12.0 | 1.12.0 | 1.12.0 | 1.12.0 | 1.12.0 | 1.12.0 | 1.12.0 | 1.12.0 | 1.12.0 | 1.11.0 | 1.11.0 | 1.9.0 | 1.9.0 | 1.9.0 | 1.9.0 | 1.9.0 |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.1 | 0.9.1 | 0.9.1 | 0.9.1 | 0.9.1 | 0.9.1 | 0.9.1 | 0.9.1 | 0.9.1 | 0.9.1 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.10.0 | 0.10.0 | 0.10.0 | 0.10.0 | 0.10.0 | 0.9.0 | 0.9.0 | 0.8.2 | 0.8.2 | 0.8.2 | 0.8.2 | 0.8.2 | 0.8.2 | 0.8.2 | 0.8.2 | 0.8.2 | 0.8.2 | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.0 | 0.8.0 | 0.8.0 | 0.8.0 | 0.8.0 | 0.8.0 | 0.8.0 | 0.8.0 | 0.8.0 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.2 | 0.7.2 | 0.7.2 | 0.7.2 | 0.7.2 | 0.7.2 | 0.7.2 | 0.7.2 | 0.7.1 | 0.7.1 | 0.7.1 | 0.7.1 | 0.7.1 | 0.7.1 | 0.7.1 | 0.7.0 | 0.7.0 | 0.6.2 | 0.6.2 | 0.6.2 | 0.6.2 | 0.6.2 | 0.6.2 | 0.6.2 | 0.6.2 | 0.6.2 | 0.6.1 | 0.6.1-SNAPSHOT | 0.6.1-SNAPSHOT | 0.6.1-SNAPSHOT | 
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.12 | 3.4.12 | 3.4.12 | 3.4.12 | 3.4.12 | 3.4.12 | 3.4.12 | 3.4.12 | 3.4.12 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.9 | 3.4.9 | 3.4.9 | 3.4.9 | 3.4.9 | 3.4.9 | 3.4.9 | 3.4.9 | 3.4.8 | 3.4.8 | 3.4.8 | 3.4.8 | 3.4.8 | 3.4.8 | 3.4.8 | 

# Amazon EMR 发行版 5.36.2
<a name="emr-5362-release"></a>

## 5.36.2 应用程序版本
<a name="emr-5362-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.36.2 | emr-5.36.1 | emr-5.36.0 | emr-5.35.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.12.206 | 1.12.206 | 1.12.206 | 1.12.159 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.14.2 | 1.14.2 | 1.14.2 | 1.14.2 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 | 
| HCatalog | 2.3.9-amzn-2 | 2.3.9-amzn-2 | 2.3.9-amzn-2 | 2.3.9-amzn-0 | 
| Hadoop | 2.10.1-amzn-4 | 2.10.1-amzn-4 | 2.10.1-amzn-4 | 2.10.1-amzn-3 | 
| Hive | 2.3.9-amzn-2 | 2.3.9-amzn-2 | 2.3.9-amzn-2 | 2.3.9-amzn-0 | 
| Hudi | 0.10.1-amzn-1 | 0.10.1-amzn-1 | 0.10.1-amzn-1 | 0.9.0-amzn-2 | 
| Hue | 4.10.0 | 4.10.0 | 4.10.0 | 4.10.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway | 2.6.0 | 2.6.0 | 2.1.0 | 2.1.0 | 
| JupyterHub | 1.4.1 | 1.4.1 | 1.4.1 | 1.4.1 | 
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 
| MXNet | 1.8.0 | 1.8.0 | 1.8.0 | 1.8.0 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 
| Phoenix | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.267-amzn-1 | 0.267-amzn-1 | 0.267-amzn-1 | 0.266-amzn-0 | 
| Spark | 2.4.8-amzn-2 | 2.4.8-amzn-2 | 2.4.8-amzn-2 | 2.4.8-amzn-1 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.4.1 | 2.4.1 | 2.4.1 | 2.4.1 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.10.0 | 0.10.0 | 0.10.0 | 0.10.0 | 
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 

## 5.36.2 发布说明
<a name="emr-5362-relnotes"></a>

以下发布说明包括有关 Amazon EMR 版本 5.36.2 的信息。更改与 5.36.1 有关。有关发布时间表的信息，请参阅[更改日志](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-5362-release.html#5362-changelog)。

**更改、增强功能和解决的问题**
+ 此版本改进了集群缩减逻辑，使 Amazon EMR 不会将核心节点缩减到低于集群 HDFS 复制因子设置的范围。此改进满足了数据冗余要求，并降低了扩展操作停止的可能性。
+ 此版本为运行 Presto 或 Trino 的 EMR 集群的集群扩展工作流程添加了新的重试机制。此改进降低了由于单个调整大小操作失败而导致集群调整大小无限期运行的风险。它还可以提高集群利用率，因为您的集群可以更快地向上和向下扩展。
+ 修复了一个问题，当 Amazon EMR 正常停用核心节点时，集群缩减操作可能会停止，并在完全停用之前运行状况不佳。
+ 当 Amazon EMR 重新启动单个节点时，提高了具有多个主节点的高可用性集群中节点的稳定性。
+ 通过在 Amazon EC2 上运行的 Amazon EMR 优化日志管理。因此，您可能会看到集群日志的存储成本略有降低。
+ 改进了对主节点上维护的 ZooKeeper 事务日志文件的管理，以最大限度地减少日志文件越界增长并中断集群操作的情况。
+ 修复了一个罕见的错误，该错误可能导致具有多个主节点的高可用性集群因无法与 Yarn ResourceManager 通信而发生故障。
+ 当您使用 Amazon EMR 5.36 或更高版本、6.6 或更高版本或 7.0 或更高版本的*最新补丁版本*启动集群时，Amazon EMR 会使用最新的 Amazon Linux 2023 或 Amazon Linux 2 发行版作为默认 Amazon EMR AMI。如需更多信息，请参阅 [Using the default Amazon Linux AMI for Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html)。    
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_cn/emr/latest/ReleaseGuide/emr-5362-release.html)

## 5.36.2 组件版本
<a name="emr-5362-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.1 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.16.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.16.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.5.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-notebook-env | 1.5.0 | 适用于 EMR Notebooks（可提供 jupyter 企业网关）的 Conda env | 
| emr-s3-dist-cp | 2.21.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 1.7.0 | EMR S3 Select 连接器 | 
| emrfs | 2.51.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.14.2 | Apache Flink 命令行客户端脚本和应用程序。 | 
| flink-jobmanager-config | 1.14.2 | 在 EMR 节点上管理 Apache Flink 的资源。 JobManager | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.10.1-amzn-4 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.10.1-amzn-4 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.10.1-amzn-4 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.10.1-amzn-4 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-hdfs-journalnode | 2.10.1-amzn-4 | 用于管理 HA 集群上的 Hadoop 文件系统日志的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.10.1-amzn-4 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.10.1-amzn-4 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.10.1-amzn-4 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.10.1-amzn-4 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.10.1-amzn-4 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.10.1-amzn-4 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.4.13 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.4.13 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.4.13 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.4.13 | 为提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.4.13 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.9-amzn-2 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.9-amzn-2 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.9-amzn-2 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.9-amzn-2 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.9-amzn-2 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.9-amzn-2 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.9-amzn-2 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hudi | 0.10.1-amzn-1 | 增量处理框架，以支持低延迟和高效率的数据管道。 | 
| hudi-spark | 0.10.1-amzn-1 | 用于运行 Spark 以及 Hudi 的捆绑库。 | 
| hudi-presto | 0.10.1-amzn-1 | 用于运行 Presto 以及 Hudl 的捆绑库。 | 
| hue-server | 4.10.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 1.4.1 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.7.1-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.13.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 1.8.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mariadb-server | 5.5.68 | MySQL 数据库服务器。 | 
| nvidia-cuda | 11.0.194 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.2.1 | Oozie 命令行客户端。 | 
| oozie-server | 5.2.1 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 4.5.0 | 开源计算机视觉库。 | 
| phoenix-library | 4.14.3--1.4 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.14.3--1.4 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.267-amzn-1 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.267-amzn-1 | 用于执行查询的各个部分的服务。 | 
| presto-client | 0.267-amzn-1 | Presto 命令行客户端，安装在 HA 集群的备用主节点（未启动 Presto 服务器）上。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 4.0.2 | 用于统计计算的 R 项目 | 
| ranger-kms-server | 1.2.0 | Apache Ranger 密钥管理系统 | 
| spark-client | 2.4.8-amzn-2 | Spark 命令行客户端。 | 
| spark-history-server | 2.4.8-amzn-2 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.4.8-amzn-2 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.4.8-amzn-2 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 2.4.1 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.9.2 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.10.0 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.14 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.14 | ZooKeeper 命令行客户端。 | 

## 5.36.2 配置分类
<a name="emr-5362-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。

为处于运行状态的集群中的实例组指定配置时，将发生重新配置操作。Amazon EMR 仅为您修改的分类启动重新配置操作。有关更多信息，请参阅 [在正在运行的集群中重新配置实例组](emr-configure-apps-running-cluster.md)。


**emr-5.36.2 分类**  

| 分类 | 说明 | 重新配置操作 | 
| --- | --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | Restarts the ResourceManager service. | 
| container-executor | 更改 Hadoop YARN 的 container-executor.cfg 文件中的值。 | Not available. | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | Not available. | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | 更改 docker 相关设置。 | Not available. | 
| emrfs-site | 更改 EMRFS 设置。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | 更改 flink-conf.yaml 设置。 | Restarts Flink history server. | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | Restarts Flink history server. | 
| flink-log4j-session | 更改会话的 Flink log4j-session.properties Kubernetes/Yarn  | Not available. | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | Restarts Flink history server. | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | Not available. | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | Not available. | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | 更改环境 HBase中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | Not available. | 
| hbase-site | 更改 hbase-site.xml 文件 HBase中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | Should not be reconfigured. | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | 更改环境 HCatalog中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | Restarts Hive WebHCat Server. | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | Restarts Hive WebHCat Server. | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | Restarts Hive WebHCat Server. | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | Not available. | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | Not available. | 
| hive-env | 更改 Hive 环境中的值。 | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | Restarts HiveServer2 and HiveMetastore. | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | Not available. | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | Not available. | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | Not available. | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | Restarts Hadoop Httpfs service. | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | Not available. | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | Not available. | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | 更改 Hudi 环境中的值。 | Not available. | 
| hudi-defaults | 更改 Hudi 的 hudi-defaults.conf 文件中的值。 | Not available. | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | Not available. | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | Not available. | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | Not available. | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | Not available. | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | Restarts Livy Server. | 
| livy-env | 更改 Livy 环境中的值。 | Restarts Livy Server. | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | Restarts Livy Server. | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | 更改 Oozie 的环境中的值。 | Restarts Oozie. | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | Restarts Oozie. | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | Restarts Oozie. | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | Not available. | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | Not available. | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | Not available. | 
| pig-env | 更改 Pig 环境中的值。 | Not available. | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | Restarts Oozie. | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | Not available. | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | Restarts Presto-Server. | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | Restarts Presto-Server. | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | Not available. | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | Restarts Presto-Server. | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | Not available. | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | Not available. | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | Not available. | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | Restarts Presto-Server. | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | Not available. | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | Not available. | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | Not available. | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | Not available. | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | Not available. | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | Not available. | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | Not available. | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | Not available. | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | Not available. | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | Not available. | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | Not available. | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | Not available. | 
| ranger-kms-dbks-site | 更改 Ranger KMS 的 dbks-site.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-site | 更改 Ranger K ranger-kms-site MS 的.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-env | 更改 Ranger KMS 环境中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-log4j | 更改 Ranger KMS 的 kms-log4j.properties 文件中的值。 | Not available. | 
| ranger-kms-db-ca | 更改 S3 上用于与 Ranger KMS 进行 MySQL SSL 连接的 CA 文件的值。 | Not available. | 
| recordserver-env | 在 EMR RecordServer 环境中更改值。 | Restarts EMR record server. | 
| recordserver-conf | 更改 EMR 的 server.proper RecordServer ties 文件中的值。 | Restarts EMR record server. | 
| recordserver-log4j | 更改 EMR 的 log4j.propertie RecordServer s 文件中的值。 | Restarts EMR record server. | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | This property modifies spark-defaults. See actions there. | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-env | 更改 Spark 环境中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | Not available. | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | Not available. | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | Not available. | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | Not available. | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | Restarts Oozie. | 
| yarn-env | 更改 YARN 环境中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | Restarts Zeppelin. | 
| zeppelin-site | 更改 zeppelin-site.xml 中的配置设置。 | Restarts Zeppelin. | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | Restarts Zookeeper server. | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | Restarts Zookeeper server. | 

## 5.36.2 更改日志
<a name="5362-changelog"></a>


**发行版 5.36.2 的更改日志和发布说明**  

| 日期 | 事件 | 说明 | 
| --- | --- | --- | 
| 2024-05-28 | 部署完成 | Amazon EMR 5.36.2 已全面部署到所有[支持的区域](https://aws.amazon.com/about-aws/global-infrastructure/regional-product-services/) | 
| 2024-05-28 | 文档发布 | Amazon EMR 5.36.2 发布说明首次发布 | 
| 2024-05-20 | 初始版本 | Amazon EMR 5.36.2 首次面向部分商业区域部署 | 

# Amazon EMR 版本 5.36.1
<a name="emr-5361-release"></a>

## 5.36.1 应用程序版本
<a name="emr-5361-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.36.1 | emr-5.36.0 | emr-5.35.0 | emr-5.34.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.12.206 | 1.12.206 | 1.12.159 | 1.11.970 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.14.2 | 1.14.2 | 1.14.2 | 1.13.1 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 | 
| HCatalog | 2.3.9-amzn-2 | 2.3.9-amzn-2 | 2.3.9-amzn-0 | 2.3.8-amzn-0 | 
| Hadoop | 2.10.1-amzn-4 | 2.10.1-amzn-4 | 2.10.1-amzn-3 | 2.10.1-amzn-2 | 
| Hive | 2.3.9-amzn-2 | 2.3.9-amzn-2 | 2.3.9-amzn-0 | 2.3.8-amzn-0 | 
| Hudi | 0.10.1-amzn-1 | 0.10.1-amzn-1 | 0.9.0-amzn-2 | 0.9.0-amzn-0 | 
| Hue | 4.10.0 | 4.10.0 | 4.10.0 | 4.9.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway | 2.6.0 | 2.1.0 | 2.1.0 | 2.1.0 | 
| JupyterHub | 1.4.1 | 1.4.1 | 1.4.1 | 1.4.1 | 
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 
| MXNet | 1.8.0 | 1.8.0 | 1.8.0 | 1.8.0 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 
| Phoenix | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.267-amzn-1 | 0.267-amzn-1 | 0.266-amzn-0 | 0.261-amzn-0 | 
| Spark | 2.4.8-amzn-2 | 2.4.8-amzn-2 | 2.4.8-amzn-1 | 2.4.8-amzn-0 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.4.1 | 2.4.1 | 2.4.1 | 2.4.1 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.10.0 | 0.10.0 | 0.10.0 | 0.10.0 | 
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 

## 5.36.1 发布说明
<a name="emr-5361-relnotes"></a>

以下发布说明包括有关 Amazon EMR 版本 5.36.1 的信息。更改与 5.36.0 有关。有关发布时间表的信息，请参阅[更改日志](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-5361-release.html#5361-changelog)。

**更改、增强功能和解决的问题**
+ Amazon EMR 版本 5.36.1 增加了对在集群缩减期间将日志存档到 Amazon S3 的支持。在之前的 5.x 版本中，您只能在集群终止期间将日志文件存档到 Amazon S3。这项改进可确保即使在节点终止后，集群上生成的日志文件仍保留在 Amazon S3 上。有关更多信息，请参阅[配置集群日志记录和调试](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-debugging.html)。
+ 5.36.1 版本改进了集群上日志管理进程守护程序，以监控 EMR 集群中的其他日志文件夹。这一改进最大限度地减少了磁盘过度使用情况。
+ 5.36.1 版本在集群上日志管理进程守护程序停止后会自动重启该守护程序。这一改进降低了由于磁盘过度使用而导致节点出现运行状况不佳的风险。
+ 5.36.1 版本修复了主节点上的 Amazon EMR 进程守护程序会维护集群中已终止实例的过时元数据的问题。维护陈旧的数据可能会导致集群上的 CPU 和内存使用量无限增长，并最终导致集群故障。
+ 对于使用多个主节点启动的集群，5.36.1 版本修复了其中一个主节点上的 Amazon EC2 硬件故障可能导致第二个主节点出现故障并导致集群不稳定的问题。
+ 对于配置了传输中加密的集群，托管扩展现在支持 *Spark shuffle 数据*感知。Spark shuffle 数据是 Spark 跨分区重新分配以执行特定操作的数据。在缩减期间，托管扩展会忽略带有随机数据的实例。这样可以防止任务的重新尝试和重新计算，这些都会给价格和性能带来高昂的代价。有关随机排序操作的更多信息，请参阅 [Spark 编程指南](https://spark.apache.org/docs/latest/rdd-programming-guide.html#shuffle-operations)。
+ 当您使用 Amazon EMR 5.36 或更高版本、6.6 或更高版本或 7.0 或更高版本的*最新补丁版本*启动集群时，Amazon EMR 会使用最新的 Amazon Linux 2023 或 Amazon Linux 2 发行版作为默认 Amazon EMR AMI。如需更多信息，请参阅 [Using the default Amazon Linux AMI for Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html)。    
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_cn/emr/latest/ReleaseGuide/emr-5361-release.html)

## 5.36.1 组件版本
<a name="emr-5361-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.1 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.16.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.16.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.5.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-notebook-env | 1.5.0 | 适用于 EMR Notebooks（可提供 jupyter 企业网关）的 Conda env | 
| emr-s3-dist-cp | 2.21.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 1.7.0 | EMR S3 Select 连接器 | 
| emrfs | 2.51.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.14.2 | Apache Flink 命令行客户端脚本和应用程序。 | 
| flink-jobmanager-config | 1.14.2 | 在 EMR 节点上管理 Apache Flink 的资源。 JobManager | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.10.1-amzn-4 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.10.1-amzn-4 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.10.1-amzn-4 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.10.1-amzn-4 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-hdfs-journalnode | 2.10.1-amzn-4 | 用于管理 HA 集群上的 Hadoop 文件系统日志的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.10.1-amzn-4 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.10.1-amzn-4 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.10.1-amzn-4 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.10.1-amzn-4 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.10.1-amzn-4 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.10.1-amzn-4 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.4.13 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.4.13 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.4.13 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.4.13 | 为提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.4.13 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.9-amzn-2 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.9-amzn-2 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.9-amzn-2 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.9-amzn-2 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.9-amzn-2 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.9-amzn-2 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.9-amzn-2 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hudi | 0.10.1-amzn-1 | 增量处理框架，以支持低延迟和高效率的数据管道。 | 
| hudi-spark | 0.10.1-amzn-1 | 用于运行 Spark 以及 Hudi 的捆绑库。 | 
| hudi-presto | 0.10.1-amzn-1 | 用于运行 Presto 以及 Hudl 的捆绑库。 | 
| hue-server | 4.10.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 1.4.1 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.7.1-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.13.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 1.8.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mariadb-server | 5.5.68 | MySQL 数据库服务器。 | 
| nvidia-cuda | 11.0.194 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.2.1 | Oozie 命令行客户端。 | 
| oozie-server | 5.2.1 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 4.5.0 | 开源计算机视觉库。 | 
| phoenix-library | 4.14.3--1.4 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.14.3--1.4 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.267-amzn-1 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.267-amzn-1 | 用于执行查询的各个部分的服务。 | 
| presto-client | 0.267-amzn-1 | Presto 命令行客户端，安装在 HA 集群的备用主节点（未启动 Presto 服务器）上。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 4.0.2 | 用于统计计算的 R 项目 | 
| ranger-kms-server | 1.2.0 | Apache Ranger 密钥管理系统 | 
| spark-client | 2.4.8-amzn-2 | Spark 命令行客户端。 | 
| spark-history-server | 2.4.8-amzn-2 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.4.8-amzn-2 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.4.8-amzn-2 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 2.4.1 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.9.2 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.10.0 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.14 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.14 | ZooKeeper 命令行客户端。 | 

## 5.36.1 配置分类
<a name="emr-5361-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。

为处于运行状态的集群中的实例组指定配置时，将发生重新配置操作。Amazon EMR 仅为您修改的分类启动重新配置操作。有关更多信息，请参阅 [在正在运行的集群中重新配置实例组](emr-configure-apps-running-cluster.md)。


**emr-5.36.1 分类**  

| 分类 | 说明 | 重新配置操作 | 
| --- | --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | Restarts the ResourceManager service. | 
| container-executor | 更改 Hadoop YARN 的 container-executor.cfg 文件中的值。 | Not available. | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | Not available. | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | 更改 docker 相关设置。 | Not available. | 
| emrfs-site | 更改 EMRFS 设置。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | 更改 flink-conf.yaml 设置。 | Restarts Flink history server. | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | Restarts Flink history server. | 
| flink-log4j-session | 更改会话的 Flink log4j-session.properties Kubernetes/Yarn  | Not available. | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | Restarts Flink history server. | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | Not available. | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | Not available. | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | 更改环境 HBase中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | Not available. | 
| hbase-site | 更改 hbase-site.xml 文件 HBase中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | Should not be reconfigured. | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | 更改环境 HCatalog中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | Restarts Hive WebHCat Server. | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | Restarts Hive WebHCat Server. | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | Restarts Hive WebHCat Server. | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | Not available. | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | Not available. | 
| hive-env | 更改 Hive 环境中的值。 | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | Restarts HiveServer2 and HiveMetastore. | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | Not available. | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | Not available. | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | Not available. | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | Restarts Hadoop Httpfs service. | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | Not available. | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | Not available. | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | 更改 Hudi 环境中的值。 | Not available. | 
| hudi-defaults | 更改 Hudi 的 hudi-defaults.conf 文件中的值。 | Not available. | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | Not available. | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | Not available. | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | Not available. | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | Not available. | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | Restarts Livy Server. | 
| livy-env | 更改 Livy 环境中的值。 | Restarts Livy Server. | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | Restarts Livy Server. | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | 更改 Oozie 的环境中的值。 | Restarts Oozie. | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | Restarts Oozie. | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | Restarts Oozie. | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | Not available. | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | Not available. | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | Not available. | 
| pig-env | 更改 Pig 环境中的值。 | Not available. | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | Restarts Oozie. | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | Not available. | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | Restarts Presto-Server. | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | Restarts Presto-Server. | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | Not available. | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | Restarts Presto-Server. | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | Not available. | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | Not available. | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | Not available. | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | Restarts Presto-Server. | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | Not available. | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | Not available. | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | Not available. | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | Not available. | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | Not available. | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | Not available. | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | Not available. | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | Not available. | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | Not available. | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | Not available. | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | Not available. | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | Not available. | 
| ranger-kms-dbks-site | 更改 Ranger KMS 的 dbks-site.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-site | 更改 Ranger K ranger-kms-site MS 的.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-env | 更改 Ranger KMS 环境中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-log4j | 更改 Ranger KMS 的 kms-log4j.properties 文件中的值。 | Not available. | 
| ranger-kms-db-ca | 更改 S3 上用于与 Ranger KMS 进行 MySQL SSL 连接的 CA 文件的值。 | Not available. | 
| recordserver-env | 在 EMR RecordServer 环境中更改值。 | Restarts EMR record server. | 
| recordserver-conf | 更改 EMR 的 server.proper RecordServer ties 文件中的值。 | Restarts EMR record server. | 
| recordserver-log4j | 更改 EMR 的 log4j.propertie RecordServer s 文件中的值。 | Restarts EMR record server. | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | This property modifies spark-defaults. See actions there. | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-env | 更改 Spark 环境中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | Not available. | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | Not available. | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | Not available. | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | Not available. | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | Restarts Oozie. | 
| yarn-env | 更改 YARN 环境中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | Restarts Zeppelin. | 
| zeppelin-site | 更改 zeppelin-site.xml 中的配置设置。 | Restarts Zeppelin. | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | Restarts Zookeeper server. | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | Restarts Zookeeper server. | 

## 5.36.1 更新日志
<a name="5361-changelog"></a>


**发行版 5.36.1 的更改日志和发布说明**  

| 日期 | 事件 | 说明 | 
| --- | --- | --- | 
| 2023-07-26 | 更新 | 新的操作系统版本标签 2.0.20230612.0 和 2.0.20230628.0。 | 
| 2023-05-25 | 部署完成 | Amazon EMR 5.36.1 已全面部署到所有[支持的区域](https://aws.amazon.com/about-aws/global-infrastructure/regional-product-services/) | 
| 2023-05-09 | 文档发布 | Amazon EMR 5.36.1 发布说明首次发布 | 
| 2023-05-04 | 初始版本 | Amazon EMR 5.36.1 首次面向部分商业区域部署 | 

# Amazon EMR 发行版 5.36.0
<a name="emr-5360-release"></a>

## 5.36.0 应用程序版本
<a name="emr-5360-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.36.0 | emr-5.35.0 | emr-5.34.0 | emr-5.33.1 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.12.206 | 1.12.159 | 1.11.970 | 1.11.970 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.14.2 | 1.14.2 | 1.13.1 | 1.12.1 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 | 
| HCatalog | 2.3.9-amzn-2 | 2.3.9-amzn-0 | 2.3.8-amzn-0 | 2.3.7-amzn-4 | 
| Hadoop | 2.10.1-amzn-4 | 2.10.1-amzn-3 | 2.10.1-amzn-2 | 2.10.1-amzn-1.1 | 
| Hive | 2.3.9-amzn-2 | 2.3.9-amzn-0 | 2.3.8-amzn-0 | 2.3.7-amzn-4 | 
| Hudi | 0.10.1-amzn-1 | 0.9.0-amzn-2 | 0.9.0-amzn-0 | 0.7.0-amzn-1 | 
| Hue | 4.10.0 | 4.10.0 | 4.9.0 | 4.9.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 
| JupyterHub | 1.4.1 | 1.4.1 | 1.4.1 | 1.2.2 | 
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.0-incubating | 
| MXNet | 1.8.0 | 1.8.0 | 1.8.0 | 1.7.0 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.0 | 
| Phoenix | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.267-amzn-1 | 0.266-amzn-0 | 0.261-amzn-0 | 0.245.1-amzn-0 | 
| Spark | 2.4.8-amzn-2 | 2.4.8-amzn-1 | 2.4.8-amzn-0 | 2.4.7-amzn-1.1 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.4.1 | 2.4.1 | 2.4.1 | 2.4.1 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.10.0 | 0.10.0 | 0.10.0 | 0.9.0 | 
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 

## 5.36.0 发布说明
<a name="emr-5360-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.36.0 的信息。更改与 5.35.0 有关。

首次发布日期：2022 年 6 月 15 日

**新功能**
+ Amazon EMR 版本 5.36.0 在启用 Apache Ranger 的集群上，通过 Apache Spark 增加了对数据定义语言（DDL）的支持。这样，您就能够使用 Apache Ranger 管理操作的访问权限，例如创建、更改和删除 Amazon EMR 集群中的数据库和表。
+ 当您使用 Amazon EMR 5.36 或更高版本、6.6 或更高版本或 7.0 或更高版本的*最新补丁版本*启动集群时，Amazon EMR 会使用最新的 Amazon Linux 2023 或 Amazon Linux 2 发行版作为默认 Amazon EMR AMI。如需更多信息，请参阅 [Using the default Amazon Linux AMI for Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html)。
**注意**  
此版本不再获得 AMI 自动更新，因为它已被另外 1 个补丁版本取代。补丁版本以第二位小数点后的数字 (`6.8.1`) 表示。要查看您是否使用的是最新补丁版本，请查看《[https://docs.aws.amazon.com/emr/latest/ReleaseGuide](https://docs.aws.amazon.com/emr/latest/ReleaseGuide)》中的可用版本，或者在控制台中创建集群时查看 **Amazon EMR 版本**下拉列表，或使用 [https://docs.aws.amazon.com/emr/latest/APIReference/API_ListReleaseLabels.html](https://docs.aws.amazon.com/emr/latest/APIReference/API_ListReleaseLabels.html) API 或 [https://docs.aws.amazon.com/cli/latest/reference/emr/list-release-labels.html](https://docs.aws.amazon.com/cli/latest/reference/emr/list-release-labels.html) CLI 操作。要获取有关新版本的更新，请订阅[新增功能](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html)页面上的 RSS 源。


| OsReleaseLabel （亚马逊 Linux 版本） | Amazon Linux 内核版本 | 可用日期 | 支持的区域： | 
| --- | --- | --- | --- | 
| 2.0.20260302.0 | 4.14.355-280.714.amzn2 | 2026年3月13日 | 非洲（开普敦）、亚太地区（香港）、亚太地区（东京）、亚太地区（首尔）、亚太地区（大阪）、亚太地区（孟买）、亚太地区（海得拉巴）、亚太地区（新加坡）、亚太地区（悉尼）、亚太地区（雅加达）、亚太地区（墨尔本）、加拿大（中部）、欧洲地区（法兰克福）、欧洲（苏黎世）、欧洲地区（斯德哥尔摩）、欧洲地区（米兰）、欧洲（西班牙）、欧洲地区（爱尔兰）、欧洲地区（伦敦）、欧洲地区（巴黎）、以色列（特拉维夫）、中东（阿联酋）、中东（巴林）、南美洲（圣保罗）、美国东部（弗吉尼亚州北部）、美国东部（俄亥俄州）、美国西部（北加利福尼亚）、美国西部（俄勒冈州） | 
| 2.0.20260216.0 | 4.14.355-280.714.amzn2 | 2026 年 2 月 25 日 | 非洲（开普敦）、亚太地区（香港）、亚太地区（东京）、亚太地区（首尔）、亚太地区（大阪）、亚太地区（孟买）、亚太地区（海得拉巴）、亚太地区（新加坡）、亚太地区（悉尼）、亚太地区（雅加达）、亚太地区（墨尔本）、加拿大（中部）、欧洲地区（法兰克福）、欧洲（苏黎世）、欧洲地区（斯德哥尔摩）、欧洲地区（米兰）、欧洲（西班牙）、欧洲地区（爱尔兰）、欧洲地区（伦敦）、欧洲地区（巴黎）、以色列（特拉维夫）、中东（阿联酋）、中东（巴林）、南美洲（圣保罗）、美国东部（弗吉尼亚州北部）、美国东部（俄亥俄州）、美国西部（北加利福尼亚）、美国西部（俄勒冈州） | 
| 2.0.20260120.1 | 4.14.355-280.713.amzn2 | 2026年2月18日 | 非洲（开普敦）、亚太地区（香港）、亚太地区（东京）、亚太地区（首尔）、亚太地区（大阪）、亚太地区（孟买）、亚太地区（海得拉巴）、亚太地区（新加坡）、亚太地区（悉尼）、亚太地区（雅加达）、亚太地区（墨尔本）、加拿大（中部）、欧洲地区（法兰克福）、欧洲（苏黎世）、欧洲地区（斯德哥尔摩）、欧洲地区（米兰）、欧洲（西班牙）、欧洲地区（爱尔兰）、欧洲地区（伦敦）、欧洲地区（巴黎）、以色列（特拉维夫）、中东（阿联酋）、中东（巴林）、南美洲（圣保罗）、美国东部（弗吉尼亚州北部）、美国东部（俄亥俄州）、美国西部（北加利福尼亚）、美国西部（俄勒冈州） | 
| 2.0.20251208.0 | 4.14.355-280.710.amzn2 | 2026 年 1 月 13 日 | 非洲（开普敦）、亚太地区（香港）、亚太地区（东京）、亚太地区（首尔）、亚太地区（大阪）、亚太地区（孟买）、亚太地区（海得拉巴）、亚太地区（新加坡）、亚太地区（悉尼）、亚太地区（雅加达）、亚太地区（墨尔本）、加拿大（中部）、欧洲地区（法兰克福）、欧洲（苏黎世）、欧洲地区（斯德哥尔摩）、欧洲地区（米兰）、欧洲（西班牙）、欧洲地区（爱尔兰）、欧洲地区（伦敦）、欧洲地区（巴黎）、以色列（特拉维夫）、中东（阿联酋）、中东（巴林）、南美洲（圣保罗）、美国东部（弗吉尼亚州北部）、美国东部（俄亥俄州）、美国西部（北加利福尼亚）、美国西部（俄勒冈州） | 
| 2.0.20251121.0 | 4.14.355-280.708.amzn2 | 2025 年 12 月 16 日 | 非洲（开普敦）、亚太地区（香港）、亚太地区（东京）、亚太地区（首尔）、亚太地区（大阪）、亚太地区（孟买）、亚太地区（海得拉巴）、亚太地区（新加坡）、亚太地区（悉尼）、亚太地区（雅加达）、亚太地区（墨尔本）、加拿大（中部）、欧洲地区（法兰克福）、欧洲（苏黎世）、欧洲地区（斯德哥尔摩）、欧洲地区（米兰）、欧洲（西班牙）、欧洲地区（爱尔兰）、欧洲地区（伦敦）、欧洲地区（巴黎）、以色列（特拉维夫）、中东（阿联酋）、中东（巴林）、南美洲（圣保罗）、美国东部（弗吉尼亚州北部）、美国东部（俄亥俄州）、美国西部（北加利福尼亚）、美国西部（俄勒冈州） | 
| 2.0.20251027.1 | 4.14.355-280.706.amzn2 | 2025 年 11 月 10 日 | 非洲（开普敦）、亚太地区（香港）、亚太地区（东京）、亚太地区（首尔）、亚太地区（大阪）、亚太地区（孟买）、亚太地区（海得拉巴）、亚太地区（新加坡）、亚太地区（悉尼）、亚太地区（雅加达）、亚太地区（墨尔本）、加拿大（中部）、欧洲地区（法兰克福）、欧洲（苏黎世）、欧洲地区（斯德哥尔摩）、欧洲地区（米兰）、欧洲（西班牙）、欧洲地区（爱尔兰）、欧洲地区（伦敦）、欧洲地区（巴黎）、以色列（特拉维夫）、中东（阿联酋）、中东（巴林）、南美洲（圣保罗）、美国东部（弗吉尼亚州北部）、美国东部（俄亥俄州）、美国西部（北加利福尼亚）、美国西部（俄勒冈州） | 
| 2.0.20250929.2 | 4.14.355-280.695.amzn2 | 2025 年 10 月 13 日 | 非洲（开普敦）、亚太地区（香港）、亚太地区（东京）、亚太地区（首尔）、亚太地区（大阪）、亚太地区（孟买）、亚太地区（海得拉巴）、亚太地区（新加坡）、亚太地区（悉尼）、亚太地区（雅加达）、亚太地区（墨尔本）、加拿大（中部）、欧洲地区（法兰克福）、欧洲（苏黎世）、欧洲地区（斯德哥尔摩）、欧洲地区（米兰）、欧洲（西班牙）、欧洲地区（爱尔兰）、欧洲地区（伦敦）、欧洲地区（巴黎）、以色列（特拉维夫）、中东（阿联酋）、中东（巴林）、南美洲（圣保罗）、美国东部（弗吉尼亚州北部）、美国东部（俄亥俄州）、美国西部（北加利福尼亚）、美国西部（俄勒冈州） | 
| 2.0.20250818.2 | 4.14.355-280.672.amzn2 | 2025 年 9 月 17 日 | 非洲（开普敦）、亚太地区（香港）、亚太地区（东京）、亚太地区（首尔）、亚太地区（大阪）、亚太地区（孟买）、亚太地区（海得拉巴）、亚太地区（新加坡）、亚太地区（悉尼）、亚太地区（雅加达）、亚太地区（墨尔本）、加拿大（中部）、欧洲地区（法兰克福）、欧洲（苏黎世）、欧洲地区（斯德哥尔摩）、欧洲地区（米兰）、欧洲（西班牙）、欧洲地区（爱尔兰）、欧洲地区（伦敦）、欧洲地区（巴黎）、以色列（特拉维夫）、中东（阿联酋）、中东（巴林）、南美洲（圣保罗）、美国东部（弗吉尼亚州北部）、美国东部（俄亥俄州）、美国西部（北加利福尼亚）、美国西部（俄勒冈州） | 
| 2.0.20250808.1 | 4.14.355-280.664.amzn2 | 2025 年 8 月 28 日 | 非洲（开普敦）、亚太地区（香港）、亚太地区（东京）、亚太地区（首尔）、亚太地区（大阪）、亚太地区（孟买）、亚太地区（海得拉巴）、亚太地区（新加坡）、亚太地区（悉尼）、亚太地区（雅加达）、亚太地区（墨尔本）、加拿大（中部）、欧洲地区（法兰克福）、欧洲（苏黎世）、欧洲地区（斯德哥尔摩）、欧洲地区（米兰）、欧洲（西班牙）、欧洲地区（爱尔兰）、欧洲地区（伦敦）、欧洲地区（巴黎）、以色列（特拉维夫）、中东（阿联酋）、中东（巴林）、南美洲（圣保罗）、美国东部（弗吉尼亚州北部）、美国东部（俄亥俄州）、美国西部（北加利福尼亚）、美国西部（俄勒冈州） | 
| 2.0.20250721.2 | 4.14.355-280.652.amzn2 | 2025 年 8 月 14 日 | 非洲（开普敦）、亚太地区（香港）、亚太地区（东京）、亚太地区（首尔）、亚太地区（大阪）、亚太地区（孟买）、亚太地区（海得拉巴）、亚太地区（新加坡）、亚太地区（悉尼）、亚太地区（雅加达）、亚太地区（墨尔本）、加拿大（中部）、欧洲地区（法兰克福）、欧洲（苏黎世）、欧洲地区（斯德哥尔摩）、欧洲地区（米兰）、欧洲（西班牙）、欧洲地区（爱尔兰）、欧洲地区（伦敦）、欧洲地区（巴黎）、以色列（特拉维夫）、中东（阿联酋）、中东（巴林）、南美洲（圣保罗）、美国东部（弗吉尼亚州北部）、美国东部（俄亥俄州）、美国西部（北加利福尼亚）、美国西部（俄勒冈州） | 
| 2.0.20250623.0 | 4.14.355-277.647.amzn2 | 2025 年 7 月 21 日 | 非洲（开普敦）、亚太地区（香港）、亚太地区（东京）、亚太地区（首尔）、亚太地区（大阪）、亚太地区（孟买）、亚太地区（海得拉巴）、亚太地区（新加坡）、亚太地区（悉尼）、亚太地区（雅加达）、亚太地区（墨尔本）、加拿大（中部）、欧洲地区（法兰克福）、欧洲（苏黎世）、欧洲地区（斯德哥尔摩）、欧洲地区（米兰）、欧洲（西班牙）、欧洲地区（爱尔兰）、欧洲地区（伦敦）、欧洲地区（巴黎）、以色列（特拉维夫）、中东（阿联酋）、中东（巴林）、南美洲（圣保罗）、美国东部（弗吉尼亚州北部）、美国东部（俄亥俄州）、美国西部（北加利福尼亚）、美国西部（俄勒冈州） | 
| 2.0.20250610.0 | 4.14.355-277.647.amzn2 | 2025 年 7 月 14 日 | 欧洲（斯德哥尔摩）、中东（巴林）、中国（北京）、亚太地区（孟买）、欧洲（巴黎）、亚太地区（雅加达）、美国东部（俄亥俄州）、非洲（开普敦）、欧洲（爱尔兰）、中东（阿联酋）、欧洲（法兰克福）、南美洲（圣保罗）、亚太地区（香港）、亚太地区（海得拉巴）、美国东部（弗吉尼亚北部）、亚太地区（首尔）、亚太地区（大阪）、欧洲（伦敦）、欧洲（米兰）、亚太地区（东京）、（美国东部）、（美国西部） AWS GovCloud 、（美国西部） AWS GovCloud 、美国西部（俄勒冈）、美国西部（加利福尼亚北部）、亚太地区（新加坡）、亚太地区（悉尼）)、以色列（特拉维夫）、加拿大（中部）、欧洲（西班牙）、中国（宁夏）、欧洲（苏黎世） | 
| 2.0.20250527.1 | 4.14.355-277.647.amzn2 | 2025 年 6 月 19 日 | 欧洲地区（斯德哥尔摩）、中东（巴林）、亚太地区（孟买）、欧洲地区（巴黎）、亚太地区（雅加达）、美国东部（俄亥俄州）、非洲（开普敦）、欧洲地区（爱尔兰）、中东（阿联酋）、欧洲地区（法兰克福）、南美洲（圣保罗）、亚太地区（香港）、亚太地区（海得拉巴）、美国东部（弗吉尼亚州北部）、亚太地区（首尔）、亚太地区（大阪）、欧洲地区（伦敦）、亚太地区（墨尔本）、欧洲地区（米兰）、亚太地区（东京）、美国西部（俄勒冈州）、美国西部（北加利福尼亚）、亚太地区（新加坡）、亚太地区（悉尼）、以色列（特拉维夫）、加拿大（中部）、欧洲（西班牙）、欧洲（苏黎世） | 
| 2.0.20250512.0 | 4.14.355-277.643.amzn2 | 2025 年 6 月 4 日 | 美国东部（弗吉尼亚北部）、美国东部（俄亥俄州）、美国西部（加利福尼亚北部）、美国西部（俄勒冈）、欧洲（法兰克福）、欧洲（爱尔兰）、欧洲（伦敦）、欧洲（米兰）、欧洲（巴黎）、欧洲（斯德哥尔摩）、亚太地区（香港）、亚太地区（雅加达）、亚太地区（孟买）、亚太地区（大阪）、亚太地区（首尔）、亚太地区（新加坡）)、亚太地区（悉尼）、亚太地区（东京）、非洲（开普敦）、南美洲（圣保罗）、中东（巴林）、加拿大（中部）、（美国东部） AWS GovCloud 、（美国东部） AWS GovCloud 、（美国西部）、中国（北京）、中国（宁夏） | 
| 2.0.20250428.0 | 4.14.355-276.639.amzn2 | 2025 年 5 月 23 日 | 美国东部（弗吉尼亚州北部）、美国东部（俄亥俄州）、美国西部（北加利福尼亚）、美国西部（俄勒冈州）、欧洲地区（法兰克福）、欧洲地区（爱尔兰）、欧洲地区（伦敦）、欧洲地区（米兰）、欧洲地区（巴黎）、欧洲（西班牙）、欧洲地区（斯德哥尔摩）、欧洲（苏黎世）、亚太地区（香港）、亚太地区（海得拉巴）、亚太地区（雅加达）、亚太地区（墨尔本）、亚太地区（孟买）、亚太地区（大阪）、亚太地区（首尔）、亚太地区（新加坡）、亚太地区（悉尼）、亚太地区（东京）、非洲（开普敦）、南美洲（圣保罗）、中东（巴林）、中东（阿联酋）、加拿大（中部）、以色列（特拉维夫） | 
| 2.0.20250414.0 | 4.14.355-276.618.amzn2 | 2025 年 5 月 12 日 | 美国东部（弗吉尼亚北部）、美国东部（俄亥俄州）、美国西部（加利福尼亚北部）、美国西部（俄勒冈）、欧洲（斯德哥尔摩）、欧洲（米兰）、欧洲（法兰克福）、欧洲（爱尔兰）、欧洲（伦敦）、欧洲（巴黎）、亚太地区（香港）、亚太地区（孟买）、亚太地区（东京）、亚太地区（首尔）、亚太地区（大阪）、亚太地区（新加坡）)、亚太地区（悉尼）、亚太地区（雅加达）、非洲（开普敦）、南美洲（圣保罗）、中东（巴林）、加拿大（中部）、（美国西部） AWS GovCloud 、（美国东部）、（美国东部） AWS GovCloud 、中国（北京）、中国（宁夏） | 
| 2.0.202503250321.0 | 4.14.355 | 2025 年 4 月 9 日 | 美国东部（弗吉尼亚北部）、美国东部（俄亥俄州）、美国西部（加利福尼亚北部）、美国西部（俄勒冈）、欧洲（斯德哥尔摩）、欧洲（米兰）、欧洲（法兰克福）、欧洲（爱尔兰）、欧洲（伦敦）、欧洲（巴黎）、亚太地区（香港）、亚太地区（孟买）、亚太地区（东京）、亚太地区（首尔）、亚太地区（大阪）、亚太地区（新加坡）)、亚太地区（悉尼）、亚太地区（雅加达）、非洲（开普敦）、南美洲（圣保罗）、中东（巴林）、加拿大（中部）、（美国西部） AWS GovCloud 、（美国东部）、（美国东部） AWS GovCloud 、中国（北京）、中国（宁夏） | 
| 2.0.20250305.0 | 4.14.355 | 2025 年 3 月 18 日 | 美国东部（弗吉尼亚北部）、美国东部（俄亥俄州）、美国西部（加利福尼亚北部）、美国西部（俄勒冈）、欧洲（斯德哥尔摩）、欧洲（米兰）、欧洲（法兰克福）、欧洲（爱尔兰）、欧洲（伦敦）、欧洲（巴黎）、亚太地区（香港）、亚太地区（孟买）、亚太地区（东京）、亚太地区（首尔）、亚太地区（大阪）、亚太地区（新加坡）)、亚太地区（悉尼）、亚太地区（雅加达）、非洲（开普敦）、南美洲（圣保罗）、中东（巴林）、加拿大（中部）、（美国西部） AWS GovCloud 、（美国东部）、（美国东部） AWS GovCloud 、中国（北京）、中国（宁夏） | 
| 2.0.20250220.0 | 4.14.355 | 2025 年 3 月 8 日 | 美国东部（弗吉尼亚北部）、美国东部（俄亥俄州）、美国西部（加利福尼亚北部）、美国西部（俄勒冈）、欧洲（斯德哥尔摩）、欧洲（米兰）、欧洲（法兰克福）、欧洲（爱尔兰）、欧洲（伦敦）、欧洲（巴黎）、亚太地区（香港）、亚太地区（孟买）、亚太地区（东京）、亚太地区（首尔）、亚太地区（大阪）、亚太地区（新加坡）)、亚太地区（悉尼）、亚太地区（雅加达）、非洲（开普敦）、南美洲（圣保罗）、中东（巴林）、加拿大（中部）、（美国西部） AWS GovCloud 、（美国东部）、（美国东部） AWS GovCloud 、中国（北京）、中国（宁夏） | 
| 2.0.20250201.0 | 4.14.355 | 2025 年 2 月 28 日 | 美国东部（弗吉尼亚北部）、美国东部（俄亥俄州）、美国西部（加利福尼亚北部）、美国西部（俄勒冈）、欧洲（斯德哥尔摩）、欧洲（米兰）、欧洲（法兰克福）、欧洲（爱尔兰）、欧洲（伦敦）、欧洲（巴黎）、亚太地区（香港）、亚太地区（孟买）、亚太地区（东京）、亚太地区（首尔）、亚太地区（大阪）、亚太地区（新加坡）)、亚太地区（悉尼）、亚太地区（雅加达）、非洲（开普敦）、南美洲（圣保罗）、中东（巴林）、加拿大（中部）、（美国西部） AWS GovCloud 、（美国东部）、（美国东部） AWS GovCloud 、中国（北京）、中国（宁夏） | 
| 2.0.20250123.4 | 4.14.355 | 2025 年 1 月 27 日 | 美国东部（弗吉尼亚北部）、美国东部（俄亥俄州）、美国西部（加利福尼亚北部）、美国西部（俄勒冈）、欧洲（斯德哥尔摩）、欧洲（米兰）、欧洲（法兰克福）、欧洲（爱尔兰）、欧洲（伦敦）、欧洲（巴黎）、亚太地区（香港）、亚太地区（孟买）、亚太地区（东京）、亚太地区（首尔）、亚太地区（大阪）、亚太地区（新加坡）)、亚太地区（悉尼）、亚太地区（雅加达）、非洲（开普敦）、南美洲（圣保罗）、中东（巴林）、加拿大（中部）、（美国西部） AWS GovCloud 、（美国东部）、（美国东部） AWS GovCloud 、中国（北京）、中国（宁夏） | 
| 2.0.20250116.0 | 4.14.355 | 2025 年 1 月 23 日 | 美国东部（弗吉尼亚北部）、美国东部（俄亥俄州）、美国西部（加利福尼亚北部）、美国西部（俄勒冈）、欧洲（斯德哥尔摩）、欧洲（米兰）、欧洲（法兰克福）、欧洲（爱尔兰）、欧洲（伦敦）、欧洲（巴黎）、亚太地区（香港）、亚太地区（孟买）、亚太地区（东京）、亚太地区（首尔）、亚太地区（大阪）、亚太地区（新加坡）)、亚太地区（悉尼）、亚太地区（雅加达）、非洲（开普敦）、南美洲（圣保罗）、中东（巴林）、加拿大（中部）、（美国西部） AWS GovCloud 、（美国东部）、（美国东部） AWS GovCloud 、中国（北京）、中国（宁夏） | 
| 2.0.20241217.0 | 4.14.355 | 2025 年 1 月 8 日 | 美国东部（弗吉尼亚北部）、美国东部（俄亥俄州）、美国西部（加利福尼亚北部）、美国西部（俄勒冈）、欧洲（斯德哥尔摩）、欧洲（米兰）、欧洲（法兰克福）、欧洲（爱尔兰）、欧洲（伦敦）、欧洲（巴黎）、亚太地区（香港）、亚太地区（孟买）、亚太地区（东京）、亚太地区（首尔）、亚太地区（大阪）、亚太地区（新加坡）)、亚太地区（悉尼）、亚太地区（雅加达）、非洲（开普敦）、南美洲（圣保罗）、中东（巴林）、加拿大（中部）、（美国西部） AWS GovCloud 、（美国东部）、（美国东部） AWS GovCloud 、中国（北京）、中国（宁夏）、亚洲太平洋（海得拉巴）、中东（阿联酋）、欧洲（西班牙）、欧洲（苏黎世）、亚太地区（墨尔本）、以色列（特拉维夫）  | 
| 2.0.20240709.1 | 4.14.348 | 2024 年 7 月 23 日 | 美国东部（弗吉尼亚北部）、美国东部（俄亥俄州）、美国西部（加利福尼亚北部）、美国西部（俄勒冈）、欧洲（斯德哥尔摩）、欧洲（米兰）、欧洲（法兰克福）、欧洲（爱尔兰）、欧洲（伦敦）、欧洲（巴黎）、亚太地区（香港）、亚太地区（孟买）、亚太地区（东京）、亚太地区（首尔）、亚太地区（大阪）、亚太地区（新加坡）)、亚太地区（悉尼）、亚太地区（雅加达）、非洲（开普敦）、南美洲（圣保罗）、中东（巴林）、加拿大（中部）、（美国西部） AWS GovCloud 、（美国东部）、（美国东部） AWS GovCloud 、中国（北京）、中国（宁夏）、亚洲太平洋（海得拉巴）、中东（阿联酋）、欧洲（西班牙）、欧洲（苏黎世）、亚太地区（墨尔本）、以色列（特拉维夫）  | 
| 2.0.20230504.1 | 4.14.313 | 2023 年 5 月 16 日 | 美国东部（弗吉尼亚州北部）、美国东部（俄亥俄州）、美国西部（北加利福尼亚）、美国西部（俄勒冈州）、加拿大（中部）、欧洲地区（斯德哥尔摩）、欧洲地区（爱尔兰）、欧洲地区（伦敦）、欧洲地区（巴黎）、欧洲地区（法兰克福）、欧洲地区（米兰）、亚太地区（香港）、亚太地区（孟买）、亚太地区（雅加达）、亚太地区（东京)、亚太地区（首尔）、亚太地区（大阪）、亚太地区（新加坡）、亚太地区（悉尼）、非洲（开普敦）、南美洲（圣保罗）、中东（巴林） | 
| 2.0.20230418.0 | 4.14.311 | 2023 年 5 月 3 日 | 美国东部（弗吉尼亚州北部）、美国东部（俄亥俄州）、美国西部（北加利福尼亚）、美国西部（俄勒冈州）、加拿大（中部）、欧洲地区（斯德哥尔摩）、欧洲地区（爱尔兰）、欧洲地区（伦敦）、欧洲地区（巴黎）、欧洲地区（法兰克福）、欧洲地区（米兰）、亚太地区（香港）、亚太地区（孟买）、亚太地区（雅加达）、亚太地区（东京)、亚太地区（首尔）、亚太地区（大阪）、亚太地区（新加坡）、亚太地区（悉尼）、非洲（开普敦）、南美洲（圣保罗）、中东（巴林） | 
| 2.0.20230404.1 | 4.14.311 | 2023 年 4 月 18 日 | 美国东部（弗吉尼亚州北部）、美国东部（俄亥俄州）、美国西部（北加利福尼亚）、美国西部（俄勒冈州）、加拿大（中部）、欧洲地区（斯德哥尔摩）、欧洲地区（爱尔兰）、欧洲地区（伦敦）、欧洲地区（巴黎）、欧洲地区（法兰克福）、欧洲地区（米兰）、亚太地区（香港）、亚太地区（孟买）、亚太地区（雅加达）、亚太地区（东京)、亚太地区（首尔）、亚太地区（大阪）、亚太地区（新加坡）、亚太地区（悉尼）、非洲（开普敦）、南美洲（圣保罗）、中东（巴林） | 
| 2.0.20230404.0 | 4.14.311 | 2023 年 4 月 10 日 | 美国东部（弗吉尼亚州北部）、欧洲地区（巴黎） | 
| 2.0.20230320.0 | 4.14.309 | 2023 年 3 月 30 日 | 美国东部（弗吉尼亚州北部）、美国东部（俄亥俄州）、美国西部（北加利福尼亚）、美国西部（俄勒冈州）、加拿大（中部）、欧洲地区（斯德哥尔摩）、欧洲地区（爱尔兰）、欧洲地区（伦敦）、欧洲地区（巴黎）、欧洲地区（法兰克福）、欧洲地区（米兰）、亚太地区（香港）、亚太地区（孟买）、亚太地区（雅加达）、亚太地区（东京)、亚太地区（首尔）、亚太地区（大阪）、亚太地区（新加坡）、亚太地区（悉尼）、非洲（开普敦）、南美洲（圣保罗）、中东（巴林） | 
| 2.0.20230307.0 | 4.14.305 | 2023 年 3 月 15 日 | 美国东部（弗吉尼亚州北部）、美国东部（俄亥俄州）、美国西部（北加利福尼亚）、美国西部（俄勒冈州）、加拿大（中部）、欧洲地区（斯德哥尔摩）、欧洲地区（爱尔兰）、欧洲地区（伦敦）、欧洲地区（巴黎）、欧洲地区（法兰克福）、欧洲地区（米兰）、亚太地区（香港）、亚太地区（孟买）、亚太地区（雅加达）、亚太地区（东京)、亚太地区（首尔）、亚太地区（大阪）、亚太地区（新加坡）、亚太地区（悉尼）、非洲（开普敦）、南美洲（圣保罗）、中东（巴林） | 
| 2.0.20230207.0 | 4.14.304 | 2023 年 2 月 22 日 | 美国东部（弗吉尼亚州北部）、美国东部（俄亥俄州）、美国西部（北加利福尼亚）、美国西部（俄勒冈州）、加拿大（中部）、欧洲地区（斯德哥尔摩）、欧洲地区（爱尔兰）、欧洲地区（伦敦）、欧洲地区（巴黎）、欧洲地区（法兰克福）、欧洲地区（米兰）、亚太地区（香港）、亚太地区（孟买）、亚太地区（雅加达）、亚太地区（东京)、亚太地区（首尔）、亚太地区（大阪）、亚太地区（新加坡）、亚太地区（悉尼）、非洲（开普敦）、南美洲（圣保罗）、中东（巴林） | 
| 2.0.20230119.1 | 4.14.301 | 2023 年 2 月 3 日 | 美国东部（弗吉尼亚州北部）、美国东部（俄亥俄州）、美国西部（北加利福尼亚）、美国西部（俄勒冈州）、加拿大（中部）、欧洲地区（斯德哥尔摩）、欧洲地区（爱尔兰）、欧洲地区（伦敦）、欧洲地区（巴黎）、欧洲地区（法兰克福）、欧洲地区（米兰）、亚太地区（香港）、亚太地区（孟买）、亚太地区（雅加达）、亚太地区（东京)、亚太地区（首尔）、亚太地区（大阪）、亚太地区（新加坡）、亚太地区（悉尼）、非洲（开普敦）、南美洲（圣保罗）、中东（巴林） | 
| 2.0.20221210.1 | 4.14.301 | 2023 年 12 月 22 日 | 美国东部（弗吉尼亚州北部）、美国东部（俄亥俄州）、美国西部（北加利福尼亚）、美国西部（俄勒冈州）、加拿大（中部）、欧洲地区（斯德哥尔摩）、欧洲地区（爱尔兰）、欧洲地区（伦敦）、欧洲地区（巴黎）、欧洲地区（法兰克福）、欧洲地区（米兰）、亚太地区（香港）、亚太地区（孟买）、亚太地区（雅加达）、亚太地区（东京)、亚太地区（首尔）、亚太地区（大阪）、亚太地区（新加坡）、亚太地区（悉尼）、非洲（开普敦）、南美洲（圣保罗）、中东（巴林） | 
| 2.0.20221103.3 | 4.14.296 | 2022 年 12 月 5 日 | 美国东部（弗吉尼亚州北部）、美国东部（俄亥俄州）、美国西部（北加利福尼亚）、美国西部（俄勒冈州）、加拿大（中部）、欧洲地区（斯德哥尔摩）、欧洲地区（爱尔兰）、欧洲地区（伦敦）、欧洲地区（巴黎）、欧洲地区（法兰克福）、欧洲地区（米兰）、亚太地区（香港）、亚太地区（孟买）、亚太地区（雅加达）、亚太地区（东京)、亚太地区（首尔）、亚太地区（大阪）、亚太地区（新加坡）、亚太地区（悉尼）、非洲（开普敦）、南美洲（圣保罗）、中东（巴林） | 
| 2.0.20221004.0 | 4.14.294 | 2022 年 11 月 2 日 | 美国东部（弗吉尼亚州北部）、美国东部（俄亥俄州）、美国西部（北加利福尼亚）、美国西部（俄勒冈州）、加拿大（中部）、欧洲地区（斯德哥尔摩）、欧洲地区（爱尔兰）、欧洲地区（伦敦）、欧洲地区（巴黎）、欧洲地区（法兰克福）、欧洲地区（米兰）、亚太地区（香港）、亚太地区（孟买）、亚太地区（雅加达）、亚太地区（东京)、亚太地区（首尔）、亚太地区（大阪）、亚太地区（新加坡）、亚太地区（悉尼）、非洲（开普敦）、南美洲（圣保罗）、中东（巴林） | 
| 2.0.20220912.1 | 4.14.291 | 2022 年 10 月 7 日 | 美国东部（弗吉尼亚州北部）、美国东部（俄亥俄州）、美国西部（北加利福尼亚）、美国西部（俄勒冈州）、加拿大（中部）、欧洲地区（斯德哥尔摩）、欧洲地区（爱尔兰）、欧洲地区（伦敦）、欧洲地区（巴黎）、欧洲地区（法兰克福）、欧洲地区（米兰）、亚太地区（香港）、亚太地区（孟买）、亚太地区（雅加达）、亚太地区（东京)、亚太地区（首尔）、亚太地区（大阪）、亚太地区（新加坡）、亚太地区（悉尼）、非洲（开普敦）、南美洲（圣保罗）、中东（巴林） | 
| 2.0.20220719.0 | 4.14.287 | 2022 年 8 月 10 日 | 美国西部（北加利福尼亚）、欧洲地区（巴黎）、欧洲地区（斯德哥尔摩）、欧洲地区（法兰克福）、亚太地区（孟买）、中东（巴林） | 
| 2.0.20220426.0 | 4.14.281 | 2022 年 6 月 14 日 | 美国东部（弗吉尼亚州北部）、美国东部（俄亥俄州）、美国西部（北加利福尼亚）、美国西部（俄勒冈州）、加拿大（中部）、欧洲地区（斯德哥尔摩）、欧洲地区（爱尔兰）、欧洲地区（伦敦）、欧洲地区（巴黎）、欧洲地区（法兰克福）、欧洲地区（米兰）、亚太地区（香港）、亚太地区（孟买）、亚太地区（雅加达）、亚太地区（东京)、亚太地区（首尔）、亚太地区（大阪）、亚太地区（新加坡）、亚太地区（悉尼）、非洲（开普敦）、南美洲（圣保罗）、中东（巴林） | 

**更改、增强和解决的问题**
+ Amazon EMR 5.36.0 升级现在支持：aws-sdk 1.12.206、Hadoop 2.10.1-amzn-4、Hive 2.3.9-amzn-2、Hudi 0.10.1-amzn-1、Spark 2.4.8-amzn-2、Presto 0.267-amzn-1、Amazon Glue 连接器 1.18.0、EMRFS 2.51.0。

**已知问题**
+ 当您将 Spark 与 Hive 分区位置格式化结合使用以读取 Amazon S3 中的数据，并在 Amazon EMR 版本 5.30.0 至 5.36.0 以及 6.2.0 至 6.9.0 上运行 Spark 时，可能会遇到导致集群无法正确读取数据的问题。如果您的分区具有以下所有特征，会发生这种情况：
  + 从同一个表扫描两个或多个分区。
  + 至少有一个分区目录路径是至少一个其他分区目录路径的前缀，例如，`s3://bucket/table/p=a` 是 `s3://bucket/table/p=a b` 的前缀。
  + 另一个分区目录中前缀后面的第一个字符的 UTF-8 值小于 `/` 字符 (U\$1002F)。例如，在 `s3://bucket/table/p=a b` 中，a 和 b 之间出现的空格字符 (U\$10020) 就属于此类。请注意，还有其他 14 个非控制字符：`!"#$%&‘()*+,-`。有关更多信息，请参阅 [UTF-8 encoding table and Unicode characters](https://www.utf8-chartable.de/)（UTF-8 编码表和 Unicode 字符）。

  解决方法是在 `spark-defaults` 分类中将 `spark.sql.sources.fastS3PartitionDiscovery.enabled` 配置设置为 `false`。
+ 在 Amazon EMR 发行版 5.36.0 和 6.6.0 到 6.9.0 中，`SecretAgent` 和 `RecordServer` 服务组件可能会因为 Log4j2 属性中的文件名模式配置不正确而出现日志数据丢失的情况。错误的配置导致组件每天只生成一个日志文件。当应用轮换策略时，它会重写现有文件，而不是按预期生成新的日志文件。应变方法是使用引导操作每小时生成一次日志文件，并在文件名中附加一个自动增量的整数来处理轮换。

  对于 Amazon EMR 发行版 6.6.0 到 6.9.0，启动集群时，请执行以下引导操作。

  ```
  ‑‑bootstrap‑actions "Path=s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/log-rotation-emr-6x/replace-puppet.sh,Args=[]"
  ```

  对于 Amazon EMR 发行版 5.36.0，启动集群时，请执行以下引导操作。

  ```
  ‑‑bootstrap‑actions "Path=s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/log-rotation-emr-5x/replace-puppet.sh,Args=[]"
  ```

## 5.36.0 组件版本
<a name="emr-5360-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.1 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.16.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.16.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.5.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-notebook-env | 1.5.0 | 适用于 EMR Notebooks（可提供 jupyter 企业网关）的 Conda env | 
| emr-s3-dist-cp | 2.21.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 1.7.0 | EMR S3 Select 连接器 | 
| emrfs | 2.51.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.14.2 | Apache Flink 命令行客户端脚本和应用程序。 | 
| flink-jobmanager-config | 1.14.2 | 在 EMR 节点上管理 Apache Flink 的资源。 JobManager | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.10.1-amzn-4 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.10.1-amzn-4 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.10.1-amzn-4 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.10.1-amzn-4 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-hdfs-journalnode | 2.10.1-amzn-4 | 用于管理 HA 集群上的 Hadoop 文件系统日志的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.10.1-amzn-4 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.10.1-amzn-4 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.10.1-amzn-4 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.10.1-amzn-4 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.10.1-amzn-4 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.10.1-amzn-4 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.4.13 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.4.13 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.4.13 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.4.13 | 为提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.4.13 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.9-amzn-2 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.9-amzn-2 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.9-amzn-2 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.9-amzn-2 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.9-amzn-2 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.9-amzn-2 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.9-amzn-2 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hudi | 0.10.1-amzn-1 | 增量处理框架，以支持低延迟和高效率的数据管道。 | 
| hudi-spark | 0.10.1-amzn-1 | 用于运行 Spark 以及 Hudi 的捆绑库。 | 
| hudi-presto | 0.10.1-amzn-1 | 用于运行 Presto 以及 Hudl 的捆绑库。 | 
| hue-server | 4.10.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 1.4.1 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.7.1-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.13.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 1.8.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mariadb-server | 5.5.68 | MySQL 数据库服务器。 | 
| nvidia-cuda | 11.0.194 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.2.1 | Oozie 命令行客户端。 | 
| oozie-server | 5.2.1 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 4.5.0 | 开源计算机视觉库。 | 
| phoenix-library | 4.14.3--1.4 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.14.3--1.4 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.267-amzn-1 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.267-amzn-1 | 用于执行查询的各个部分的服务。 | 
| presto-client | 0.267-amzn-1 | Presto 命令行客户端，安装在 HA 集群的备用主节点（未启动 Presto 服务器）上。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 4.0.2 | 用于统计计算的 R 项目 | 
| ranger-kms-server | 1.2.0 | Apache Ranger 密钥管理系统 | 
| spark-client | 2.4.8-amzn-2 | Spark 命令行客户端。 | 
| spark-history-server | 2.4.8-amzn-2 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.4.8-amzn-2 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.4.8-amzn-2 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 2.4.1 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.9.2 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.10.0 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.14 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.14 | ZooKeeper 命令行客户端。 | 

## 5.36.0 配置分类
<a name="emr-5360-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。

为处于运行状态的集群中的实例组指定配置时，将发生重新配置操作。Amazon EMR 仅为您修改的分类启动重新配置操作。有关更多信息，请参阅 [在正在运行的集群中重新配置实例组](emr-configure-apps-running-cluster.md)。


**emr-5.36.0 分类**  

| 分类 | 说明 | 重新配置操作 | 
| --- | --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | Restarts the ResourceManager service. | 
| container-executor | 更改 Hadoop YARN 的 container-executor.cfg 文件中的值。 | Not available. | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | Not available. | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | 更改 docker 相关设置。 | Not available. | 
| emrfs-site | 更改 EMRFS 设置。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | 更改 flink-conf.yaml 设置。 | Restarts Flink history server. | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | Restarts Flink history server. | 
| flink-log4j-session | 更改会话的 Flink log4j-session.properties Kubernetes/Yarn  | Not available. | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | Restarts Flink history server. | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | Not available. | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | Not available. | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | 更改环境 HBase中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | Not available. | 
| hbase-site | 更改 hbase-site.xml 文件 HBase中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | Should not be reconfigured. | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | 更改环境 HCatalog中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | Restarts Hive WebHCat Server. | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | Restarts Hive WebHCat Server. | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | Restarts Hive WebHCat Server. | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | Not available. | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | Not available. | 
| hive-env | 更改 Hive 环境中的值。 | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | Restarts HiveServer2 and HiveMetastore. | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | Not available. | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | Not available. | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | Not available. | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | Restarts Hadoop Httpfs service. | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | Not available. | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | Not available. | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | 更改 Hudi 环境中的值。 | Not available. | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | Not available. | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | Not available. | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | Not available. | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | Not available. | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | Restarts Livy Server. | 
| livy-env | 更改 Livy 环境中的值。 | Restarts Livy Server. | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | Restarts Livy Server. | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | 更改 Oozie 的环境中的值。 | Restarts Oozie. | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | Restarts Oozie. | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | Restarts Oozie. | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | Not available. | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | Not available. | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | Not available. | 
| pig-env | 更改 Pig 环境中的值。 | Not available. | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | Restarts Oozie. | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | Not available. | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | Restarts Presto-Server. | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | Restarts Presto-Server. | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | Not available. | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | Restarts Presto-Server. | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | Not available. | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | Not available. | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | Not available. | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | Restarts Presto-Server. | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | Not available. | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | Not available. | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | Not available. | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | Not available. | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | Not available. | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | Not available. | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | Not available. | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | Not available. | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | Not available. | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | Not available. | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | Not available. | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | Not available. | 
| ranger-kms-dbks-site | 更改 Ranger KMS 的 dbks-site.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-site | 更改 Ranger K ranger-kms-site MS 的.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-env | 更改 Ranger KMS 环境中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-log4j | 更改 Ranger KMS 的 kms-log4j.properties 文件中的值。 | Not available. | 
| ranger-kms-db-ca | 更改 S3 上用于与 Ranger KMS 进行 MySQL SSL 连接的 CA 文件的值。 | Not available. | 
| recordserver-env | 在 EMR RecordServer 环境中更改值。 | Restarts EMR record server. | 
| recordserver-conf | 更改 EMR 的 server.proper RecordServer ties 文件中的值。 | Restarts EMR record server. | 
| recordserver-log4j | 更改 EMR 的 log4j.propertie RecordServer s 文件中的值。 | Restarts EMR record server. | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | This property modifies spark-defaults. See actions there. | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-env | 更改 Spark 环境中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | Not available. | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | Not available. | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | Not available. | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | Not available. | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | Restarts Oozie. | 
| yarn-env | 更改 YARN 环境中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | Restarts Zeppelin. | 
| zeppelin-site | 更改 zeppelin-site.xml 中的配置设置。 | Restarts Zeppelin. | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | Restarts Zookeeper server. | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | Restarts Zookeeper server. | 

# Amazon EMR 发行版 5.35.0
<a name="emr-5350-release"></a>

## 5.35.0 应用程序版本
<a name="emr-5350-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.35.0 | emr-5.34.0 | emr-5.33.1 | emr-5.33.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.12.159 | 1.11.970 | 1.11.970 | 1.11.970 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.14.2 | 1.13.1 | 1.12.1 | 1.12.1 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 | 
| HCatalog | 2.3.9-amzn-0 | 2.3.8-amzn-0 | 2.3.7-amzn-4 | 2.3.7-amzn-4 | 
| Hadoop | 2.10.1-amzn-3 | 2.10.1-amzn-2 | 2.10.1-amzn-1.1 | 2.10.1-amzn-1 | 
| Hive | 2.3.9-amzn-0 | 2.3.8-amzn-0 | 2.3.7-amzn-4 | 2.3.7-amzn-4 | 
| Hudi | 0.9.0-amzn-2 | 0.9.0-amzn-0 | 0.7.0-amzn-1 | 0.7.0-amzn-1 | 
| Hue | 4.10.0 | 4.9.0 | 4.9.0 | 4.9.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 
| JupyterHub | 1.4.1 | 1.4.1 | 1.2.2 | 1.2.2 | 
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.0-incubating | 0.7.0-incubating | 
| MXNet | 1.8.0 | 1.8.0 | 1.7.0 | 1.7.0 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.0 | 5.2.0 | 
| Phoenix | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.266-amzn-0 | 0.261-amzn-0 | 0.245.1-amzn-0 | 0.245.1-amzn-0 | 
| Spark | 2.4.8-amzn-1 | 2.4.8-amzn-0 | 2.4.7-amzn-1.1 | 2.4.7-amzn-1 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.4.1 | 2.4.1 | 2.4.1 | 2.4.1 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.10.0 | 0.10.0 | 0.9.0 | 0.9.0 | 
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 

## 5.35.0 发布说明
<a name="emr-5350-relnotes"></a>

这是 Amazon EMR 发行版 5.35.0 的发布说明。

以下发布说明包括有关 Amazon EMR 发行版 5.35.0 的信息。更改与 5.34.0 有关。

首次发布日期: 2022 年 3 月 30 日

**新功能**
+ 使用 log4J 1.x 和 log4J 2.x 的 Amazon EMR 发行版 5.35 应用程序将分别升级为使用 log4J 1.2.17（或更高版本）和 log4J 2.17.1（或更高版本），并且不需要使用引导操作来缓解之前发行版中的 CVE 问题。请参阅[缓解 CVE-2021-44228 的方法](emr-log4j-vulnerability.md)。

**更改、增强和解决的问题**


**Flink 更改**  

| 更改类型 | 说明 | 
| --- | --- | 
| 升级 | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_cn/emr/latest/ReleaseGuide/emr-5350-release.html) | 


**Hadoop 更改**  

| 更改类型 | 说明 | 
| --- | --- | 
| 自 EMR 5.34.0 以来的 Hadoop 开源逆向移植 | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_cn/emr/latest/ReleaseGuide/emr-5350-release.html) | 
| Hadoop 更改和修复 | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_cn/emr/latest/ReleaseGuide/emr-5350-release.html) | 


**Hive 更改**  

| 更改类型 | 说明 | 
| --- | --- | 
| Hive 升级到开源[发行版 2.3.9](https://www.mail-archive.com/user@hive.apache.org/msg22311.html)，包括这些 JIRA 修复 | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_cn/emr/latest/ReleaseGuide/emr-5350-release.html) | 
| 自 EMR 5.34.0 以来的 Hive 开源逆向移植 | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_cn/emr/latest/ReleaseGuide/emr-5350-release.html) | 
| Hive 升级和修复 | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_cn/emr/latest/ReleaseGuide/emr-5350-release.html) | 
| 新特征 | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_cn/emr/latest/ReleaseGuide/emr-5350-release.html) | 


**Oozie 更改**  

| 更改类型 | 说明 | 
| --- | --- | 
| 自 EMR 5.34.0 以来的 Oozie 开源逆向移植 | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_cn/emr/latest/ReleaseGuide/emr-5350-release.html) | 


**Pig 更改**  

| 更改类型 | 说明 | 
| --- | --- | 
| 升级 | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_cn/emr/latest/ReleaseGuide/emr-5350-release.html) | 

**已知问题**
+ 当您将 Spark 与 Hive 分区位置格式化结合使用以读取 Amazon S3 中的数据，并在 Amazon EMR 版本 5.30.0 至 5.36.0 以及 6.2.0 至 6.9.0 上运行 Spark 时，可能会遇到导致集群无法正确读取数据的问题。如果您的分区具有以下所有特征，会发生这种情况：
  + 从同一个表扫描两个或多个分区。
  + 至少有一个分区目录路径是至少一个其他分区目录路径的前缀，例如，`s3://bucket/table/p=a` 是 `s3://bucket/table/p=a b` 的前缀。
  + 另一个分区目录中前缀后面的第一个字符的 UTF-8 值小于 `/` 字符 (U\$1002F)。例如，在 `s3://bucket/table/p=a b` 中，a 和 b 之间出现的空格字符 (U\$10020) 就属于此类。请注意，还有其他 14 个非控制字符：`!"#$%&‘()*+,-`。有关更多信息，请参阅 [UTF-8 encoding table and Unicode characters](https://www.utf8-chartable.de/)（UTF-8 编码表和 Unicode 字符）。

  解决方法是在 `spark-defaults` 分类中将 `spark.sql.sources.fastS3PartitionDiscovery.enabled` 配置设置为 `false`。

## 5.35.0 组件版本
<a name="emr-5350-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.1 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.16.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.15.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.5.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-notebook-env | 1.5.0 | 适用于 EMR Notebooks（可提供 jupyter 企业网关）的 Conda env | 
| emr-s3-dist-cp | 2.20.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 1.7.0 | EMR S3 Select 连接器 | 
| emrfs | 2.49.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.14.2 | Apache Flink 命令行客户端脚本和应用程序。 | 
| flink-jobmanager-config | 1.14.2 | 在 EMR 节点上管理 Apache Flink 的资源。 JobManager | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.10.1-amzn-3 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.10.1-amzn-3 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.10.1-amzn-3 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.10.1-amzn-3 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-hdfs-journalnode | 2.10.1-amzn-3 | 用于管理 HA 集群上的 Hadoop 文件系统日志的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.10.1-amzn-3 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.10.1-amzn-3 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.10.1-amzn-3 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.10.1-amzn-3 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.10.1-amzn-3 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.10.1-amzn-3 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.4.13 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.4.13 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.4.13 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.4.13 | 为提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.4.13 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.9-amzn-0 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.9-amzn-0 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.9-amzn-0 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.9-amzn-0 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.9-amzn-0 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.9-amzn-0 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.9-amzn-0 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hudi | 0.9.0-amzn-2 | 增量处理框架，以支持低延迟和高效率的数据管道。 | 
| hudi-spark | 0.9.0-amzn-2 | 用于运行 Spark 以及 Hudi 的捆绑库。 | 
| hudi-presto | 0.9.0-amzn-2 | 用于运行 Presto 以及 Hudl 的捆绑库。 | 
| hue-server | 4.10.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 1.4.1 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.7.1-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.13.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 1.8.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mariadb-server | 5.5.68 | MySQL 数据库服务器。 | 
| nvidia-cuda | 10.1.243 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.2.1 | Oozie 命令行客户端。 | 
| oozie-server | 5.2.1 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 4.5.0 | 开源计算机视觉库。 | 
| phoenix-library | 4.14.3--1.4 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.14.3--1.4 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.266-amzn-0 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.266-amzn-0 | 用于执行查询的各个部分的服务。 | 
| presto-client | 0.266-amzn-0 | Presto 命令行客户端，安装在 HA 集群的备用主节点（未启动 Presto 服务器）上。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 4.0.2 | 用于统计计算的 R 项目 | 
| ranger-kms-server | 1.2.0 | Apache Ranger 密钥管理系统 | 
| spark-client | 2.4.8-amzn-1 | Spark 命令行客户端。 | 
| spark-history-server | 2.4.8-amzn-1 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.4.8-amzn-1 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.4.8-amzn-1 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 2.4.1 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.9.2 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.10.0 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.14 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.14 | ZooKeeper 命令行客户端。 | 

## 5.35.0 配置分类
<a name="emr-5350-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。

为处于运行状态的集群中的实例组指定配置时，将发生重新配置操作。Amazon EMR 仅为您修改的分类启动重新配置操作。有关更多信息，请参阅 [在正在运行的集群中重新配置实例组](emr-configure-apps-running-cluster.md)。


**emr-5.35.0 分类**  

| 分类 | 说明 | 重新配置操作 | 
| --- | --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | Restarts the ResourceManager service. | 
| container-executor | 更改 Hadoop YARN 的 container-executor.cfg 文件中的值。 | Not available. | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | Not available. | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | 更改 docker 相关设置。 | Not available. | 
| emrfs-site | 更改 EMRFS 设置。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | 更改 flink-conf.yaml 设置。 | Restarts Flink history server. | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | Restarts Flink history server. | 
| flink-log4j-session | 更改会话的 Flink log4j-session.properties Kubernetes/Yarn  | Not available. | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | Restarts Flink history server. | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | Not available. | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | Not available. | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | 更改环境 HBase中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | Not available. | 
| hbase-site | 更改 hbase-site.xml 文件 HBase中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | Should not be reconfigured. | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | 更改环境 HCatalog中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | Restarts Hive WebHCat Server. | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | Restarts Hive WebHCat Server. | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | Restarts Hive WebHCat Server. | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | Not available. | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | Not available. | 
| hive-env | 更改 Hive 环境中的值。 | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | Restarts HiveServer2 and HiveMetastore. | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | Not available. | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | Not available. | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | Not available. | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | Restarts Hadoop Httpfs service. | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | Not available. | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | Not available. | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | 更改 Hudi 环境中的值。 | Not available. | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | Not available. | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | Not available. | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | Not available. | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | Not available. | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | Restarts Livy Server. | 
| livy-env | 更改 Livy 环境中的值。 | Restarts Livy Server. | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | Restarts Livy Server. | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | 更改 Oozie 的环境中的值。 | Restarts Oozie. | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | Restarts Oozie. | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | Restarts Oozie. | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | Not available. | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | Not available. | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | Not available. | 
| pig-env | 更改 Pig 环境中的值。 | Not available. | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | Restarts Oozie. | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | Not available. | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | Restarts Presto-Server. | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | Restarts Presto-Server. | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | Not available. | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | Restarts Presto-Server. | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | Not available. | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | Not available. | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | Not available. | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | Restarts Presto-Server. | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | Not available. | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | Not available. | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | Not available. | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | Not available. | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | Not available. | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | Not available. | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | Not available. | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | Not available. | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | Not available. | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | Not available. | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | Not available. | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | Not available. | 
| ranger-kms-dbks-site | 更改 Ranger KMS 的 dbks-site.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-site | 更改 Ranger K ranger-kms-site MS 的.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-env | 更改 Ranger KMS 环境中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-log4j | 更改 Ranger KMS 的 kms-log4j.properties 文件中的值。 | Not available. | 
| ranger-kms-db-ca | 更改 S3 上用于与 Ranger KMS 进行 MySQL SSL 连接的 CA 文件的值。 | Not available. | 
| recordserver-env | 在 EMR RecordServer 环境中更改值。 | Restarts EMR record server. | 
| recordserver-conf | 更改 EMR 的 server.proper RecordServer ties 文件中的值。 | Restarts EMR record server. | 
| recordserver-log4j | 更改 EMR 的 log4j.propertie RecordServer s 文件中的值。 | Restarts EMR record server. | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | This property modifies spark-defaults. See actions there. | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-env | 更改 Spark 环境中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | Not available. | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | Not available. | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | Not available. | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | Not available. | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | Restarts Oozie. | 
| yarn-env | 更改 YARN 环境中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | Restarts Zeppelin. | 
| zeppelin-site | 更改 zeppelin-site.xml 中的配置设置。 | Restarts Zeppelin. | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | Restarts Zookeeper server. | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | Restarts Zookeeper server. | 

# Amazon EMR 发行版 5.34.0
<a name="emr-5340-release"></a>

## 5.34.0 应用程序版本
<a name="emr-5340-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.34.0 | emr-5.33.1 | emr-5.33.0 | emr-5.32.1 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.970 | 1.11.970 | 1.11.970 | 1.11.890 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.13.1 | 1.12.1 | 1.12.1 | 1.11.2 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 | 
| HCatalog | 2.3.8-amzn-0 | 2.3.7-amzn-4 | 2.3.7-amzn-4 | 2.3.7-amzn-3 | 
| Hadoop | 2.10.1-amzn-2 | 2.10.1-amzn-1.1 | 2.10.1-amzn-1 | 2.10.1-amzn-0.1 | 
| Hive | 2.3.8-amzn-0 | 2.3.7-amzn-4 | 2.3.7-amzn-4 | 2.3.7-amzn-3 | 
| Hudi | 0.9.0-amzn-0 | 0.7.0-amzn-1 | 0.7.0-amzn-1 | 0.6.0-amzn-0 | 
| Hue | 4.9.0 | 4.9.0 | 4.9.0 | 4.8.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 
| JupyterHub | 1.4.1 | 1.2.2 | 1.2.2 | 1.1.0 | 
| Livy | 0.7.1-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 
| MXNet | 1.8.0 | 1.7.0 | 1.7.0 | 1.7.0 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 5.2.1 | 5.2.0 | 5.2.0 | 5.2.0 | 
| Phoenix | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.261-amzn-0 | 0.245.1-amzn-0 | 0.245.1-amzn-0 | 0.240.1-amzn-0 | 
| Spark | 2.4.8-amzn-0 | 2.4.7-amzn-1.1 | 2.4.7-amzn-1 | 2.4.7-amzn-0.1 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.4.1 | 2.4.1 | 2.4.1 | 2.3.1 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.10.0 | 0.9.0 | 0.9.0 | 0.8.2 | 
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 

## 5.34.0 发布说明
<a name="emr-5340-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.34.0 的信息。更改与 5.33.1 有关。

首次发布日期：2022 年 1 月 20 日

发布更新日期：2022 年 3 月 21 日

**新功能**
+ **[托管式扩展] Spark 随机排序数据托管式扩展优化**：Amazon EMR 5.34.0 及更高版本和 Amazon EMR 6.4.0 及更高版本支持可感知 Spark 随机排序数据（Spark 在分区之间重新分配以执行特定操作的数据）的托管式扩展。有关随机排序操作的更多信息，请参阅《**Amazon EMR 管理指南》中的[在 Amazon EMR 中使用 EMR 托管扩展](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-managed-scaling.html)和 [Spark 编程指南](https://spark.apache.org/docs/latest/rdd-programming-guide.html#shuffle-operations)。
+ [Hudi] 简化了 Hudi 配置的改进。预设情况下禁用乐观并发控制。

**更改、增强和解决的问题**
+ 此版本旨在修复 Amazon EMR Scaling 无法成功缩 up/scale 减集群规模或导致应用程序故障时出现的问题。
+ 以前，在多主节点集群上手动重启资源管理器会导致 Zookeeper znode 文件中的 Amazon EMR 集群进程守护程序（如 Zookeeper）重新加载以前停用或丢失的所有节点。在某些情况下，这会导致超出默认限制。Amazon EMR 现在会从 Zookeeper 文件中删除已停用或丢失超过一小时的节点记录，并且内部限制也有所提高。
+ 修复了当 Amazon EMR 集群上的进程守护程序正在进行运行状况检查活动（例如收集 YARN 节点状态和 HDFS 节点状态）时，针对高利用率的大型集群的扩展请求失败的问题。之所以发生这种情况，是因为集群上的进程守护程序无法将节点的运行状况数据传递给内部 Amazon EMR 组件。
+ 改进了 EMR 集群上的进程守护程序，以便在重用 IP 地址时正确跟踪节点状态，从而提高扩缩操作期间的可靠性。
+ [SPARK-29683](https://issues.apache.org/jira/browse/SPARK-29683)。修复了集群缩减期间出现任务失败的问题，因为 Spark 假定所有可用节点都被拒绝列出。
+ [YARN-9011](https://issues.apache.org/jira/browse/YARN-9011)。修复了集群尝试纵向扩展或缩减时，由于 YARN 停用中的争用条件导致任务失败的问题。
+ 通过确保 Amazon EMR 集群上的进程守护程序和 YARN/HDFS 之间的节点状态始终一致，解决了集群扩展期间步骤或任务失败的问题。
+ 修复了已启用 Kerberos 身份验证的 Amazon EMR 集群的诸如缩减和步骤提交等集群操作失败的问题。这是因为 Amazon EMR 集群守护程序没有续订 Kerberos 票证，而在主节点上运行时需要使用该票证才能安全地进行 HDFS/YARN 通信。
+ Zeppelin 已升级到版本 0.10.0。
+ Livy 修复 - 已升级到 0.7.1
+ Spark 性能提升 - 当 EMR 5.34.0 中的某些 Spark 配置值被覆盖时禁用异构执行器。
+ 默认情况下禁用 WebHDFS 和 HTTFS 服务器。您可以使用 Hadoop 配置重新启用 WebHDFS，`dfs.webhdfs.enabled`。HTTPFS 服务器可以通过使用 `sudo systemctl start hadoop-httpfs` 启动。

**已知问题**
+ 与 Livy 用户模拟一起使用的 Amazon EMR Notebooks 功能不起作用，因为默认情况下，HTTPFS 处于禁用状态。在这种情况下，EMR Notebook 无法连接到启用了 Livy 模拟的集群。解决方法是在将 EMR Notebook 连接到集群之前使用 `sudo systemctl start hadoop-httpfs` 启动 HTTPFS 服务器。
+ Hue 查询在 Amazon EMR 6.4.0 中不起作用，因为默认情况下 Apache Hadoop HTTPFS 服务器处于禁用状态。要在 Amazon EMR 6.4.0 上使用 Hue，请使用 `sudo systemctl start hadoop-httpfs` 在 Amazon EMR 主节点上手动启动 HTTPFS 服务器，或者[使用 Amazon EMR 步骤](https://docs.aws.amazon.com/emr/latest/ManagementGuide/add-step-cli.html)。
+ 与 Livy 用户模拟一起使用的 Amazon EMR Notebooks 功能不起作用，因为默认情况下，HTTPFS 处于禁用状态。在这种情况下，EMR Notebook 无法连接到启用了 Livy 模拟的集群。解决方法是在将 EMR Notebook 连接到集群之前使用 `sudo systemctl start hadoop-httpfs` 启动 HTTPFS 服务器。
+ 当您将 Spark 与 Hive 分区位置格式化结合使用以读取 Amazon S3 中的数据，并在 Amazon EMR 版本 5.30.0 至 5.36.0 以及 6.2.0 至 6.9.0 上运行 Spark 时，可能会遇到导致集群无法正确读取数据的问题。如果您的分区具有以下所有特征，会发生这种情况：
  + 从同一个表扫描两个或多个分区。
  + 至少有一个分区目录路径是至少一个其他分区目录路径的前缀，例如，`s3://bucket/table/p=a` 是 `s3://bucket/table/p=a b` 的前缀。
  + 另一个分区目录中前缀后面的第一个字符的 UTF-8 值小于 `/` 字符 (U\$1002F)。例如，在 `s3://bucket/table/p=a b` 中，a 和 b 之间出现的空格字符 (U\$10020) 就属于此类。请注意，还有其他 14 个非控制字符：`!"#$%&‘()*+,-`。有关更多信息，请参阅 [UTF-8 encoding table and Unicode characters](https://www.utf8-chartable.de/)（UTF-8 编码表和 Unicode 字符）。

  解决方法是在 `spark-defaults` 分类中将 `spark.sql.sources.fastS3PartitionDiscovery.enabled` 配置设置为 `false`。

## 5.34.0 组件版本
<a name="emr-5340-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.1 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.16.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | emrfs | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.5.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-notebook-env | 1.4.0 | 适用于 EMR Notebooks（可提供 jupyter 企业网关）的 Conda env | 
| emr-s3-dist-cp | 2.18.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 1.7.0 | EMR S3 Select 连接器 | 
| emrfs | 2.48.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.13.1 | Apache Flink 命令行客户端脚本和应用程序。 | 
| flink-jobmanager-config | 1.13.1 | 在 EMR 节点上管理 Apache Flink 的资源。 JobManager | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.10.1-amzn-2 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.10.1-amzn-2 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.10.1-amzn-2 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.10.1-amzn-2 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-hdfs-journalnode | 2.10.1-amzn-2 | 用于管理 HA 集群上的 Hadoop 文件系统日志的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.10.1-amzn-2 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.10.1-amzn-2 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.10.1-amzn-2 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.10.1-amzn-2 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.10.1-amzn-2 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.10.1-amzn-2 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.4.13 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.4.13 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.4.13 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.4.13 | 为提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.4.13 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.8-amzn-0 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.8-amzn-0 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.8-amzn-0 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.8-amzn-0 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.8-amzn-0 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.8-amzn-0 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.8-amzn-0 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hudi | 0.9.0-amzn-0 | 增量处理框架，以支持低延迟和高效率的数据管道。 | 
| hudi-spark | 0.9.0-amzn-0 | 用于运行 Spark 以及 Hudi 的捆绑库。 | 
| hudi-presto | 0.9.0-amzn-0 | 用于运行 Presto 以及 Hudl 的捆绑库。 | 
| hue-server | 4.9.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 1.4.1 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.7.1-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.13.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 1.8.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mariadb-server | 5.5.68 | MySQL 数据库服务器。 | 
| nvidia-cuda | 10.1.243 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.2.1 | Oozie 命令行客户端。 | 
| oozie-server | 5.2.1 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 4.5.0 | 开源计算机视觉库。 | 
| phoenix-library | 4.14.3--1.4 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.14.3--1.4 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.261-amzn-0 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.261-amzn-0 | 用于执行查询的各个部分的服务。 | 
| presto-client | 0.261-amzn-0 | Presto 命令行客户端，安装在 HA 集群的备用主节点（未启动 Presto 服务器）上。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 4.0.2 | 用于统计计算的 R 项目 | 
| ranger-kms-server | 1.2.0 | Apache Ranger 密钥管理系统 | 
| spark-client | 2.4.8-amzn-0 | Spark 命令行客户端。 | 
| spark-history-server | 2.4.8-amzn-0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.4.8-amzn-0 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.4.8-amzn-0 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 2.4.1 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.9.2 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.10.0 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.14 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.14 | ZooKeeper 命令行客户端。 | 

## 5.34.0 配置分类
<a name="emr-5340-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。

为处于运行状态的集群中的实例组指定配置时，将发生重新配置操作。Amazon EMR 仅为您修改的分类启动重新配置操作。有关更多信息，请参阅 [在正在运行的集群中重新配置实例组](emr-configure-apps-running-cluster.md)。


**emr-5.34.0 分类**  

| 分类 | 说明 | 重新配置操作 | 
| --- | --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | Restarts the ResourceManager service. | 
| container-executor | 更改 Hadoop YARN 的 container-executor.cfg 文件中的值。 | Not available. | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | Not available. | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | 更改 docker 相关设置。 | Not available. | 
| emrfs-site | 更改 EMRFS 设置。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | 更改 flink-conf.yaml 设置。 | Restarts Flink history server. | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | Restarts Flink history server. | 
| flink-log4j-session | 更改会话的 Flink log4j-session.properties Kubernetes/Yarn  | Not available. | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | Restarts Flink history server. | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | Not available. | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | Not available. | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | 更改环境 HBase中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | Not available. | 
| hbase-site | 更改 hbase-site.xml 文件 HBase中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | Should not be reconfigured. | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | 更改环境 HCatalog中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | Restarts Hive WebHCat Server. | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | Restarts Hive WebHCat Server. | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | Restarts Hive WebHCat Server. | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | Not available. | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | Not available. | 
| hive-env | 更改 Hive 环境中的值。 | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | Restarts HiveServer2 and HiveMetastore. | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | Not available. | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | Not available. | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | Not available. | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | Restarts Hadoop Httpfs service. | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | Not available. | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | Not available. | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | 更改 Hudi 环境中的值。 | Not available. | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | Not available. | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | Not available. | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | Not available. | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | Not available. | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | Restarts Livy Server. | 
| livy-env | 更改 Livy 环境中的值。 | Restarts Livy Server. | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | Restarts Livy Server. | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | 更改 Oozie 的环境中的值。 | Restarts Oozie. | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | Restarts Oozie. | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | Restarts Oozie. | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | Not available. | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | Not available. | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | Not available. | 
| pig-env | 更改 Pig 环境中的值。 | Not available. | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | Restarts Oozie. | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | Not available. | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | Restarts Presto-Server. | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | Restarts Presto-Server. | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | Not available. | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | Restarts Presto-Server. | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | Not available. | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | Not available. | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | Not available. | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | Restarts Presto-Server. | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | Not available. | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | Not available. | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | Not available. | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | Not available. | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | Not available. | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | Not available. | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | Not available. | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | Not available. | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | Not available. | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | Not available. | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | Not available. | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | Not available. | 
| ranger-kms-dbks-site | 更改 Ranger KMS 的 dbks-site.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-site | 更改 Ranger K ranger-kms-site MS 的.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-env | 更改 Ranger KMS 环境中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-log4j | 更改 Ranger KMS 的 kms-log4j.properties 文件中的值。 | Not available. | 
| ranger-kms-db-ca | 更改 S3 上用于与 Ranger KMS 进行 MySQL SSL 连接的 CA 文件的值。 | Not available. | 
| recordserver-env | 在 EMR RecordServer 环境中更改值。 | Restarts EMR record server. | 
| recordserver-conf | 更改 EMR 的 server.proper RecordServer ties 文件中的值。 | Restarts EMR record server. | 
| recordserver-log4j | 更改 EMR 的 log4j.propertie RecordServer s 文件中的值。 | Restarts EMR record server. | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | This property modifies spark-defaults. See actions there. | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-env | 更改 Spark 环境中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | Not available. | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | Not available. | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | Not available. | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | Not available. | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | Restarts Oozie. | 
| yarn-env | 更改 YARN 环境中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | Restarts Zeppelin. | 
| zeppelin-site | 更改 zeppelin-site.xml 中的配置设置。 | Restarts Zeppelin. | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | Restarts Zookeeper server. | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | Restarts Zookeeper server. | 

# Amazon EMR 发行版 5.33.1
<a name="emr-5331-release"></a>

## 5.33.1 应用程序版本
<a name="emr-5331-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.33.1 | emr-5.33.0 | emr-5.32.1 | emr-5.32.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.970 | 1.11.970 | 1.11.890 | 1.11.890 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.12.1 | 1.12.1 | 1.11.2 | 1.11.2 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 | 
| HCatalog | 2.3.7-amzn-4 | 2.3.7-amzn-4 | 2.3.7-amzn-3 | 2.3.7-amzn-3 | 
| Hadoop | 2.10.1-amzn-1.1 | 2.10.1-amzn-1 | 2.10.1-amzn-0.1 | 2.10.1-amzn-0 | 
| Hive | 2.3.7-amzn-4 | 2.3.7-amzn-4 | 2.3.7-amzn-3 | 2.3.7-amzn-3 | 
| Hudi | 0.7.0-amzn-1 | 0.7.0-amzn-1 | 0.6.0-amzn-0 | 0.6.0-amzn-0 | 
| Hue | 4.9.0 | 4.9.0 | 4.8.0 | 4.8.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 
| JupyterHub | 1.2.2 | 1.2.2 | 1.1.0 | 1.1.0 | 
| Livy | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 
| MXNet | 1.7.0 | 1.7.0 | 1.7.0 | 1.7.0 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 5.2.0 | 5.2.0 | 5.2.0 | 5.2.0 | 
| Phoenix | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.245.1-amzn-0 | 0.245.1-amzn-0 | 0.240.1-amzn-0 | 0.240.1-amzn-0 | 
| Spark | 2.4.7-amzn-1.1 | 2.4.7-amzn-1 | 2.4.7-amzn-0.1 | 2.4.7-amzn-0 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.4.1 | 2.4.1 | 2.3.1 | 2.3.1 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.9.0 | 0.9.0 | 0.8.2 | 0.8.2 | 
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 

## 5.33.1 发布说明
<a name="emr-5331-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.33.0/5.33.1 的信息。更改与 5.32.0 有关。

首次发布日期：2021 年 4 月 19 日

上次更新日期：2021 年 8 月 9 日

**升级**
+ 已将 Amazon Glue 连接器升级到版本 1.15.0
+ 已升级 适用于 Java 的 AWS SDK 到 1.11.970 版本
+ 已将 EMRFS 升级到版本 2.46.0
+ 已将 EMR Goodies 升级到版本 2.14.0
+ 已将 EMR 记录服务器升级到版本 1.9.0
+ 已将 EMR S3 Dist CP 升级到版本 2.18.0
+ 已将 EMR Secret Agent 升级到版本 1.8.0
+ 已将 Flink 升级到版本 1.12.1
+ 已将 Hadoop 升级到版本 2.10.1-amzn-1
+ 已将 Hive 升级到版本 2.3.7-amzn-4
+ 已将 Hudi 升级到版本 0.7.0
+ 已将 Hue 升级到版本 4.9.0
+ 已将 OpenCV 升级到版本 4.5.0
+ 已将 Presto 升级到版本 0.245.1-amzn-0
+ 已将 R 升级到版本 4.0.2
+ 已将 Spark 升级到版本 2.4.7-amzn-1
+ 已升级 TensorFlow 到 2.4.1 版
+ 已将 Zeppelin 升级到版本 0.9.0

**更改、增强功能和解决的问题**
+ 此版本旨在修复 Amazon EMR Scaling 无法成功缩 up/scale 减集群规模或导致应用程序故障时出现的问题。
+ 修复了当 Amazon EMR 集群上的进程守护程序正在进行运行状况检查活动（例如收集 YARN 节点状态和 HDFS 节点状态）时，针对高利用率的大型集群的扩展请求失败的问题。之所以发生这种情况，是因为集群上的进程守护程序无法将节点的运行状况数据传递给内部 Amazon EMR 组件。
+ 改进了 EMR 集群上的进程守护程序，以便在重用 IP 地址时正确跟踪节点状态，从而提高扩缩操作期间的可靠性。
+ [SPARK-29683](https://issues.apache.org/jira/browse/SPARK-29683)。修复了集群缩减期间出现任务失败的问题，因为 Spark 假定所有可用节点都被拒绝列出。
+ [YARN-9011](https://issues.apache.org/jira/browse/YARN-9011)。修复了集群尝试纵向扩展或缩减时，由于 YARN 停用中的争用条件导致任务失败的问题。
+ 通过确保 Amazon EMR 集群上的进程守护程序和 YARN/HDFS 之间的节点状态始终一致，解决了集群扩展期间步骤或任务失败的问题。
+ 修复了已启用 Kerberos 身份验证的 Amazon EMR 集群的诸如缩减和步骤提交等集群操作失败的问题。这是因为 Amazon EMR 集群守护程序没有续订 Kerberos 票证，而在主节点上运行时需要使用该票证才能安全地进行 HDFS/YARN 通信。
+ 较新的亚马逊 EMR 版本通过较低的 A AL2 mazon EMR 中较旧版本的 “最大打开文件数” 限制来解决这个问题。Amazon EMR 发行版 5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 及更高版本现在用更高的“最大打开文件数”设置永久修复了此问题。
+ **配置集群以修复 Apache YARN 时间轴服务器 1 和 1.5 版的性能问题**

  Apache YARN 时间轴服务器版本 1 和 1.5 可能会对非常活跃的大型 EMR 集群造成性能问题，尤其是 `yarn.resourcemanager.system-metrics-publisher.enabled=true`，这是 Amazon EMR 中的默认设置。开源 YARN 时间轴服务器 v2 解决了与 YARN 时间轴服务器可扩展性相关的性能问题。

  此问题的其他解决方法包括：
  + 配置 yarn.resourceManager system-metrics-publisheryarn-site.xml 中的.enabled=false。
  + 如下所述，在创建群集时启用此问题的修复程序。

  以下 Amazon EMR 发行版包含针对此 YARN 时间线服务器性能问题的修复。

  EMR 5.30.2、5.31.1、5.32.1、5.33.1、5.34.x、6.0.1、6.1.1、6.2.1、6.3.1、6.4.x

  要对上述任何指定的 Amazon EMR 版本启用修复程序，请使用 [`aws emr create-cluster` 命令参数](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-configure-apps-create-cluster.html)：`--configurations file://./configurations.json` 在传入的配置 JSON 文件中将这些属性设置为 `true`。或者使用[重新配置控制台 UI](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-configure-apps-running-cluster.html) 启用修复程序。

  配置 .json 文件内容的示例：

  ```
  [
  {
  "Classification": "yarn-site",
  "Properties": {
  "yarn.resourcemanager.system-metrics-publisher.timeline-server-v1.enable-batch": "true",
  "yarn.resourcemanager.system-metrics-publisher.enabled": "true"
  },
  "Configurations": []
  }
  ]
  ```
+ 现在，从 Hive 元存储中获取分区位置进行 Spark 插入查询时，Spark 运行时的速度更快。
+ 升级了组件版本。有关组件版本的列表，请参阅本指南中的[关于 Amazon EMR 发行版](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-release-components.html)。
+ 已在每个新集群上安装了 AWS Java SDK 捆绑包。这是一个包含所有服务 SDKs 及其依赖关系的单个 jar，而不是单个组件 jar。有关更多信息，请参阅 [Java SDK Bundled Dependency](https://aws.amazon.com/blogs/developer/java-sdk-bundle/)。
+ 修复了早期 Amazon EMR 发行版中的托管扩展问题，并对托管扩展进行了改进，从而显著降低了应用程序故障率。
+ 现在，默认情况下，已启用 Amazon Linux 存储库的 HTTPS。如果您使用 Amazon S3 VPCE 策略限制对特定存储桶的访问，则必须添加新的 Amazon Linux 存储桶 ARN`arn:aws:s3:::amazonlinux-2-repos-$region/*`到策略（将`$region`替换为终端节点所在的区域）。有关更多信息，请在 AWS 讨论论坛中查看此主题。[公告：Amazon Linux 2 目前支持在连接到软件包存储库时使用 HTTPS 的功能](https://forums.aws.amazon.com/ann.jspa?annID=8528)。

**新特征**
+ Amazon EMR 支持 Amazon S3 接入点，这是 Amazon S3 的一项功能，可让您轻松管理共享数据湖的访问。使用 Amazon S3 接入点别名，您可以在 Amazon EMR 上大规模简化数据访问。在所有提供 Amazon EMR 的 AWS 区域，您可以将 Amazon S3 接入点与所有版本的 Amazon EMR 配合使用，无需支付额外费用。要了解有关 Amazon S3 访问点和访问点别名的详细信息，请参阅*《Amazon S3 用户指南》*中的[为接入点使用存储桶式别名](https://docs.aws.amazon.com/AmazonS3/latest/userguide/access-points-alias.html)。
+ Amazon EMR-5.33 支持新的 Amazon EC2 实例类型：c5a、c5ad、c6gn、c6gd、m6gd、d3、d3en、m5zn、r5b、r6gd。请参阅[支持的实例类型](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-supported-instance-types.html)。

**已知问题**
+ **降低旧版本的 “最大打开文件数” 限制 AL2 [在新版本中已修复]。**亚马逊 EMR 版本：emr-5.30.x、emr-5.31.0、emr-5.32.0、emr-6.0.0、emr-6.1.0 和 emr-6.2.0 基于较早版本的亚马逊 Linux 2 ()，当使用默认 AMI 创建亚马逊 EMR 集群时，“最大打开文件数” 的用户限制设置较低。AL2Amazon EMR 发行版 5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 及更高版本使用更高的“最大打开文件数”设置永久修复了此问题。如果使用打开文件数限制较低的发行版，会在提交 Spark 任务时导致“Too many open files”（打开的文件过多）错误。在受影响的发行版中，Amazon EMR 原定设置 AMI 的原定设置“最大打开文件数”ulimit 为 4096，而最新版 Amazon Linux 2 AMI 中的文件限制数为 65536。Spark 驱动程序和执行程序尝试打开超过 4096 个文件时，“打开的最大文件数”的较低 ulimit 设置会导致 Spark 任务失败。要修复此问题，Amazon EMR 使用一个引导操作（BA）脚本，用于在创建集群时调整 ulimit 设置。

  如果您使用没有永久修复此问题的较早版本的 Amazon EMR，则可以通过下面的解决方法，显式将实例控制器 ulimit 设置为最多 65536 个文件。

**从命令行显式设置 ulimit**

  1. 编辑 `/etc/systemd/system/instance-controller.service`，将以下参数添加到 Service (服务) 部分。

     `LimitNOFILE=65536`

     `LimitNPROC=65536`

  1. 重启 InstanceController

     `$ sudo systemctl daemon-reload`

     `$ sudo systemctl restart instance-controller`

  **使用引导操作 (BA) 设置 ulimit**

  您还可以在创建集群时使用引导操作（BA）脚本将实例控制器 ulimit 配置为 65536 个文件。

  ```
  #!/bin/bash
  for user in hadoop spark hive; do
  sudo tee /etc/security/limits.d/$user.conf << EOF
  $user - nofile 65536
  $user - nproc 65536
  EOF
  done
  for proc in instancecontroller logpusher; do
  sudo mkdir -p /etc/systemd/system/$proc.service.d/
  sudo tee /etc/systemd/system/$proc.service.d/override.conf << EOF
  [Service]
  LimitNOFILE=65536
  LimitNPROC=65536
  EOF
  pid=$(pgrep -f aws157.$proc.Main)
  sudo prlimit --pid $pid --nofile=65535:65535 --nproc=65535:65535
  done
  sudo systemctl daemon-reload
  ```
+ 对于 Amazon EMR 6.3.0 和 6.2.0 私有子网集群，您不能访问 Ganglia Web UI。您将收到“access denied (403)”错误。其他网络 UIs，例如 Spark、Hue JupyterHub、Zeppelin、Livy 和 Tez，都正常运行。公有子网集群上的 Ganglia Web UI 访问也正常工作。要解决该问题，请在具有 `sudo systemctl restart httpd` 的主节点上重新启动 httpd 服务。此问题已在 Amazon EMR 6.4.0 中得到修复。
+ 
**重要**  
运行 Amazon Linux 或 Amazon Linux 2 亚马逊机器映像（AMI）的 EMR 集群使用默认的 Amazon Linux 行为，且不会自动下载和安装需要重新启动的重要关键内核更新。这与运行默认 Amazon Linux AMI 的其它 Amazon EC2 实例的行为相同。如果需要重新启动的新 Amazon Linux 软件更新（例如内核、NVIDIA 和 CUDA 更新）在 Amazon EMR 版本发布后可用，则运行默认 AMI 的 EMR 集群实例不会自动下载和安装这些更新。要获取内核更新，您可以[自定义 Amazon EMR AMI](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-custom-ami.html)，以[使用最新的 Amazon Linux AMI](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/finding-an-ami.html)。
+ 该 GovCloud 区域目前不支持控制台支持创建指定 AWS Ranger 集成选项的安全配置。可以使用 CLI 完成安全配置。请参阅《Amazon EMR 管理指南》**中的[创建 EMR 安全配置](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-ranger-security-config.html)。
+ 限定范围的托管策略：为了与 AWS 最佳实践保持一致，Amazon EMR 引入了 v2 EMR 范围的默认托管策略，以取代即将弃用的策略。请参阅 [Amazon EMR 托管式策略](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-managed-iam-policies.html)。
+ 当您将 Spark 与 Hive 分区位置格式化结合使用以读取 Amazon S3 中的数据，并在 Amazon EMR 版本 5.30.0 至 5.36.0 以及 6.2.0 至 6.9.0 上运行 Spark 时，可能会遇到导致集群无法正确读取数据的问题。如果您的分区具有以下所有特征，会发生这种情况：
  + 从同一个表扫描两个或多个分区。
  + 至少有一个分区目录路径是至少一个其他分区目录路径的前缀，例如，`s3://bucket/table/p=a` 是 `s3://bucket/table/p=a b` 的前缀。
  + 另一个分区目录中前缀后面的第一个字符的 UTF-8 值小于 `/` 字符 (U\$1002F)。例如，在 `s3://bucket/table/p=a b` 中，a 和 b 之间出现的空格字符 (U\$10020) 就属于此类。请注意，还有其他 14 个非控制字符：`!"#$%&‘()*+,-`。有关更多信息，请参阅 [UTF-8 encoding table and Unicode characters](https://www.utf8-chartable.de/)（UTF-8 编码表和 Unicode 字符）。

  解决方法是在 `spark-defaults` 分类中将 `spark.sql.sources.fastS3PartitionDiscovery.enabled` 配置设置为 `false`。

## 5.33.1 组件版本
<a name="emr-5331-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.1 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.16.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | emrfs | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.5.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-notebook-env | 1.2.0 | 适用于 EMR Notebooks（可提供 jupyter 企业网关）的 Conda env | 
| emr-s3-dist-cp | 2.18.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 1.6.0 | EMR S3 Select 连接器 | 
| emrfs | 2.46.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.12.1 | Apache Flink 命令行客户端脚本和应用程序。 | 
| flink-jobmanager-config | 1.12.1 | 在 EMR 节点上管理 Apache Flink 的资源。 JobManager | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.10.1-amzn-1.1 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.10.1-amzn-1.1 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.10.1-amzn-1.1 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.10.1-amzn-1.1 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-hdfs-journalnode | 2.10.1-amzn-1.1 | 用于管理 HA 集群上的 Hadoop 文件系统日志的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.10.1-amzn-1.1 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.10.1-amzn-1.1 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.10.1-amzn-1.1 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.10.1-amzn-1.1 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.10.1-amzn-1.1 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.10.1-amzn-1.1 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.4.13 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.4.13 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.4.13 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.4.13 | 为提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.4.13 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.7-amzn-4 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.7-amzn-4 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.7-amzn-4 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.7-amzn-4 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.7-amzn-4 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.7-amzn-4 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.7-amzn-4 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hudi | 0.7.0-amzn-1 | 增量处理框架，以支持低延迟和高效率的数据管道。 | 
| hudi-spark | 0.7.0-amzn-1 | 用于运行 Spark 以及 Hudi 的捆绑库。 | 
| hudi-presto | 0.7.0-amzn-1 | 用于运行 Presto 以及 Hudl 的捆绑库。 | 
| hue-server | 4.9.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 1.2.2 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.7.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 1.7.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mariadb-server | 5.5.68\$1 | MySQL 数据库服务器。 | 
| nvidia-cuda | 10.1.243 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.2.0 | Oozie 命令行客户端。 | 
| oozie-server | 5.2.0 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 4.5.0 | 开源计算机视觉库。 | 
| phoenix-library | 4.14.3--1.4 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.14.3--1.4 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.245.1-amzn-0 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.245.1-amzn-0 | 用于执行查询的各个部分的服务。 | 
| presto-client | 0.245.1-amzn-0 | Presto 命令行客户端，安装在 HA 集群的备用主节点（未启动 Presto 服务器）上。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 4.0.2 | 用于统计计算的 R 项目 | 
| ranger-kms-server | 1.2.0 | Apache Ranger 密钥管理系统 | 
| spark-client | 2.4.7-amzn-1.1 | Spark 命令行客户端。 | 
| spark-history-server | 2.4.7-amzn-1.1 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.4.7-amzn-1.1 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.4.7-amzn-1.1 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 2.4.1 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.9.2 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.9.0 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.14 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.14 | ZooKeeper 命令行客户端。 | 

## 5.33.1 配置分类
<a name="emr-5331-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。

为处于运行状态的集群中的实例组指定配置时，将发生重新配置操作。Amazon EMR 仅为您修改的分类启动重新配置操作。有关更多信息，请参阅 [在正在运行的集群中重新配置实例组](emr-configure-apps-running-cluster.md)。


**emr-5.33.1 分类**  

| 分类 | 说明 | 重新配置操作 | 
| --- | --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | Restarts the ResourceManager service. | 
| container-executor | 更改 Hadoop YARN 的 container-executor.cfg 文件中的值。 | Not available. | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | Not available. | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | 更改 docker 相关设置。 | Not available. | 
| emrfs-site | 更改 EMRFS 设置。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | 更改 flink-conf.yaml 设置。 | Restarts Flink history server. | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | Restarts Flink history server. | 
| flink-log4j-session | 更改会话的 Flink log4j-session.properties Kubernetes/Yarn  | Not available. | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | Restarts Flink history server. | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | Not available. | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | Not available. | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | 更改环境 HBase中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | Not available. | 
| hbase-site | 更改 hbase-site.xml 文件 HBase中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | Should not be reconfigured. | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | 更改环境 HCatalog中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | Restarts Hive WebHCat Server. | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | Restarts Hive WebHCat Server. | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | Restarts Hive WebHCat Server. | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | Not available. | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | Not available. | 
| hive-env | 更改 Hive 环境中的值。 | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | Restarts HiveServer2 and HiveMetastore. | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | Not available. | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | Not available. | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | Not available. | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | Restarts Hadoop Httpfs service. | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | Not available. | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | Not available. | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | 更改 Hudi 环境中的值。 | Not available. | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | Not available. | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | Not available. | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | Not available. | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | Not available. | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | Restarts Livy Server. | 
| livy-env | 更改 Livy 环境中的值。 | Restarts Livy Server. | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | Restarts Livy Server. | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | 更改 Oozie 的环境中的值。 | Restarts Oozie. | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | Restarts Oozie. | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | Restarts Oozie. | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | Not available. | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | Not available. | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | Not available. | 
| pig-env | 更改 Pig 环境中的值。 | Not available. | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | Restarts Oozie. | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | Not available. | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | Restarts Presto-Server. | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | Restarts Presto-Server. | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | Not available. | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | Restarts Presto-Server. | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | Not available. | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | Not available. | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | Not available. | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | Restarts Presto-Server. | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | Not available. | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | Not available. | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | Not available. | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | Not available. | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | Not available. | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | Not available. | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | Not available. | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | Not available. | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | Not available. | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | Not available. | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | Not available. | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | Not available. | 
| ranger-kms-dbks-site | 更改 Ranger KMS 的 dbks-site.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-site | 更改 Ranger K ranger-kms-site MS 的.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-env | 更改 Ranger KMS 环境中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-log4j | 更改 Ranger KMS 的 kms-log4j.properties 文件中的值。 | Not available. | 
| ranger-kms-db-ca | 更改 S3 上用于与 Ranger KMS 进行 MySQL SSL 连接的 CA 文件的值。 | Not available. | 
| recordserver-env | 在 EMR RecordServer 环境中更改值。 | Restarts EMR record server. | 
| recordserver-conf | 更改 EMR 的 server.proper RecordServer ties 文件中的值。 | Restarts EMR record server. | 
| recordserver-log4j | 更改 EMR 的 log4j.propertie RecordServer s 文件中的值。 | Restarts EMR record server. | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | This property modifies spark-defaults. See actions there. | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-env | 更改 Spark 环境中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | Not available. | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | Not available. | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | Not available. | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | Not available. | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | Restarts Oozie. | 
| yarn-env | 更改 YARN 环境中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | Restarts Zeppelin. | 
| zeppelin-site | 更改 zeppelin-site.xml 中的配置设置。 | Restarts Zeppelin. | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | Restarts Zookeeper server. | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | Restarts Zookeeper server. | 

# Amazon EMR 发行版 5.33.0
<a name="emr-5330-release"></a>

## 5.33.0 应用程序版本
<a name="emr-5330-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.33.0 | emr-5.32.1 | emr-5.32.0 | emr-5.31.1 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.970 | 1.11.890 | 1.11.890 | 1.11.852 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.12.1 | 1.11.2 | 1.11.2 | 1.11.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 | 
| HCatalog | 2.3.7-amzn-4 | 2.3.7-amzn-3 | 2.3.7-amzn-3 | 2.3.7-amzn-1 | 
| Hadoop | 2.10.1-amzn-1 | 2.10.1-amzn-0.1 | 2.10.1-amzn-0 | 2.10.0-amzn-0.1 | 
| Hive | 2.3.7-amzn-4 | 2.3.7-amzn-3 | 2.3.7-amzn-3 | 2.3.7-amzn-1 | 
| Hudi | 0.7.0-amzn-1 | 0.6.0-amzn-0 | 0.6.0-amzn-0 | 0.6.0-amzn-0 | 
| Hue | 4.9.0 | 4.8.0 | 4.8.0 | 4.7.1 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway | 2.1.0 | 2.1.0 | 2.1.0 |  -  | 
| JupyterHub | 1.2.2 | 1.1.0 | 1.1.0 | 1.1.0 | 
| Livy | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 
| MXNet | 1.7.0 | 1.7.0 | 1.7.0 | 1.6.0 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 5.2.0 | 5.2.0 | 5.2.0 | 5.2.0 | 
| Phoenix | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.245.1-amzn-0 | 0.240.1-amzn-0 | 0.240.1-amzn-0 | 0.238.3-amzn-0 | 
| Spark | 2.4.7-amzn-1 | 2.4.7-amzn-0.1 | 2.4.7-amzn-0 | 2.4.6-amzn-0.1 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.4.1 | 2.3.1 | 2.3.1 | 2.1.0 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.9.0 | 0.8.2 | 0.8.2 | 0.8.2 | 
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 

## 5.33.0 发布说明
<a name="emr-5330-relnotes"></a>

## 5.33.0 组件版本
<a name="emr-5330-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.1 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.16.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | emrfs | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.5.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-notebook-env | 1.2.0 | 适用于 EMR Notebooks（可提供 jupyter 企业网关）的 Conda env | 
| emr-s3-dist-cp | 2.18.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 1.6.0 | EMR S3 Select 连接器 | 
| emrfs | 2.46.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.12.1 | Apache Flink 命令行客户端脚本和应用程序。 | 
| flink-jobmanager-config | 1.12.1 | 在 EMR 节点上管理 Apache Flink 的资源。 JobManager | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.10.1-amzn-1 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.10.1-amzn-1 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.10.1-amzn-1 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.10.1-amzn-1 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-hdfs-journalnode | 2.10.1-amzn-1 | 用于管理 HA 集群上的 Hadoop 文件系统日志的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.10.1-amzn-1 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.10.1-amzn-1 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.10.1-amzn-1 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.10.1-amzn-1 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.10.1-amzn-1 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.10.1-amzn-1 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.4.13 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.4.13 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.4.13 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.4.13 | 为提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.4.13 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.7-amzn-4 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.7-amzn-4 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.7-amzn-4 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.7-amzn-4 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.7-amzn-4 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.7-amzn-4 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.7-amzn-4 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hudi | 0.7.0-amzn-1 | 增量处理框架，以支持低延迟和高效率的数据管道。 | 
| hudi-spark | 0.7.0-amzn-1 | 用于运行 Spark 以及 Hudi 的捆绑库。 | 
| hudi-presto | 0.7.0-amzn-1 | 用于运行 Presto 以及 Hudl 的捆绑库。 | 
| hue-server | 4.9.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 1.2.2 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.7.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 1.7.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mariadb-server | 5.5.68 | MySQL 数据库服务器。 | 
| nvidia-cuda | 10.1.243 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.2.0 | Oozie 命令行客户端。 | 
| oozie-server | 5.2.0 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 4.5.0 | 开源计算机视觉库。 | 
| phoenix-library | 4.14.3--1.4 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.14.3--1.4 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.245.1-amzn-0 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.245.1-amzn-0 | 用于执行查询的各个部分的服务。 | 
| presto-client | 0.245.1-amzn-0 | Presto 命令行客户端，安装在 HA 集群的备用主节点（未启动 Presto 服务器）上。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 4.0.2 | 用于统计计算的 R 项目 | 
| ranger-kms-server | 1.2.0 | Apache Ranger 密钥管理系统 | 
| spark-client | 2.4.7-amzn-1 | Spark 命令行客户端。 | 
| spark-history-server | 2.4.7-amzn-1 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.4.7-amzn-1 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.4.7-amzn-1 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 2.4.1 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.9.2 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.9.0 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.14 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.14 | ZooKeeper 命令行客户端。 | 

## 5.33.0 配置分类
<a name="emr-5330-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。

为处于运行状态的集群中的实例组指定配置时，将发生重新配置操作。Amazon EMR 仅为您修改的分类启动重新配置操作。有关更多信息，请参阅 [在正在运行的集群中重新配置实例组](emr-configure-apps-running-cluster.md)。


**emr-5.33.0 分类**  

| 分类 | 说明 | 重新配置操作 | 
| --- | --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | Restarts the ResourceManager service. | 
| container-executor | 更改 Hadoop YARN 的 container-executor.cfg 文件中的值。 | Not available. | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | Not available. | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | 更改 docker 相关设置。 | Not available. | 
| emrfs-site | 更改 EMRFS 设置。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | 更改 flink-conf.yaml 设置。 | Restarts Flink history server. | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | Restarts Flink history server. | 
| flink-log4j-session | 更改会话的 Flink log4j-session.properties Kubernetes/Yarn  | Not available. | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | Restarts Flink history server. | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | Not available. | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | Not available. | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | 更改环境 HBase中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | Not available. | 
| hbase-site | 更改 hbase-site.xml 文件 HBase中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | Should not be reconfigured. | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | 更改环境 HCatalog中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | Restarts Hive WebHCat Server. | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | Restarts Hive WebHCat Server. | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | Restarts Hive WebHCat Server. | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | Not available. | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | Not available. | 
| hive-env | 更改 Hive 环境中的值。 | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | Restarts HiveServer2 and HiveMetastore. | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | Not available. | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | Not available. | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | Not available. | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | Restarts Hadoop Httpfs service. | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | Not available. | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | Not available. | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | 更改 Hudi 环境中的值。 | Not available. | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | Not available. | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | Not available. | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | Not available. | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | Not available. | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | Restarts Livy Server. | 
| livy-env | 更改 Livy 环境中的值。 | Restarts Livy Server. | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | Restarts Livy Server. | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | 更改 Oozie 的环境中的值。 | Restarts Oozie. | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | Restarts Oozie. | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | Restarts Oozie. | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | Not available. | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | Not available. | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | Not available. | 
| pig-env | 更改 Pig 环境中的值。 | Not available. | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | Restarts Oozie. | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | Not available. | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | Restarts Presto-Server. | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | Restarts Presto-Server. | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | Not available. | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | Restarts Presto-Server. | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | Not available. | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | Not available. | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | Not available. | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | Restarts Presto-Server. | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | Not available. | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | Not available. | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | Not available. | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | Not available. | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | Not available. | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | Not available. | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | Not available. | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | Not available. | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | Not available. | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | Not available. | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | Not available. | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | Not available. | 
| ranger-kms-dbks-site | 更改 Ranger KMS 的 dbks-site.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-site | 更改 Ranger K ranger-kms-site MS 的.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-env | 更改 Ranger KMS 环境中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-log4j | 更改 Ranger KMS 的 kms-log4j.properties 文件中的值。 | Not available. | 
| ranger-kms-db-ca | 更改 S3 上用于与 Ranger KMS 进行 MySQL SSL 连接的 CA 文件的值。 | Not available. | 
| recordserver-env | 在 EMR RecordServer 环境中更改值。 | Restarts EMR record server. | 
| recordserver-conf | 更改 EMR 的 server.proper RecordServer ties 文件中的值。 | Restarts EMR record server. | 
| recordserver-log4j | 更改 EMR 的 log4j.propertie RecordServer s 文件中的值。 | Restarts EMR record server. | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | This property modifies spark-defaults. See actions there. | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-env | 更改 Spark 环境中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | Not available. | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | Not available. | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | Not available. | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | Not available. | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | Restarts Oozie. | 
| yarn-env | 更改 YARN 环境中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | Restarts Zeppelin. | 
| zeppelin-site | 更改 zeppelin-site.xml 中的配置设置。 | Restarts Zeppelin. | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | Restarts Zookeeper server. | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | Restarts Zookeeper server. | 

# Amazon EMR 发行版 5.32.1
<a name="emr-5321-release"></a>

## 5.32.1 应用程序版本
<a name="emr-5321-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.32.1 | emr-5.32.0 | emr-5.31.1 | emr-5.31.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.890 | 1.11.890 | 1.11.852 | 1.11.852 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.11.2 | 1.11.2 | 1.11.0 | 1.11.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 | 
| HCatalog | 2.3.7-amzn-3 | 2.3.7-amzn-3 | 2.3.7-amzn-1 | 2.3.7-amzn-1 | 
| Hadoop | 2.10.1-amzn-0.1 | 2.10.1-amzn-0 | 2.10.0-amzn-0.1 | 2.10.0-amzn-0 | 
| Hive | 2.3.7-amzn-3 | 2.3.7-amzn-3 | 2.3.7-amzn-1 | 2.3.7-amzn-1 | 
| Hudi | 0.6.0-amzn-0 | 0.6.0-amzn-0 | 0.6.0-amzn-0 | 0.6.0-amzn-0 | 
| Hue | 4.8.0 | 4.8.0 | 4.7.1 | 4.7.1 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway | 2.1.0 | 2.1.0 |  -  |  -  | 
| JupyterHub | 1.1.0 | 1.1.0 | 1.1.0 | 1.1.0 | 
| Livy | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 
| MXNet | 1.7.0 | 1.7.0 | 1.6.0 | 1.6.0 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 5.2.0 | 5.2.0 | 5.2.0 | 5.2.0 | 
| Phoenix | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.240.1-amzn-0 | 0.240.1-amzn-0 | 0.238.3-amzn-0 | 0.238.3-amzn-0 | 
| Spark | 2.4.7-amzn-0.1 | 2.4.7-amzn-0 | 2.4.6-amzn-0.1 | 2.4.6-amzn-0 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.3.1 | 2.3.1 | 2.1.0 | 2.1.0 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.8.2 | 0.8.2 | 0.8.2 | 0.8.2 | 
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 

## 5.32.1 发布说明
<a name="emr-5321-relnotes"></a>

此版本旨在修复 Amazon EMR Scaling 无法成功缩 up/scale 减集群规模或导致应用程序故障时出现的问题。

**更改、增强和解决的问题**
+ 修复了当 Amazon EMR 集群上的进程守护程序正在进行运行状况检查活动（例如收集 YARN 节点状态和 HDFS 节点状态）时，针对高利用率的大型集群的扩展请求失败的问题。之所以发生这种情况，是因为集群上的进程守护程序无法将节点的运行状况数据传递给内部 Amazon EMR 组件。
+ 改进了 EMR 集群上的进程守护程序，以便在重用 IP 地址时正确跟踪节点状态，从而提高扩缩操作期间的可靠性。
+ [SPARK-29683](https://issues.apache.org/jira/browse/SPARK-29683)。修复了集群缩减期间出现任务失败的问题，因为 Spark 假定所有可用节点都被拒绝列出。
+ [YARN-9011](https://issues.apache.org/jira/browse/YARN-9011)。修复了集群尝试纵向扩展或缩减时，由于 YARN 停用中的争用条件导致任务失败的问题。
+ 通过确保 Amazon EMR 集群上的进程守护程序和 YARN/HDFS 之间的节点状态始终一致，解决了集群扩展期间步骤或任务失败的问题。
+ 修复了已启用 Kerberos 身份验证的 Amazon EMR 集群的诸如缩减和步骤提交等集群操作失败的问题。这是因为 Amazon EMR 集群守护程序没有续订 Kerberos 票证，而在主节点上运行时需要使用该票证才能安全地进行 HDFS/YARN 通信。
+ 较新的亚马逊 EMR 版本通过较低的 A AL2 mazon EMR 中较旧版本的 “最大打开文件数” 限制来解决这个问题。Amazon EMR 发行版 5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 及更高版本现在用更高的“最大打开文件数”设置永久修复了此问题。
+ 现在，默认情况下，已启用 Amazon Linux 存储库的 HTTPS。如果您使用 Amazon S3 VPCE 策略限制对特定存储桶的访问，则必须添加新的 Amazon Linux 存储桶 ARN`arn:aws:s3:::amazonlinux-2-repos-$region/*`到策略（将`$region`替换为终端节点所在的区域）。有关更多信息，请在 AWS 讨论论坛中查看此主题。[公告：Amazon Linux 2 目前支持在连接到软件包存储库时使用 HTTPS 的功能](https://forums.aws.amazon.com/ann.jspa?annID=8528)。

**已知问题**
+ 当您将 Spark 与 Hive 分区位置格式化结合使用以读取 Amazon S3 中的数据，并在 Amazon EMR 版本 5.30.0 至 5.36.0 以及 6.2.0 至 6.9.0 上运行 Spark 时，可能会遇到导致集群无法正确读取数据的问题。如果您的分区具有以下所有特征，会发生这种情况：
  + 从同一个表扫描两个或多个分区。
  + 至少有一个分区目录路径是至少一个其他分区目录路径的前缀，例如，`s3://bucket/table/p=a` 是 `s3://bucket/table/p=a b` 的前缀。
  + 另一个分区目录中前缀后面的第一个字符的 UTF-8 值小于 `/` 字符 (U\$1002F)。例如，在 `s3://bucket/table/p=a b` 中，a 和 b 之间出现的空格字符 (U\$10020) 就属于此类。请注意，还有其他 14 个非控制字符：`!"#$%&‘()*+,-`。有关更多信息，请参阅 [UTF-8 encoding table and Unicode characters](https://www.utf8-chartable.de/)（UTF-8 编码表和 Unicode 字符）。

  解决方法是在 `spark-defaults` 分类中将 `spark.sql.sources.fastS3PartitionDiscovery.enabled` 配置设置为 `false`。

## 5.32.1 组件版本
<a name="emr-5321-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.1 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.16.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.13.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.5.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-notebook-env | 1.1.0 | 适用于 EMR Notebooks（可提供 jupyter 企业网关）的 Conda env | 
| emr-s3-dist-cp | 2.17.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 1.6.0 | EMR S3 Select 连接器 | 
| emrfs | 2.45.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.11.2 | Apache Flink 命令行客户端脚本和应用程序。 | 
| flink-jobmanager-config | 1.11.2 | 在 EMR 节点上管理 Apache Flink 的资源。 JobManager | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.10.1-amzn-0.1 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.10.1-amzn-0.1 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.10.1-amzn-0.1 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.10.1-amzn-0.1 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-hdfs-journalnode | 2.10.1-amzn-0.1 | 用于管理 HA 集群上的 Hadoop 文件系统日志的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.10.1-amzn-0.1 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.10.1-amzn-0.1 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.10.1-amzn-0.1 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.10.1-amzn-0.1 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.10.1-amzn-0.1 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.10.1-amzn-0.1 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.4.13 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.4.13 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.4.13 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.4.13 | 为提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.4.13 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.7-amzn-3 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.7-amzn-3 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.7-amzn-3 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.7-amzn-3 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.7-amzn-3 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.7-amzn-3 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.7-amzn-3 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hudi | 0.6.0-amzn-0 | 增量处理框架，以支持低延迟和高效率的数据管道。 | 
| hudi-spark | 0.6.0-amzn-0 | 用于运行 Spark 以及 Hudi 的捆绑库。 | 
| hudi-presto | 0.6.0-amzn-0 | 用于运行 Presto 以及 Hudl 的捆绑库。 | 
| hue-server | 4.8.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 1.1.0 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.7.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 1.7.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mariadb-server | 5.5.68\$1 | MySQL 数据库服务器。 | 
| nvidia-cuda | 10.1.243 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.2.0 | Oozie 命令行客户端。 | 
| oozie-server | 5.2.0 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 4.4.0 | 开源计算机视觉库。 | 
| phoenix-library | 4.14.3--1.4 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.14.3--1.4 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.240.1-amzn-0 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.240.1-amzn-0 | 用于执行查询的各个部分的服务。 | 
| presto-client | 0.240.1-amzn-0 | Presto 命令行客户端，安装在 HA 集群的备用主节点（未启动 Presto 服务器）上。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 3.4.3 | 用于统计计算的 R 项目 | 
| ranger-kms-server | 1.2.0 | Apache Ranger 密钥管理系统 | 
| spark-client | 2.4.7-amzn-0.1 | Spark 命令行客户端。 | 
| spark-history-server | 2.4.7-amzn-0.1 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.4.7-amzn-0.1 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.4.7-amzn-0.1 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 2.3.1 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.9.2 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.8.2 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.14 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.14 | ZooKeeper 命令行客户端。 | 

## 5.32.1 配置分类
<a name="emr-5321-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。

为处于运行状态的集群中的实例组指定配置时，将发生重新配置操作。Amazon EMR 仅为您修改的分类启动重新配置操作。有关更多信息，请参阅 [在正在运行的集群中重新配置实例组](emr-configure-apps-running-cluster.md)。


**emr-5.32.1 分类**  

| 分类 | 说明 | 重新配置操作 | 
| --- | --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | Restarts the ResourceManager service. | 
| container-executor | 更改 Hadoop YARN 的 container-executor.cfg 文件中的值。 | Not available. | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | Not available. | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | 更改 docker 相关设置。 | Not available. | 
| emrfs-site | 更改 EMRFS 设置。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | 更改 flink-conf.yaml 设置。 | Restarts Flink history server. | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | Restarts Flink history server. | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | Not available. | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | Restarts Flink history server. | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | Not available. | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | Not available. | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | 更改环境 HBase中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | Not available. | 
| hbase-site | 更改 hbase-site.xml 文件 HBase中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | Should not be reconfigured. | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | 更改环境 HCatalog中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | Restarts Hive WebHCat Server. | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | Restarts Hive WebHCat Server. | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | Restarts Hive WebHCat Server. | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | Not available. | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | Not available. | 
| hive-env | 更改 Hive 环境中的值。 | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | Restarts HiveServer2 and HiveMetastore. | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | Not available. | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | Not available. | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | Not available. | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | Restarts Hadoop Httpfs service. | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | Not available. | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | Not available. | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | 更改 Hudi 环境中的值。 | Not available. | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | Not available. | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | Not available. | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | Not available. | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | Not available. | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | Restarts Livy Server. | 
| livy-env | 更改 Livy 环境中的值。 | Restarts Livy Server. | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | Restarts Livy Server. | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | 更改 Oozie 的环境中的值。 | Restarts Oozie. | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | Restarts Oozie. | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | Restarts Oozie. | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | Not available. | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | Not available. | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | Not available. | 
| pig-env | 更改 Pig 环境中的值。 | Not available. | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | Restarts Oozie. | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | Not available. | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | Restarts Presto-Server. | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | Restarts Presto-Server. | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | Not available. | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | Restarts Presto-Server. | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | Not available. | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | Not available. | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | Not available. | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | Restarts Presto-Server. | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | Not available. | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | Not available. | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | Not available. | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | Not available. | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | Not available. | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | Not available. | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | Not available. | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | Not available. | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | Not available. | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | Not available. | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | Not available. | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | Not available. | 
| ranger-kms-dbks-site | 更改 Ranger KMS 的 dbks-site.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-site | 更改 Ranger K ranger-kms-site MS 的.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-env | 更改 Ranger KMS 环境中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-log4j | 更改 Ranger KMS 的 kms-log4j.properties 文件中的值。 | Not available. | 
| ranger-kms-db-ca | 更改 S3 上用于与 Ranger KMS 进行 MySQL SSL 连接的 CA 文件的值。 | Not available. | 
| recordserver-env | 在 EMR RecordServer 环境中更改值。 | Restarts EMR record server. | 
| recordserver-conf | 更改 EMR 的 server.proper RecordServer ties 文件中的值。 | Restarts EMR record server. | 
| recordserver-log4j | 更改 EMR 的 log4j.propertie RecordServer s 文件中的值。 | Restarts EMR record server. | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | This property modifies spark-defaults. See actions there. | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-env | 更改 Spark 环境中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | Not available. | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | Not available. | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | Not available. | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | Not available. | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | Restarts Oozie. | 
| yarn-env | 更改 YARN 环境中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | Restarts Zeppelin. | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | Restarts Zookeeper server. | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | Restarts Zookeeper server. | 

# Amazon EMR 发行版 5.32.0
<a name="emr-5320-release"></a>

## 5.32.0 应用程序版本
<a name="emr-5320-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.32.0 | emr-5.31.1 | emr-5.31.0 | emr-5.30.2 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.890 | 1.11.852 | 1.11.852 | 1.11.759 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.11.2 | 1.11.0 | 1.11.0 | 1.10.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 | 
| HCatalog | 2.3.7-amzn-3 | 2.3.7-amzn-1 | 2.3.7-amzn-1 | 2.3.6-amzn-2 | 
| Hadoop | 2.10.1-amzn-0 | 2.10.0-amzn-0.1 | 2.10.0-amzn-0 | 2.8.5-amzn-6.1 | 
| Hive | 2.3.7-amzn-3 | 2.3.7-amzn-1 | 2.3.7-amzn-1 | 2.3.6-amzn-2 | 
| Hudi | 0.6.0-amzn-0 | 0.6.0-amzn-0 | 0.6.0-amzn-0 | 0.5.2-incubating | 
| Hue | 4.8.0 | 4.7.1 | 4.7.1 | 4.6.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway | 2.1.0 |  -  |  -  |  -  | 
| JupyterHub | 1.1.0 | 1.1.0 | 1.1.0 | 1.1.0 | 
| Livy | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 
| MXNet | 1.7.0 | 1.6.0 | 1.6.0 | 1.5.1 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 5.2.0 | 5.2.0 | 5.2.0 | 5.2.0 | 
| Phoenix | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.240.1-amzn-0 | 0.238.3-amzn-0 | 0.238.3-amzn-0 | 0.232 | 
| Spark | 2.4.7-amzn-0 | 2.4.6-amzn-0.1 | 2.4.6-amzn-0 | 2.4.5-amzn-0.1 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.3.1 | 2.1.0 | 2.1.0 | 1.14.0 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.8.2 | 0.8.2 | 0.8.2 | 0.8.2 | 
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 

## 5.32.0 发布说明
<a name="emr-5320-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.32.0 的信息。更改与 5.31.0 有关。

首次发布日期：2021 年 1 月 8 日

**升级**
+ 已将 Amazon Glue 连接器升级到1.14.0
+ 已将 Amazon SageMaker Spark SDK 升级到 1.4.1 版
+ 已升级 适用于 Java 的 AWS SDK 到 1.11.890 版本
+ 已将 EMR DynamoDB 连接器升级到版本 4.16.0
+ 已将 EMRFS 升级到版本 2.45.0
+ 已将 EMR Log Analytics Metrics 升级到版本 1.18.0
+ 已将 EMR MetricsAndEventsApiGateway 客户端升级到 1.5.0 版
+ 已将 EMR 记录服务器升级到版本 1.8.0
+ 已将 EMR S3 Dist CP 升级到版本 2.17.0
+ 已将 EMR Secret Agent 升级到版本 1.7.0
+ 已将 Flink 升级到版本 1.11.2
+ 已将 Hadoop 升级到版本 2.10.1-amzn-0
+ 已将 Hive 升级到版本 2.3.7-amzn-3
+ 已将 Hue 升级到版本 4.8.0
+ 已将 Mxnet 升级到版本 1.7.0
+ 已将 OpenCV 升级到版本 4.4.0
+ 已将 Presto 升级到版本 0.240.1-amzn-0
+ 已将 Spark 升级到版本 2.4.7-amzn-0
+ 已升级 TensorFlow 到 2.3.1 版

**更改、增强功能和解决的问题**
+ 此版本旨在修复 Amazon EMR Scaling 无法成功缩 up/scale 减集群规模或导致应用程序故障时出现的问题。
+ 修复了当 Amazon EMR 集群上的进程守护程序正在进行运行状况检查活动（例如收集 YARN 节点状态和 HDFS 节点状态）时，针对高利用率的大型集群的扩展请求失败的问题。之所以发生这种情况，是因为集群上的进程守护程序无法将节点的运行状况数据传递给内部 Amazon EMR 组件。
+ 改进了 EMR 集群上的进程守护程序，以便在重用 IP 地址时正确跟踪节点状态，从而提高扩缩操作期间的可靠性。
+ [SPARK-29683](https://issues.apache.org/jira/browse/SPARK-29683)。修复了集群缩减期间出现任务失败的问题，因为 Spark 假定所有可用节点都被拒绝列出。
+ [YARN-9011](https://issues.apache.org/jira/browse/YARN-9011)。修复了集群尝试纵向扩展或缩减时，由于 YARN 停用中的争用条件导致任务失败的问题。
+ 通过确保 Amazon EMR 集群上的进程守护程序和 YARN/HDFS 之间的节点状态始终一致，解决了集群扩展期间步骤或任务失败的问题。
+ 修复了已启用 Kerberos 身份验证的 Amazon EMR 集群的诸如缩减和步骤提交等集群操作失败的问题。这是因为 Amazon EMR 集群守护程序没有续订 Kerberos 票证，而在主节点上运行时需要使用该票证才能安全地进行 HDFS/YARN 通信。
+ 较新的亚马逊 EMR 版本通过较低的 A AL2 mazon EMR 中较旧版本的 “最大打开文件数” 限制来解决这个问题。Amazon EMR 发行版 5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 及更高版本现在用更高的“最大打开文件数”设置永久修复了此问题。
+ 升级了组件版本。
+ 有关组件版本的列表，请参阅本指南中的[关于 Amazon EMR 发行版](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-release-components.html)。

**新特征**
+ 从 Amazon EMR 5.32.0 和 6.5.0 开始，Apache Spark 动态执行程序定型功能会默认启用。要打开或关闭此功能，您可以使用 `spark.yarn.heterogeneousExecutors.enabled` 配置参数。
+ 实例元数据服务 (IMDS) V2 支持状态：Amazon EMR 5.23.1、5.27.1 和 5.32 或更高版本的组件用于所有 IMDS 调用。 IMDSv2 对于应用程序代码中的 IMDS 调用，您可以同时使用 IMDSv1 和 IMDSv2，或者将 IMDS 配置 IMDSv2 为仅用于提高安全性。对于其他 5.x EMR 版本， IMDSv1 禁用会导致集群启动失败。
+ 从 Amazon EMR 5.32.0 开始，您可以启动与 Apache Ranger 在本地集成的集群。Apache Ranger 是一个开源框架，可跨 Hadoop 平台启用、监控和管理全面的数据安全。有关更多信息，请参阅 [Apache Ranger](https://ranger.apache.org/)。通过本机集成，您可以自带 Apache Ranger，在 Amazon EMR 上强制实施精细数据访问控制。请参阅《Amazon EMR 版本指南》**中的 [将 Amazon EMR 与 Apache Ranger 集成](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-ranger.html)。
+ Amazon EMR 发行版 5.32.0 支持 Amazon EMR on EKS。有关 EMR on EKS 入门的更多详细信息，请参阅[什么是 Amazon EMR on EKS](https://docs.aws.amazon.com/emr/latest/EMR-on-EKS-DevelopmentGuide/emr-eks.html)。
+ Amazon EMR 发行版 5.32.0 版支持 Amazon EMR Studio（预览版）。有关 EMR Studio 入门的更多详细信息，请参阅 [Amazon EMR Studio（预览版）](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-studio.html)。
+ 限定范围的托管策略：为了与 AWS 最佳实践保持一致，Amazon EMR 引入了 v2 EMR 范围的默认托管策略，以取代即将弃用的策略。请参阅 [Amazon EMR 托管式策略](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-managed-iam-policies.html)。

**已知问题**
+ 对于 Amazon EMR 6.3.0 和 6.2.0 私有子网集群，您不能访问 Ganglia Web UI。您将收到“access denied (403)”错误。其他网络 UIs，例如 Spark、Hue JupyterHub、Zeppelin、Livy 和 Tez，都正常运行。公有子网集群上的 Ganglia Web UI 访问也正常工作。要解决该问题，请在具有 `sudo systemctl restart httpd` 的主节点上重新启动 httpd 服务。此问题已在 Amazon EMR 6.4.0 中得到修复。
+ **降低旧版本的 “最大打开文件数” 限制 AL2 [在新版本中已修复]。**亚马逊 EMR 版本：emr-5.30.x、emr-5.31.0、emr-5.32.0、emr-6.0.0、emr-6.1.0 和 emr-6.2.0 基于较早版本的亚马逊 Linux 2 ()，当使用默认 AMI 创建亚马逊 EMR 集群时，“最大打开文件数” 的用户限制设置较低。AL2Amazon EMR 发行版 5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 及更高版本使用更高的“最大打开文件数”设置永久修复了此问题。如果使用打开文件数限制较低的发行版，会在提交 Spark 任务时导致“Too many open files”（打开的文件过多）错误。在受影响的发行版中，Amazon EMR 原定设置 AMI 的原定设置“最大打开文件数”ulimit 为 4096，而最新版 Amazon Linux 2 AMI 中的文件限制数为 65536。Spark 驱动程序和执行程序尝试打开超过 4096 个文件时，“打开的最大文件数”的较低 ulimit 设置会导致 Spark 任务失败。要修复此问题，Amazon EMR 使用一个引导操作（BA）脚本，用于在创建集群时调整 ulimit 设置。

  如果您使用没有永久修复此问题的较早版本的 Amazon EMR，则可以通过下面的解决方法，显式将实例控制器 ulimit 设置为最多 65536 个文件。

**从命令行显式设置 ulimit**

  1. 编辑 `/etc/systemd/system/instance-controller.service`，将以下参数添加到 Service (服务) 部分。

     `LimitNOFILE=65536`

     `LimitNPROC=65536`

  1. 重启 InstanceController

     `$ sudo systemctl daemon-reload`

     `$ sudo systemctl restart instance-controller`

  **使用引导操作 (BA) 设置 ulimit**

  您还可以在创建集群时使用引导操作（BA）脚本将实例控制器 ulimit 配置为 65536 个文件。

  ```
  #!/bin/bash
  for user in hadoop spark hive; do
  sudo tee /etc/security/limits.d/$user.conf << EOF
  $user - nofile 65536
  $user - nproc 65536
  EOF
  done
  for proc in instancecontroller logpusher; do
  sudo mkdir -p /etc/systemd/system/$proc.service.d/
  sudo tee /etc/systemd/system/$proc.service.d/override.conf << EOF
  [Service]
  LimitNOFILE=65536
  LimitNPROC=65536
  EOF
  pid=$(pgrep -f aws157.$proc.Main)
  sudo prlimit --pid $pid --nofile=65535:65535 --nproc=65535:65535
  done
  sudo systemctl daemon-reload
  ```
+ 
**重要**  
运行 Amazon Linux 或 Amazon Linux 2 亚马逊机器映像（AMI）的 EMR 集群使用默认的 Amazon Linux 行为，且不会自动下载和安装需要重新启动的重要关键内核更新。这与运行默认 Amazon Linux AMI 的其它 Amazon EC2 实例的行为相同。如果需要重新启动的新 Amazon Linux 软件更新（例如内核、NVIDIA 和 CUDA 更新）在 Amazon EMR 版本发布后可用，则运行默认 AMI 的 EMR 集群实例不会自动下载和安装这些更新。要获取内核更新，您可以[自定义 Amazon EMR AMI](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-custom-ami.html)，以[使用最新的 Amazon Linux AMI](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/finding-an-ami.html)。
+ 该 GovCloud 区域目前不支持控制台支持创建指定 AWS Ranger 集成选项的安全配置。可以使用 CLI 完成安全配置。请参阅《Amazon EMR 管理指南》**中的[创建 EMR 安全配置](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-ranger-security-config.html)。
+ 在使用 Amazon EMR 5.31.0 AtRestEncryption 或 5.32.0 的集群上启用或 HDFS 加密时，Hive 查询会导致以下运行时异常。

  ```
  TaskAttempt 3 failed, info=[Error: Error while running task ( failure ) : attempt_1604112648850_0001_1_01_000000_3:java.lang.RuntimeException: java.lang.RuntimeException: Hive Runtime Error while closing operators: java.io.IOException: java.util.ServiceConfigurationError: org.apache.hadoop.security.token.TokenIdentifier: Provider org.apache.hadoop.hbase.security.token.AuthenticationTokenIdentifier not found
  ```
+ 当您将 Spark 与 Hive 分区位置格式化结合使用以读取 Amazon S3 中的数据，并在 Amazon EMR 版本 5.30.0 至 5.36.0 以及 6.2.0 至 6.9.0 上运行 Spark 时，可能会遇到导致集群无法正确读取数据的问题。如果您的分区具有以下所有特征，会发生这种情况：
  + 从同一个表扫描两个或多个分区。
  + 至少有一个分区目录路径是至少一个其他分区目录路径的前缀，例如，`s3://bucket/table/p=a` 是 `s3://bucket/table/p=a b` 的前缀。
  + 另一个分区目录中前缀后面的第一个字符的 UTF-8 值小于 `/` 字符 (U\$1002F)。例如，在 `s3://bucket/table/p=a b` 中，a 和 b 之间出现的空格字符 (U\$10020) 就属于此类。请注意，还有其他 14 个非控制字符：`!"#$%&‘()*+,-`。有关更多信息，请参阅 [UTF-8 encoding table and Unicode characters](https://www.utf8-chartable.de/)（UTF-8 编码表和 Unicode 字符）。

  解决方法是在 `spark-defaults` 分类中将 `spark.sql.sources.fastS3PartitionDiscovery.enabled` 配置设置为 `false`。

## 5.32.0 组件版本
<a name="emr-5320-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.1 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.16.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.13.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.5.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-notebook-env | 1.1.0 | 适用于 EMR Notebooks（可提供 jupyter 企业网关）的 Conda env | 
| emr-s3-dist-cp | 2.17.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 1.6.0 | EMR S3 Select 连接器 | 
| emrfs | 2.45.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.11.2 | Apache Flink 命令行客户端脚本和应用程序。 | 
| flink-jobmanager-config | 1.11.2 | 在 EMR 节点上管理 Apache Flink 的资源。 JobManager | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.10.1-amzn-0 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.10.1-amzn-0 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.10.1-amzn-0 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.10.1-amzn-0 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-hdfs-journalnode | 2.10.1-amzn-0 | 用于管理 HA 集群上的 Hadoop 文件系统日志的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.10.1-amzn-0 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.10.1-amzn-0 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.10.1-amzn-0 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.10.1-amzn-0 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.10.1-amzn-0 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.10.1-amzn-0 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.4.13 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.4.13 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.4.13 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.4.13 | 为提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.4.13 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.7-amzn-3 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.7-amzn-3 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.7-amzn-3 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.7-amzn-3 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.7-amzn-3 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.7-amzn-3 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.7-amzn-3 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hudi | 0.6.0-amzn-0 | 增量处理框架，以支持低延迟和高效率的数据管道。 | 
| hudi-spark | 0.6.0-amzn-0 | 用于运行 Spark 以及 Hudi 的捆绑库。 | 
| hudi-presto | 0.6.0-amzn-0 | 用于运行 Presto 以及 Hudl 的捆绑库。 | 
| hue-server | 4.8.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 1.1.0 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.7.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 1.7.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mariadb-server | 5.5.68 | MySQL 数据库服务器。 | 
| nvidia-cuda | 10.1.243 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.2.0 | Oozie 命令行客户端。 | 
| oozie-server | 5.2.0 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 4.4.0 | 开源计算机视觉库。 | 
| phoenix-library | 4.14.3--1.4 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.14.3--1.4 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.240.1-amzn-0 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.240.1-amzn-0 | 用于执行查询的各个部分的服务。 | 
| presto-client | 0.240.1-amzn-0 | Presto 命令行客户端，安装在 HA 集群的备用主节点（未启动 Presto 服务器）上。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 3.4.3 | 用于统计计算的 R 项目 | 
| ranger-kms-server | 1.2.0 | Apache Ranger 密钥管理系统 | 
| spark-client | 2.4.7-amzn-0 | Spark 命令行客户端。 | 
| spark-history-server | 2.4.7-amzn-0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.4.7-amzn-0 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.4.7-amzn-0 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 2.3.1 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.9.2 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.8.2 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.14 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.14 | ZooKeeper 命令行客户端。 | 

## 5.32.0 配置分类
<a name="emr-5320-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。

为处于运行状态的集群中的实例组指定配置时，将发生重新配置操作。Amazon EMR 仅为您修改的分类启动重新配置操作。有关更多信息，请参阅 [在正在运行的集群中重新配置实例组](emr-configure-apps-running-cluster.md)。


**emr-5.32.0 分类**  

| 分类 | 说明 | 重新配置操作 | 
| --- | --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | Restarts the ResourceManager service. | 
| container-executor | 更改 Hadoop YARN 的 container-executor.cfg 文件中的值。 | Not available. | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | Not available. | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | 更改 docker 相关设置。 | Not available. | 
| emrfs-site | 更改 EMRFS 设置。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | 更改 flink-conf.yaml 设置。 | Restarts Flink history server. | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | Restarts Flink history server. | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | Not available. | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | Restarts Flink history server. | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | Not available. | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | Not available. | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | 更改环境 HBase中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | Not available. | 
| hbase-site | 更改 hbase-site.xml 文件 HBase中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | Should not be reconfigured. | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | 更改环境 HCatalog中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | Restarts Hive WebHCat Server. | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | Restarts Hive WebHCat Server. | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | Restarts Hive WebHCat Server. | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | Not available. | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | Not available. | 
| hive-env | 更改 Hive 环境中的值。 | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | Restarts HiveServer2 and HiveMetastore. | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | Not available. | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | Not available. | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | Restarts HiveServer2 and HiveMetastore. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | Not available. | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | Restarts Hadoop Httpfs service. | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | Not available. | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | Not available. | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | 更改 Hudi 环境中的值。 | Not available. | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | Not available. | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | Not available. | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | Not available. | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | Not available. | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | Restarts Livy Server. | 
| livy-env | 更改 Livy 环境中的值。 | Restarts Livy Server. | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | Restarts Livy Server. | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | 更改 Oozie 的环境中的值。 | Restarts Oozie. | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | Restarts Oozie. | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | Restarts Oozie. | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | Not available. | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | Not available. | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | Not available. | 
| pig-env | 更改 Pig 环境中的值。 | Not available. | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | Restarts Oozie. | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | Not available. | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | Restarts Presto-Server. | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | Restarts Presto-Server. | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | Not available. | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | Restarts Presto-Server. | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | Not available. | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | Not available. | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | Not available. | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | Restarts Presto-Server. | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | Not available. | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | Not available. | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | Not available. | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | Not available. | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | Not available. | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | Not available. | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | Not available. | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | Not available. | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | Not available. | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | Not available. | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | Not available. | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | Not available. | 
| ranger-kms-dbks-site | 更改 Ranger KMS 的 dbks-site.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-site | 更改 Ranger K ranger-kms-site MS 的.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-env | 更改 Ranger KMS 环境中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-log4j | 更改 Ranger KMS 的 kms-log4j.properties 文件中的值。 | Not available. | 
| ranger-kms-db-ca | 更改 S3 上用于与 Ranger KMS 进行 MySQL SSL 连接的 CA 文件的值。 | Not available. | 
| recordserver-env | 在 EMR RecordServer 环境中更改值。 | Restarts EMR record server. | 
| recordserver-conf | 更改 EMR 的 server.proper RecordServer ties 文件中的值。 | Restarts EMR record server. | 
| recordserver-log4j | 更改 EMR 的 log4j.propertie RecordServer s 文件中的值。 | Restarts EMR record server. | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | This property modifies spark-defaults. See actions there. | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-env | 更改 Spark 环境中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | Not available. | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | Not available. | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | Not available. | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | Not available. | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | Restarts Oozie. | 
| yarn-env | 更改 YARN 环境中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | Restarts Zeppelin. | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | Restarts Zookeeper server. | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | Restarts Zookeeper server. | 

# Amazon EMR 发行版 5.31.1
<a name="emr-5311-release"></a>

## 5.31.1 应用程序版本
<a name="emr-5311-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.31.1 | emr-5.31.0 | emr-5.30.2 | emr-5.30.1 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.852 | 1.11.852 | 1.11.759 | 1.11.759 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.11.0 | 1.11.0 | 1.10.0 | 1.10.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 | 
| HCatalog | 2.3.7-amzn-1 | 2.3.7-amzn-1 | 2.3.6-amzn-2 | 2.3.6-amzn-2 | 
| Hadoop | 2.10.0-amzn-0.1 | 2.10.0-amzn-0 | 2.8.5-amzn-6.1 | 2.8.5-amzn-6 | 
| Hive | 2.3.7-amzn-1 | 2.3.7-amzn-1 | 2.3.6-amzn-2 | 2.3.6-amzn-2 | 
| Hudi | 0.6.0-amzn-0 | 0.6.0-amzn-0 | 0.5.2-incubating | 0.5.2-incubating | 
| Hue | 4.7.1 | 4.7.1 | 4.6.0 | 4.6.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub | 1.1.0 | 1.1.0 | 1.1.0 | 1.1.0 | 
| Livy | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 
| MXNet | 1.6.0 | 1.6.0 | 1.5.1 | 1.5.1 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 5.2.0 | 5.2.0 | 5.2.0 | 5.2.0 | 
| Phoenix | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.238.3-amzn-0 | 0.238.3-amzn-0 | 0.232 | 0.232 | 
| Spark | 2.4.6-amzn-0.1 | 2.4.6-amzn-0 | 2.4.5-amzn-0.1 | 2.4.5-amzn-0 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.1.0 | 2.1.0 | 1.14.0 | 1.14.0 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.8.2 | 0.8.2 | 0.8.2 | 0.8.2 | 
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 

## 5.31.1 发布说明
<a name="emr-5311-relnotes"></a>

此版本旨在修复 Amazon EMR Scaling 无法成功缩 up/scale 减集群规模或导致应用程序故障时出现的问题。

**更改、增强和解决的问题**
+ 修复了当 Amazon EMR 集群上的进程守护程序正在进行运行状况检查活动（例如收集 YARN 节点状态和 HDFS 节点状态）时，针对高利用率的大型集群的扩展请求失败的问题。之所以发生这种情况，是因为集群上的进程守护程序无法将节点的运行状况数据传递给内部 Amazon EMR 组件。
+ 改进了 EMR 集群上的进程守护程序，以便在重用 IP 地址时正确跟踪节点状态，从而提高扩缩操作期间的可靠性。
+ [SPARK-29683](https://issues.apache.org/jira/browse/SPARK-29683)。修复了集群缩减期间出现任务失败的问题，因为 Spark 假定所有可用节点都被拒绝列出。
+ [YARN-9011](https://issues.apache.org/jira/browse/YARN-9011)。修复了集群尝试纵向扩展或缩减时，由于 YARN 停用中的争用条件导致任务失败的问题。
+ 通过确保 Amazon EMR 集群上的进程守护程序和 YARN/HDFS 之间的节点状态始终一致，解决了集群扩展期间步骤或任务失败的问题。
+ 修复了已启用 Kerberos 身份验证的 Amazon EMR 集群的诸如缩减和步骤提交等集群操作失败的问题。这是因为 Amazon EMR 集群守护程序没有续订 Kerberos 票证，而在主节点上运行时需要使用该票证才能安全地进行 HDFS/YARN 通信。
+ 较新的亚马逊 EMR 版本通过较低的 A AL2 mazon EMR 中较旧版本的 “最大打开文件数” 限制来解决这个问题。Amazon EMR 发行版 5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 及更高版本现在用更高的“最大打开文件数”设置永久修复了此问题。
+ 现在，默认情况下，已启用 Amazon Linux 存储库的 HTTPS。如果您使用 Amazon S3 VPCE 策略限制对特定存储桶的访问，则必须添加新的 Amazon Linux 存储桶 ARN`arn:aws:s3:::amazonlinux-2-repos-$region/*`到策略（将`$region`替换为终端节点所在的区域）。有关更多信息，请在 AWS 讨论论坛中查看此主题。[公告：Amazon Linux 2 目前支持在连接到软件包存储库时使用 HTTPS 的功能](https://forums.aws.amazon.com/ann.jspa?annID=8528)。

**已知问题**
+ 当您将 Spark 与 Hive 分区位置格式化结合使用以读取 Amazon S3 中的数据，并在 Amazon EMR 版本 5.30.0 至 5.36.0 以及 6.2.0 至 6.9.0 上运行 Spark 时，可能会遇到导致集群无法正确读取数据的问题。如果您的分区具有以下所有特征，会发生这种情况：
  + 从同一个表扫描两个或多个分区。
  + 至少有一个分区目录路径是至少一个其他分区目录路径的前缀，例如，`s3://bucket/table/p=a` 是 `s3://bucket/table/p=a b` 的前缀。
  + 另一个分区目录中前缀后面的第一个字符的 UTF-8 值小于 `/` 字符 (U\$1002F)。例如，在 `s3://bucket/table/p=a b` 中，a 和 b 之间出现的空格字符 (U\$10020) 就属于此类。请注意，还有其他 14 个非控制字符：`!"#$%&‘()*+,-`。有关更多信息，请参阅 [UTF-8 encoding table and Unicode characters](https://www.utf8-chartable.de/)（UTF-8 编码表和 Unicode 字符）。

  解决方法是在 `spark-defaults` 分类中将 `spark.sql.sources.fastS3PartitionDiscovery.enabled` 配置设置为 `false`。

## 5.31.1 组件版本
<a name="emr-5311-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.0 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.15.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.13.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.5.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.15.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 1.6.0 | EMR S3 Select 连接器 | 
| emrfs | 2.43.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.11.0 | Apache Flink 命令行客户端脚本和应用程序。 | 
| flink-jobmanager-config | 1.11.0 | 在 EMR 节点上管理 Apache Flink 的资源。 JobManager | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.10.0-amzn-0.1 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.10.0-amzn-0.1 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.10.0-amzn-0.1 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.10.0-amzn-0.1 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-hdfs-journalnode | 2.10.0-amzn-0.1 | 用于管理 HA 集群上的 Hadoop 文件系统日志的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.10.0-amzn-0.1 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.10.0-amzn-0.1 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.10.0-amzn-0.1 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.10.0-amzn-0.1 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.10.0-amzn-0.1 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.10.0-amzn-0.1 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.4.13 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.4.13 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.4.13 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.4.13 | 为提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.4.13 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.7-amzn-1 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.7-amzn-1 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.7-amzn-1 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.7-amzn-1 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.7-amzn-1 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.7-amzn-1 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.7-amzn-1 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hudi | 0.6.0-amzn-0 | 增量处理框架，以支持低延迟和高效率的数据管道。 | 
| hudi-spark | 0.6.0-amzn-0 | 用于运行 Spark 以及 Hudi 的捆绑库。 | 
| hudi-presto | 0.6.0-amzn-0 | 用于运行 Presto 以及 Hudl 的捆绑库。 | 
| hue-server | 4.7.1 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 1.1.0 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.7.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 1.6.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mariadb-server | 5.5.64\$1 | MySQL 数据库服务器。 | 
| nvidia-cuda | 9.2.88 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.2.0 | Oozie 命令行客户端。 | 
| oozie-server | 5.2.0 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 4.3.0 | 开源计算机视觉库。 | 
| phoenix-library | 4.14.3--1.4 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.14.3--1.4 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.238.3-amzn-0 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.238.3-amzn-0 | 用于执行查询的各个部分的服务。 | 
| presto-client | 0.238.3-amzn-0 | Presto 命令行客户端，安装在 HA 集群的备用主节点（未启动 Presto 服务器）上。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 3.4.3 | 用于统计计算的 R 项目 | 
| ranger-kms-server | 1.2.0 | Apache Ranger 密钥管理系统 | 
| spark-client | 2.4.6-amzn-0.1 | Spark 命令行客户端。 | 
| spark-history-server | 2.4.6-amzn-0.1 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.4.6-amzn-0.1 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.4.6-amzn-0.1 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 2.1.0 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.9.2 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.8.2 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.14 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.14 | ZooKeeper 命令行客户端。 | 

## 5.31.1 配置分类
<a name="emr-5311-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅 [配置应用程序](emr-configure-apps.md)。


**emr-5.31.1 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| hudi-env | 更改 Hudi 环境中的值。 | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-env | 更改 Pig 环境中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | 
| ranger-kms-dbks-site | 更改 Ranger KMS 的 dbks-site.xml 文件中的值。 | 
| ranger-kms-site | 更改 Ranger K ranger-kms-site MS 的.xml 文件中的值。 | 
| ranger-kms-env | 更改 Ranger KMS 环境中的值。 | 
| ranger-kms-log4j | 更改 Ranger KMS 的 kms-log4j.properties 文件中的值。 | 
| ranger-kms-db-ca | 更改 S3 上用于与 Ranger KMS 进行 MySQL SSL 连接的 CA 文件的值。 | 
| recordserver-env | 在 EMR RecordServer 环境中更改值。 | 
| recordserver-conf | 更改 EMR 的 server.proper RecordServer ties 文件中的值。 | 
| recordserver-log4j | 更改 EMR 的 log4j.propertie RecordServer s 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.31.0
<a name="emr-5310-release"></a>

## 5.31.0 应用程序版本
<a name="emr-5310-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.31.0 | emr-5.30.2 | emr-5.30.1 | emr-5.30.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.852 | 1.11.759 | 1.11.759 | 1.11.759 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.11.0 | 1.10.0 | 1.10.0 | 1.10.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.13 | 
| HCatalog | 2.3.7-amzn-1 | 2.3.6-amzn-2 | 2.3.6-amzn-2 | 2.3.6-amzn-2 | 
| Hadoop | 2.10.0-amzn-0 | 2.8.5-amzn-6.1 | 2.8.5-amzn-6 | 2.8.5-amzn-6 | 
| Hive | 2.3.7-amzn-1 | 2.3.6-amzn-2 | 2.3.6-amzn-2 | 2.3.6-amzn-2 | 
| Hudi | 0.6.0-amzn-0 | 0.5.2-incubating | 0.5.2-incubating | 0.5.2-incubating | 
| Hue | 4.7.1 | 4.6.0 | 4.6.0 | 4.6.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub | 1.1.0 | 1.1.0 | 1.1.0 | 1.1.0 | 
| Livy | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 
| MXNet | 1.6.0 | 1.5.1 | 1.5.1 | 1.5.1 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 5.2.0 | 5.2.0 | 5.2.0 | 5.2.0 | 
| Phoenix | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.238.3-amzn-0 | 0.232 | 0.232 | 0.232 | 
| Spark | 2.4.6-amzn-0 | 2.4.5-amzn-0.1 | 2.4.5-amzn-0 | 2.4.5-amzn-0 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.1.0 | 1.14.0 | 1.14.0 | 1.14.0 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.8.2 | 0.8.2 | 0.8.2 | 0.8.2 | 
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 

## 5.31.0 发布说明
<a name="emr-5310-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.31.0 的信息。更改与 5.30.1 有关。

首次发布日期：2020 年 10 月 9 日

上次更新日期：2020 年 10 月 15 日

**升级**
+ 已将 Amazon Glue 连接器升级到版本 1.13.0
+ 已将 Amazon SageMaker Spark SDK 升级到 1.4.0 版
+ 已将 Amazon Kinesis 连接器升级到版本 3.5.9 
+ 已升级 适用于 Java 的 AWS SDK 到 1.11.852 版本
+ 已将 Bigtop-tomcat 升级到版本 8.5.56
+ 已将 EMR FS 升级到版本 2.43.0
+ 已将 EMR MetricsAndEventsApiGateway 客户端升级到 1.4.0 版
+ 已将 EMR S3 Dist CP 升级到版本 2.15.0
+ 已将 EMR S3 Select 升级到版本 1.6.0
+ 已将 Flink 升级到版本 1.11.0
+ 已将 Hadoop 升级到版本 2.10.0
+ 已将 Hive 升级到版本 2.3.7
+ 已将 Hudi 升级到版本 0.6.0
+ 已将 Hue 升级到版本 4.7.1
+ 已升级 JupyterHub 到 1.1.0 版
+ 已将 Mxnet 升级到版本 1.6.0
+ 已将 OpenCV 升级到版本 4.3.0
+ 已将 Presto 升级到版本 0.238.3
+ 已升级 TensorFlow 到 2.1.0 版

**更改、增强功能和解决的问题**
+ 此版本旨在修复 Amazon EMR Scaling 无法成功缩 up/scale 减集群规模或导致应用程序故障时出现的问题。
+ 修复了当 Amazon EMR 集群上的进程守护程序正在进行运行状况检查活动（例如收集 YARN 节点状态和 HDFS 节点状态）时，针对高利用率的大型集群的扩展请求失败的问题。之所以发生这种情况，是因为集群上的进程守护程序无法将节点的运行状况数据传递给内部 Amazon EMR 组件。
+ 改进了 EMR 集群上的进程守护程序，以便在重用 IP 地址时正确跟踪节点状态，从而提高扩缩操作期间的可靠性。
+ [SPARK-29683](https://issues.apache.org/jira/browse/SPARK-29683)。修复了集群缩减期间出现任务失败的问题，因为 Spark 假定所有可用节点都被拒绝列出。
+ [YARN-9011](https://issues.apache.org/jira/browse/YARN-9011)。修复了集群尝试纵向扩展或缩减时，由于 YARN 停用中的争用条件导致任务失败的问题。
+ 通过确保 Amazon EMR 集群上的进程守护程序和 YARN/HDFS 之间的节点状态始终一致，解决了集群扩展期间步骤或任务失败的问题。
+ 修复了已启用 Kerberos 身份验证的 Amazon EMR 集群的诸如缩减和步骤提交等集群操作失败的问题。这是因为 Amazon EMR 集群守护程序没有续订 Kerberos 票证，而在主节点上运行时需要使用该票证才能安全地进行 HDFS/YARN 通信。
+ 较新的亚马逊 EMR 版本通过较低的 A AL2 mazon EMR 中较旧版本的 “最大打开文件数” 限制来解决这个问题。Amazon EMR 发行版 5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 及更高版本现在用更高的“最大打开文件数”设置永久修复了此问题。
+ Amazon EMR 5.31.0 及更高版本支持 [Hive 列统计信息](https://cwiki.apache.org/confluence/display/Hive/StatsDev#StatsDev-ColumnStatistics)。
+ 升级了组件版本。
+ Amazon EMR 5.31.0 支持 EMRFS S3EC V2。在 S3 Java SDK 1.11.837 及更高版本中，引入了加密客户端版本 2（S3EC V2），并新增了各种安全增强功能。有关更多信息，请参阅下列内容：
  + S3 博客文章：[更新至 Amazon S3 加密客户端](https://aws.amazon.com/blogs/developer/updates-to-the-amazon-s3-encryption-client/)。
  + 适用于 Java 的 AWS SDK 开发者指南：[将加密和解密客户端迁移到 V2。](https://docs.aws.amazon.com/sdk-for-java/v1/developer-guide/s3-encryption-migration.html#s3-cse-update-code)
  + EMR 管理指南：[Amazon S3 客户端加密](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-emrfs-encryption-cse.html)。

  为保持向后兼容性，加密客户端 V1 在 SDK 中仍可用。

**新特征**
+ **降低旧版本的 “最大打开文件数” 限制 AL2 [在新版本中已修复]。**亚马逊 EMR 版本：emr-5.30.x、emr-5.31.0、emr-5.32.0、emr-6.0.0、emr-6.1.0 和 emr-6.2.0 基于较早版本的亚马逊 Linux 2 ()，当使用默认 AMI 创建亚马逊 EMR 集群时，“最大打开文件数” 的用户限制设置较低。AL2Amazon EMR 发行版 5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 及更高版本使用更高的“最大打开文件数”设置永久修复了此问题。如果使用打开文件数限制较低的发行版，会在提交 Spark 任务时导致“Too many open files”（打开的文件过多）错误。在受影响的发行版中，Amazon EMR 原定设置 AMI 的原定设置“最大打开文件数”ulimit 为 4096，而最新版 Amazon Linux 2 AMI 中的文件限制数为 65536。Spark 驱动程序和执行程序尝试打开超过 4096 个文件时，“打开的最大文件数”的较低 ulimit 设置会导致 Spark 任务失败。要修复此问题，Amazon EMR 使用一个引导操作（BA）脚本，用于在创建集群时调整 ulimit 设置。

  如果您使用没有永久修复此问题的较早版本的 Amazon EMR，则可以通过下面的解决方法，显式将实例控制器 ulimit 设置为最多 65536 个文件。

**从命令行显式设置 ulimit**

  1. 编辑 `/etc/systemd/system/instance-controller.service`，将以下参数添加到 Service (服务) 部分。

     `LimitNOFILE=65536`

     `LimitNPROC=65536`

  1. 重启 InstanceController

     `$ sudo systemctl daemon-reload`

     `$ sudo systemctl restart instance-controller`

  **使用引导操作 (BA) 设置 ulimit**

  您还可以在创建集群时使用引导操作（BA）脚本将实例控制器 ulimit 配置为 65536 个文件。

  ```
  #!/bin/bash
  for user in hadoop spark hive; do
  sudo tee /etc/security/limits.d/$user.conf << EOF
  $user - nofile 65536
  $user - nproc 65536
  EOF
  done
  for proc in instancecontroller logpusher; do
  sudo mkdir -p /etc/systemd/system/$proc.service.d/
  sudo tee /etc/systemd/system/$proc.service.d/override.conf << EOF
  [Service]
  LimitNOFILE=65536
  LimitNPROC=65536
  EOF
  pid=$(pgrep -f aws157.$proc.Main)
  sudo prlimit --pid $pid --nofile=65535:65535 --nproc=65535:65535
  done
  sudo systemctl daemon-reload
  ```
+ 借助 Amazon EMR 5.31.0，您可以启动与 Lake Formation 集成的集群。这种集成为 Glue 数据目录中的数据库和表提供了精细的列级数据筛选。 AWS 它还支持从企业身份系统通过联合单点登录的方式登录 EMR Notebooks 或 Apache Zeppelin。有关更多信息，请参阅《Amazon EMR 管理指南》**中的 [将 Amazon EMR 与 AWS Lake Formation集成](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-lake-formation.html)。

  带有 Lake Formation 的 Amazon EMR 目前已在 16 个 AWS 地区推出：美国东部（俄亥俄州和弗吉尼亚北部）、美国西部（加利福尼亚北部和俄勒冈州）、亚太地区（孟买、首尔、新加坡、悉尼和东京）、加拿大（中部）、欧洲（法兰克福、爱尔兰、伦敦、巴黎和斯德哥尔摩）、南美洲（圣保罗）。

**已知问题**
+ 具有多个主节点的集群和 Kerberos 身份验证中的已知问题

  如果在 Amazon EMR 版本 5.20.0 及更高版本中运行具有多个主节点的集群和 Kerberos 身份验证，则在集群运行一段时间后，您可能在执行集群操作（如缩减或步骤提交）时遇到问题。具体时间段取决于您定义的 Kerberos 票证有效期。缩减问题会影响您提交的自动缩减和显式缩减请求。其它集群操作也可能会受到影响。

  解决办法：
  + 以 `hadoop` 用户身份通过 SSH 连接到具有多个主节点的 EMR 集群的 lead 主节点。
  +  运行以下命令，为 `hadoop` 用户续订 Kerberos 票证。

    ```
    kinit -kt <keytab_file> <principal>
    ```

    通常情况下，keytab 文件位于 `/etc/hadoop.keytab`，而 principal 为 `hadoop/<hostname>@<REALM>` 格式。
**注意**  
此解决方法将在 Kerberos 票证有效期内生效。默认情况下，此持续时间为 10 个小时，但可以通过 Kerberos 设置进行配置。Kerberos 票证过期后，您必须重新运行上述命令。
+ 在使用 Amazon EMR 5.31.0 AtRestEncryption 或 5.32.0 的集群上启用或 HDFS 加密时，Hive 查询会导致以下运行时异常。

  ```
  TaskAttempt 3 failed, info=[Error: Error while running task ( failure ) : attempt_1604112648850_0001_1_01_000000_3:java.lang.RuntimeException: java.lang.RuntimeException: Hive Runtime Error while closing operators: java.io.IOException: java.util.ServiceConfigurationError: org.apache.hadoop.security.token.TokenIdentifier: Provider org.apache.hadoop.hbase.security.token.AuthenticationTokenIdentifier not found
  ```
+ 当您将 Spark 与 Hive 分区位置格式化结合使用以读取 Amazon S3 中的数据，并在 Amazon EMR 版本 5.30.0 至 5.36.0 以及 6.2.0 至 6.9.0 上运行 Spark 时，可能会遇到导致集群无法正确读取数据的问题。如果您的分区具有以下所有特征，会发生这种情况：
  + 从同一个表扫描两个或多个分区。
  + 至少有一个分区目录路径是至少一个其他分区目录路径的前缀，例如，`s3://bucket/table/p=a` 是 `s3://bucket/table/p=a b` 的前缀。
  + 另一个分区目录中前缀后面的第一个字符的 UTF-8 值小于 `/` 字符 (U\$1002F)。例如，在 `s3://bucket/table/p=a b` 中，a 和 b 之间出现的空格字符 (U\$10020) 就属于此类。请注意，还有其他 14 个非控制字符：`!"#$%&‘()*+,-`。有关更多信息，请参阅 [UTF-8 encoding table and Unicode characters](https://www.utf8-chartable.de/)（UTF-8 编码表和 Unicode 字符）。

  解决方法是在 `spark-defaults` 分类中将 `spark.sql.sources.fastS3PartitionDiscovery.enabled` 配置设置为 `false`。

## 5.31.0 组件版本
<a name="emr-5310-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.0 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.15.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.13.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.5.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.15.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 1.6.0 | EMR S3 Select 连接器 | 
| emrfs | 2.43.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.11.0 | Apache Flink 命令行客户端脚本和应用程序。 | 
| flink-jobmanager-config | 1.11.0 | 在 EMR 节点上管理 Apache Flink 的资源。 JobManager | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.10.0-amzn-0 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.10.0-amzn-0 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.10.0-amzn-0 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.10.0-amzn-0 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-hdfs-journalnode | 2.10.0-amzn-0 | 用于管理 HA 集群上的 Hadoop 文件系统日志的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.10.0-amzn-0 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.10.0-amzn-0 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.10.0-amzn-0 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.10.0-amzn-0 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.10.0-amzn-0 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.10.0-amzn-0 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.4.13 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.4.13 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.4.13 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.4.13 | 为提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.4.13 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.7-amzn-1 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.7-amzn-1 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.7-amzn-1 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.7-amzn-1 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.7-amzn-1 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.7-amzn-1 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.7-amzn-1 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hudi | 0.6.0-amzn-0 | 增量处理框架，以支持低延迟和高效率的数据管道。 | 
| hudi-spark | 0.6.0-amzn-0 | 用于运行 Spark 以及 Hudi 的捆绑库。 | 
| hudi-presto | 0.6.0-amzn-0 | 用于运行 Presto 以及 Hudl 的捆绑库。 | 
| hue-server | 4.7.1 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 1.1.0 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.7.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 1.6.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mariadb-server | 5.5.64 | MySQL 数据库服务器。 | 
| nvidia-cuda | 9.2.88 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.2.0 | Oozie 命令行客户端。 | 
| oozie-server | 5.2.0 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 4.3.0 | 开源计算机视觉库。 | 
| phoenix-library | 4.14.3--1.4 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.14.3--1.4 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.238.3-amzn-0 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.238.3-amzn-0 | 用于执行查询的各个部分的服务。 | 
| presto-client | 0.238.3-amzn-0 | Presto 命令行客户端，安装在 HA 集群的备用主节点（未启动 Presto 服务器）上。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 3.4.3 | 用于统计计算的 R 项目 | 
| ranger-kms-server | 1.2.0 | Apache Ranger 密钥管理系统 | 
| spark-client | 2.4.6-amzn-0 | Spark 命令行客户端。 | 
| spark-history-server | 2.4.6-amzn-0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.4.6-amzn-0 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.4.6-amzn-0 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 2.1.0 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.9.2 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.8.2 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.14 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.14 | ZooKeeper 命令行客户端。 | 

## 5.31.0 配置分类
<a name="emr-5310-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.31.0 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| hudi-env | 更改 Hudi 环境中的值。 | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-env | 更改 Pig 环境中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | 
| ranger-kms-dbks-site | 更改 Ranger KMS 的 dbks-site.xml 文件中的值。 | 
| ranger-kms-site | 更改 Ranger K ranger-kms-site MS 的.xml 文件中的值。 | 
| ranger-kms-env | 更改 Ranger KMS 环境中的值。 | 
| ranger-kms-log4j | 更改 Ranger KMS 的 kms-log4j.properties 文件中的值。 | 
| ranger-kms-db-ca | 更改 S3 上用于与 Ranger KMS 进行 MySQL SSL 连接的 CA 文件的值。 | 
| recordserver-env | 在 EMR RecordServer 环境中更改值。 | 
| recordserver-conf | 更改 EMR 的 server.proper RecordServer ties 文件中的值。 | 
| recordserver-log4j | 更改 EMR 的 log4j.propertie RecordServer s 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.30.2
<a name="emr-5302-release"></a>

## 5.30.2 应用程序版本
<a name="emr-5302-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.30.2 | emr-5.30.1 | emr-5.30.0 | emr-5.29.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.759 | 1.11.759 | 1.11.759 | 1.11.682 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.6 | 
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.10.0 | 1.10.0 | 1.10.0 | 1.9.1 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.4.13 | 1.4.13 | 1.4.13 | 1.4.10 | 
| HCatalog | 2.3.6-amzn-2 | 2.3.6-amzn-2 | 2.3.6-amzn-2 | 2.3.6-amzn-1 | 
| Hadoop | 2.8.5-amzn-6.1 | 2.8.5-amzn-6 | 2.8.5-amzn-6 | 2.8.5-amzn-5 | 
| Hive | 2.3.6-amzn-2 | 2.3.6-amzn-2 | 2.3.6-amzn-2 | 2.3.6-amzn-1 | 
| Hudi | 0.5.2-incubating | 0.5.2-incubating | 0.5.2-incubating | 0.5.0-incubating | 
| Hue | 4.6.0 | 4.6.0 | 4.6.0 | 4.4.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub | 1.1.0 | 1.1.0 | 1.1.0 | 1.0.0 | 
| Livy | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.6.0-incubating | 
| MXNet | 1.5.1 | 1.5.1 | 1.5.1 | 1.5.1 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 5.2.0 | 5.2.0 | 5.2.0 | 5.1.0 | 
| Phoenix | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.232 | 0.232 | 0.232 | 0.227 | 
| Spark | 2.4.5-amzn-0.1 | 2.4.5-amzn-0 | 2.4.5-amzn-0 | 2.4.4 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 1.14.0 | 1.14.0 | 1.14.0 | 1.14.0 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.8.2 | 0.8.2 | 0.8.2 | 0.8.2 | 
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 

## 5.30.2 发布说明
<a name="emr-5302-relnotes"></a>

此版本旨在修复 Amazon EMR Scaling 无法成功缩 up/scale 减集群规模或导致应用程序故障时出现的问题。

**更改、增强和解决的问题**
+ 修复了当 Amazon EMR 集群上的进程守护程序正在进行运行状况检查活动（例如收集 YARN 节点状态和 HDFS 节点状态）时，针对高利用率的大型集群的扩展请求失败的问题。之所以发生这种情况，是因为集群上的进程守护程序无法将节点的运行状况数据传递给内部 Amazon EMR 组件。
+ 改进了 EMR 集群上的进程守护程序，以便在重用 IP 地址时正确跟踪节点状态，从而提高扩缩操作期间的可靠性。
+ [SPARK-29683](https://issues.apache.org/jira/browse/SPARK-29683)。修复了集群缩减期间出现任务失败的问题，因为 Spark 假定所有可用节点都被拒绝列出。
+ [YARN-9011](https://issues.apache.org/jira/browse/YARN-9011)。修复了集群尝试纵向扩展或缩减时，由于 YARN 停用中的争用条件导致任务失败的问题。
+ 通过确保 Amazon EMR 集群上的进程守护程序和 YARN/HDFS 之间的节点状态始终一致，解决了集群扩展期间步骤或任务失败的问题。
+ 修复了已启用 Kerberos 身份验证的 Amazon EMR 集群的诸如缩减和步骤提交等集群操作失败的问题。这是因为 Amazon EMR 集群守护程序没有续订 Kerberos 票证，而在主节点上运行时需要使用该票证才能安全地进行 HDFS/YARN 通信。
+ 较新的亚马逊 EMR 版本通过较低的 A AL2 mazon EMR 中较旧版本的 “最大打开文件数” 限制来解决这个问题。Amazon EMR 发行版 5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 及更高版本现在用更高的“最大打开文件数”设置永久修复了此问题。
+ 现在，默认情况下，已启用 Amazon Linux 存储库的 HTTPS。如果您使用 Amazon S3 VPCE 策略限制对特定存储桶的访问，则必须添加新的 Amazon Linux 存储桶 ARN`arn:aws:s3:::amazonlinux-2-repos-$region/*`到策略（将`$region`替换为终端节点所在的区域）。有关更多信息，请在 AWS 讨论论坛中查看此主题。[公告：Amazon Linux 2 目前支持在连接到软件包存储库时使用 HTTPS 的功能](https://forums.aws.amazon.com/ann.jspa?annID=8528)。

**已知问题**
+ 当您将 Spark 与 Hive 分区位置格式化结合使用以读取 Amazon S3 中的数据，并在 Amazon EMR 版本 5.30.0 至 5.36.0 以及 6.2.0 至 6.9.0 上运行 Spark 时，可能会遇到导致集群无法正确读取数据的问题。如果您的分区具有以下所有特征，会发生这种情况：
  + 从同一个表扫描两个或多个分区。
  + 至少有一个分区目录路径是至少一个其他分区目录路径的前缀，例如，`s3://bucket/table/p=a` 是 `s3://bucket/table/p=a b` 的前缀。
  + 另一个分区目录中前缀后面的第一个字符的 UTF-8 值小于 `/` 字符 (U\$1002F)。例如，在 `s3://bucket/table/p=a b` 中，a 和 b 之间出现的空格字符 (U\$10020) 就属于此类。请注意，还有其他 14 个非控制字符：`!"#$%&‘()*+,-`。有关更多信息，请参阅 [UTF-8 encoding table and Unicode characters](https://www.utf8-chartable.de/)（UTF-8 编码表和 Unicode 字符）。

  解决方法是在 `spark-defaults` 分类中将 `spark.sql.sources.fastS3PartitionDiscovery.enabled` 配置设置为 `false`。

## 5.30.2 组件版本
<a name="emr-5302-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.3.0 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.14.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.13.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.5.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | emrfs | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 1.5.0 | EMR S3 Select 连接器 | 
| emrfs | 2.40.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.10.0 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.8.5-amzn-6.1 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.8.5-amzn-6.1 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.8.5-amzn-6.1 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.8.5-amzn-6.1 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-hdfs-journalnode | 2.8.5-amzn-6.1 | 用于管理 HA 集群上的 Hadoop 文件系统日志的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.8.5-amzn-6.1 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.8.5-amzn-6.1 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.8.5-amzn-6.1 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.8.5-amzn-6.1 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.8.5-amzn-6.1 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.8.5-amzn-6.1 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.4.13 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.4.13 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.4.13 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.4.13 | 为提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.4.13 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.6-amzn-2 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.6-amzn-2 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.6-amzn-2 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.6-amzn-2 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.6-amzn-2 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.6-amzn-2 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.6-amzn-2 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hudi | 0.5.2-incubating | 增量处理框架，以支持低延迟和高效率的数据管道。 | 
| hudi-presto | 0.5.2-incubating | 用于运行 Presto 以及 Hudl 的捆绑库。 | 
| hue-server | 4.6.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 1.1.0 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.7.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 1.5.1 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mariadb-server | 5.5.64\$1 | MySQL 数据库服务器。 | 
| nvidia-cuda | 9.2.88 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.2.0 | Oozie 命令行客户端。 | 
| oozie-server | 5.2.0 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 3.4.0 | 开源计算机视觉库。 | 
| phoenix-library | 4.14.3--1.4 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.14.3--1.4 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.232 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.232 | 用于执行查询的各个部分的服务。 | 
| presto-client | 0.232 | Presto 命令行客户端，安装在 HA 集群的备用主节点（未启动 Presto 服务器）上。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 3.4.3 | 用于统计计算的 R 项目 | 
| ranger-kms-server | 1.2.0 | Apache Ranger 密钥管理系统 | 
| spark-client | 2.4.5-amzn-0.1 | Spark 命令行客户端。 | 
| spark-history-server | 2.4.5-amzn-0.1 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.4.5-amzn-0.1 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.4.5-amzn-0.1 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 1.14.0 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.9.2 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.8.2 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.14 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.14 | ZooKeeper 命令行客户端。 | 

## 5.30.2 配置分类
<a name="emr-5302-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅 [配置应用程序](emr-configure-apps.md)。


**emr-5.30.2 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| hudi-env | 更改 Hudi 环境中的值。 | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-env | 更改 Pig 环境中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | 
| ranger-kms-dbks-site | 更改 Ranger KMS 的 dbks-site.xml 文件中的值。 | 
| ranger-kms-site | 更改 Ranger K ranger-kms-site MS 的.xml 文件中的值。 | 
| ranger-kms-env | 更改 Ranger KMS 环境中的值。 | 
| ranger-kms-log4j | 更改 Ranger KMS 的 kms-log4j.properties 文件中的值。 | 
| ranger-kms-db-ca | 更改 S3 上用于与 Ranger KMS 进行 MySQL SSL 连接的 CA 文件的值。 | 
| recordserver-env | 在 EMR RecordServer 环境中更改值。 | 
| recordserver-conf | 更改 EMR 的 server.proper RecordServer ties 文件中的值。 | 
| recordserver-log4j | 更改 EMR 的 log4j.propertie RecordServer s 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.30.1
<a name="emr-5301-release"></a>

## 5.30.1 应用程序版本
<a name="emr-5301-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.30.1 | emr-5.30.0 | emr-5.29.0 | emr-5.28.1 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.759 | 1.11.759 | 1.11.682 | 1.11.659 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.6 | 2.7、3.6 | 
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.10.0 | 1.10.0 | 1.9.1 | 1.9.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.4.13 | 1.4.13 | 1.4.10 | 1.4.10 | 
| HCatalog | 2.3.6-amzn-2 | 2.3.6-amzn-2 | 2.3.6-amzn-1 | 2.3.6-amzn-0 | 
| Hadoop | 2.8.5-amzn-6 | 2.8.5-amzn-6 | 2.8.5-amzn-5 | 2.8.5-amzn-5 | 
| Hive | 2.3.6-amzn-2 | 2.3.6-amzn-2 | 2.3.6-amzn-1 | 2.3.6-amzn-0 | 
| Hudi | 0.5.2-incubating | 0.5.2-incubating | 0.5.0-incubating | 0.5.0-incubating | 
| Hue | 4.6.0 | 4.6.0 | 4.4.0 | 4.4.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub | 1.1.0 | 1.1.0 | 1.0.0 | 1.0.0 | 
| Livy | 0.7.0-incubating | 0.7.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 
| MXNet | 1.5.1 | 1.5.1 | 1.5.1 | 1.5.1 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 5.2.0 | 5.2.0 | 5.1.0 | 5.1.0 | 
| Phoenix | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.232 | 0.232 | 0.227 | 0.227 | 
| Spark | 2.4.5-amzn-0 | 2.4.5-amzn-0 | 2.4.4 | 2.4.4 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 1.14.0 | 1.14.0 | 1.14.0 | 1.14.0 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.8.2 | 0.8.2 | 0.8.2 | 0.8.2 | 
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 

## 5.30.1 发布说明
<a name="emr-5301-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.30.1 的信息。更改与 5.30.0 有关。

首次发布日期：2020 年 6 月 30 日

上次更新时间：2020 年 8 月 24 日

**更改、增强功能和解决的问题**
+ 较新的亚马逊 EMR 版本通过较低的 A AL2 mazon EMR 中较旧版本的 “最大打开文件数” 限制来解决这个问题。Amazon EMR 发行版 5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 及更高版本现在用更高的“最大打开文件数”设置永久修复了此问题。
+ 修复了实例控制器进程生成无限量进程的问题。
+ 修复了以下问题：Hue 无法运行 Hive 查询并显示“database is locked（数据库已锁定）”消息、阻止执行查询的问题。
+ 修复了一个 Spark 问题，现在可以在 EMR 集群上同时运行更多任务。
+ 修复了一个 Jupyter Notebook 问题，该问题会导致 Jupyter 服务器中出现“too many files open error（打开过多文件错误）”。
+ 修复了集群启动时间的问题。

**新特征**
+ Amazon EMR 版本 6.x 和 EMR 版本 5.30.1 及更高版本提供了 Tez UI 和 YARN 时间线服务器持久性应用程序界面。无需通过 SSH 连接设置 Web 代理，访问永久性应用程序历史记录的一键式链接即可让您快速访问任务历史记录。活动和已终止集群的日志将在应用程序结束后保留 30 天。有关更多信息，请参阅《Amazon EMR 管理指南》**中的[查看持久性应用程序用户界面](https://docs.aws.amazon.com/emr/latest/ManagementGuide/app-history-spark-UI.html)。
+ EMR 笔记本执行 APIs 可以通过脚本或命令行执行 EMR 笔记本。无需 AWS 控制台即可启动、停止、列出和描述 EMR 笔记本的执行情况，使您能够以编程方式控制 EMR 笔记本。借助参数化 Notebook 单元，您可以将不同的参数值传递给 Notebook，而无需为每组新参数值创建 Notebook 副本。请参阅 [EMR API 操作](https://docs.aws.amazon.com/emr/latest/APIReference/API_Operations.html)。有关示例代码，请参阅[以编程方式执行 EMR Notebooks 的示例命令。](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-managed-notebooks-headless.html)

**已知问题**
+ **降低旧版本的 “最大打开文件数” 限制 AL2 [在新版本中已修复]。**亚马逊 EMR 版本：emr-5.30.x、emr-5.31.0、emr-5.32.0、emr-6.0.0、emr-6.1.0 和 emr-6.2.0 基于较早版本的亚马逊 Linux 2 ()，当使用默认 AMI 创建亚马逊 EMR 集群时，“最大打开文件数” 的用户限制设置较低。AL2Amazon EMR 发行版 5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 及更高版本使用更高的“最大打开文件数”设置永久修复了此问题。如果使用打开文件数限制较低的发行版，会在提交 Spark 任务时导致“Too many open files”（打开的文件过多）错误。在受影响的发行版中，Amazon EMR 原定设置 AMI 的原定设置“最大打开文件数”ulimit 为 4096，而最新版 Amazon Linux 2 AMI 中的文件限制数为 65536。Spark 驱动程序和执行程序尝试打开超过 4096 个文件时，“打开的最大文件数”的较低 ulimit 设置会导致 Spark 任务失败。要修复此问题，Amazon EMR 使用一个引导操作（BA）脚本，用于在创建集群时调整 ulimit 设置。

  如果您使用没有永久修复此问题的较早版本的 Amazon EMR，则可以通过下面的解决方法，显式将实例控制器 ulimit 设置为最多 65536 个文件。

**从命令行显式设置 ulimit**

  1. 编辑 `/etc/systemd/system/instance-controller.service`，将以下参数添加到 Service (服务) 部分。

     `LimitNOFILE=65536`

     `LimitNPROC=65536`

  1. 重启 InstanceController

     `$ sudo systemctl daemon-reload`

     `$ sudo systemctl restart instance-controller`

  **使用引导操作 (BA) 设置 ulimit**

  您还可以在创建集群时使用引导操作（BA）脚本将实例控制器 ulimit 配置为 65536 个文件。

  ```
  #!/bin/bash
  for user in hadoop spark hive; do
  sudo tee /etc/security/limits.d/$user.conf << EOF
  $user - nofile 65536
  $user - nproc 65536
  EOF
  done
  for proc in instancecontroller logpusher; do
  sudo mkdir -p /etc/systemd/system/$proc.service.d/
  sudo tee /etc/systemd/system/$proc.service.d/override.conf << EOF
  [Service]
  LimitNOFILE=65536
  LimitNPROC=65536
  EOF
  pid=$(pgrep -f aws157.$proc.Main)
  sudo prlimit --pid $pid --nofile=65535:65535 --nproc=65535:65535
  done
  sudo systemctl daemon-reload
  ```
+ **EMR Notebooks**

  在 EMR 版本 5.30.1 上，默认情况下禁用在集群主节点上安装内核和其他 Python 库的功能。有关此功能的更多信息，请参阅[在集群主节点上安装内核和 Python 库](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-managed-notebooks-installing-libraries-and-kernels.html)。

  要启动此功能，请执行以下操作：

  1. 确保附加到 EMR Notebooks 服务角色的权限策略允许执行以下操作：

     `elasticmapreduce:ListSteps`

     有关更多信息，请参阅 [EMR Notebooks 的服务角色](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-managed-notebooks-service-role.html)。

  1. 使用在 AWS CLI 设置 EMR Notebooks 的集群上运行一个步骤，如以下示例所示。*us-east-1*替换为集群所在的区域。有关更多信息，请参阅[使用 AWS CLI向集群中添加步骤](https://docs.aws.amazon.com/emr/latest/ManagementGuide/add-step-cli.html)。

     ```
     aws emr add-steps  --cluster-id MyClusterID --steps Type=CUSTOM_JAR,Name=EMRNotebooksSetup,ActionOnFailure=CONTINUE,Jar=s3://us-east-1.elasticmapreduce/libs/script-runner/script-runner.jar,Args=["s3://awssupportdatasvcs.com/bootstrap-actions/EMRNotebooksSetup/emr-notebooks-setup.sh"]
     ```
+ **托管扩展**

  在未安装 Presto 的 5.30.0 和 5.30.1 的集群上进行托管扩展操作可能会导致应用程序故障或导致统一的实例组或实例集处于 `ARRESTED` 状态，尤其是在缩减操作之后快速执行扩展操作时。

  解决方法是即使您的任务不需要 Presto，也可以在使用 Amazon EMR 发行版 5.30.0 和 5.30.1 创建集群时，将 Presto 选为要安装的应用程序。
+ 具有多个主节点的集群和 Kerberos 身份验证中的已知问题

  如果在 Amazon EMR 版本 5.20.0 及更高版本中运行具有多个主节点的集群和 Kerberos 身份验证，则在集群运行一段时间后，您可能在执行集群操作（如缩减或步骤提交）时遇到问题。具体时间段取决于您定义的 Kerberos 票证有效期。缩减问题会影响您提交的自动缩减和显式缩减请求。其它集群操作也可能会受到影响。

  解决办法：
  + 以 `hadoop` 用户身份通过 SSH 连接到具有多个主节点的 EMR 集群的 lead 主节点。
  +  运行以下命令，为 `hadoop` 用户续订 Kerberos 票证。

    ```
    kinit -kt <keytab_file> <principal>
    ```

    通常情况下，keytab 文件位于 `/etc/hadoop.keytab`，而 principal 为 `hadoop/<hostname>@<REALM>` 格式。
**注意**  
此解决方法将在 Kerberos 票证有效期内生效。默认情况下，此持续时间为 10 个小时，但可以通过 Kerberos 设置进行配置。Kerberos 票证过期后，您必须重新运行上述命令。
+ 当您将 Spark 与 Hive 分区位置格式化结合使用以读取 Amazon S3 中的数据，并在 Amazon EMR 版本 5.30.0 至 5.36.0 以及 6.2.0 至 6.9.0 上运行 Spark 时，可能会遇到导致集群无法正确读取数据的问题。如果您的分区具有以下所有特征，会发生这种情况：
  + 从同一个表扫描两个或多个分区。
  + 至少有一个分区目录路径是至少一个其他分区目录路径的前缀，例如，`s3://bucket/table/p=a` 是 `s3://bucket/table/p=a b` 的前缀。
  + 另一个分区目录中前缀后面的第一个字符的 UTF-8 值小于 `/` 字符 (U\$1002F)。例如，在 `s3://bucket/table/p=a b` 中，a 和 b 之间出现的空格字符 (U\$10020) 就属于此类。请注意，还有其他 14 个非控制字符：`!"#$%&‘()*+,-`。有关更多信息，请参阅 [UTF-8 encoding table and Unicode characters](https://www.utf8-chartable.de/)（UTF-8 编码表和 Unicode 字符）。

  解决方法是在 `spark-defaults` 分类中将 `spark.sql.sources.fastS3PartitionDiscovery.enabled` 配置设置为 `false`。

## 5.30.1 组件版本
<a name="emr-5301-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.3.0 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.14.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.13.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.5.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | emrfs | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 1.5.0 | EMR S3 Select 连接器 | 
| emrfs | 2.40.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.10.0 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.8.5-amzn-6 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.8.5-amzn-6 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.8.5-amzn-6 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.8.5-amzn-6 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-hdfs-journalnode | 2.8.5-amzn-6 | 用于管理 HA 集群上的 Hadoop 文件系统日志的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.8.5-amzn-6 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.8.5-amzn-6 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.8.5-amzn-6 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.8.5-amzn-6 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.8.5-amzn-6 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.8.5-amzn-6 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.4.13 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.4.13 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.4.13 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.4.13 | 为提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.4.13 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.6-amzn-2 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.6-amzn-2 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.6-amzn-2 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.6-amzn-2 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.6-amzn-2 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.6-amzn-2 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.6-amzn-2 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hudi | 0.5.2-incubating | 增量处理框架，以支持低延迟和高效率的数据管道。 | 
| hudi-presto | 0.5.2-incubating | 用于运行 Presto 以及 Hudl 的捆绑库。 | 
| hue-server | 4.6.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 1.1.0 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.7.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 1.5.1 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mariadb-server | 5.5.64 | MySQL 数据库服务器。 | 
| nvidia-cuda | 9.2.88 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.2.0 | Oozie 命令行客户端。 | 
| oozie-server | 5.2.0 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 3.4.0 | 开源计算机视觉库。 | 
| phoenix-library | 4.14.3--1.4 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.14.3--1.4 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.232 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.232 | 用于执行查询的各个部分的服务。 | 
| presto-client | 0.232 | Presto 命令行客户端，安装在 HA 集群的备用主节点（未启动 Presto 服务器）上。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 3.4.3 | 用于统计计算的 R 项目 | 
| ranger-kms-server | 1.2.0 | Apache Ranger 密钥管理系统 | 
| spark-client | 2.4.5-amzn-0 | Spark 命令行客户端。 | 
| spark-history-server | 2.4.5-amzn-0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.4.5-amzn-0 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.4.5-amzn-0 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 1.14.0 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.9.2 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.8.2 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.14 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.14 | ZooKeeper 命令行客户端。 | 

## 5.30.1 配置分类
<a name="emr-5301-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.30.1 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| hudi-env | 更改 Hudi 环境中的值。 | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-env | 更改 Pig 环境中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | 
| ranger-kms-dbks-site | 更改 Ranger KMS 的 dbks-site.xml 文件中的值。 | 
| ranger-kms-site | 更改 Ranger K ranger-kms-site MS 的.xml 文件中的值。 | 
| ranger-kms-env | 更改 Ranger KMS 环境中的值。 | 
| ranger-kms-log4j | 更改 Ranger KMS 的 kms-log4j.properties 文件中的值。 | 
| ranger-kms-db-ca | 更改 S3 上用于与 Ranger KMS 进行 MySQL SSL 连接的 CA 文件的值。 | 
| recordserver-env | 在 EMR RecordServer 环境中更改值。 | 
| recordserver-conf | 更改 EMR 的 server.proper RecordServer ties 文件中的值。 | 
| recordserver-log4j | 更改 EMR 的 log4j.propertie RecordServer s 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.30.0
<a name="emr-5300-release"></a>

## 5.30.0 应用程序版本
<a name="emr-5300-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.30.0 | emr-5.29.0 | emr-5.28.1 | emr-5.28.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.759 | 1.11.682 | 1.11.659 | 1.11.659 | 
| Python | 2.7、3.7 | 2.7、3.6 | 2.7、3.6 | 2.7、3.6 | 
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.10.0 | 1.9.1 | 1.9.0 | 1.9.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.4.13 | 1.4.10 | 1.4.10 | 1.4.10 | 
| HCatalog | 2.3.6-amzn-2 | 2.3.6-amzn-1 | 2.3.6-amzn-0 | 2.3.6-amzn-0 | 
| Hadoop | 2.8.5-amzn-6 | 2.8.5-amzn-5 | 2.8.5-amzn-5 | 2.8.5-amzn-5 | 
| Hive | 2.3.6-amzn-2 | 2.3.6-amzn-1 | 2.3.6-amzn-0 | 2.3.6-amzn-0 | 
| Hudi | 0.5.2-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 
| Hue | 4.6.0 | 4.4.0 | 4.4.0 | 4.4.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub | 1.1.0 | 1.0.0 | 1.0.0 | 1.0.0 | 
| Livy | 0.7.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 
| MXNet | 1.5.1 | 1.5.1 | 1.5.1 | 1.5.1 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 5.2.0 | 5.1.0 | 5.1.0 | 5.1.0 | 
| Phoenix | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.232 | 0.227 | 0.227 | 0.227 | 
| Spark | 2.4.5-amzn-0 | 2.4.4 | 2.4.4 | 2.4.4 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 1.14.0 | 1.14.0 | 1.14.0 | 1.14.0 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.8.2 | 0.8.2 | 0.8.2 | 0.8.2 | 
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 

## 5.30.0 发布说明
<a name="emr-5300-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.30.0 的信息。更改与 5.29.0 有关。

首次发布日期：2020 年 5 月 13 日

上次更新日期：2020 年 6 月 25 日

**升级**
+ 已升级 适用于 Java 的 AWS SDK 到 1.11.759 版本
+ 已将 Amazon SageMaker Spark SDK 升级到 1.3.0 版
+ 已将 EMR 记录服务器升级到版本 1.6.0
+ 已将 Flink 升级到版本 1.10.0
+ 已将 Ganglia 升级到版本 3.7.2
+ 已升级 HBase 到 1.4.13 版
+ 已将 Hudi 升级到版本 0.5.2-incubating
+ 已将 Hue 升级到版本 4.6.0
+ 已升级 JupyterHub 到 1.1.0 版
+ 已将升级 Livy 到版本 0.7.0-incubating
+ 已将 Oozie 升级到版本 5.2.0
+ 已将 Presto 升级到版本 0.232
+ 已将 Spark 升级到版本 2.4.5
+ 升级的连接器和驱动程序：Amazon Glue Connector 1.12.0；Amazon Kinesis Connector 3.5.0；EMR DynamoDB Connector 4.14.0

**新特征**
+ **EMR Notebooks**：与使用 5.30.0 创建的 EMR 集群结合使用时，EMR Notebooks 内核在集群上运行。这可以提高 Notebook 的性能，并允许您安装和自定义内核。您还可以在集群主节点上安装 Python 库。有关更多信息，请参阅《EMR 管理指南》**中的[安装并使用内核和库](https://docs.aws.amazon.com//emr/latest/ManagementGuide/emr-managed-notebooks-installing-libraries-and-kernels.html)。
+ **托管扩展**：使用 Amazon EMR 版本 5.30.0 及更高版本时，您可以启用 EMR 托管扩展，以根据工作负载自动增加或减少集群中实例或单位的数量。Amazon EMR 会持续评估集群指标，以便做出扩展决策，从而优化集群的成本和速度。有关更多信息，请参阅《Amazon EMR 管理指南》**中的[扩缩集群资源](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-scale-on-demand.html)。
+ **加密存储在 Amazon S3 中的日志文件** — 在 Amazon EMR 5.30.0 及更高版本中，您可以使用客户托管密钥加密存储在 Amazon S3 中的日志文件。 AWS KMS 有关更多信息，请参阅《Amazon EMR 管理指南》**中的[加密存储在 Amazon S3 中的日志文件](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-debugging.html#emr-log-encryption)。
+ **Amazon Linux 2 支持**：在 EMR 版本 5.30.0 及更高版本中，EMR 使用 Amazon Linux 2 操作系统。新的自定义 AMIs （亚马逊机器映像）必须基于亚马逊 Linux 2 AMI。有关更多信息，请参阅[使用自定义 AMI](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-custom-ami.html)。
+ **Presto 正常自动扩展**：使用 5.30.0 的 EMR 集群可以设置自动扩展超时时段，以便 Presto 任务在其节点停用之前有时间完成运行。有关更多信息，请参阅[使用采用 Graceful Decommission 的 Presto 自动扩展配置](presto-graceful-autoscale.md)。
+ **使用新的分配策略选项创建队列实例**：EMR 版本 5.12.1 及更高版本中提供了一个新的分配策略选项。它加快了集群预置、提高了 Spot 分配的准确性并减少了竞价型实例中断。需要更新非默认 EMR 服务角色。请查看[配置实例集](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-instance-fleet.html)。
+ **sudo systemctl stop 和 sudo systemctl start 命令**：在 EMR 版本 5.30.0 及更高版本（使用 Amazon Linux 2 操作系统）中，EMR 使用 `sudo systemctl stop` 和 `sudo systemctl start` 命令重新启动服务。有关更多信息，请参阅[如何在 Amazon EMR 中重新启动服务？](https://aws.amazon.com/premiumsupport/knowledge-center/restart-service-emr/)

**更改、增强功能和解决的问题**
+ 默认情况下，EMR 版本 5.30.0 不安装 Ganglia。您可以在创建集群时明确选择 Ganglia 进行安装。
+ Spark 性能优化。
+ Presto 性能优化。
+ Amazon EMR 版本 5.30.0 及更高版本默认使用 Python 3。
+ 用于私有子网中服务访问的默认托管安全组已使用新规则进行更新。如果使用自定义安全组进行服务访问，则必须包含与默认托管安全组相同的规则。有关详细信息，请参阅[适用于服务访问（私有子网）的 Amazon EMR 托管安全组](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-man-sec-groups.html#emr-sg-elasticmapreduce-sa-private)。如果您对 Amazon EMR 使用自定义服务角色，则必须向 `ec2:describeSecurityGroups` 授予权限，以便 EMR 可以验证安全组是否已正确创建。如果您使用 `EMR_DefaultRole`，则此权限已包含在默认托管式策略中。

**已知问题**
+ **降低旧版本的 “最大打开文件数” 限制 AL2 [在新版本中已修复]。**亚马逊 EMR 版本：emr-5.30.x、emr-5.31.0、emr-5.32.0、emr-6.0.0、emr-6.1.0 和 emr-6.2.0 基于较早版本的亚马逊 Linux 2 ()，当使用默认 AMI 创建亚马逊 EMR 集群时，“最大打开文件数” 的用户限制设置较低。AL2Amazon EMR 发行版 5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 及更高版本使用更高的“最大打开文件数”设置永久修复了此问题。如果使用打开文件数限制较低的发行版，会在提交 Spark 任务时导致“Too many open files”（打开的文件过多）错误。在受影响的发行版中，Amazon EMR 原定设置 AMI 的原定设置“最大打开文件数”ulimit 为 4096，而最新版 Amazon Linux 2 AMI 中的文件限制数为 65536。Spark 驱动程序和执行程序尝试打开超过 4096 个文件时，“打开的最大文件数”的较低 ulimit 设置会导致 Spark 任务失败。要修复此问题，Amazon EMR 使用一个引导操作（BA）脚本，用于在创建集群时调整 ulimit 设置。

  如果您使用没有永久修复此问题的较早版本的 Amazon EMR，则可以通过下面的解决方法，显式将实例控制器 ulimit 设置为最多 65536 个文件。

**从命令行显式设置 ulimit**

  1. 编辑 `/etc/systemd/system/instance-controller.service`，将以下参数添加到 Service (服务) 部分。

     `LimitNOFILE=65536`

     `LimitNPROC=65536`

  1. 重启 InstanceController

     `$ sudo systemctl daemon-reload`

     `$ sudo systemctl restart instance-controller`

  **使用引导操作 (BA) 设置 ulimit**

  您还可以在创建集群时使用引导操作（BA）脚本将实例控制器 ulimit 配置为 65536 个文件。

  ```
  #!/bin/bash
  for user in hadoop spark hive; do
  sudo tee /etc/security/limits.d/$user.conf << EOF
  $user - nofile 65536
  $user - nproc 65536
  EOF
  done
  for proc in instancecontroller logpusher; do
  sudo mkdir -p /etc/systemd/system/$proc.service.d/
  sudo tee /etc/systemd/system/$proc.service.d/override.conf << EOF
  [Service]
  LimitNOFILE=65536
  LimitNPROC=65536
  EOF
  pid=$(pgrep -f aws157.$proc.Main)
  sudo prlimit --pid $pid --nofile=65535:65535 --nproc=65535:65535
  done
  sudo systemctl daemon-reload
  ```
+ **托管扩展**

  在未安装 Presto 的 5.30.0 和 5.30.1 的集群上进行托管扩展操作可能会导致应用程序故障或导致统一的实例组或实例集处于 `ARRESTED` 状态，尤其是在缩减操作之后快速执行扩展操作时。

  解决方法是即使您的任务不需要 Presto，也可以在使用 Amazon EMR 发行版 5.30.0 和 5.30.1 创建集群时，将 Presto 选为要安装的应用程序。
+ 具有多个主节点的集群和 Kerberos 身份验证中的已知问题

  如果在 Amazon EMR 版本 5.20.0 及更高版本中运行具有多个主节点的集群和 Kerberos 身份验证，则在集群运行一段时间后，您可能在执行集群操作（如缩减或步骤提交）时遇到问题。具体时间段取决于您定义的 Kerberos 票证有效期。缩减问题会影响您提交的自动缩减和显式缩减请求。其它集群操作也可能会受到影响。

  解决办法：
  + 以 `hadoop` 用户身份通过 SSH 连接到具有多个主节点的 EMR 集群的 lead 主节点。
  +  运行以下命令，为 `hadoop` 用户续订 Kerberos 票证。

    ```
    kinit -kt <keytab_file> <principal>
    ```

    通常情况下，keytab 文件位于 `/etc/hadoop.keytab`，而 principal 为 `hadoop/<hostname>@<REALM>` 格式。
**注意**  
此解决方法将在 Kerberos 票证有效期内生效。默认情况下，此持续时间为 10 个小时，但可以通过 Kerberos 设置进行配置。Kerberos 票证过期后，您必须重新运行上述命令。
+ Hue 4.6.0 的默认数据库引擎是 SQLite，当您尝试将 Hue 与外部数据库配合使用时，这会导致出现问题。若要解决此问题，请在您的 `hue-ini` 配置分类中将 `engine` 设置为 `mysql`。Amazon EMR 版本 5.30.1 已修复这一问题。
+ 当您将 Spark 与 Hive 分区位置格式化结合使用以读取 Amazon S3 中的数据，并在 Amazon EMR 版本 5.30.0 至 5.36.0 以及 6.2.0 至 6.9.0 上运行 Spark 时，可能会遇到导致集群无法正确读取数据的问题。如果您的分区具有以下所有特征，会发生这种情况：
  + 从同一个表扫描两个或多个分区。
  + 至少有一个分区目录路径是至少一个其他分区目录路径的前缀，例如，`s3://bucket/table/p=a` 是 `s3://bucket/table/p=a b` 的前缀。
  + 另一个分区目录中前缀后面的第一个字符的 UTF-8 值小于 `/` 字符 (U\$1002F)。例如，在 `s3://bucket/table/p=a b` 中，a 和 b 之间出现的空格字符 (U\$10020) 就属于此类。请注意，还有其他 14 个非控制字符：`!"#$%&‘()*+,-`。有关更多信息，请参阅 [UTF-8 encoding table and Unicode characters](https://www.utf8-chartable.de/)（UTF-8 编码表和 Unicode 字符）。

  解决方法是在 `spark-defaults` 分类中将 `spark.sql.sources.fastS3PartitionDiscovery.enabled` 配置设置为 `false`。

## 5.30.0 组件版本
<a name="emr-5300-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.3.0 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.14.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.13.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.5.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-notebook-env | 1.0.0 | 适用于 emr notebook 的 Conda env | 
| emr-s3-dist-cp | emrfs | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 1.5.0 | EMR S3 Select 连接器 | 
| emrfs | 2.40.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.10.0 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.8.5-amzn-6 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.8.5-amzn-6 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.8.5-amzn-6 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.8.5-amzn-6 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-hdfs-journalnode | 2.8.5-amzn-6 | 用于管理 HA 集群上的 Hadoop 文件系统日志的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.8.5-amzn-6 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.8.5-amzn-6 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.8.5-amzn-6 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.8.5-amzn-6 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.8.5-amzn-6 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.8.5-amzn-6 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.4.13 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.4.13 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.4.13 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.4.13 | 为提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.4.13 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.6-amzn-2 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.6-amzn-2 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.6-amzn-2 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.6-amzn-2 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.6-amzn-2 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.6-amzn-2 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.6-amzn-2 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hudi | 0.5.2-incubating | 增量处理框架，以支持低延迟和高效率的数据管道。 | 
| hudi-presto | 0.5.2-incubating | 用于运行 Presto 以及 Hudl 的捆绑库。 | 
| hue-server | 4.6.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 1.1.0 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.7.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 1.5.1 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mariadb-server | 5.5.64 | MySQL 数据库服务器。 | 
| nvidia-cuda | 9.2.88 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.2.0 | Oozie 命令行客户端。 | 
| oozie-server | 5.2.0 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 3.4.0 | 开源计算机视觉库。 | 
| phoenix-library | 4.14.3--1.4 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.14.3--1.4 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.232 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.232 | 用于执行查询的各个部分的服务。 | 
| presto-client | 0.232 | Presto 命令行客户端，安装在 HA 集群的备用主节点（未启动 Presto 服务器）上。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 3.4.3 | 用于统计计算的 R 项目 | 
| ranger-kms-server | 1.2.0 | Apache Ranger 密钥管理系统 | 
| spark-client | 2.4.5-amzn-0 | Spark 命令行客户端。 | 
| spark-history-server | 2.4.5-amzn-0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.4.5-amzn-0 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.4.5-amzn-0 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 1.14.0 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.9.2 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.8.2 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.14 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.14 | ZooKeeper 命令行客户端。 | 

## 5.30.0 配置分类
<a name="emr-5300-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.30.0 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| hudi-env | 更改 Hudi 环境中的值。 | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-env | 更改 Pig 环境中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | 
| ranger-kms-dbks-site | 更改 Ranger KMS 的 dbks-site.xml 文件中的值。 | 
| ranger-kms-site | 更改 Ranger K ranger-kms-site MS 的.xml 文件中的值。 | 
| ranger-kms-env | 更改 Ranger KMS 环境中的值。 | 
| ranger-kms-log4j | 更改 Ranger KMS 的 kms-log4j.properties 文件中的值。 | 
| ranger-kms-db-ca | 更改 S3 上用于与 Ranger KMS 进行 MySQL SSL 连接的 CA 文件的值。 | 
| recordserver-env | 在 EMR RecordServer 环境中更改值。 | 
| recordserver-conf | 更改 EMR 的 server.proper RecordServer ties 文件中的值。 | 
| recordserver-log4j | 更改 EMR 的 log4j.propertie RecordServer s 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.29.0
<a name="emr-5290-release"></a>

## 5.29.0 应用程序版本
<a name="emr-5290-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.29.0 | emr-5.28.1 | emr-5.28.0 | emr-5.27.1 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.682 | 1.11.659 | 1.11.659 | 1.11.615 | 
| Python | 2.7、3.6 | 2.7、3.6 | 2.7、3.6 | 2.7、3.6 | 
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.9.1 | 1.9.0 | 1.9.0 | 1.8.1 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.4.10 | 1.4.10 | 1.4.10 | 1.4.10 | 
| HCatalog | 2.3.6-amzn-1 | 2.3.6-amzn-0 | 2.3.6-amzn-0 | 2.3.5-amzn-1 | 
| Hadoop | 2.8.5-amzn-5 | 2.8.5-amzn-5 | 2.8.5-amzn-5 | 2.8.5-amzn-4 | 
| Hive | 2.3.6-amzn-1 | 2.3.6-amzn-0 | 2.3.6-amzn-0 | 2.3.5-amzn-1 | 
| Hudi | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating |  -  | 
| Hue | 4.4.0 | 4.4.0 | 4.4.0 | 4.4.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub | 1.0.0 | 1.0.0 | 1.0.0 | 1.0.0 | 
| Livy | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 
| MXNet | 1.5.1 | 1.5.1 | 1.5.1 | 1.4.0 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 | 
| Phoenix | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 4.14.2--1.4 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.227 | 0.227 | 0.227 | 0.224 | 
| Spark | 2.4.4 | 2.4.4 | 2.4.4 | 2.4.4 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 1.14.0 | 1.14.0 | 1.14.0 | 1.14.0 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.8.2 | 0.8.2 | 0.8.2 | 0.8.1 | 
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 

## 5.29.0 发布说明
<a name="emr-5290-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.29.0 的信息。更改与 5.28.1 有关。

首次发布日期：2020 年 1 月 17 日

**升级**
+ 已升级 适用于 Java 的 AWS SDK 到 1.11.682 版本
+ 已将 Hive 升级到版本 2.3.6
+ 已将 Flink 升级到版本 1.9.1
+ 已将 EMRFS 升级到版本 2.38.0
+ 已将 EMR DynamoDB 连接器升级到版本 4.13.0

**更改、增强功能和解决的问题**
+ Spark
  + Spark 性能优化。
+ EMRFS
  + 将管理指南更新为 emrfs-site.xml 默认设置以实现了一致视图。

**已知问题**
+ 具有多个主节点的集群和 Kerberos 身份验证中的已知问题

  如果在 Amazon EMR 版本 5.20.0 及更高版本中运行具有多个主节点的集群和 Kerberos 身份验证，则在集群运行一段时间后，您可能在执行集群操作（如缩减或步骤提交）时遇到问题。具体时间段取决于您定义的 Kerberos 票证有效期。缩减问题会影响您提交的自动缩减和显式缩减请求。其它集群操作也可能会受到影响。

  解决办法：
  + 以 `hadoop` 用户身份通过 SSH 连接到具有多个主节点的 EMR 集群的 lead 主节点。
  +  运行以下命令，为 `hadoop` 用户续订 Kerberos 票证。

    ```
    kinit -kt <keytab_file> <principal>
    ```

    通常情况下，keytab 文件位于 `/etc/hadoop.keytab`，而 principal 为 `hadoop/<hostname>@<REALM>` 格式。
**注意**  
此解决方法将在 Kerberos 票证有效期内生效。默认情况下，此持续时间为 10 个小时，但可以通过 Kerberos 设置进行配置。Kerberos 票证过期后，您必须重新运行上述命令。

## 5.29.0 组件版本
<a name="emr-5290-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.2.6 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.13.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.12.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.13.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 1.4.0 | EMR S3 Select 连接器 | 
| emrfs | 2.38.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.9.1 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.8.5-amzn-5 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.8.5-amzn-5 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.8.5-amzn-5 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.8.5-amzn-5 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-hdfs-journalnode | 2.8.5-amzn-5 | 用于管理 HA 集群上的 Hadoop 文件系统日志的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.8.5-amzn-5 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.8.5-amzn-5 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.8.5-amzn-5 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.8.5-amzn-5 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.8.5-amzn-5 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.8.5-amzn-5 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.4.10 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.4.10 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.4.10 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.4.10 | 为提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.4.10 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.6-amzn-1 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.6-amzn-1 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.6-amzn-1 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.6-amzn-1 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.6-amzn-1 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.6-amzn-1 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.6-amzn-1 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hudi | 0.5.0-incubating | 增量处理框架，以支持低延迟和高效率的数据管道。 | 
| hudi-presto | 0.5.0-incubating | 用于运行 Presto 以及 Hudl 的捆绑库。 | 
| hue-server | 4.4.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 1.0.0 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.6.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 1.5.1 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| nvidia-cuda | 9.2.88 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.1.0 | Oozie 命令行客户端。 | 
| oozie-server | 5.1.0 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 3.4.0 | 开源计算机视觉库。 | 
| phoenix-library | 4.14.3--1.4 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.14.3--1.4 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.227 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.227 | 用于执行查询的各个部分的服务。 | 
| presto-client | 0.227 | Presto 命令行客户端，安装在 HA 集群的备用主节点（未启动 Presto 服务器）上。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 3.4.1 | 用于统计计算的 R 项目 | 
| spark-client | 2.4.4 | Spark 命令行客户端。 | 
| spark-history-server | 2.4.4 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.4.4 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.4.4 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 1.14.0 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.9.2 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.8.2 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.14 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.14 | ZooKeeper 命令行客户端。 | 

## 5.29.0 配置分类
<a name="emr-5290-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.29.0 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-env | 更改 Pig 环境中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | 
| ranger-kms-dbks-site | 更改 Ranger KMS 的 dbks-site.xml 文件中的值。 | 
| ranger-kms-site | 更改 Ranger K ranger-kms-site MS 的.xml 文件中的值。 | 
| ranger-kms-env | 更改 Ranger KMS 环境中的值。 | 
| ranger-kms-log4j | 更改 Ranger KMS 的 kms-log4j.properties 文件中的值。 | 
| ranger-kms-db-ca | 更改 S3 上用于与 Ranger KMS 进行 MySQL SSL 连接的 CA 文件的值。 | 
| recordserver-env | 在 EMR RecordServer 环境中更改值。 | 
| recordserver-conf | 更改 EMR 的 server.proper RecordServer ties 文件中的值。 | 
| recordserver-log4j | 更改 EMR 的 log4j.propertie RecordServer s 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.28.1
<a name="emr-5281-release"></a>

## 5.28.1 应用程序版本
<a name="emr-5281-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.28.1 | emr-5.28.0 | emr-5.27.1 | emr-5.27.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.659 | 1.11.659 | 1.11.615 | 1.11.615 | 
| Python | 2.7、3.6 | 2.7、3.6 | 2.7、3.6 | 2.7、3.6 | 
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.9.0 | 1.9.0 | 1.8.1 | 1.8.1 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.4.10 | 1.4.10 | 1.4.10 | 1.4.10 | 
| HCatalog | 2.3.6-amzn-0 | 2.3.6-amzn-0 | 2.3.5-amzn-1 | 2.3.5-amzn-1 | 
| Hadoop | 2.8.5-amzn-5 | 2.8.5-amzn-5 | 2.8.5-amzn-4 | 2.8.5-amzn-4 | 
| Hive | 2.3.6-amzn-0 | 2.3.6-amzn-0 | 2.3.5-amzn-1 | 2.3.5-amzn-1 | 
| Hudi | 0.5.0-incubating | 0.5.0-incubating |  -  |  -  | 
| Hue | 4.4.0 | 4.4.0 | 4.4.0 | 4.4.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub | 1.0.0 | 1.0.0 | 1.0.0 | 1.0.0 | 
| Livy | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 
| MXNet | 1.5.1 | 1.5.1 | 1.4.0 | 1.4.0 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 | 
| Phoenix | 4.14.3--1.4 HBase | 4.14.3--1.4 HBase | 4.14.2--1.4 HBase | 4.14.2--1.4 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.227 | 0.227 | 0.224 | 0.224 | 
| Spark | 2.4.4 | 2.4.4 | 2.4.4 | 2.4.4 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 1.14.0 | 1.14.0 | 1.14.0 | 1.14.0 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.8.2 | 0.8.2 | 0.8.1 | 0.8.1 | 
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 

## 5.28.1 发布说明
<a name="emr-5281-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.28.1 的信息。更改与 5.28.0 有关。

首次发布日期：2020 年 1 月 10 日

**更改、增强功能和解决的问题**
+ Spark
  + 修复了 Spark 兼容性问题。
+ CloudWatch 指标
  + 修复了在具有多个主节点的 EMR 集群上发布亚马逊 CloudWatch 指标的问题。
+ 已禁用日志消息
  + 已禁用假日志消息“...using old version (<4.5.8) of Apache http client”（使用低于版本 4.5.8 的 Apache http 客户端）。

**已知问题**
+ 具有多个主节点的集群和 Kerberos 身份验证中的已知问题

  如果在 Amazon EMR 版本 5.20.0 及更高版本中运行具有多个主节点的集群和 Kerberos 身份验证，则在集群运行一段时间后，您可能在执行集群操作（如缩减或步骤提交）时遇到问题。具体时间段取决于您定义的 Kerberos 票证有效期。缩减问题会影响您提交的自动缩减和显式缩减请求。其它集群操作也可能会受到影响。

  解决办法：
  + 以 `hadoop` 用户身份通过 SSH 连接到具有多个主节点的 EMR 集群的 lead 主节点。
  +  运行以下命令，为 `hadoop` 用户续订 Kerberos 票证。

    ```
    kinit -kt <keytab_file> <principal>
    ```

    通常情况下，keytab 文件位于 `/etc/hadoop.keytab`，而 principal 为 `hadoop/<hostname>@<REALM>` 格式。
**注意**  
此解决方法将在 Kerberos 票证有效期内生效。默认情况下，此持续时间为 10 个小时，但可以通过 Kerberos 设置进行配置。Kerberos 票证过期后，您必须重新运行上述命令。

## 5.28.1 组件版本
<a name="emr-5281-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.2.6 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.12.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.11.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.13.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 1.3.0 | EMR S3 Select 连接器 | 
| emrfs | 2.37.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.9.0 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.8.5-amzn-5 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.8.5-amzn-5 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.8.5-amzn-5 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.8.5-amzn-5 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-hdfs-journalnode | 2.8.5-amzn-5 | 用于管理 HA 集群上的 Hadoop 文件系统日志的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.8.5-amzn-5 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.8.5-amzn-5 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.8.5-amzn-5 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.8.5-amzn-5 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.8.5-amzn-5 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.8.5-amzn-5 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.4.10 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.4.10 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.4.10 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.4.10 | 为提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.4.10 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.6-amzn-0 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.6-amzn-0 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.6-amzn-0 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.6-amzn-0 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.6-amzn-0 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.6-amzn-0 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.6-amzn-0 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hudi | 0.5.0-incubating | 增量处理框架，以支持低延迟和高效率的数据管道。 | 
| hudi-presto | 0.5.0-incubating | 用于运行 Presto 以及 Hudl 的捆绑库。 | 
| hue-server | 4.4.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 1.0.0 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.6.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 1.5.1 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| nvidia-cuda | 9.2.88 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.1.0 | Oozie 命令行客户端。 | 
| oozie-server | 5.1.0 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 3.4.0 | 开源计算机视觉库。 | 
| phoenix-library | 4.14.3--1.4 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.14.3--1.4 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.227 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.227 | 用于执行查询的各个部分的服务。 | 
| presto-client | 0.227 | Presto 命令行客户端，安装在 HA 集群的备用主节点（未启动 Presto 服务器）上。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 3.4.1 | 用于统计计算的 R 项目 | 
| spark-client | 2.4.4 | Spark 命令行客户端。 | 
| spark-history-server | 2.4.4 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.4.4 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.4.4 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 1.14.0 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.9.2 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.8.2 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.14 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.14 | ZooKeeper 命令行客户端。 | 

## 5.28.1 配置分类
<a name="emr-5281-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.28.1 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-env | 更改 Pig 环境中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | 
| ranger-kms-dbks-site | 更改 Ranger KMS 的 dbks-site.xml 文件中的值。 | 
| ranger-kms-site | 更改 Ranger K ranger-kms-site MS 的.xml 文件中的值。 | 
| ranger-kms-env | 更改 Ranger KMS 环境中的值。 | 
| ranger-kms-log4j | 更改 Ranger KMS 的 kms-log4j.properties 文件中的值。 | 
| ranger-kms-db-ca | 更改 S3 上用于与 Ranger KMS 进行 MySQL SSL 连接的 CA 文件的值。 | 
| recordserver-env | 在 EMR RecordServer 环境中更改值。 | 
| recordserver-conf | 更改 EMR 的 server.proper RecordServer ties 文件中的值。 | 
| recordserver-log4j | 更改 EMR 的 log4j.propertie RecordServer s 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.28.0
<a name="emr-5280-release"></a>

## 5.28.0 应用程序版本
<a name="emr-5280-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.28.0 | emr-5.27.1 | emr-5.27.0 | emr-5.26.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.659 | 1.11.615 | 1.11.615 | 1.11.595 | 
| Python | 2.7、3.6 | 2.7、3.6 | 2.7、3.6 | 2.7、3.6 | 
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.9.0 | 1.8.1 | 1.8.1 | 1.8.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.4.10 | 1.4.10 | 1.4.10 | 1.4.10 | 
| HCatalog | 2.3.6-amzn-0 | 2.3.5-amzn-1 | 2.3.5-amzn-1 | 2.3.5-amzn-0 | 
| Hadoop | 2.8.5-amzn-5 | 2.8.5-amzn-4 | 2.8.5-amzn-4 | 2.8.5-amzn-4 | 
| Hive | 2.3.6-amzn-0 | 2.3.5-amzn-1 | 2.3.5-amzn-1 | 2.3.5-amzn-0 | 
| Hudi | 0.5.0-incubating |  -  |  -  |  -  | 
| Hue | 4.4.0 | 4.4.0 | 4.4.0 | 4.4.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub | 1.0.0 | 1.0.0 | 1.0.0 | 0.9.6 | 
| Livy | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 
| MXNet | 1.5.1 | 1.4.0 | 1.4.0 | 1.4.0 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 | 
| Phoenix | 4.14.3--1.4 HBase | 4.14.2--1.4 HBase | 4.14.2--1.4 HBase | 4.14.2--1.4 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.227 | 0.224 | 0.224 | 0.220 | 
| Spark | 2.4.4 | 2.4.4 | 2.4.4 | 2.4.3 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 1.14.0 | 1.14.0 | 1.14.0 | 1.13.1 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.8.2 | 0.8.1 | 0.8.1 | 0.8.1 | 
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 

## 5.28.0 发布说明
<a name="emr-5280-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.28.0 的信息。更改与 5.27.0 有关。

首次发布日期：2019 年 11 月 12 日

**升级**
+ 已将 Flink 升级到版本 1.9.0
+ 已将 Hive 升级到版本 2.3.6
+ 已升级 MXNet 到 1.5.1 版
+ 已将 Phoenix 升级到版本 4.14.3
+ 已将 Presto 升级到版本 0.227
+ 已将 Zeppelin 升级到版本 0.8.2

**新特征**
+ 创建集群时，Amazon EMR 现在可以安装 [Apache Hudi](https://hudi.apache.org/)。有关更多信息，请参阅[Hudi](emr-hudi.md)。
+ （2019 年 11 月 25 日）您现在可以选择并行运行多个步骤以提高集群利用率并节省成本。您还可以取消待处理和正在运行的步骤。有关更多信息，请参阅[使用 AWS CLI 和控制台处理步骤](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-work-with-steps.html)。
+ （2019 年 12 月 3 日）您现在可以在上创建和运行 EMR 集群。 AWS Outposts AWS Outposts 在本地设施中启用原生 AWS 服务、基础设施和运营模式。在 AWS Outposts 环境中，您可以使用与 AWS 云端相同的 AWS APIs工具和基础架构。有关更多信息，请参阅上的 [EMR 集群](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-outposts.html)。 AWS Outposts
+ （2020 年 3 月 11 日）从 Amazon EMR 版本 5.28.0 开始，您可以在本地区域子网上创建和运行 Amazon EMR 集群，作为支持 AWS 本地区域的区域的 AWS 逻辑扩展。本地区域使 Amazon EMR 功能和部分服务（例如计算和存储 AWS 服务）可以位于离用户更近的地方，从而为本地运行的应用程序提供极低的延迟访问。有关可用的 Local Zones 列表，请参阅 [AWS Local Zones](https://aws.amazon.com/about-aws/global-infrastructure/localzones/)。有关访问可用 AWS 本地区域的信息，请参阅[区域、可用区和本地区域](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/using-regions-availability-zones.html)。

  Local Zones 目前不支持 Amazon EMR Notebooks，也不支持使用接口 VPC 终端节点（AWS PrivateLink）直接连接到 Amazon EMR。

**更改、增强功能和解决的问题**
+ 扩展了对高可用性集群的应用程序支持
  + 有关更多信息，请参阅 *Amazon EMR Management Guide* 中的 [Supported applications in an EMR cluster with Multiple Primary Nodes](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-ha-applications.html#emr-plan-ha-applications-list)。
+ Spark
  + 性能优化
+ Hive
  + 性能优化
+ ：Presto
  + 性能优化

**已知问题**
+ 具有多个主节点的集群和 Kerberos 身份验证中的已知问题

  如果在 Amazon EMR 版本 5.20.0 及更高版本中运行具有多个主节点的集群和 Kerberos 身份验证，则在集群运行一段时间后，您可能在执行集群操作（如缩减或步骤提交）时遇到问题。具体时间段取决于您定义的 Kerberos 票证有效期。缩减问题会影响您提交的自动缩减和显式缩减请求。其它集群操作也可能会受到影响。

  解决办法：
  + 以 `hadoop` 用户身份通过 SSH 连接到具有多个主节点的 EMR 集群的 lead 主节点。
  +  运行以下命令，为 `hadoop` 用户续订 Kerberos 票证。

    ```
    kinit -kt <keytab_file> <principal>
    ```

    通常情况下，keytab 文件位于 `/etc/hadoop.keytab`，而 principal 为 `hadoop/<hostname>@<REALM>` 格式。
**注意**  
此解决方法将在 Kerberos 票证有效期内生效。默认情况下，此持续时间为 10 个小时，但可以通过 Kerberos 设置进行配置。Kerberos 票证过期后，您必须重新运行上述命令。

## 5.28.0 组件版本
<a name="emr-5280-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.2.6 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.12.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.11.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.13.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 1.3.0 | EMR S3 Select 连接器 | 
| emrfs | 2.37.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.9.0 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.8.5-amzn-5 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.8.5-amzn-5 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.8.5-amzn-5 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.8.5-amzn-5 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-hdfs-journalnode | 2.8.5-amzn-5 | 用于管理 HA 集群上的 Hadoop 文件系统日志的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.8.5-amzn-5 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.8.5-amzn-5 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.8.5-amzn-5 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.8.5-amzn-5 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.8.5-amzn-5 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.8.5-amzn-5 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.4.10 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.4.10 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.4.10 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.4.10 | 为提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.4.10 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.6-amzn-0 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.6-amzn-0 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.6-amzn-0 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.6-amzn-0 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.6-amzn-0 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.6-amzn-0 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.6-amzn-0 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hudi | 0.5.0-incubating | 增量处理框架，以支持低延迟和高效率的数据管道。 | 
| hudi-presto | 0.5.0-incubating | 用于运行 Presto 以及 Hudl 的捆绑库。 | 
| hue-server | 4.4.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 1.0.0 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.6.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 1.5.1 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| nvidia-cuda | 9.2.88 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.1.0 | Oozie 命令行客户端。 | 
| oozie-server | 5.1.0 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 3.4.0 | 开源计算机视觉库。 | 
| phoenix-library | 4.14.3--1.4 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.14.3--1.4 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.227 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.227 | 用于执行查询的各个部分的服务。 | 
| presto-client | 0.227 | Presto 命令行客户端，安装在 HA 集群的备用主节点（未启动 Presto 服务器）上。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 3.4.1 | 用于统计计算的 R 项目 | 
| spark-client | 2.4.4 | Spark 命令行客户端。 | 
| spark-history-server | 2.4.4 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.4.4 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.4.4 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 1.14.0 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.9.2 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.8.2 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.14 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.14 | ZooKeeper 命令行客户端。 | 

## 5.28.0 配置分类
<a name="emr-5280-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.28.0 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-env | 更改 Pig 环境中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | 
| ranger-kms-dbks-site | 更改 Ranger KMS 的 dbks-site.xml 文件中的值。 | 
| ranger-kms-site | 更改 Ranger K ranger-kms-site MS 的.xml 文件中的值。 | 
| ranger-kms-env | 更改 Ranger KMS 环境中的值。 | 
| ranger-kms-log4j | 更改 Ranger KMS 的 kms-log4j.properties 文件中的值。 | 
| ranger-kms-db-ca | 更改 S3 上用于与 Ranger KMS 进行 MySQL SSL 连接的 CA 文件的值。 | 
| recordserver-env | 在 EMR RecordServer 环境中更改值。 | 
| recordserver-conf | 更改 EMR 的 server.proper RecordServer ties 文件中的值。 | 
| recordserver-log4j | 更改 EMR 的 log4j.propertie RecordServer s 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.27.1
<a name="emr-5271-release"></a>

## 5.27.1 应用程序版本
<a name="emr-5271-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.27.1 | emr-5.27.0 | emr-5.26.0 | emr-5.25.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.615 | 1.11.615 | 1.11.595 | 1.11.566 | 
| Python | 2.7、3.6 | 2.7、3.6 | 2.7、3.6 | 2.7、3.6 | 
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.8.1 | 1.8.1 | 1.8.0 | 1.8.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.4.10 | 1.4.10 | 1.4.10 | 1.4.9 | 
| HCatalog | 2.3.5-amzn-1 | 2.3.5-amzn-1 | 2.3.5-amzn-0 | 2.3.5-amzn-0 | 
| Hadoop | 2.8.5-amzn-4 | 2.8.5-amzn-4 | 2.8.5-amzn-4 | 2.8.5-amzn-4 | 
| Hive | 2.3.5-amzn-1 | 2.3.5-amzn-1 | 2.3.5-amzn-0 | 2.3.5-amzn-0 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 4.4.0 | 4.4.0 | 4.4.0 | 4.4.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub | 1.0.0 | 1.0.0 | 0.9.6 | 0.9.6 | 
| Livy | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 
| MXNet | 1.4.0 | 1.4.0 | 1.4.0 | 1.4.0 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 | 
| Phoenix | 4.14.2--1.4 HBase | 4.14.2--1.4 HBase | 4.14.2--1.4 HBase | 4.14.1--1.4 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.224 | 0.224 | 0.220 | 0.220 | 
| Spark | 2.4.4 | 2.4.4 | 2.4.3 | 2.4.3 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 1.14.0 | 1.14.0 | 1.13.1 | 1.13.1 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 

## 5.27.1 发布说明
<a name="emr-5271-relnotes"></a>

这是补丁版本。所有应用程序和组件都与之前的 Amazon EMR 发行版相同。

实例元数据服务 (IMDS) V2 支持状态：Amazon EMR 5.23.1、5.27.1 和 5.32 或更高版本的组件用于所有 IMDS 调用。 IMDSv2 对于应用程序代码中的 IMDS 调用，您可以同时使用 IMDSv1 和 IMDSv2，或者将 IMDS 配置 IMDSv2 为仅用于提高安全性。对于其他 5.x EMR 版本， IMDSv1 禁用会导致集群启动失败。

## 5.27.1 组件版本
<a name="emr-5271-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.2.4 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.12.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.11.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.13.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 1.3.0 | EMR S3 Select 连接器 | 
| emrfs | 2.36.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.8.1 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.8.5-amzn-4 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.8.5-amzn-4 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.8.5-amzn-4 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.8.5-amzn-4 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-hdfs-journalnode | 2.8.5-amzn-4 | 用于管理 HA 集群上的 Hadoop 文件系统日志的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.8.5-amzn-4 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.8.5-amzn-4 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.8.5-amzn-4 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.8.5-amzn-4 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.8.5-amzn-4 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.8.5-amzn-4 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.4.10 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.4.10 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.4.10 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.4.10 | 为提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.4.10 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.5-amzn-1 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.5-amzn-1 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.5-amzn-1 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.5-amzn-1 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.5-amzn-1 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.5-amzn-1 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.5-amzn-1 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 4.4.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 1.0.0 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.6.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 1.4.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| nvidia-cuda | 9.2.88 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.1.0 | Oozie 命令行客户端。 | 
| oozie-server | 5.1.0 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 3.4.0 | 开源计算机视觉库。 | 
| phoenix-library | 4.14.2--1.4 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.14.2--1.4 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.224 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.224 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 3.4.1 | 用于统计计算的 R 项目 | 
| spark-client | 2.4.4 | Spark 命令行客户端。 | 
| spark-history-server | 2.4.4 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.4.4 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.4.4 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 1.14.0 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.9.2 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.8.1 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.14 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.14 | ZooKeeper 命令行客户端。 | 

## 5.27.1 配置分类
<a name="emr-5271-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅 [配置应用程序](emr-configure-apps.md)。


**emr-5.27.1 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-env | 更改 Pig 环境中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | 
| ranger-kms-dbks-site | 更改 Ranger KMS 的 dbks-site.xml 文件中的值。 | 
| ranger-kms-site | 更改 Ranger K ranger-kms-site MS 的.xml 文件中的值。 | 
| ranger-kms-env | 更改 Ranger KMS 环境中的值。 | 
| ranger-kms-log4j | 更改 Ranger KMS 的 kms-log4j.properties 文件中的值。 | 
| ranger-kms-db-ca | 更改 S3 上用于与 Ranger KMS 进行 MySQL SSL 连接的 CA 文件的值。 | 
| recordserver-env | 在 EMR RecordServer 环境中更改值。 | 
| recordserver-conf | 更改 EMR 的 server.proper RecordServer ties 文件中的值。 | 
| recordserver-log4j | 更改 EMR 的 log4j.propertie RecordServer s 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.27.0
<a name="emr-5270-release"></a>

## 5.27.0 应用程序版本
<a name="emr-5270-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.27.0 | emr-5.26.0 | emr-5.25.0 | emr-5.24.1 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.615 | 1.11.595 | 1.11.566 | 1.11.546 | 
| Python | 2.7、3.6 | 2.7、3.6 | 2.7、3.6 | 2.7、3.6 | 
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.8.1 | 1.8.0 | 1.8.0 | 1.8.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.4.10 | 1.4.10 | 1.4.9 | 1.4.9 | 
| HCatalog | 2.3.5-amzn-1 | 2.3.5-amzn-0 | 2.3.5-amzn-0 | 2.3.4-amzn-2 | 
| Hadoop | 2.8.5-amzn-4 | 2.8.5-amzn-4 | 2.8.5-amzn-4 | 2.8.5-amzn-4 | 
| Hive | 2.3.5-amzn-1 | 2.3.5-amzn-0 | 2.3.5-amzn-0 | 2.3.4-amzn-2 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 4.4.0 | 4.4.0 | 4.4.0 | 4.4.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub | 1.0.0 | 0.9.6 | 0.9.6 | 0.9.6 | 
| Livy | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 
| MXNet | 1.4.0 | 1.4.0 | 1.4.0 | 1.4.0 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 | 
| Phoenix | 4.14.2--1.4 HBase | 4.14.2--1.4 HBase | 4.14.1--1.4 HBase | 4.14.1--1.4 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.224 | 0.220 | 0.220 | 0.219 | 
| Spark | 2.4.4 | 2.4.3 | 2.4.3 | 2.4.2 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 1.14.0 | 1.13.1 | 1.13.1 | 1.12.0 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.1 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.13 | 

## 5.27.0 发布说明
<a name="emr-5270-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.27.0 的信息。更改与 5.26.0 有关。

首次发布日期：2019 年 9 月 23 日

**升级**
+ 适用于 Java 的 AWS SDK 1.11.615
+ Flink 1.8.1
+ JupyterHub 1.0.0
+ Spark 2.4.4
+ Tensorflow 1.14.0
+ 连接器和驱动程序：
  + DynamoDB 连接器 4.12.0

**新特征**
+ （2019 年 10 月 24 日）所有 Amazon EMR 版本均在 EMR Notebooks 中提供以下新功能。
  + 您可以将 Git 存储库与 EMR Notebooks 关联，以将 Notebook 存储在版本控制的环境中。您可以通过远程 Git 存储库与同行共享代码，并重复使用现有的 Jupyter Notebook。有关更多信息，请参阅《Amazon EMR 管理指南》**中的[将 Git 存储库与 Amazon EMR Notebooks 关联](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-git-repo.html)。
  + [nbdime 实用工具](https://github.com/jupyter/nbdime)现在可在 EMR Notebooks 中使用，简化 Notebook 比较和合并。
  + EMR 笔记本现在支持。 JupyterLab JupyterLab 是一个基于 Web 的交互式开发环境，与 Jupyter 笔记本电脑完全兼容。现在，你可以选择在 Jupyter 笔记本编辑器 JupyterLab 或 Jupyter 笔记本编辑器中打开笔记本。
+ （2019 年 10 月 30 日）借助 Amazon EMR 5.25.0 版及更高版本，您可以从控制台中的集群 **Summary (摘要)** 页面或 **Application history (应用程序历史记录)** 选项卡连接到 Spark 历史记录服务器 UI。您可以快速访问 Spark 历史记录服务器 UI，来查看应用程序指标并访问活动集群和终止集群的相关日志文件，而无需通过 SSH 连接设置 Web 代理。有关更多信息，请参阅《Amazon EMR 管理指南》**中的[集群外访问持久性应用程序用户界面](https://docs.aws.amazon.com/emr/latest/ManagementGuide/app-history-spark-UI.html)。

**更改、增强功能和解决的问题**
+ 具有多个主节点的 Amazon EMR 集群
  + 您可以在具有多个主节点的 Amazon EMR 集群上安装和运行 Flink。有关更多信息，请参阅[支持的应用程序和功能](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-ha-applications.html)。
  + 您可以在具有多个主节点的 Amazon EMR 集群上配置 HDFS 透明加密。有关更多信息，请参阅 [HDFS Transparent Encryption on EMR clusters with Multiple Primary Nodes](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-encryption-tdehdfs.html#emr-hadoop-kms-multi-master)。
  + 现在，您可以修改在具有多个主节点的 Amazon EMR 集群上运行的应用程序的配置。有关更多信息，请参阅[为运行的集群中的实例组提供配置](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-configure-apps-running-cluster.html)。
+ Amazon EMR-DynamoDB 连接器
  + Amazon EMR-DynamoDB 连接器现在支持以下 DynamoDB 数据类型：布尔值、列表、映射、项目、空值。有关更多信息，请参阅[设置 Hive 表以运行 Hive 命令](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/EMR_Interactive_Hive.html)。

**已知问题**
+ 具有多个主节点的集群和 Kerberos 身份验证中的已知问题

  如果在 Amazon EMR 版本 5.20.0 及更高版本中运行具有多个主节点的集群和 Kerberos 身份验证，则在集群运行一段时间后，您可能在执行集群操作（如缩减或步骤提交）时遇到问题。具体时间段取决于您定义的 Kerberos 票证有效期。缩减问题会影响您提交的自动缩减和显式缩减请求。其它集群操作也可能会受到影响。

  解决办法：
  + 以 `hadoop` 用户身份通过 SSH 连接到具有多个主节点的 EMR 集群的 lead 主节点。
  +  运行以下命令，为 `hadoop` 用户续订 Kerberos 票证。

    ```
    kinit -kt <keytab_file> <principal>
    ```

    通常情况下，keytab 文件位于 `/etc/hadoop.keytab`，而 principal 为 `hadoop/<hostname>@<REALM>` 格式。
**注意**  
此解决方法将在 Kerberos 票证有效期内生效。默认情况下，此持续时间为 10 个小时，但可以通过 Kerberos 设置进行配置。Kerberos 票证过期后，您必须重新运行上述命令。

## 5.27.0 组件版本
<a name="emr-5270-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.2.4 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.12.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.11.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.13.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 1.3.0 | EMR S3 Select 连接器 | 
| emrfs | 2.36.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.8.1 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.8.5-amzn-4 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.8.5-amzn-4 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.8.5-amzn-4 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.8.5-amzn-4 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-hdfs-journalnode | 2.8.5-amzn-4 | 用于管理 HA 集群上的 Hadoop 文件系统日志的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.8.5-amzn-4 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.8.5-amzn-4 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.8.5-amzn-4 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.8.5-amzn-4 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.8.5-amzn-4 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.8.5-amzn-4 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.4.10 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.4.10 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.4.10 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.4.10 | 为提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.4.10 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.5-amzn-1 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.5-amzn-1 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.5-amzn-1 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.5-amzn-1 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.5-amzn-1 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.5-amzn-1 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.5-amzn-1 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 4.4.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 1.0.0 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.6.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 1.4.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| nvidia-cuda | 9.2.88 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.1.0 | Oozie 命令行客户端。 | 
| oozie-server | 5.1.0 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 3.4.0 | 开源计算机视觉库。 | 
| phoenix-library | 4.14.2--1.4 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.14.2--1.4 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.224 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.224 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 3.4.1 | 用于统计计算的 R 项目 | 
| spark-client | 2.4.4 | Spark 命令行客户端。 | 
| spark-history-server | 2.4.4 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.4.4 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.4.4 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 1.14.0 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.9.2 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.8.1 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.14 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.14 | ZooKeeper 命令行客户端。 | 

## 5.27.0 配置分类
<a name="emr-5270-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.27.0 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-env | 更改 Pig 环境中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | 
| ranger-kms-dbks-site | 更改 Ranger KMS 的 dbks-site.xml 文件中的值。 | 
| ranger-kms-site | 更改 Ranger K ranger-kms-site MS 的.xml 文件中的值。 | 
| ranger-kms-env | 更改 Ranger KMS 环境中的值。 | 
| ranger-kms-log4j | 更改 Ranger KMS 的 kms-log4j.properties 文件中的值。 | 
| ranger-kms-db-ca | 更改 S3 上用于与 Ranger KMS 进行 MySQL SSL 连接的 CA 文件的值。 | 
| recordserver-env | 在 EMR RecordServer 环境中更改值。 | 
| recordserver-conf | 更改 EMR 的 server.proper RecordServer ties 文件中的值。 | 
| recordserver-log4j | 更改 EMR 的 log4j.propertie RecordServer s 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.26.0
<a name="emr-5260-release"></a>

## 5.26.0 应用程序版本
<a name="emr-5260-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.26.0 | emr-5.25.0 | emr-5.24.1 | emr-5.24.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.595 | 1.11.566 | 1.11.546 | 1.11.546 | 
| Python | 2.7、3.6 | 2.7、3.6 | 2.7、3.6 | 2.7、3.6 | 
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.8.0 | 1.8.0 | 1.8.0 | 1.8.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.4.10 | 1.4.9 | 1.4.9 | 1.4.9 | 
| HCatalog | 2.3.5-amzn-0 | 2.3.5-amzn-0 | 2.3.4-amzn-2 | 2.3.4-amzn-2 | 
| Hadoop | 2.8.5-amzn-4 | 2.8.5-amzn-4 | 2.8.5-amzn-4 | 2.8.5-amzn-4 | 
| Hive | 2.3.5-amzn-0 | 2.3.5-amzn-0 | 2.3.4-amzn-2 | 2.3.4-amzn-2 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 4.4.0 | 4.4.0 | 4.4.0 | 4.4.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub | 0.9.6 | 0.9.6 | 0.9.6 | 0.9.6 | 
| Livy | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 
| MXNet | 1.4.0 | 1.4.0 | 1.4.0 | 1.4.0 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 | 
| Phoenix | 4.14.2--1.4 HBase | 4.14.1--1.4 HBase | 4.14.1--1.4 HBase | 4.14.1--1.4 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.220 | 0.220 | 0.219 | 0.219 | 
| Spark | 2.4.3 | 2.4.3 | 2.4.2 | 2.4.2 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 1.13.1 | 1.13.1 | 1.12.0 | 1.12.0 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.1 | 0.9.1 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.13 | 3.4.13 | 

## 5.26.0 发布说明
<a name="emr-5260-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.26.0 的信息。更改与 5.25.0 有关。

首次发布日期：2019 年 8 月 8 日

上次更新日期：2019 年 8 月 19 日

**升级**
+ 适用于 Java 的 AWS SDK 1.11.595
+ HBase 1.4.10
+ Phoenix 4.14.2
+ 连接器和驱动程序：
  + DynamoDB 连接器 4.11.0
  + MariaDB 连接器 2.4.2
  + Amazon Redshift JDBC 驱动程序 1.2.32.1056

**新特征**
+ （测试版）借助 Amazon EMR 5.26.0，您可以启动与 Lake Formation 集成的集群。这种集成提供了对 Glue 数据目录中的数据库和表的精细列级访问。 AWS 它还支持从企业身份系统通过联合单点登录的方式登录 EMR Notebooks 或 Apache Zeppelin。有关更多信息，请参阅[将 Amazon EMR 与 AWS Lake Formation （测试版）](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-lake-formation.html)集成。
+ （2019 年 8 月 19 日）所有支持安全组的 Amazon EMR 发行版现在均可提供 Amazon EMR 阻止公有访问功能。屏蔽公共访问是适用于每个 AWS 地区的账户范围的设置。除非将端口指定为例外，否则当任何与集群关联的安全组都有允许某个端口上来自 IPv4 0.0.0.0/0 或 IPv6 :: /0（公共访问）的入站流量的规则时，阻止公共访问会阻止集群启动。默认情况下，端口 22 是一个例外。有关更多信息，请参阅《Amazon EMR 管理指南》**中的[使用 Amazon EMR 阻止公有访问](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-block-public-access.html)。

**更改、增强功能和解决的问题**
+ EMR Notebooks
  + 在 EMR 5.26.0 及更高版本中，EMR Notebooks 除了默认的 Python 库外，还支持 Notebook 范围的 Python 库。无需重新创建集群或重新将 Notebook 附加到集群，您即可从 Notebook 编辑器中安装 Notebook 范围的库。Notebook 范围的库是在 Python 虚拟环境中创建的，因此适用于当前 Notebook 会话。这使得您可以隔离 Notebook 依赖项。有关更多信息，请参阅《Amazon EMR 管理指南》**中的[使用 Notebook 范围的库](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-managed-notebooks-custom-libraries-limitations.html)。
+ EMRFS
  + 您可以通过将设置`fs.s3.consistent.metadata.etag.verification.enabled`为来启用 ETag 验证功能（测试版）`true`。通过此功能，EMRFS 使用 Amazon S3 ETags 来验证正在读取的对象是否为最新可用版本。此功能对于 Amazon S3 上的文件被覆盖，同时保留相同名称的 read-after-update用例非常有用。此 ETag 验证功能目前不适用于 S3 Select。有关更多信息，请参阅[配置统一视图](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emrfs-configure-consistent-view.html)。
+ Spark
  + 现在，默认情况下启用以下优化：动态分区修剪、DISTINCT before INTERSECT、改进了 JPIN（后跟 DISTINCT 查询）的 SQL 计划统计数据推理、展平标量子查询、优化的连接重排序和 Bloom 筛选条件连接。有关更多信息，请参阅[优化 Spark 性能](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-spark-performance.html)。
  + 改进了排序合并连接的整个阶段代码生成。
  + 改进了查询片段和子查询重用。
  + 改进了 Spark 启动时的预分配执行程序。
  + 连接的较小侧包含广播提示时，不再应用 Bloom 筛选条件连接。
+ Tez
  + 已解决 Tez 中存在的问题。Tez UI 现可用于具有多个主节点的 Amazon EMR 集群。

**已知问题**
+ 改进的“排序合并连接的整个阶段代码生成”功能在启用后会增加内存压力。此优化可提高性能，但如果 `spark.yarn.executor.memoryOverheadFactor` 未调整，不能提供足够的内存，则会导致任务重试或失败。要禁用此功能，请将 `spark.sql.sortMergeJoinExec.extendedCodegen.enabled` 设置为 false。
+ 具有多个主节点的集群和 Kerberos 身份验证中的已知问题

  如果在 Amazon EMR 版本 5.20.0 及更高版本中运行具有多个主节点的集群和 Kerberos 身份验证，则在集群运行一段时间后，您可能在执行集群操作（如缩减或步骤提交）时遇到问题。具体时间段取决于您定义的 Kerberos 票证有效期。缩减问题会影响您提交的自动缩减和显式缩减请求。其它集群操作也可能会受到影响。

  解决办法：
  + 以 `hadoop` 用户身份通过 SSH 连接到具有多个主节点的 EMR 集群的 lead 主节点。
  +  运行以下命令，为 `hadoop` 用户续订 Kerberos 票证。

    ```
    kinit -kt <keytab_file> <principal>
    ```

    通常情况下，keytab 文件位于 `/etc/hadoop.keytab`，而 principal 为 `hadoop/<hostname>@<REALM>` 格式。
**注意**  
此解决方法将在 Kerberos 票证有效期内生效。默认情况下，此持续时间为 10 个小时，但可以通过 Kerberos 设置进行配置。Kerberos 票证过期后，您必须重新运行上述命令。

## 5.26.0 组件版本
<a name="emr-5260-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.2.4 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.11.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.10.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.12.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 1.3.0 | EMR S3 Select 连接器 | 
| emrfs | 2.35.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.8.0 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.8.5-amzn-4 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.8.5-amzn-4 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.8.5-amzn-4 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.8.5-amzn-4 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-hdfs-journalnode | 2.8.5-amzn-4 | 用于管理 HA 集群上的 Hadoop 文件系统日志的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.8.5-amzn-4 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.8.5-amzn-4 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.8.5-amzn-4 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.8.5-amzn-4 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.8.5-amzn-4 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.8.5-amzn-4 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.4.10 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.4.10 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.4.10 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.4.10 | 为提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.4.10 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.5-amzn-0 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.5-amzn-0 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.5-amzn-0 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.5-amzn-0 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.5-amzn-0 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.5-amzn-0 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.5-amzn-0 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 4.4.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 0.9.6 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.6.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 1.4.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| nvidia-cuda | 9.2.88 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.1.0 | Oozie 命令行客户端。 | 
| oozie-server | 5.1.0 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 3.4.0 | 开源计算机视觉库。 | 
| phoenix-library | 4.14.2--1.4 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.14.2--1.4 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.220 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.220 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 3.4.1 | 用于统计计算的 R 项目 | 
| spark-client | 2.4.3 | Spark 命令行客户端。 | 
| spark-history-server | 2.4.3 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.4.3 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.4.3 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 1.13.1 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.9.2 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.8.1 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.14 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.14 | ZooKeeper 命令行客户端。 | 

## 5.26.0 配置分类
<a name="emr-5260-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.26.0 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-env | 更改 Pig 环境中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | 
| recordserver-env | 在 EMR RecordServer 环境中更改值。 | 
| recordserver-conf | 更改 EMR 的 server.proper RecordServer ties 文件中的值。 | 
| recordserver-log4j | 更改 EMR 的 log4j.propertie RecordServer s 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.25.0
<a name="emr-5250-release"></a>

## 5.25.0 应用程序版本
<a name="emr-5250-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.25.0 | emr-5.24.1 | emr-5.24.0 | emr-5.23.1 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.566 | 1.11.546 | 1.11.546 | 1.11.519 | 
| Python | 2.7、3.6 | 2.7、3.6 | 2.7、3.6 | 2.7、3.6 | 
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.8.0 | 1.8.0 | 1.8.0 | 1.7.1 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.4.9 | 1.4.9 | 1.4.9 | 1.4.9 | 
| HCatalog | 2.3.5-amzn-0 | 2.3.4-amzn-2 | 2.3.4-amzn-2 | 2.3.4-amzn-1 | 
| Hadoop | 2.8.5-amzn-4 | 2.8.5-amzn-4 | 2.8.5-amzn-4 | 2.8.5-amzn-3 | 
| Hive | 2.3.5-amzn-0 | 2.3.4-amzn-2 | 2.3.4-amzn-2 | 2.3.4-amzn-1 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 4.4.0 | 4.4.0 | 4.4.0 | 4.3.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub | 0.9.6 | 0.9.6 | 0.9.6 | 0.9.4 | 
| Livy | 0.6.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 0.5.0-incubating | 
| MXNet | 1.4.0 | 1.4.0 | 1.4.0 | 1.3.1 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 | 
| Phoenix | 4.14.1--1.4 HBase | 4.14.1--1.4 HBase | 4.14.1--1.4 HBase | 4.14.1--1.4 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.220 | 0.219 | 0.219 | 0.215 | 
| Spark | 2.4.3 | 2.4.2 | 2.4.2 | 2.4.0 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 1.13.1 | 1.12.0 | 1.12.0 | 1.12.0 | 
| Tez | 0.9.2 | 0.9.1 | 0.9.1 | 0.9.1 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 
| ZooKeeper | 3.4.14 | 3.4.13 | 3.4.13 | 3.4.13 | 

## 5.25.0 发布说明
<a name="emr-5250-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.25.0 的信息。更改与 5.24.1 有关。

首次发布日期：2019 年 7 月 17 日

上次更新日期：2019 年 10 月 30 日

**Amazon EMR 5.25.0**

**升级**
+ 适用于 Java 的 AWS SDK 1.11.566
+ Hive 2.3.5
+ Presto 0.220
+ Spark 2.4.3
+ TensorFlow 1.13.1
+ Tez 0.9.2
+ Zookeeper 3.4.14

**新特征**
+ （2019 年 10 月 30 日）从 Amazon EMR 版本 5.25.0 开始，您可以从控制台中的集群 **Summary (摘要)** 页面或 **Application history (应用程序历史记录)** 选项卡连接到 Spark 历史记录服务器 UI。您可以快速访问 Spark 历史记录服务器 UI，来查看应用程序指标并访问活动集群和终止集群的相关日志文件，而无需通过 SSH 连接设置 Web 代理。有关更多信息，请参阅《Amazon EMR 管理指南》**中的[集群外访问持久性应用程序用户界面](https://docs.aws.amazon.com/emr/latest/ManagementGuide/app-history-spark-UI.html)。

**更改、增强功能和解决的问题**
+ Spark
  + 通过使用 Bloom 筛选条件预筛选输入，提高了某些连接的性能。默认情况下，优化处于禁用状态，但可以通过以下方式启用：将 Spark 配置参数 `spark.sql.bloomFilterJoin.enabled` 设置为 `true`。
  + 改进了按字符串类型列分组的性能。
  + 改进了未 HBase 安装的集群的 R4 实例类型的默认 Spark 执行器内存和内核配置。
  + 解决了动态分区修剪功能之前存在的一个问题，即修剪的表必须位于联接的左侧。
  + 改进了 DISTINCT before INTERSECT 优化，以应用于涉及别名的其它情况。
  + 改进了 JOIN（后跟 DISTING 查询）的 SQL 计划统计数据推理。默认情况下，该改进处于禁用状态，但可以通过以下方式启用：将 Spark 配置参数 `spark.sql.statsImprovements.enabled` 设置为 `true`。此优化是“Distinct before Intersect”功能所需的，将 `spark.sql.optimizer.distinctBeforeIntersect.enabled` 设置为 `true` 时将自动启用。
  + 根据表格大小和筛选条件优化了联接顺序。默认情况下，该优化处于禁用状态，但可以通过以下方式启用：将 Spark 配置参数 `spark.sql.optimizer.sizeBasedJoinReorder.enabled` 设置为 `true`。

  有关更多信息，请参阅[优化 Spark 性能](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-spark-performance.html)。
+ EMRFS
  + 现在，EMRFS 设置 `fs.s3.buckets.create.enabled` 默认处于禁用状态。通过测试，我们发现禁用此设置可提高性能并可防止意外创建 S3 存储桶。如果您的应用程序需使用此功能，则可以通过以下方式启用：将 `emrfs-site` 配置分类中的 `fs.s3.buckets.create.enabled` 设置为 `true`。有关更多信息，请参阅[在创建集群时提供配置](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-configure-apps-create-cluster.html)。
+ 安全配置中的本地磁盘加密和 S3 加密改进（2019 年 8 月 5 日）
  + 在安全配置设置中将 Amazon S3 加密设置与本地磁盘加密设置分开。
  + 发行版 5.24.0 及更高版本中添加了一个选项，可启用 EBS 加密。选择此选项后，除了存储卷之外，还会加密根设备卷。之前的版本需要使用自定义 AMI 来加密根设备卷。
  + 有关更多信息，请参阅《Amazon EMR 管理指南》**中的[加密选项](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-data-encryption-options.html)。

**已知问题**
+ 具有多个主节点的集群和 Kerberos 身份验证中的已知问题

  如果在 Amazon EMR 版本 5.20.0 及更高版本中运行具有多个主节点的集群和 Kerberos 身份验证，则在集群运行一段时间后，您可能在执行集群操作（如缩减或步骤提交）时遇到问题。具体时间段取决于您定义的 Kerberos 票证有效期。缩减问题会影响您提交的自动缩减和显式缩减请求。其它集群操作也可能会受到影响。

  解决办法：
  + 以 `hadoop` 用户身份通过 SSH 连接到具有多个主节点的 EMR 集群的 lead 主节点。
  +  运行以下命令，为 `hadoop` 用户续订 Kerberos 票证。

    ```
    kinit -kt <keytab_file> <principal>
    ```

    通常情况下，keytab 文件位于 `/etc/hadoop.keytab`，而 principal 为 `hadoop/<hostname>@<REALM>` 格式。
**注意**  
此解决方法将在 Kerberos 票证有效期内生效。默认情况下，此持续时间为 10 个小时，但可以通过 Kerberos 设置进行配置。Kerberos 票证过期后，您必须重新运行上述命令。

## 5.25.0 组件版本
<a name="emr-5250-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.2.4 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.10.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.9.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.11.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 1.3.0 | EMR S3 Select 连接器 | 
| emrfs | 2.34.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.8.0 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.8.5-amzn-4 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.8.5-amzn-4 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.8.5-amzn-4 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.8.5-amzn-4 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-hdfs-journalnode | 2.8.5-amzn-4 | 用于管理 HA 集群上的 Hadoop 文件系统日志的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.8.5-amzn-4 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.8.5-amzn-4 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.8.5-amzn-4 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.8.5-amzn-4 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.8.5-amzn-4 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.8.5-amzn-4 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.4.9 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.4.9 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.4.9 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.4.9 | 为提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.4.9 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.5-amzn-0 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.5-amzn-0 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.5-amzn-0 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.5-amzn-0 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.5-amzn-0 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.5-amzn-0 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.5-amzn-0 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 4.4.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 0.9.6 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.6.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 1.4.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| nvidia-cuda | 9.2.88 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.1.0 | Oozie 命令行客户端。 | 
| oozie-server | 5.1.0 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 3.4.0 | 开源计算机视觉库。 | 
| phoenix-library | 4.14.1--1.4 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.14.1--1.4 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.220 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.220 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 3.4.1 | 用于统计计算的 R 项目 | 
| spark-client | 2.4.3 | Spark 命令行客户端。 | 
| spark-history-server | 2.4.3 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.4.3 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.4.3 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 1.13.1 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.9.2 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.8.1 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.14 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.14 | ZooKeeper 命令行客户端。 | 

## 5.25.0 配置分类
<a name="emr-5250-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.25.0 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-env | 更改 Pig 环境中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | 
| recordserver-env | 在 EMR RecordServer 环境中更改值。 | 
| recordserver-conf | 更改 EMR 的 server.proper RecordServer ties 文件中的值。 | 
| recordserver-log4j | 更改 EMR 的 log4j.propertie RecordServer s 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.24.1
<a name="emr-5241-release"></a>

## 5.24.1 应用程序版本
<a name="emr-5241-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.24.1 | emr-5.24.0 | emr-5.23.1 | emr-5.23.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.546 | 1.11.546 | 1.11.519 | 1.11.519 | 
| Python | 2.7、3.6 | 2.7、3.6 | 2.7、3.6 | 2.7、3.6 | 
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.8.0 | 1.8.0 | 1.7.1 | 1.7.1 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.4.9 | 1.4.9 | 1.4.9 | 1.4.9 | 
| HCatalog | 2.3.4-amzn-2 | 2.3.4-amzn-2 | 2.3.4-amzn-1 | 2.3.4-amzn-1 | 
| Hadoop | 2.8.5-amzn-4 | 2.8.5-amzn-4 | 2.8.5-amzn-3 | 2.8.5-amzn-3 | 
| Hive | 2.3.4-amzn-2 | 2.3.4-amzn-2 | 2.3.4-amzn-1 | 2.3.4-amzn-1 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 4.4.0 | 4.4.0 | 4.3.0 | 4.3.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub | 0.9.6 | 0.9.6 | 0.9.4 | 0.9.4 | 
| Livy | 0.6.0-incubating | 0.6.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 
| MXNet | 1.4.0 | 1.4.0 | 1.3.1 | 1.3.1 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 | 
| Phoenix | 4.14.1--1.4 HBase | 4.14.1--1.4 HBase | 4.14.1--1.4 HBase | 4.14.1--1.4 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.219 | 0.219 | 0.215 | 0.215 | 
| Spark | 2.4.2 | 2.4.2 | 2.4.0 | 2.4.0 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 1.12.0 | 1.12.0 | 1.12.0 | 1.12.0 | 
| Tez | 0.9.1 | 0.9.1 | 0.9.1 | 0.9.1 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 
| ZooKeeper | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 | 

## 5.24.1 发布说明
<a name="emr-5241-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.24.1 的信息。更改与 5.24.0 有关。

首次发布日期：2019 年 6 月 26 日

**更改、增强功能和解决的问题**
+ 更新了 Amazon EMR 的默认 Amazon Linux AMI，提供了重要的 Linux 内核安全更新，其中包括 TCP SACK 拒绝服务问题（[AWS-2019-005](https://aws.amazon.com/security/security-bulletins/AWS-2019-005/)）。

**已知问题**
+ 具有多个主节点的集群和 Kerberos 身份验证中的已知问题

  如果在 Amazon EMR 版本 5.20.0 及更高版本中运行具有多个主节点的集群和 Kerberos 身份验证，则在集群运行一段时间后，您可能在执行集群操作（如缩减或步骤提交）时遇到问题。具体时间段取决于您定义的 Kerberos 票证有效期。缩减问题会影响您提交的自动缩减和显式缩减请求。其它集群操作也可能会受到影响。

  解决办法：
  + 以 `hadoop` 用户身份通过 SSH 连接到具有多个主节点的 EMR 集群的 lead 主节点。
  +  运行以下命令，为 `hadoop` 用户续订 Kerberos 票证。

    ```
    kinit -kt <keytab_file> <principal>
    ```

    通常情况下，keytab 文件位于 `/etc/hadoop.keytab`，而 principal 为 `hadoop/<hostname>@<REALM>` 格式。
**注意**  
此解决方法将在 Kerberos 票证有效期内生效。默认情况下，此持续时间为 10 个小时，但可以通过 Kerberos 设置进行配置。Kerberos 票证过期后，您必须重新运行上述命令。

## 5.24.1 组件版本
<a name="emr-5241-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.2.1 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.9.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.8.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.11.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 1.3.0 | EMR S3 Select 连接器 | 
| emrfs | 2.33.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.8.0 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.8.5-amzn-4 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.8.5-amzn-4 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.8.5-amzn-4 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.8.5-amzn-4 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-hdfs-journalnode | 2.8.5-amzn-4 | 用于管理 HA 集群上的 Hadoop 文件系统日志的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.8.5-amzn-4 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.8.5-amzn-4 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.8.5-amzn-4 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.8.5-amzn-4 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.8.5-amzn-4 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.8.5-amzn-4 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.4.9 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.4.9 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.4.9 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.4.9 | 为提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.4.9 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.4-amzn-2 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.4-amzn-2 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.4-amzn-2 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.4-amzn-2 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.4-amzn-2 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.4-amzn-2 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.4-amzn-2 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 4.4.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 0.9.6 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.6.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 1.4.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| nvidia-cuda | 9.2.88 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.1.0 | Oozie 命令行客户端。 | 
| oozie-server | 5.1.0 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 3.4.0 | 开源计算机视觉库。 | 
| phoenix-library | 4.14.1--1.4 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.14.1--1.4 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.219 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.219 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 3.4.1 | 用于统计计算的 R 项目 | 
| spark-client | 2.4.2 | Spark 命令行客户端。 | 
| spark-history-server | 2.4.2 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.4.2 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.4.2 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 1.12.0 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.9.1 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.8.1 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.13 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.13 | ZooKeeper 命令行客户端。 | 

## 5.24.1 配置分类
<a name="emr-5241-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.24.1 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-env | 更改 Pig 环境中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.24.0
<a name="emr-5240-release"></a>

## 5.24.0 应用程序版本
<a name="emr-5240-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.24.0 | emr-5.23.1 | emr-5.23.0 | emr-5.22.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.546 | 1.11.519 | 1.11.519 | 1.11.510 | 
| Python | 2.7、3.6 | 2.7、3.6 | 2.7、3.6 | 2.7、3.6 | 
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.8.0 | 1.7.1 | 1.7.1 | 1.7.1 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.4.9 | 1.4.9 | 1.4.9 | 1.4.9 | 
| HCatalog | 2.3.4-amzn-2 | 2.3.4-amzn-1 | 2.3.4-amzn-1 | 2.3.4-amzn-1 | 
| Hadoop | 2.8.5-amzn-4 | 2.8.5-amzn-3 | 2.8.5-amzn-3 | 2.8.5-amzn-2 | 
| Hive | 2.3.4-amzn-2 | 2.3.4-amzn-1 | 2.3.4-amzn-1 | 2.3.4-amzn-1 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 4.4.0 | 4.3.0 | 4.3.0 | 4.3.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub | 0.9.6 | 0.9.4 | 0.9.4 | 0.9.4 | 
| Livy | 0.6.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 
| MXNet | 1.4.0 | 1.3.1 | 1.3.1 | 1.3.1 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 5.1.0 | 5.1.0 | 5.1.0 | 5.1.0 | 
| Phoenix | 4.14.1--1.4 HBase | 4.14.1--1.4 HBase | 4.14.1--1.4 HBase | 4.14.1--1.4 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.219 | 0.215 | 0.215 | 0.215 | 
| Spark | 2.4.2 | 2.4.0 | 2.4.0 | 2.4.0 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 1.12.0 | 1.12.0 | 1.12.0 | 1.12.0 | 
| Tez | 0.9.1 | 0.9.1 | 0.9.1 | 0.9.1 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 
| ZooKeeper | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 | 

## 5.24.0 发布说明
<a name="emr-5240-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.24.0 的信息。更改与 5.23.0 有关。

首次发布日期：2019 年 6 月 11 日

上次更新时间：2019 年 8 月 5 日

**升级**
+ Flink 1.8.0
+ Hue 4.4.0
+ JupyterHub 0.9.6
+ Livy 0.6.0
+ MxNet 1.4.0
+ Presto 0.219
+ Spark 2.4.2
+ 适用于 Java 的 AWS SDK 1.11.546
+ 连接器和驱动程序：
  + DynamoDB 连接器 4.9.0
  + MariaDB 连接器 2.4.1
  + Amazon Redshift JDBC 驱动程序 1.2.27.1051

**更改、增强功能和解决的问题**
+ Spark
  + 添加了对动态修剪分区的优化。默认情况下禁用优化。要启用该优化，请将 Spark 参数 `spark.sql.dynamicPartitionPruning.enabled` 设置为 `true`。
  + 改进了 `INTERSECT` 查询的性能。默认情况下禁用此优化。要启用该优化，请将 Spark 参数 `spark.sql.optimizer.distinctBeforeIntersect.enabled` 设置为 `true`。
  + 添加了对展平标量子查询的优化，可使用相同关系进行聚合。默认情况下禁用优化。要启用该优化，请将 Spark 参数 `spark.sql.optimizer.flattenScalarSubqueriesWithAggregates.enabled` 设置为 `true`。
  + 改进了整个阶段代码生成。

  有关更多信息，请参阅[优化 Spark 性能](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-spark-performance.html)。
+ 安全配置中的本地磁盘加密和 S3 加密改进（2019 年 8 月 5 日）
  + 在安全配置设置中将 Amazon S3 加密设置与本地磁盘加密设置分开。
  + 添加了一个启用 EBS 加密的选项。选择此选项后，除了存储卷之外，还会加密根设备卷。之前的版本需要使用自定义 AMI 来加密根设备卷。
  + 有关更多信息，请参阅《Amazon EMR 管理指南》**中的[加密选项](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-data-encryption-options.html)。

**已知问题**
+ 具有多个主节点的集群和 Kerberos 身份验证中的已知问题

  如果在 Amazon EMR 版本 5.20.0 及更高版本中运行具有多个主节点的集群和 Kerberos 身份验证，则在集群运行一段时间后，您可能在执行集群操作（如缩减或步骤提交）时遇到问题。具体时间段取决于您定义的 Kerberos 票证有效期。缩减问题会影响您提交的自动缩减和显式缩减请求。其它集群操作也可能会受到影响。

  解决办法：
  + 以 `hadoop` 用户身份通过 SSH 连接到具有多个主节点的 EMR 集群的 lead 主节点。
  +  运行以下命令，为 `hadoop` 用户续订 Kerberos 票证。

    ```
    kinit -kt <keytab_file> <principal>
    ```

    通常情况下，keytab 文件位于 `/etc/hadoop.keytab`，而 principal 为 `hadoop/<hostname>@<REALM>` 格式。
**注意**  
此解决方法将在 Kerberos 票证有效期内生效。默认情况下，此持续时间为 10 个小时，但可以通过 Kerberos 设置进行配置。Kerberos 票证过期后，您必须重新运行上述命令。

## 5.24.0 组件版本
<a name="emr-5240-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.2.1 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.9.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.8.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.11.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 1.3.0 | EMR S3 Select 连接器 | 
| emrfs | 2.33.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.8.0 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.8.5-amzn-4 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.8.5-amzn-4 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.8.5-amzn-4 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.8.5-amzn-4 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-hdfs-journalnode | 2.8.5-amzn-4 | 用于管理 HA 集群上的 Hadoop 文件系统日志的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.8.5-amzn-4 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.8.5-amzn-4 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.8.5-amzn-4 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.8.5-amzn-4 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.8.5-amzn-4 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.8.5-amzn-4 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.4.9 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.4.9 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.4.9 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.4.9 | 为提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.4.9 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.4-amzn-2 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.4-amzn-2 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.4-amzn-2 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.4-amzn-2 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.4-amzn-2 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.4-amzn-2 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.4-amzn-2 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 4.4.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 0.9.6 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.6.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 1.4.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| nvidia-cuda | 9.2.88 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.1.0 | Oozie 命令行客户端。 | 
| oozie-server | 5.1.0 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 3.4.0 | 开源计算机视觉库。 | 
| phoenix-library | 4.14.1--1.4 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.14.1--1.4 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.219 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.219 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 3.4.1 | 用于统计计算的 R 项目 | 
| spark-client | 2.4.2 | Spark 命令行客户端。 | 
| spark-history-server | 2.4.2 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.4.2 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.4.2 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 1.12.0 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.9.1 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.8.1 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.13 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.13 | ZooKeeper 命令行客户端。 | 

## 5.24.0 配置分类
<a name="emr-5240-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.24.0 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-env | 更改 Pig 环境中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.23.1
<a name="emr-5231-release"></a>

## 5.23.1 应用程序版本
<a name="emr-5231-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.23.1 | emr-5.23.0 | emr-5.22.0 | emr-5.21.2 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.519 | 1.11.519 | 1.11.510 | 1.11.479 | 
| Python | 2.7、3.6 | 2.7、3.6 | 2.7、3.6 | 2.7、3.6 | 
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.7.1 | 1.7.1 | 1.7.1 | 1.7.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.4.9 | 1.4.9 | 1.4.9 | 1.4.8 | 
| HCatalog | 2.3.4-amzn-1 | 2.3.4-amzn-1 | 2.3.4-amzn-1 | 2.3.4-amzn-0 | 
| Hadoop | 2.8.5-amzn-3 | 2.8.5-amzn-3 | 2.8.5-amzn-2 | 2.8.5-amzn-1 | 
| Hive | 2.3.4-amzn-1 | 2.3.4-amzn-1 | 2.3.4-amzn-1 | 2.3.4-amzn-0 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub | 0.9.4 | 0.9.4 | 0.9.4 | 0.9.4 | 
| Livy | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 
| MXNet | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 5.1.0 | 5.1.0 | 5.1.0 | 5.0.0 | 
| Phoenix | 4.14.1--1.4 HBase | 4.14.1--1.4 HBase | 4.14.1--1.4 HBase | 4.14.0--1.4 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.215 | 0.215 | 0.215 | 0.215 | 
| Spark | 2.4.0 | 2.4.0 | 2.4.0 | 2.4.0 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 1.12.0 | 1.12.0 | 1.12.0 | 1.12.0 | 
| Tez | 0.9.1 | 0.9.1 | 0.9.1 | 0.9.1 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.0 | 
| ZooKeeper | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 | 

## 5.23.1 发布说明
<a name="emr-5231-relnotes"></a>

这是补丁版本。所有应用程序和组件都与之前的 Amazon EMR 发行版相同。

实例元数据服务 (IMDS) V2 支持状态：Amazon EMR 5.23.1、5.27.1 和 5.32 或更高版本的组件用于所有 IMDS 调用。 IMDSv2 对于应用程序代码中的 IMDS 调用，您可以同时使用 IMDSv1 和 IMDSv2，或者将 IMDS 配置 IMDSv2 为仅用于提高安全性。对于其他 5.x EMR 版本， IMDSv1 禁用会导致集群启动失败。

## 5.23.1 组件版本
<a name="emr-5231-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.2.1 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.8.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.7.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.11.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 1.2.0 | EMR S3 Select 连接器 | 
| emrfs | 2.32.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.7.1 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.8.5-amzn-3 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.8.5-amzn-3 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.8.5-amzn-3 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.8.5-amzn-3 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-hdfs-journalnode | 2.8.5-amzn-3 | 用于管理 HA 集群上的 Hadoop 文件系统日志的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.8.5-amzn-3 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.8.5-amzn-3 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.8.5-amzn-3 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.8.5-amzn-3 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.8.5-amzn-3 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.8.5-amzn-3 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.4.9 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.4.9 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.4.9 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.4.9 | 为提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.4.9 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.4-amzn-1 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.4-amzn-1 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.4-amzn-1 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.4-amzn-1 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.4-amzn-1 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.4-amzn-1 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.4-amzn-1 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 4.3.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 0.9.4 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.5.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 1.3.1 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| nvidia-cuda | 9.2.88 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.1.0 | Oozie 命令行客户端。 | 
| oozie-server | 5.1.0 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 3.4.0 | 开源计算机视觉库。 | 
| phoenix-library | 4.14.1--1.4 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.14.1--1.4 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.215 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.215 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 3.4.1 | 用于统计计算的 R 项目 | 
| spark-client | 2.4.0 | Spark 命令行客户端。 | 
| spark-history-server | 2.4.0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.4.0 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.4.0 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 1.12.0 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.9.1 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.8.1 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.13 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.13 | ZooKeeper 命令行客户端。 | 

## 5.23.1 配置分类
<a name="emr-5231-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅 [配置应用程序](emr-configure-apps.md)。


**emr-5.23.1 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-env | 更改 Pig 环境中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.23.0
<a name="emr-5230-release"></a>

## 5.23.0 应用程序版本
<a name="emr-5230-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.23.0 | emr-5.22.0 | emr-5.21.2 | emr-5.21.1 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.519 | 1.11.510 | 1.11.479 | 1.11.479 | 
| Python | 2.7、3.6 | 2.7、3.6 | 2.7、3.6 | 2.7、3.6 | 
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.7.1 | 1.7.1 | 1.7.0 | 1.7.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.4.9 | 1.4.9 | 1.4.8 | 1.4.8 | 
| HCatalog | 2.3.4-amzn-1 | 2.3.4-amzn-1 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 
| Hadoop | 2.8.5-amzn-3 | 2.8.5-amzn-2 | 2.8.5-amzn-1 | 2.8.5-amzn-1 | 
| Hive | 2.3.4-amzn-1 | 2.3.4-amzn-1 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub | 0.9.4 | 0.9.4 | 0.9.4 | 0.9.4 | 
| Livy | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 
| MXNet | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 5.1.0 | 5.1.0 | 5.0.0 | 5.0.0 | 
| Phoenix | 4.14.1--1.4 HBase | 4.14.1--1.4 HBase | 4.14.0--1.4 HBase | 4.14.0--1.4 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.215 | 0.215 | 0.215 | 0.215 | 
| Spark | 2.4.0 | 2.4.0 | 2.4.0 | 2.4.0 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 1.12.0 | 1.12.0 | 1.12.0 | 1.12.0 | 
| Tez | 0.9.1 | 0.9.1 | 0.9.1 | 0.9.1 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.8.1 | 0.8.1 | 0.8.0 | 0.8.0 | 
| ZooKeeper | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 | 

## 5.23.0 发布说明
<a name="emr-5230-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.23.0 的信息。更改与 5.22.0 有关。

首次发布日期：2019 年 4 月 1 日

上次更新时间：2019 年 4 月 30 日

**升级**
+ 适用于 Java 的 AWS SDK 1.11.519

**新特征**
+ （2019 年 4 月 30 日）使用 Amazon EMR 5.23.0 及更高版本，您可以启动包含三个主节点的集群，以支持 YARN 资源管理器、HDFS、Spark NameNode、Hive 和 Ganglia 等应用程序的高可用性。使用此功能，主节点不再发生潜在的单点故障。如果其中一个主节点出现故障，Amazon EMR 会自动故障转移到备用主节点，并将出现故障的主节点替换为具有相同配置和引导操作的新主节点。有关更多信息，请参阅[计划和配置主节点](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-ha.html)。

**已知问题**
+ Tez UI（已在 Amazon EMR 发行版 5.26.0 中修复）

  Tez UI 不能在具有多个主节点的 EMR 集群上运行。
+ Hue（已在 Amazon EMR 发行版 5.24.0 中修复）
  + 在 Amazon EMR 上运行的 Hue 不支持 Solr。从 Amazon EMR 发行版 5.20.0 开始，配置错误问题会导致 Solr 启用，并显示类似于以下内容的无害错误消息：

    `Solr server could not be contacted properly: HTTPConnectionPool('host=ip-xx-xx-xx-xx.ec2.internal', port=1978): Max retries exceeded with url: /solr/admin/info/system?user.name=hue&doAs=administrator&wt=json (Caused by NewConnectionError(': Failed to establish a new connection: [Errno 111] Connection refused',))`

    **要防止显示 Solr 错误消息:**

    1. 使用 SSH 连接到主节点命令行。

    1. 使用文本编辑器打开 `hue.ini` 文件。例如：

       `sudo vim /etc/hue/conf/hue.ini`

    1. 搜索术语 `appblacklist`，并将该行修改为以下内容：

       ```
       appblacklist = search
       ```

    1. 保存更改并重新启动 Hue，如以下示例所示：

       ```
       sudo stop hue; sudo start hue
       ```
+ 具有多个主节点的集群和 Kerberos 身份验证中的已知问题

  如果在 Amazon EMR 版本 5.20.0 及更高版本中运行具有多个主节点的集群和 Kerberos 身份验证，则在集群运行一段时间后，您可能在执行集群操作（如缩减或步骤提交）时遇到问题。具体时间段取决于您定义的 Kerberos 票证有效期。缩减问题会影响您提交的自动缩减和显式缩减请求。其它集群操作也可能会受到影响。

  解决办法：
  + 以 `hadoop` 用户身份通过 SSH 连接到具有多个主节点的 EMR 集群的 lead 主节点。
  +  运行以下命令，为 `hadoop` 用户续订 Kerberos 票证。

    ```
    kinit -kt <keytab_file> <principal>
    ```

    通常情况下，keytab 文件位于 `/etc/hadoop.keytab`，而 principal 为 `hadoop/<hostname>@<REALM>` 格式。
**注意**  
此解决方法将在 Kerberos 票证有效期内生效。默认情况下，此持续时间为 10 个小时，但可以通过 Kerberos 设置进行配置。Kerberos 票证过期后，您必须重新运行上述命令。

## 5.23.0 组件版本
<a name="emr-5230-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.2.1 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.8.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.7.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.11.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 1.2.0 | EMR S3 Select 连接器 | 
| emrfs | 2.32.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.7.1 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.8.5-amzn-3 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.8.5-amzn-3 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.8.5-amzn-3 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.8.5-amzn-3 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-hdfs-journalnode | 2.8.5-amzn-3 | 用于管理 HA 集群上的 Hadoop 文件系统日志的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.8.5-amzn-3 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.8.5-amzn-3 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.8.5-amzn-3 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.8.5-amzn-3 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.8.5-amzn-3 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.8.5-amzn-3 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.4.9 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.4.9 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.4.9 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.4.9 | 为提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.4.9 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.4-amzn-1 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.4-amzn-1 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.4-amzn-1 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.4-amzn-1 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.4-amzn-1 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.4-amzn-1 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.4-amzn-1 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 4.3.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 0.9.4 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.5.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 1.3.1 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| nvidia-cuda | 9.2.88 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.1.0 | Oozie 命令行客户端。 | 
| oozie-server | 5.1.0 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 3.4.0 | 开源计算机视觉库。 | 
| phoenix-library | 4.14.1--1.4 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.14.1--1.4 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.215 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.215 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 3.4.1 | 用于统计计算的 R 项目 | 
| spark-client | 2.4.0 | Spark 命令行客户端。 | 
| spark-history-server | 2.4.0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.4.0 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.4.0 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 1.12.0 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.9.1 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.8.1 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.13 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.13 | ZooKeeper 命令行客户端。 | 

## 5.23.0 配置分类
<a name="emr-5230-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.23.0 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-env | 更改 Pig 环境中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.22.0
<a name="emr-5220-release"></a>

## 5.22.0 应用程序版本
<a name="emr-5220-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.22.0 | emr-5.21.2 | emr-5.21.1 | emr-5.21.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.510 | 1.11.479 | 1.11.479 | 1.11.479 | 
| Python | 2.7、3.6 | 2.7、3.6 | 2.7、3.6 | 2.7、3.6 | 
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.7.1 | 1.7.0 | 1.7.0 | 1.7.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.4.9 | 1.4.8 | 1.4.8 | 1.4.8 | 
| HCatalog | 2.3.4-amzn-1 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 
| Hadoop | 2.8.5-amzn-2 | 2.8.5-amzn-1 | 2.8.5-amzn-1 | 2.8.5-amzn-1 | 
| Hive | 2.3.4-amzn-1 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub | 0.9.4 | 0.9.4 | 0.9.4 | 0.9.4 | 
| Livy | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 
| MXNet | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 5.1.0 | 5.0.0 | 5.0.0 | 5.0.0 | 
| Phoenix | 4.14.1--1.4 HBase | 4.14.0--1.4 HBase | 4.14.0--1.4 HBase | 4.14.0--1.4 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.215 | 0.215 | 0.215 | 0.215 | 
| Spark | 2.4.0 | 2.4.0 | 2.4.0 | 2.4.0 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 1.12.0 | 1.12.0 | 1.12.0 | 1.12.0 | 
| Tez | 0.9.1 | 0.9.1 | 0.9.1 | 0.9.1 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.8.1 | 0.8.0 | 0.8.0 | 0.8.0 | 
| ZooKeeper | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 | 

## 5.22.0 发布说明
<a name="emr-5220-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.22.0 的信息。更改与 5.21.0 有关。

**重要**  
从亚马逊 EMR 版本 5.22.0 开始，亚马逊 EMR 仅 AWS 使用签名版本 4 来验证向亚马逊 S3 发出的请求。早期的 Amazon EMR 版本在某些情况下使用 AWS 签名版本 2，除非发行说明中注明仅使用签名版本 4。有关更多信息，请参阅《*亚马逊简单存储服务开发者AWS *[指南》中的对请求进行身份验证（AWS 签名版本 4）](https://docs.aws.amazon.com/AmazonS3/latest/API/sig-v4-authenticating-requests.html)[和对请求进行身份验证（签名版本 2）](https://docs.aws.amazon.com/AmazonS3/latest/API/auth-request-sig-v2.html)。

首次发布日期：2019 年 3 月 20 日

**升级**
+ Flink 1.7.1
+ HBase 1.4.9
+ Oozie 5.1.0
+ Phoenix 4.14.1
+ Zeppelin 0.8.1
+ 连接器和驱动程序：
  + DynamoDB 连接器 4.8.0
  + MariaDB 连接器 2.2.6
  + Amazon Redshift JDBC 驱动程序 1.2.20.1043

**新特征**
+ 修改了仅限 EBS 存储的 EC2 实例类型的默认 EBS 配置。在使用 Amazon EMR 发行版 5.22.0 及更高版本创建集群时，默认 EBS 存储量根据实例大小而增加。此外，我们将增加的存储拆分到多个卷，从而提高了 IOPS 性能。如果要使用不同的 EBS 实例存储配置，您可以在创建 EMR 集群或将节点添加到现有集群时指定该配置。有关每个实例类型默认分配的存储容量和卷数的更多信息，请参阅《Amazon EMR 管理指南》**中的[实例的默认 EBS 存储](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-storage.html#emr-plan-storage-ebs-storage-default)。

**更改、增强功能和解决的问题**
+ Spark
  + 在 YARN 上引入了一个新的配置属性 `spark.yarn.executor.memoryOverheadFactor`。此属性的值是一个缩放系数，它将内存开销值设置为执行程序内存的百分比，最小为 384 MB。如果内存开销设置为使用 `spark.yarn.executor.memoryOverhead`，则此属性不发挥任何作用。默认值为 `0.1875`，表示 18.75%。与 Spark 内部设置的 10% 的默认值相比，Amazon EMR 的此默认值在 YARN 容器中为执行器内存开销预留了更多空间。根据经验，Amazon EMR 默认值 18.75% 表明 TPC-DS 基准测试中与内存相关的故障较少。
  + 为了改进性能，已逆向移植 [SPARK-26316](https://issues.apache.org/jira/browse/SPARK-26316)。
+ 在 Amazon EMR 版本 5.19.0、5.20.0 和 5.21.0 中，YARN 节点标注存储在 HDFS 目录中。在某些情况下，这会导致核心节点启动延迟，然后导致集群超时和启动失败。从 Amazon EMR 5.22.0 开始，此问题已得到解决。YARN 节点标注存储在每个集群节点的本地磁盘上，避免了对 HDFS 的依赖。

**已知问题**
+ Hue（已在 Amazon EMR 发行版 5.24.0 中修复）
  + 在 Amazon EMR 上运行的 Hue 不支持 Solr。从 Amazon EMR 发行版 5.20.0 开始，配置错误问题会导致 Solr 启用，并显示类似于以下内容的无害错误消息：

    `Solr server could not be contacted properly: HTTPConnectionPool('host=ip-xx-xx-xx-xx.ec2.internal', port=1978): Max retries exceeded with url: /solr/admin/info/system?user.name=hue&doAs=administrator&wt=json (Caused by NewConnectionError(': Failed to establish a new connection: [Errno 111] Connection refused',))`

    **要防止显示 Solr 错误消息:**

    1. 使用 SSH 连接到主节点命令行。

    1. 使用文本编辑器打开 `hue.ini` 文件。例如：

       `sudo vim /etc/hue/conf/hue.ini`

    1. 搜索术语 `appblacklist`，并将该行修改为以下内容：

       ```
       appblacklist = search
       ```

    1. 保存更改并重新启动 Hue，如以下示例所示：

       ```
       sudo stop hue; sudo start hue
       ```
+ 具有多个主节点的集群和 Kerberos 身份验证中的已知问题

  如果在 Amazon EMR 版本 5.20.0 及更高版本中运行具有多个主节点的集群和 Kerberos 身份验证，则在集群运行一段时间后，您可能在执行集群操作（如缩减或步骤提交）时遇到问题。具体时间段取决于您定义的 Kerberos 票证有效期。缩减问题会影响您提交的自动缩减和显式缩减请求。其它集群操作也可能会受到影响。

  解决办法：
  + 以 `hadoop` 用户身份通过 SSH 连接到具有多个主节点的 EMR 集群的 lead 主节点。
  +  运行以下命令，为 `hadoop` 用户续订 Kerberos 票证。

    ```
    kinit -kt <keytab_file> <principal>
    ```

    通常情况下，keytab 文件位于 `/etc/hadoop.keytab`，而 principal 为 `hadoop/<hostname>@<REALM>` 格式。
**注意**  
此解决方法将在 Kerberos 票证有效期内生效。默认情况下，此持续时间为 10 个小时，但可以通过 Kerberos 设置进行配置。Kerberos 票证过期后，您必须重新运行上述命令。

## 5.22.0 组件版本
<a name="emr-5220-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.2.1 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.8.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.6.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.11.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 1.2.0 | EMR S3 Select 连接器 | 
| emrfs | 2.31.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.7.1 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.8.5-amzn-2 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.8.5-amzn-2 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.8.5-amzn-2 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.8.5-amzn-2 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.8.5-amzn-2 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.8.5-amzn-2 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.8.5-amzn-2 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.8.5-amzn-2 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.8.5-amzn-2 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.8.5-amzn-2 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.4.9 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.4.9 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.4.9 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.4.9 | 为提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.4.9 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.4-amzn-1 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.4-amzn-1 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.4-amzn-1 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.4-amzn-1 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.4-amzn-1 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.4-amzn-1 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.4-amzn-1 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 4.3.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 0.9.4 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.5.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 1.3.1 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| nvidia-cuda | 9.2.88 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.1.0 | Oozie 命令行客户端。 | 
| oozie-server | 5.1.0 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 3.4.0 | 开源计算机视觉库。 | 
| phoenix-library | 4.14.1--1.4 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.14.1--1.4 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.215 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.215 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 3.4.1 | 用于统计计算的 R 项目 | 
| spark-client | 2.4.0 | Spark 命令行客户端。 | 
| spark-history-server | 2.4.0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.4.0 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.4.0 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 1.12.0 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.9.1 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.8.1 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.13 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.13 | ZooKeeper 命令行客户端。 | 

## 5.22.0 配置分类
<a name="emr-5220-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.22.0 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-env | 更改 Pig 环境中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.21.2
<a name="emr-5212-release"></a>

## 5.21.2 应用程序版本
<a name="emr-5212-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.21.2 | emr-5.21.1 | emr-5.21.0 | emr-5.20.1 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.479 | 1.11.479 | 1.11.479 | 1.11.461 | 
| Python | 2.7、3.6 | 2.7、3.6 | 2.7、3.6 | 2.7、3.6 | 
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.7.0 | 1.7.0 | 1.7.0 | 1.6.2 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.4.8 | 1.4.8 | 1.4.8 | 1.4.8 | 
| HCatalog | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 
| Hadoop | 2.8.5-amzn-1 | 2.8.5-amzn-1 | 2.8.5-amzn-1 | 2.8.5-amzn-1 | 
| Hive | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub | 0.9.4 | 0.9.4 | 0.9.4 | 0.9.4 | 
| Livy | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 
| MXNet | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 | 
| Phoenix | 4.14.0--1.4 HBase | 4.14.0--1.4 HBase | 4.14.0--1.4 HBase | 4.14.0--1.4 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.215 | 0.215 | 0.215 | 0.214 | 
| Spark | 2.4.0 | 2.4.0 | 2.4.0 | 2.4.0 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 1.12.0 | 1.12.0 | 1.12.0 | 1.12.0 | 
| Tez | 0.9.1 | 0.9.1 | 0.9.1 | 0.9.1 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.8.0 | 0.8.0 | 0.8.0 | 0.8.0 | 
| ZooKeeper | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 | 

## 5.21.2 发布说明
<a name="emr-5212-relnotes"></a>

这是一个补丁版本，用于为向 Amazon S3 发出的请求添加 AWS 签名版本 4 身份验证。所有应用程序和组件都与之前的 Amazon EMR 发行版相同。

**重要**  
在此版本中，Amazon EMR 仅使用 AWS 签名版本 4 来验证向 Amazon S3 发出的请求。有关更多信息，请参阅[新功能](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html)。

## 5.21.2 组件版本
<a name="emr-5212-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.2.1 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.7.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.5.1 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.11.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 1.2.0 | EMR S3 Select 连接器 | 
| emrfs | 2.30.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.7.0 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.8.5-amzn-1 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.8.5-amzn-1 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.8.5-amzn-1 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.8.5-amzn-1 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.8.5-amzn-1 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.8.5-amzn-1 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.8.5-amzn-1 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.8.5-amzn-1 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.8.5-amzn-1 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.8.5-amzn-1 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.4.8 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.4.8 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.4.8 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.4.8 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.4.8 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.4-amzn-0 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.4-amzn-0 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.4-amzn-0 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.4-amzn-0 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.4-amzn-0 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.4-amzn-0 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.4-amzn-0 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 4.3.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 0.9.4 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.5.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 1.3.1 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| nvidia-cuda | 9.2.88 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.0.0 | Oozie 命令行客户端。 | 
| oozie-server | 5.0.0 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 3.4.0 | 开源计算机视觉库。 | 
| phoenix-library | 4.14.0--1.4 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.14.0--1.4 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.215 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.215 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 3.4.1 | 用于统计计算的 R 项目 | 
| spark-client | 2.4.0 | Spark 命令行客户端。 | 
| spark-history-server | 2.4.0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.4.0 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.4.0 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 1.12.0 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.9.1 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.8.0 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.13 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.13 | ZooKeeper 命令行客户端。 | 

## 5.21.2 配置分类
<a name="emr-5212-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.21.2 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | 
| jupyter-hub-conf | 更改 jupyterhub\$1config.py 文件 JupyterHubs中的值。 | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-env | 更改 Pig 环境中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.21.1
<a name="emr-5211-release"></a>

## 5.21.1 应用程序版本
<a name="emr-5211-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.21.1 | emr-5.21.0 | emr-5.20.1 | emr-5.20.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.479 | 1.11.479 | 1.11.461 | 1.11.461 | 
| Python | 2.7、3.6 | 2.7、3.6 | 2.7、3.6 | 2.7、3.6 | 
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.7.0 | 1.7.0 | 1.6.2 | 1.6.2 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.4.8 | 1.4.8 | 1.4.8 | 1.4.8 | 
| HCatalog | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 
| Hadoop | 2.8.5-amzn-1 | 2.8.5-amzn-1 | 2.8.5-amzn-1 | 2.8.5-amzn-1 | 
| Hive | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub | 0.9.4 | 0.9.4 | 0.9.4 | 0.9.4 | 
| Livy | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 
| MXNet | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 | 
| Phoenix | 4.14.0--1.4 HBase | 4.14.0--1.4 HBase | 4.14.0--1.4 HBase | 4.14.0--1.4 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.215 | 0.215 | 0.214 | 0.214 | 
| Spark | 2.4.0 | 2.4.0 | 2.4.0 | 2.4.0 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 1.12.0 | 1.12.0 | 1.12.0 | 1.12.0 | 
| Tez | 0.9.1 | 0.9.1 | 0.9.1 | 0.9.1 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.8.0 | 0.8.0 | 0.8.0 | 0.8.0 | 
| ZooKeeper | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 | 

## 5.21.1 发布说明
<a name="emr-5211-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.21.1 的信息。更改与 5.21.0 有关。

首次发布日期：2019 年 7 月 18 日

**更改、增强功能和解决的问题**
+ 更新了 Amazon EMR 的默认 Amazon Linux AMI，提供了重要的 Linux 内核安全更新，其中包括 TCP SACK 拒绝服务问题（[AWS-2019-005](https://aws.amazon.com/security/security-bulletins/AWS-2019-005/)）。

**已知问题**
+ 具有多个主节点的集群和 Kerberos 身份验证中的已知问题

  如果在 Amazon EMR 版本 5.20.0 及更高版本中运行具有多个主节点的集群和 Kerberos 身份验证，则在集群运行一段时间后，您可能在执行集群操作（如缩减或步骤提交）时遇到问题。具体时间段取决于您定义的 Kerberos 票证有效期。缩减问题会影响您提交的自动缩减和显式缩减请求。其它集群操作也可能会受到影响。

  解决办法：
  + 以 `hadoop` 用户身份通过 SSH 连接到具有多个主节点的 EMR 集群的 lead 主节点。
  +  运行以下命令，为 `hadoop` 用户续订 Kerberos 票证。

    ```
    kinit -kt <keytab_file> <principal>
    ```

    通常情况下，keytab 文件位于 `/etc/hadoop.keytab`，而 principal 为 `hadoop/<hostname>@<REALM>` 格式。
**注意**  
此解决方法将在 Kerberos 票证有效期内生效。默认情况下，此持续时间为 10 个小时，但可以通过 Kerberos 设置进行配置。Kerberos 票证过期后，您必须重新运行上述命令。

## 5.21.1 组件版本
<a name="emr-5211-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.2.1 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.7.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.5.1 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.11.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 1.2.0 | EMR S3 Select 连接器 | 
| emrfs | 2.30.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.7.0 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.8.5-amzn-1 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.8.5-amzn-1 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.8.5-amzn-1 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.8.5-amzn-1 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.8.5-amzn-1 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.8.5-amzn-1 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.8.5-amzn-1 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.8.5-amzn-1 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.8.5-amzn-1 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.8.5-amzn-1 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.4.8 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.4.8 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.4.8 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.4.8 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.4.8 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.4-amzn-0 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.4-amzn-0 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.4-amzn-0 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.4-amzn-0 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.4-amzn-0 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.4-amzn-0 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.4-amzn-0 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 4.3.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 0.9.4 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.5.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 1.3.1 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| nvidia-cuda | 9.2.88 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.0.0 | Oozie 命令行客户端。 | 
| oozie-server | 5.0.0 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 3.4.0 | 开源计算机视觉库。 | 
| phoenix-library | 4.14.0--1.4 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.14.0--1.4 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.215 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.215 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 3.4.1 | 用于统计计算的 R 项目 | 
| spark-client | 2.4.0 | Spark 命令行客户端。 | 
| spark-history-server | 2.4.0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.4.0 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.4.0 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 1.12.0 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.9.1 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.8.0 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.13 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.13 | ZooKeeper 命令行客户端。 | 

## 5.21.1 配置分类
<a name="emr-5211-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.21.1 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | 
| jupyter-hub-conf | 更改 jupyterhub\$1config.py 文件 JupyterHubs中的值。 | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-env | 更改 Pig 环境中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.21.0
<a name="emr-5210-release"></a>

## 5.21.0 应用程序版本
<a name="emr-5210-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.21.0 | emr-5.20.1 | emr-5.20.0 | emr-5.19.1 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.479 | 1.11.461 | 1.11.461 | 1.11.433 | 
| Python | 2.7、3.6 | 2.7、3.6 | 2.7、3.6 | 2.7、3.4 | 
| Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.7.0 | 1.6.2 | 1.6.2 | 1.6.1 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.4.8 | 1.4.8 | 1.4.8 | 1.4.7 | 
| HCatalog | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.3-amzn-2 | 
| Hadoop | 2.8.5-amzn-1 | 2.8.5-amzn-1 | 2.8.5-amzn-1 | 2.8.5-amzn-0 | 
| Hive | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.3-amzn-1 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 4.3.0 | 4.3.0 | 4.3.0 | 4.2.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub | 0.9.4 | 0.9.4 | 0.9.4 | 0.9.4 | 
| Livy | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 
| MXNet | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.0 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 | 
| Phoenix | 4.14.0--1.4 HBase | 4.14.0--1.4 HBase | 4.14.0--1.4 HBase | 4.14.0--1.4 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.215 | 0.214 | 0.214 | 0.212 | 
| Spark | 2.4.0 | 2.4.0 | 2.4.0 | 2.3.2 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 1.12.0 | 1.12.0 | 1.12.0 | 1.11.0 | 
| Tez | 0.9.1 | 0.9.1 | 0.9.1 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.8.0 | 0.8.0 | 0.8.0 | 0.8.0 | 
| ZooKeeper | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 | 

## 5.21.0 发布说明
<a name="emr-5210-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.21.0 的信息。更改与 5.20.0 有关。

首次发布日期：2019 年 2 月 18 日

上次更新时间：2019 年 4 月 3 日

**升级**
+ Flink 1.7.0
+ Presto 0.215
+ 适用于 Java 的 AWS SDK 1.11.479

**新特征**
+ （2019 年 4 月 3 日）对于 Amazon EMR 5.21.0 及更高版本，您可以覆盖集群配置，并为运行的集群中的每个实例组指定额外的配置分类。您可以使用 Amazon EMR 控制台、 AWS Command Line Interface (AWS CLI) 或软件开发工具包来完成此操作。 AWS 有关更多信息，请参阅[为运行的集群中的实例组提供配置](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-configure-apps-running-cluster.html)。

**更改、增强功能和解决的问题**
+ Zeppelin
  + 已逆向移植 [ZEPPELIN-3878](https://issues.apache.org/jira/browse/ZEPPELIN-3878)。

**已知问题**
+ Hue（已在 Amazon EMR 发行版 5.24.0 中修复）
  + 在 Amazon EMR 上运行的 Hue 不支持 Solr。从 Amazon EMR 发行版 5.20.0 开始，配置错误问题会导致 Solr 启用，并显示类似于以下内容的无害错误消息：

    `Solr server could not be contacted properly: HTTPConnectionPool('host=ip-xx-xx-xx-xx.ec2.internal', port=1978): Max retries exceeded with url: /solr/admin/info/system?user.name=hue&doAs=administrator&wt=json (Caused by NewConnectionError(': Failed to establish a new connection: [Errno 111] Connection refused',))`

    **要防止显示 Solr 错误消息:**

    1. 使用 SSH 连接到主节点命令行。

    1. 使用文本编辑器打开 `hue.ini` 文件。例如：

       `sudo vim /etc/hue/conf/hue.ini`

    1. 搜索术语 `appblacklist`，并将该行修改为以下内容：

       ```
       appblacklist = search
       ```

    1. 保存更改并重新启动 Hue，如以下示例所示：

       ```
       sudo stop hue; sudo start hue
       ```
+ Tez
  + 此问题已在 Amazon EMR 5.22.0 中得到修复。

    当你通过 SSH 连接到集群主节点的 Tez UI 时，*MasterDNS*通过 SSH 连接到 http: //: 8080/tez-ui 上的 Tez 用户界面时，会出现 “适配器操作失败——时间轴服务器 (ATS) 遥不可及” 错误。Either it is down, or CORS is not enabled”，或任务不正常地显示为“N/A”。

    这是由于 Tez UI 使用 `localhost`（而没有使用主节点的主机名称）向 YARN 时间线服务器发出请求所致。解决方法：将脚本作为引导操作或步骤运行。脚本更新 Tez `configs.env` 文件中的主机名。有关更多信息以及脚本的位置信息，请参阅[引导说明](http://awssupportdatasvcs.com/bootstrap-actions/fix_tez_ui_0-9-1/)。
+ 在 Amazon EMR 版本 5.19.0、5.20.0 和 5.21.0 中，YARN 节点标注存储在 HDFS 目录中。在某些情况下，这会导致核心节点启动延迟，然后导致集群超时和启动失败。从 Amazon EMR 5.22.0 开始，此问题已得到解决。YARN 节点标注存储在每个集群节点的本地磁盘上，避免了对 HDFS 的依赖。
+ 具有多个主节点的集群和 Kerberos 身份验证中的已知问题

  如果在 Amazon EMR 版本 5.20.0 及更高版本中运行具有多个主节点的集群和 Kerberos 身份验证，则在集群运行一段时间后，您可能在执行集群操作（如缩减或步骤提交）时遇到问题。具体时间段取决于您定义的 Kerberos 票证有效期。缩减问题会影响您提交的自动缩减和显式缩减请求。其它集群操作也可能会受到影响。

  解决办法：
  + 以 `hadoop` 用户身份通过 SSH 连接到具有多个主节点的 EMR 集群的 lead 主节点。
  +  运行以下命令，为 `hadoop` 用户续订 Kerberos 票证。

    ```
    kinit -kt <keytab_file> <principal>
    ```

    通常情况下，keytab 文件位于 `/etc/hadoop.keytab`，而 principal 为 `hadoop/<hostname>@<REALM>` 格式。
**注意**  
此解决方法将在 Kerberos 票证有效期内生效。默认情况下，此持续时间为 10 个小时，但可以通过 Kerberos 设置进行配置。Kerberos 票证过期后，您必须重新运行上述命令。

## 5.21.0 组件版本
<a name="emr-5210-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.2.1 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.7.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.5.1 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.11.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 1.2.0 | EMR S3 Select 连接器 | 
| emrfs | 2.30.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.7.0 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.8.5-amzn-1 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.8.5-amzn-1 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.8.5-amzn-1 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.8.5-amzn-1 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.8.5-amzn-1 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.8.5-amzn-1 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.8.5-amzn-1 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.8.5-amzn-1 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.8.5-amzn-1 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.8.5-amzn-1 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.4.8 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.4.8 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.4.8 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.4.8 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.4.8 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.4-amzn-0 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.4-amzn-0 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.4-amzn-0 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.4-amzn-0 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.4-amzn-0 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.4-amzn-0 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.4-amzn-0 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 4.3.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 0.9.4 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.5.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 1.3.1 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| nvidia-cuda | 9.2.88 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.0.0 | Oozie 命令行客户端。 | 
| oozie-server | 5.0.0 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 3.4.0 | 开源计算机视觉库。 | 
| phoenix-library | 4.14.0--1.4 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.14.0--1.4 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.215 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.215 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 3.4.1 | 用于统计计算的 R 项目 | 
| spark-client | 2.4.0 | Spark 命令行客户端。 | 
| spark-history-server | 2.4.0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.4.0 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.4.0 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 1.12.0 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.9.1 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.8.0 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.13 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.13 | ZooKeeper 命令行客户端。 | 

## 5.21.0 配置分类
<a name="emr-5210-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.21.0 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | 
| jupyter-hub-conf | 更改 jupyterhub\$1config.py 文件 JupyterHubs中的值。 | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-env | 更改 Pig 环境中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.20.1
<a name="emr-5201-release"></a>

## 5.20.1 应用程序版本
<a name="emr-5201-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.20.1 | emr-5.20.0 | emr-5.19.1 | emr-5.19.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.461 | 1.11.461 | 1.11.433 | 1.11.433 | 
| Python | 2.7、3.6 | 2.7、3.6 | 2.7、3.4 | 2.7、3.4 | 
| Scala | 2.11.12 | 2.11.12 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.6.2 | 1.6.2 | 1.6.1 | 1.6.1 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.4.8 | 1.4.8 | 1.4.7 | 1.4.7 | 
| HCatalog | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.3-amzn-2 | 2.3.3-amzn-2 | 
| Hadoop | 2.8.5-amzn-1 | 2.8.5-amzn-1 | 2.8.5-amzn-0 | 2.8.5-amzn-0 | 
| Hive | 2.3.4-amzn-0 | 2.3.4-amzn-0 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 4.3.0 | 4.3.0 | 4.2.0 | 4.2.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub | 0.9.4 | 0.9.4 | 0.9.4 | 0.9.4 | 
| Livy | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 
| MXNet | 1.3.1 | 1.3.1 | 1.3.0 | 1.3.0 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 | 
| Phoenix | 4.14.0--1.4 HBase | 4.14.0--1.4 HBase | 4.14.0--1.4 HBase | 4.14.0--1.4 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.214 | 0.214 | 0.212 | 0.212 | 
| Spark | 2.4.0 | 2.4.0 | 2.3.2 | 2.3.2 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 1.12.0 | 1.12.0 | 1.11.0 | 1.11.0 | 
| Tez | 0.9.1 | 0.9.1 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.8.0 | 0.8.0 | 0.8.0 | 0.8.0 | 
| ZooKeeper | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.13 | 

## 5.20.1 发布说明
<a name="emr-5201-relnotes"></a>

这是一个补丁版本，用于为向 Amazon S3 发出的请求添加 AWS 签名版本 4 身份验证。所有应用程序和组件都与之前的 Amazon EMR 发行版相同。

**重要**  
在此版本中，Amazon EMR 仅使用 AWS 签名版本 4 来验证向 Amazon S3 发出的请求。有关更多信息，请参阅[新功能](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html)。

## 5.20.1 组件版本
<a name="emr-5201-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.2.1 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.7.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.5.1 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.10.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 1.2.0 | EMR S3 Select 连接器 | 
| emrfs | 2.29.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.6.2 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.8.5-amzn-1 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.8.5-amzn-1 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.8.5-amzn-1 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.8.5-amzn-1 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.8.5-amzn-1 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.8.5-amzn-1 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.8.5-amzn-1 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.8.5-amzn-1 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.8.5-amzn-1 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.8.5-amzn-1 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.4.8 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.4.8 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.4.8 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.4.8 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.4.8 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.4-amzn-0 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.4-amzn-0 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.4-amzn-0 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.4-amzn-0 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.4-amzn-0 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.4-amzn-0 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.4-amzn-0 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 4.3.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 0.9.4 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.5.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 1.3.1 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| nvidia-cuda | 9.2.88 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.0.0 | Oozie 命令行客户端。 | 
| oozie-server | 5.0.0 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 3.4.0 | 开源计算机视觉库。 | 
| phoenix-library | 4.14.0--1.4 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.14.0--1.4 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.214 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.214 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 3.4.1 | 用于统计计算的 R 项目 | 
| spark-client | 2.4.0 | Spark 命令行客户端。 | 
| spark-history-server | 2.4.0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.4.0 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.4.0 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 1.12.0 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.9.1 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.8.0 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.13 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.13 | ZooKeeper 命令行客户端。 | 

## 5.20.1 配置分类
<a name="emr-5201-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.20.1 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-env | 更改 Pig 环境中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.20.0
<a name="emr-5200-release"></a>

## 5.20.0 应用程序版本
<a name="emr-5200-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.20.0 | emr-5.19.1 | emr-5.19.0 | emr-5.18.1 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.461 | 1.11.433 | 1.11.433 | 1.11.393 | 
| Python | 2.7、3.6 | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 
| Scala | 2.11.12 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.6.2 | 1.6.1 | 1.6.1 | 1.6.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.4.8 | 1.4.7 | 1.4.7 | 1.4.7 | 
| HCatalog | 2.3.4-amzn-0 | 2.3.3-amzn-2 | 2.3.3-amzn-2 | 2.3.3-amzn-2 | 
| Hadoop | 2.8.5-amzn-1 | 2.8.5-amzn-0 | 2.8.5-amzn-0 | 2.8.4-amzn-1 | 
| Hive | 2.3.4-amzn-0 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 4.3.0 | 4.2.0 | 4.2.0 | 4.2.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub | 0.9.4 | 0.9.4 | 0.9.4 | 0.8.1 | 
| Livy | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 
| MXNet | 1.3.1 | 1.3.0 | 1.3.0 | 1.2.0 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 | 
| Phoenix | 4.14.0--1.4 HBase | 4.14.0--1.4 HBase | 4.14.0--1.4 HBase | 4.14.0--1.4 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.214 | 0.212 | 0.212 | 0.210 | 
| Spark | 2.4.0 | 2.3.2 | 2.3.2 | 2.3.2 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 1.12.0 | 1.11.0 | 1.11.0 | 1.9.0 | 
| Tez | 0.9.1 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.8.0 | 0.8.0 | 0.8.0 | 0.8.0 | 
| ZooKeeper | 3.4.13 | 3.4.13 | 3.4.13 | 3.4.12 | 

## 5.20.0 发布说明
<a name="emr-5200-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.20.0 的信息。更改与 5.19.0 有关。

首次发布日期：2018 年 12 月 18 日

上次更新时间：2019 年 1 月 22 日

**升级**
+ Flink 1.6.2
+ HBase 1.4.8
+ Hive 2.3.4
+ Hue 4.3.0
+ MXNet 1.3.1
+ Presto 0.214
+ Spark 2.4.0
+ TensorFlow 1.12.0
+ Tez 0.9.1
+ 适用于 Java 的 AWS SDK 1.11.461

**新特征**
+ （2019 年 1 月 22 日）Amazon EMR 中的 Kerberos 已经得到改进，现在可支持对来自外部 KDC 的委托人进行身份验证。这集中了委托人管理，因为多个集群可以共享单个外部 KDC。此外，外部 KDC 可与 Active Directory 域建立跨领域信任关系。这使得所有集群可以从 Active Directory 对委托人进行身份验证。有关更多信息，请参阅《Amazon EMR 管理指南》**中的[使用 Kerberos 身份验证](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-kerberos.html)。

**更改、增强功能和解决的问题**
+ Amazon EMR 的默认 Amazon Linux AMI
  + Python 3 软件包已从 Python 3.4 升级到 3.6。
+ 经 EMRFS S3 优化的提交程序 
  + 现在，已默认启用经 EMRFS S3 优化的提交程序，从而改进写入性能。有关更多信息，请参阅[使用经 EMRFS S3 优化的提交程序](emr-spark-s3-optimized-committer.md)。
+ Hive
  + 已逆向移植 [HIVE-16686](https://issues.apache.org/jira/browse/HIVE-16686)。
+ 集成 Spark 和 Hive 的 Glue
  + 在 EMR 5.20.0 或更高版本中，当使用 Glue Data Catalog 作为元存储时，Spark 和 Hive 会自动启用并行分区修剪。 AWS 此更改通过并行执行多个请求来检索分区，显著缩短查询计划时间。可同时执行的分段总数介于 1 到 10 之间。默认值为 5，这是建议的设置。您可以通过以下方式更改该值：指定 `hive-site` 配置分类中的属性 `aws.glue.partition.num.segments`。如果发生节流，则可以通过将值更改为 1 来关闭此功能。有关更多信息，请参阅 [AWS Glue 分段结构](https://docs.aws.amazon.com/glue/latest/dg/aws-glue-api-catalog-partitions.html#aws-glue-api-catalog-partitions-Segment)。

**已知问题**
+ Hue（已在 Amazon EMR 发行版 5.24.0 中修复）
  + 在 Amazon EMR 上运行的 Hue 不支持 Solr。从 Amazon EMR 发行版 5.20.0 开始，配置错误问题会导致 Solr 启用，并显示类似于以下内容的无害错误消息：

    `Solr server could not be contacted properly: HTTPConnectionPool('host=ip-xx-xx-xx-xx.ec2.internal', port=1978): Max retries exceeded with url: /solr/admin/info/system?user.name=hue&doAs=administrator&wt=json (Caused by NewConnectionError(': Failed to establish a new connection: [Errno 111] Connection refused',))`

    **要防止显示 Solr 错误消息:**

    1. 使用 SSH 连接到主节点命令行。

    1. 使用文本编辑器打开 `hue.ini` 文件。例如：

       `sudo vim /etc/hue/conf/hue.ini`

    1. 搜索术语 `appblacklist`，并将该行修改为以下内容：

       ```
       appblacklist = search
       ```

    1. 保存更改并重新启动 Hue，如以下示例所示：

       ```
       sudo stop hue; sudo start hue
       ```
+ Tez
  + 此问题已在 Amazon EMR 5.22.0 中得到修复。

    当你通过 SSH 连接到集群主节点的 Tez UI 时，*MasterDNS*通过 SSH 连接到 http: //: 8080/tez-ui 上的 Tez 用户界面时，会出现 “适配器操作失败——时间轴服务器 (ATS) 遥不可及” 错误。Either it is down, or CORS is not enabled”，或任务不正常地显示为“N/A”。

    这是由于 Tez UI 使用 `localhost`（而没有使用主节点的主机名称）向 YARN 时间线服务器发出请求所致。解决方法：将脚本作为引导操作或步骤运行。脚本更新 Tez `configs.env` 文件中的主机名。有关更多信息以及脚本的位置信息，请参阅[引导说明](http://awssupportdatasvcs.com/bootstrap-actions/fix_tez_ui_0-9-1/)。
+ 在 Amazon EMR 版本 5.19.0、5.20.0 和 5.21.0 中，YARN 节点标注存储在 HDFS 目录中。在某些情况下，这会导致核心节点启动延迟，然后导致集群超时和启动失败。从 Amazon EMR 5.22.0 开始，此问题已得到解决。YARN 节点标注存储在每个集群节点的本地磁盘上，避免了对 HDFS 的依赖。
+ 具有多个主节点的集群和 Kerberos 身份验证中的已知问题

  如果在 Amazon EMR 版本 5.20.0 及更高版本中运行具有多个主节点的集群和 Kerberos 身份验证，则在集群运行一段时间后，您可能在执行集群操作（如缩减或步骤提交）时遇到问题。具体时间段取决于您定义的 Kerberos 票证有效期。缩减问题会影响您提交的自动缩减和显式缩减请求。其它集群操作也可能会受到影响。

  解决办法：
  + 以 `hadoop` 用户身份通过 SSH 连接到具有多个主节点的 EMR 集群的 lead 主节点。
  +  运行以下命令，为 `hadoop` 用户续订 Kerberos 票证。

    ```
    kinit -kt <keytab_file> <principal>
    ```

    通常情况下，keytab 文件位于 `/etc/hadoop.keytab`，而 principal 为 `hadoop/<hostname>@<REALM>` 格式。
**注意**  
此解决方法将在 Kerberos 票证有效期内生效。默认情况下，此持续时间为 10 个小时，但可以通过 Kerberos 设置进行配置。Kerberos 票证过期后，您必须重新运行上述命令。

## 5.20.0 组件版本
<a name="emr-5200-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.2.1 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.7.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.5.1 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.10.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 1.2.0 | EMR S3 Select 连接器 | 
| emrfs | 2.29.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.6.2 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.8.5-amzn-1 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.8.5-amzn-1 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.8.5-amzn-1 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.8.5-amzn-1 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.8.5-amzn-1 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.8.5-amzn-1 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.8.5-amzn-1 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.8.5-amzn-1 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.8.5-amzn-1 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.8.5-amzn-1 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.4.8 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.4.8 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.4.8 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.4.8 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.4.8 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.4-amzn-0 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.4-amzn-0 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.4-amzn-0 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.4-amzn-0 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.4-amzn-0 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.4-amzn-0 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.4-amzn-0 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 4.3.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 0.9.4 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.5.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 1.3.1 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| nvidia-cuda | 9.2.88 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.0.0 | Oozie 命令行客户端。 | 
| oozie-server | 5.0.0 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 3.4.0 | 开源计算机视觉库。 | 
| phoenix-library | 4.14.0--1.4 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.14.0--1.4 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.214 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.214 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 3.4.1 | 用于统计计算的 R 项目 | 
| spark-client | 2.4.0 | Spark 命令行客户端。 | 
| spark-history-server | 2.4.0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.4.0 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.4.0 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 1.12.0 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.9.1 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.8.0 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.13 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.13 | ZooKeeper 命令行客户端。 | 

## 5.20.0 配置分类
<a name="emr-5200-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.20.0 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-env | 更改 Pig 环境中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.19.1
<a name="emr-5191-release"></a>

## 5.19.1 应用程序版本
<a name="emr-5191-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.19.1 | emr-5.19.0 | emr-5.18.1 | emr-5.18.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.433 | 1.11.433 | 1.11.393 | 1.11.393 | 
| Python | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.6.1 | 1.6.1 | 1.6.0 | 1.6.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| HCatalog | 2.3.3-amzn-2 | 2.3.3-amzn-2 | 2.3.3-amzn-2 | 2.3.3-amzn-2 | 
| Hadoop | 2.8.5-amzn-0 | 2.8.5-amzn-0 | 2.8.4-amzn-1 | 2.8.4-amzn-1 | 
| Hive | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub | 0.9.4 | 0.9.4 | 0.8.1 | 0.8.1 | 
| Livy | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 
| MXNet | 1.3.0 | 1.3.0 | 1.2.0 | 1.2.0 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 | 
| Phoenix | 4.14.0--1.4 HBase | 4.14.0--1.4 HBase | 4.14.0--1.4 HBase | 4.14.0--1.4 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.212 | 0.212 | 0.210 | 0.210 | 
| Spark | 2.3.2 | 2.3.2 | 2.3.2 | 2.3.2 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 1.11.0 | 1.11.0 | 1.9.0 | 1.9.0 | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.8.0 | 0.8.0 | 0.8.0 | 0.8.0 | 
| ZooKeeper | 3.4.13 | 3.4.13 | 3.4.12 | 3.4.12 | 

## 5.19.1 发布说明
<a name="emr-5191-relnotes"></a>

这是一个补丁版本，用于为向 Amazon S3 发出的请求添加 AWS 签名版本 4 身份验证。所有应用程序和组件都与之前的 Amazon EMR 发行版相同。

**重要**  
在此版本中，Amazon EMR 仅使用 AWS 签名版本 4 来验证向 Amazon S3 发出的请求。有关更多信息，请参阅[新功能](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html)。

## 5.19.1 组件版本
<a name="emr-5191-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.2.0 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.7.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.5.1 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.10.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 1.1.0 | EMR S3 Select 连接器 | 
| emrfs | 2.28.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.6.1 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.8.5-amzn-0 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.8.5-amzn-0 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.8.5-amzn-0 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.8.5-amzn-0 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.8.5-amzn-0 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.8.5-amzn-0 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.8.5-amzn-0 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.8.5-amzn-0 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.8.5-amzn-0 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.8.5-amzn-0 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.4.7 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.4.7 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.4.7 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.4.7 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.4.7 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.3-amzn-2 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.3-amzn-2 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.3-amzn-2 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.3-amzn-2 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.3-amzn-2 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.3-amzn-2 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.3-amzn-2 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 4.2.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 0.9.4 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.5.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 1.3.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| nvidia-cuda | 9.2.88 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.0.0 | Oozie 命令行客户端。 | 
| oozie-server | 5.0.0 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 3.4.0 | 开源计算机视觉库。 | 
| phoenix-library | 4.14.0--1.4 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.14.0--1.4 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.212 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.212 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 3.4.1 | 用于统计计算的 R 项目 | 
| spark-client | 2.3.2 | Spark 命令行客户端。 | 
| spark-history-server | 2.3.2 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.3.2 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.3.2 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 1.11.0 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.8.0 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.13 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.13 | ZooKeeper 命令行客户端。 | 

## 5.19.1 配置分类
<a name="emr-5191-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.19.1 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-env | 更改 Pig 环境中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.19.0
<a name="emr-5190-release"></a>

## 5.19.0 应用程序版本
<a name="emr-5190-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.19.0 | emr-5.18.1 | emr-5.18.0 | emr-5.17.2 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.433 | 1.11.393 | 1.11.393 | 1.11.336 | 
| Python | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.6.1 | 1.6.0 | 1.6.0 | 1.5.2 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.6 | 
| HCatalog | 2.3.3-amzn-2 | 2.3.3-amzn-2 | 2.3.3-amzn-2 | 2.3.3-amzn-1 | 
| Hadoop | 2.8.5-amzn-0 | 2.8.4-amzn-1 | 2.8.4-amzn-1 | 2.8.4-amzn-1 | 
| Hive | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub | 0.9.4 | 0.8.1 | 0.8.1 | 0.8.1 | 
| Livy | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 
| MXNet | 1.3.0 | 1.2.0 | 1.2.0 | 1.2.0 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 | 
| Phoenix | 4.14.0--1.4 HBase | 4.14.0--1.4 HBase | 4.14.0--1.4 HBase | 4.14.0--1.4 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.212 | 0.210 | 0.210 | 0.206 | 
| Spark | 2.3.2 | 2.3.2 | 2.3.2 | 2.3.1 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 1.11.0 | 1.9.0 | 1.9.0 | 1.9.0 | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.8.0 | 0.8.0 | 0.8.0 | 0.7.3 | 
| ZooKeeper | 3.4.13 | 3.4.12 | 3.4.12 | 3.4.12 | 

## 5.19.0 发布说明
<a name="emr-5190-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.19.0 的信息。更改与 5.18.0 有关。

首次发布日期：2018 年 11 月 7 日

上次更新时间：2018 年 11 月 19 日

**升级**
+ Hadoop 2.8.5
+ Flink 1.6.1
+ JupyterHub 0.9.4
+ MXNet 1.3.0
+ Presto 0.212
+ TensorFlow 1.11.0
+ Zookeeper 3.4.13
+ 适用于 Java 的 AWS SDK 1.11.433

**新特征**
+ （2018 年 11 月 19 日）EMR Notebooks 是基于 Jupyter Notebook 的托管环境。它支持适用于 Spark SQL PySpark、Spark R 和 Scala 的 Spark 魔法内核。EMR Notebooks 可在使用 Amazon EMR 发行版 5.18.0 及更高版本创建的集群上使用。有关更多信息，请参阅《Amazon EMR 管理指南》**中的[使用 EMR Notebooks](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-managed-notebooks.html)。
+ 使用 Spark 和 EMRFS 编写 Parquet 文件时，可以使用经 EMRFS S3 优化的提交程序。此提交程序改进了写入性能。有关更多信息，请参阅[使用经 EMRFS S3 优化的提交程序](emr-spark-s3-optimized-committer.md)。

**更改、增强功能和解决的问题**
+ YARN
  + 修改了限制应用程序主进程在核心节点上运行的逻辑。此功能现在可使用 `yarn-site` 和 `capacity-scheduler` 配置分类中的 YARN 节点标注功能和属性。有关信息，请参阅。[https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-instances-guidelines.html#emr-plan-spot-YARN.](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-instances-guidelines.html#emr-plan-spot-YARN.)
+ Amazon EMR 的默认 Amazon Linux AMI
  + 默认情况下，不再安装 `ruby18`、`php56` 和 `gcc48`。如果需要，可以使用 `yum` 安装它们。
  + 默认情况下，不再安装 aws-sdk ruby gem。如果需要，可以使用 `gem install aws-sdk` 进行安装。此外，还可以安装特定组件。例如 `gem install aws-sdk-s3`。

**已知问题**
+ **EMR Notebooks**：在某些情况下，打开多个 Notebook 编辑器时，Notebook 编辑器可能无法连接到集群。如果发生这种情况，请清除浏览器 Cookie，然后重新打开 Notebook 编辑器。
+ **CloudWatch ContainerPending 指标和自动缩放** —（在 5.20.0 中已修复）Amazon EMR 可能会发出负值。`ContainerPending`如果在自动伸缩规则中使用 `ContainerPending`，自动伸缩的行为方式可能会不符合预期。请避免在自动伸缩中使用 `ContainerPending`。
+ 在 Amazon EMR 版本 5.19.0、5.20.0 和 5.21.0 中，YARN 节点标注存储在 HDFS 目录中。在某些情况下，这会导致核心节点启动延迟，然后导致集群超时和启动失败。从 Amazon EMR 5.22.0 开始，此问题已得到解决。YARN 节点标注存储在每个集群节点的本地磁盘上，避免了对 HDFS 的依赖。

## 5.19.0 组件版本
<a name="emr-5190-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.2.0 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.7.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.5.1 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.10.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 1.1.0 | EMR S3 Select 连接器 | 
| emrfs | 2.28.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.6.1 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.8.5-amzn-0 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.8.5-amzn-0 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.8.5-amzn-0 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.8.5-amzn-0 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.8.5-amzn-0 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.8.5-amzn-0 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.8.5-amzn-0 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.8.5-amzn-0 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.8.5-amzn-0 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.8.5-amzn-0 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.4.7 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.4.7 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.4.7 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.4.7 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.4.7 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.3-amzn-2 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.3-amzn-2 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.3-amzn-2 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.3-amzn-2 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.3-amzn-2 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.3-amzn-2 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.3-amzn-2 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 4.2.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 0.9.4 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.5.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 1.3.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| nvidia-cuda | 9.2.88 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.0.0 | Oozie 命令行客户端。 | 
| oozie-server | 5.0.0 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 3.4.0 | 开源计算机视觉库。 | 
| phoenix-library | 4.14.0--1.4 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.14.0--1.4 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.212 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.212 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 3.4.1 | 用于统计计算的 R 项目 | 
| spark-client | 2.3.2 | Spark 命令行客户端。 | 
| spark-history-server | 2.3.2 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.3.2 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.3.2 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 1.11.0 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.8.0 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.13 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.13 | ZooKeeper 命令行客户端。 | 

## 5.19.0 配置分类
<a name="emr-5190-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.19.0 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-env | 更改 Pig 环境中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.18.1
<a name="emr-5181-release"></a>

## 5.18.1 应用程序版本
<a name="emr-5181-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.18.1 | emr-5.18.0 | emr-5.17.2 | emr-5.17.1 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.393 | 1.11.393 | 1.11.336 | 1.11.336 | 
| Python | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.6.0 | 1.6.0 | 1.5.2 | 1.5.2 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.4.7 | 1.4.7 | 1.4.6 | 1.4.6 | 
| HCatalog | 2.3.3-amzn-2 | 2.3.3-amzn-2 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 
| Hadoop | 2.8.4-amzn-1 | 2.8.4-amzn-1 | 2.8.4-amzn-1 | 2.8.4-amzn-1 | 
| Hive | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 
| Livy | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 
| MXNet | 1.2.0 | 1.2.0 | 1.2.0 | 1.2.0 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 | 
| Phoenix | 4.14.0--1.4 HBase | 4.14.0--1.4 HBase | 4.14.0--1.4 HBase | 4.14.0--1.4 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.210 | 0.210 | 0.206 | 0.206 | 
| Spark | 2.3.2 | 2.3.2 | 2.3.1 | 2.3.1 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 1.9.0 | 1.9.0 | 1.9.0 | 1.9.0 | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.8.0 | 0.8.0 | 0.7.3 | 0.7.3 | 
| ZooKeeper | 3.4.12 | 3.4.12 | 3.4.12 | 3.4.12 | 

## 5.18.1 发布说明
<a name="emr-5181-relnotes"></a>

这是一个补丁版本，用于为向 Amazon S3 发出的请求添加 AWS 签名版本 4 身份验证。所有应用程序和组件都与之前的 Amazon EMR 发行版相同。

**重要**  
在此版本中，Amazon EMR 仅使用 AWS 签名版本 4 来验证向 Amazon S3 发出的请求。有关更多信息，请参阅[新功能](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html)。

## 5.18.1 组件版本
<a name="emr-5181-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.1.3 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.6.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.5.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.10.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 1.1.0 | EMR S3 Select 连接器 | 
| emrfs | 2.27.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.6.0 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.8.4-amzn-1 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.8.4-amzn-1 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.8.4-amzn-1 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.8.4-amzn-1 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.8.4-amzn-1 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.8.4-amzn-1 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.8.4-amzn-1 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.8.4-amzn-1 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.8.4-amzn-1 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.8.4-amzn-1 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.4.7 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.4.7 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.4.7 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.4.7 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.4.7 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.3-amzn-2 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.3-amzn-2 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.3-amzn-2 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.3-amzn-2 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.3-amzn-2 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.3-amzn-2 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.3-amzn-2 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 4.2.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 0.8.1 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.5.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 1.2.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| nvidia-cuda | 9.2.88 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.0.0 | Oozie 命令行客户端。 | 
| oozie-server | 5.0.0 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 3.4.0 | 开源计算机视觉库。 | 
| phoenix-library | 4.14.0--1.4 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.14.0--1.4 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.210 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.210 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 3.4.1 | 用于统计计算的 R 项目 | 
| spark-client | 2.3.2 | Spark 命令行客户端。 | 
| spark-history-server | 2.3.2 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.3.2 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.3.2 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 1.9.0 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.8.0 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.12 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.12 | ZooKeeper 命令行客户端。 | 

## 5.18.1 配置分类
<a name="emr-5181-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.18.1 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-env | 更改 Pig 环境中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.18.0
<a name="emr-5180-release"></a>

## 5.18.0 应用程序版本
<a name="emr-5180-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.18.0 | emr-5.17.2 | emr-5.17.1 | emr-5.17.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.393 | 1.11.336 | 1.11.336 | 1.11.336 | 
| Python | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.6.0 | 1.5.2 | 1.5.2 | 1.5.2 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.4.7 | 1.4.6 | 1.4.6 | 1.4.6 | 
| HCatalog | 2.3.3-amzn-2 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 
| Hadoop | 2.8.4-amzn-1 | 2.8.4-amzn-1 | 2.8.4-amzn-1 | 2.8.4-amzn-1 | 
| Hive | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 
| Livy | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 
| MXNet | 1.2.0 | 1.2.0 | 1.2.0 | 1.2.0 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 | 
| Phoenix | 4.14.0--1.4 HBase | 4.14.0--1.4 HBase | 4.14.0--1.4 HBase | 4.14.0--1.4 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.210 | 0.206 | 0.206 | 0.206 | 
| Spark | 2.3.2 | 2.3.1 | 2.3.1 | 2.3.1 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 1.9.0 | 1.9.0 | 1.9.0 | 1.9.0 | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.8.0 | 0.7.3 | 0.7.3 | 0.7.3 | 
| ZooKeeper | 3.4.12 | 3.4.12 | 3.4.12 | 3.4.12 | 

## 5.18.0 发布说明
<a name="emr-5180-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.18.0 的信息。更改与 5.17.0 有关。

首次发布日期：2018 年 10 月 24 日

**升级**
+ Flink 1.6.0
+ HBase 1.4.7
+ Presto 0.210
+ Spark 2.3.2
+ Zeppelin 0.8.0

**新特征**
+ 您可以使用 Amazon EMR 构件存储库构建针对特定 Amazon EMR 发行版（从 Amazon EMR 发行版 5.18.0 开始）附带的准确版本的库和依赖项的任务代码。有关更多信息，请参阅 [使用 Amazon EMR 项目存储库检查依赖项](emr-artifact-repository.md)。

**更改、增强功能和解决的问题**
+ Hive
  + 添加了对 S3 Select 的支持。有关更多信息，请参阅[将 S3 Select 与 Hive 结合使用以提高查询性能](emr-hive-s3select.md)。
+ ：Presto
  + 添加了对 [S3 Select](https://aws.amazon.com/blogs/aws/s3-glacier-select/) Pushdown 的支持。有关更多信息，请参阅[使用 S3 Select Pushdown 搭配 Presto 提高性能](emr-presto-s3select.md)。
+ Spark
  + Spark 的默认 log4j 配置已更改为 Spark Streaming 任务每小时的滚动容器日志。这有助于防止删除长时间运行的 Spark Streaming 任务的日志。

## 5.18.0 组件版本
<a name="emr-5180-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.1.3 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.6.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.5.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.10.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 1.1.0 | EMR S3 Select 连接器 | 
| emrfs | 2.27.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.6.0 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.8.4-amzn-1 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.8.4-amzn-1 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.8.4-amzn-1 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.8.4-amzn-1 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.8.4-amzn-1 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.8.4-amzn-1 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.8.4-amzn-1 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.8.4-amzn-1 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.8.4-amzn-1 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.8.4-amzn-1 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.4.7 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.4.7 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.4.7 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.4.7 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.4.7 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.3-amzn-2 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.3-amzn-2 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.3-amzn-2 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.3-amzn-2 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.3-amzn-2 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.3-amzn-2 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.3-amzn-2 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 4.2.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 0.8.1 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.5.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 1.2.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| nvidia-cuda | 9.2.88 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.0.0 | Oozie 命令行客户端。 | 
| oozie-server | 5.0.0 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 3.4.0 | 开源计算机视觉库。 | 
| phoenix-library | 4.14.0--1.4 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.14.0--1.4 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.210 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.210 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 3.4.1 | 用于统计计算的 R 项目 | 
| spark-client | 2.3.2 | Spark 命令行客户端。 | 
| spark-history-server | 2.3.2 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.3.2 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.3.2 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 1.9.0 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.8.0 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.12 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.12 | ZooKeeper 命令行客户端。 | 

## 5.18.0 配置分类
<a name="emr-5180-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.18.0 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-env | 更改 Pig 环境中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.17.2
<a name="emr-5172-release"></a>

## 5.17.2 应用程序版本
<a name="emr-5172-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.17.2 | emr-5.17.1 | emr-5.17.0 | emr-5.16.1 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.336 | 1.11.336 | 1.11.336 | 1.11.336 | 
| Python | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.5.2 | 1.5.2 | 1.5.2 | 1.5.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.4 | 
| HCatalog | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 
| Hadoop | 2.8.4-amzn-1 | 2.8.4-amzn-1 | 2.8.4-amzn-1 | 2.8.4-amzn-0 | 
| Hive | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 
| Livy | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 
| MXNet | 1.2.0 | 1.2.0 | 1.2.0 | 1.2.0 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 | 
| Phoenix | 4.14.0--1.4 HBase | 4.14.0--1.4 HBase | 4.14.0--1.4 HBase | 4.14.0--1.4 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.206 | 0.206 | 0.206 | 0.203 | 
| Spark | 2.3.1 | 2.3.1 | 2.3.1 | 2.3.1 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 1.9.0 | 1.9.0 | 1.9.0 |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 
| ZooKeeper | 3.4.12 | 3.4.12 | 3.4.12 | 3.4.12 | 

## 5.17.2 发布说明
<a name="emr-5172-relnotes"></a>

这是一个补丁版本，用于为向 Amazon S3 发出的请求添加 AWS 签名版本 4 身份验证。所有应用程序和组件都与之前的 Amazon EMR 发行版相同。

**重要**  
在此版本中，Amazon EMR 仅使用 AWS 签名版本 4 来验证向 Amazon S3 发出的请求。有关更多信息，请参阅[新功能](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html)。

## 5.17.2 组件版本
<a name="emr-5172-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.1.3 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.6.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.5.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.10.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 1.0.0 | EMR S3 Select 连接器 | 
| emrfs | 2.26.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.5.2 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.8.4-amzn-1 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.8.4-amzn-1 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.8.4-amzn-1 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.8.4-amzn-1 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.8.4-amzn-1 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.8.4-amzn-1 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.8.4-amzn-1 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.8.4-amzn-1 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.8.4-amzn-1 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.8.4-amzn-1 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.4.6 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.4.6 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.4.6 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.4.6 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.4.6 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.3-amzn-1 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.3-amzn-1 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.3-amzn-1 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.3-amzn-1 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.3-amzn-1 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.3-amzn-1 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.3-amzn-1 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 4.2.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 0.8.1 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.5.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 1.2.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| nvidia-cuda | 9.2.88 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.0.0 | Oozie 命令行客户端。 | 
| oozie-server | 5.0.0 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 3.4.0 | 开源计算机视觉库。 | 
| phoenix-library | 4.14.0--1.4 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.14.0--1.4 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.206 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.206 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 3.4.1 | 用于统计计算的 R 项目 | 
| spark-client | 2.3.1 | Spark 命令行客户端。 | 
| spark-history-server | 2.3.1 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.3.1 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.3.1 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 1.9.0 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.7.3 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.12 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.12 | ZooKeeper 命令行客户端。 | 

## 5.17.2 配置分类
<a name="emr-5172-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.17.2 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-env | 更改 Pig 环境中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.17.1
<a name="emr-5171-release"></a>

## 5.17.1 应用程序版本
<a name="emr-5171-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.17.1 | emr-5.17.0 | emr-5.16.1 | emr-5.16.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.336 | 1.11.336 | 1.11.336 | 1.11.336 | 
| Python | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.5.2 | 1.5.2 | 1.5.0 | 1.5.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.4.6 | 1.4.6 | 1.4.4 | 1.4.4 | 
| HCatalog | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 
| Hadoop | 2.8.4-amzn-1 | 2.8.4-amzn-1 | 2.8.4-amzn-0 | 2.8.4-amzn-0 | 
| Hive | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 
| Livy | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 
| MXNet | 1.2.0 | 1.2.0 | 1.2.0 | 1.2.0 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 | 
| Phoenix | 4.14.0--1.4 HBase | 4.14.0--1.4 HBase | 4.14.0--1.4 HBase | 4.14.0--1.4 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.206 | 0.206 | 0.203 | 0.203 | 
| Spark | 2.3.1 | 2.3.1 | 2.3.1 | 2.3.1 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 1.9.0 | 1.9.0 |  -  |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 
| ZooKeeper | 3.4.12 | 3.4.12 | 3.4.12 | 3.4.12 | 

## 5.17.1 发布说明
<a name="emr-5171-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.17.1 的信息。更改与 5.17.0 有关。

首次发布日期：2019 年 7 月 18 日

**更改、增强功能和解决的问题**
+ 更新了 Amazon EMR 的默认 Amazon Linux AMI，提供了重要的 Linux 内核安全更新，其中包括 TCP SACK 拒绝服务问题（[AWS-2019-005](https://aws.amazon.com/security/security-bulletins/AWS-2019-005/)）。

## 5.17.1 组件版本
<a name="emr-5171-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.1.3 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.6.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.5.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.10.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 1.0.0 | EMR S3 Select 连接器 | 
| emrfs | 2.26.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.5.2 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.8.4-amzn-1 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.8.4-amzn-1 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.8.4-amzn-1 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.8.4-amzn-1 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.8.4-amzn-1 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.8.4-amzn-1 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.8.4-amzn-1 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.8.4-amzn-1 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.8.4-amzn-1 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.8.4-amzn-1 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.4.6 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.4.6 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.4.6 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.4.6 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.4.6 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.3-amzn-1 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.3-amzn-1 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.3-amzn-1 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.3-amzn-1 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.3-amzn-1 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.3-amzn-1 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.3-amzn-1 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 4.2.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 0.8.1 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.5.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 1.2.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| nvidia-cuda | 9.2.88 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.0.0 | Oozie 命令行客户端。 | 
| oozie-server | 5.0.0 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 3.4.0 | 开源计算机视觉库。 | 
| phoenix-library | 4.14.0--1.4 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.14.0--1.4 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.206 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.206 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 3.4.1 | 用于统计计算的 R 项目 | 
| spark-client | 2.3.1 | Spark 命令行客户端。 | 
| spark-history-server | 2.3.1 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.3.1 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.3.1 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 1.9.0 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.7.3 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.12 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.12 | ZooKeeper 命令行客户端。 | 

## 5.17.1 配置分类
<a name="emr-5171-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.17.1 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-env | 更改 Pig 环境中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.17.0
<a name="emr-5170-release"></a>

## 5.17.0 应用程序版本
<a name="emr-5170-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.17.0 | emr-5.16.1 | emr-5.16.0 | emr-5.15.1 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.336 | 1.11.336 | 1.11.336 | 1.11.333 | 
| Python | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.5.2 | 1.5.0 | 1.5.0 | 1.4.2 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.4.6 | 1.4.4 | 1.4.4 | 1.4.4 | 
| HCatalog | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-0 | 
| Hadoop | 2.8.4-amzn-1 | 2.8.4-amzn-0 | 2.8.4-amzn-0 | 2.8.3-amzn-0 | 
| Hive | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-0 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 
| Livy | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.4.0-incubating | 
| MXNet | 1.2.0 | 1.2.0 | 1.2.0 | 1.1.0 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 | 
| Phoenix | 4.14.0--1.4 HBase | 4.14.0--1.4 HBase | 4.14.0--1.4 HBase | 4.13.0--1.4 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.206 | 0.203 | 0.203 | 0.194 | 
| Spark | 2.3.1 | 2.3.1 | 2.3.1 | 2.3.0 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 1.9.0 |  -  |  -  |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 
| ZooKeeper | 3.4.12 | 3.4.12 | 3.4.12 | 3.4.12 | 

## 5.17.0 发布说明
<a name="emr-5170-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.17.0 的信息。更改与 5.16.0 有关。

首次发布日期：2018 年 8 月 30 日

**升级**
+ Flink 1.5.2
+ HBase 1.4.6
+ Presto 0.206

**新特征**
+ 添加了对 Tensorflow 的支持。有关更多信息，请参阅[TensorFlow](emr-tensorflow.md)。

**更改、增强功能和解决的问题**
+ JupyterHub
  + Amazon S3 中添加了对 Notebook 持久性的支持。有关更多信息，请参阅[在 Amazon S3 中配置 Notebook 的持久性](emr-jupyterhub-s3.md)。
+ Spark
  + 添加了对 [S3 Select](https://aws.amazon.com/blogs/aws/s3-glacier-select/) 的支持。有关更多信息，请参阅[将 S3 Select 与 Spark 结合使用以提高查询性能](emr-spark-s3select.md)。
+ 解决了 Amazon EMR 版本 5.14.0、5.15.0 或 5.16.0 中 Cloudwatch 指标和自动伸缩功能中存在的问题。

**已知问题**
+ 创建使用 Kerberos 的集群时，如果安装了 Livy，Livy 将失败，并显示未启用简单身份验证的错误。重新启动 Livy 服务器可解决此问题。解决方法是在集群创建过程中添加一个在主节点上运行 `sudo restart livy-server` 的步骤。
+ 如果您使用基于 Amazon Linux AMI（创建日期为 2018-08-11）的自定义 Amazon Linux AMI，则 Oozie 服务器无法启动。如果您使用 Oozie，请根据具有不同创建日期的 Amazon Linux AMI ID 创建自定义 AMI。您可以使用以下 AWS CLI 命令返回所有版本为 2018.03 的 HVM Amazon Linux AMIs 的图片 IDs 列表以及发布日期，以便您可以选择合适的 Amazon Linux AMI 作为基础。 MyRegion 替换为您的地区标识符，例如 us-west-2。

  ```
  aws ec2 --region MyRegion describe-images --owner amazon --query 'Images[?Name!=`null`]|[?starts_with(Name, `amzn-ami-hvm-2018.03`) == `true`].[CreationDate,ImageId,Name]' --output text | sort -rk1
  ```

## 5.17.0 组件版本
<a name="emr-5170-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.1.3 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.6.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.5.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.10.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 1.0.0 | EMR S3 Select 连接器 | 
| emrfs | 2.26.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.5.2 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.8.4-amzn-1 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.8.4-amzn-1 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.8.4-amzn-1 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.8.4-amzn-1 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.8.4-amzn-1 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.8.4-amzn-1 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.8.4-amzn-1 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.8.4-amzn-1 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.8.4-amzn-1 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.8.4-amzn-1 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.4.6 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.4.6 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.4.6 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.4.6 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.4.6 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.3-amzn-1 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.3-amzn-1 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.3-amzn-1 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.3-amzn-1 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.3-amzn-1 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.3-amzn-1 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.3-amzn-1 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 4.2.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 0.8.1 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.5.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 1.2.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| nvidia-cuda | 9.2.88 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.0.0 | Oozie 命令行客户端。 | 
| oozie-server | 5.0.0 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 3.4.0 | 开源计算机视觉库。 | 
| phoenix-library | 4.14.0--1.4 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.14.0--1.4 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.206 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.206 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 3.4.1 | 用于统计计算的 R 项目 | 
| spark-client | 2.3.1 | Spark 命令行客户端。 | 
| spark-history-server | 2.3.1 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.3.1 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.3.1 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 1.9.0 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.7.3 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.12 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.12 | ZooKeeper 命令行客户端。 | 

## 5.17.0 配置分类
<a name="emr-5170-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.17.0 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-env | 更改 Pig 环境中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.16.1
<a name="emr-5161-release"></a>

## 5.16.1 应用程序版本
<a name="emr-5161-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.16.1 | emr-5.16.0 | emr-5.15.1 | emr-5.15.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.336 | 1.11.336 | 1.11.333 | 1.11.333 | 
| Python | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.5.0 | 1.5.0 | 1.4.2 | 1.4.2 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.4.4 | 1.4.4 | 1.4.4 | 1.4.4 | 
| HCatalog | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-0 | 2.3.3-amzn-0 | 
| Hadoop | 2.8.4-amzn-0 | 2.8.4-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 
| Hive | 2.3.3-amzn-1 | 2.3.3-amzn-1 | 2.3.3-amzn-0 | 2.3.3-amzn-0 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 
| Livy | 0.5.0-incubating | 0.5.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 
| MXNet | 1.2.0 | 1.2.0 | 1.1.0 | 1.1.0 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 5.0.0 | 5.0.0 | 5.0.0 | 5.0.0 | 
| Phoenix | 4.14.0--1.4 HBase | 4.14.0--1.4 HBase | 4.13.0--1.4 HBase | 4.13.0--1.4 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.203 | 0.203 | 0.194 | 0.194 | 
| Spark | 2.3.1 | 2.3.1 | 2.3.0 | 2.3.0 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow |  -  |  -  |  -  |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 
| ZooKeeper | 3.4.12 | 3.4.12 | 3.4.12 | 3.4.12 | 

## 5.16.1 发布说明
<a name="emr-5161-relnotes"></a>

这是一个补丁版本，用于为向 Amazon S3 发出的请求添加 AWS 签名版本 4 身份验证。所有应用程序和组件都与之前的 Amazon EMR 发行版相同。

**重要**  
在此版本中，Amazon EMR 仅使用 AWS 签名版本 4 来验证向 Amazon S3 发出的请求。有关更多信息，请参阅[新功能](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html)。

## 5.16.1 组件版本
<a name="emr-5161-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.1.0 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.6.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.4.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.10.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emrfs | 2.25.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.5.0 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.8.4-amzn-0 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.8.4-amzn-0 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.8.4-amzn-0 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.8.4-amzn-0 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.8.4-amzn-0 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.8.4-amzn-0 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.8.4-amzn-0 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.8.4-amzn-0 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.8.4-amzn-0 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.8.4-amzn-0 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.4.4 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.4.4 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.4.4 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.4.4 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.4.4 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.3-amzn-1 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.3-amzn-1 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.3-amzn-1 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.3-amzn-1 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.3-amzn-1 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.3-amzn-1 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.3-amzn-1 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 4.2.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 0.8.1 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.5.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 1.2.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| nvidia-cuda | 9.2.88 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.0.0 | Oozie 命令行客户端。 | 
| oozie-server | 5.0.0 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 3.4.0 | 开源计算机视觉库。 | 
| phoenix-library | 4.14.0--1.4 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.14.0--1.4 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.203 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.203 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 3.4.1 | 用于统计计算的 R 项目 | 
| spark-client | 2.3.1 | Spark 命令行客户端。 | 
| spark-history-server | 2.3.1 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.3.1 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.3.1 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.7.3 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.12 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.12 | ZooKeeper 命令行客户端。 | 

## 5.16.1 配置分类
<a name="emr-5161-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.16.1 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-env | 更改 Pig 环境中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.16.0
<a name="emr-5160-release"></a>

## 5.16.0 应用程序版本
<a name="emr-5160-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.16.0 | emr-5.15.1 | emr-5.15.0 | emr-5.14.2 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.336 | 1.11.333 | 1.11.333 | 1.11.297 | 
| Python | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.5.0 | 1.4.2 | 1.4.2 | 1.4.2 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.4.4 | 1.4.4 | 1.4.4 | 1.4.2 | 
| HCatalog | 2.3.3-amzn-1 | 2.3.3-amzn-0 | 2.3.3-amzn-0 | 2.3.2-amzn-2 | 
| Hadoop | 2.8.4-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 
| Hive | 2.3.3-amzn-1 | 2.3.3-amzn-0 | 2.3.3-amzn-0 | 2.3.2-amzn-2 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 4.2.0 | 4.2.0 | 4.2.0 | 4.1.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 
| Livy | 0.5.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 
| MXNet | 1.2.0 | 1.1.0 | 1.1.0 | 1.1.0 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 5.0.0 | 5.0.0 | 5.0.0 | 4.3.0 | 
| Phoenix | 4.14.0--1.4 HBase | 4.13.0--1.4 HBase | 4.13.0--1.4 HBase | 4.13.0--1.4 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.203 | 0.194 | 0.194 | 0.194 | 
| Spark | 2.3.1 | 2.3.0 | 2.3.0 | 2.3.0 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow |  -  |  -  |  -  |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 
| ZooKeeper | 3.4.12 | 3.4.12 | 3.4.12 | 3.4.10 | 

## 5.16.0 发布说明
<a name="emr-5160-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.16.0 的信息。更改与 5.15.0 有关。

首次发布日期：2018 年 7 月 19 日

**升级**
+ Hadoop 2.8.4
+ Flink 1.5.0
+ Livy 0.5.0
+ MXNet 1.2.0
+ Phoenix 4.14.0
+ Presto 0.203
+ Spark 2.3.1
+ 适用于 Java 的 AWS SDK 1.11.336
+ CUDA 9.2
+ Redshift JDBC 驱动程序 1.2.15.1025

**更改、增强功能和解决的问题**
+ HBase
  + 已逆向移植 [HBASE-20723](https://issues.apache.org/jira/browse/HBASE-20723)。
+ ：Presto
  + 更改了配置，可支持 LDAP 身份验证。有关更多信息，请参阅[为 Presto on Amazon EMR 使用 LDAP 身份验证](emr-presto-ldap.md)。
+ Spark
  + Apache Spark 版本 2.3.1（从 Amazon EMR 发行版 5.16.0 开始提供）解决了 [CVE-2018-8024](https://nvd.nist.gov/vuln/detail/CVE-2018-8024) 和 [CVE-2018-1334](https://nvd.nist.gov/vuln/detail/CVE-2018-1334) 问题。建议您将 Spark 的早期版本迁移到 Spark 2.3.1 版本或更高版本。

**已知问题**
+ 此发行版不支持 c1.medium 或 m1.small 实例类型。使用这些实例类型的集群将无法启动。解决方法：指定其它实例类型或使用其它发行版。
+ 创建使用 Kerberos 的集群时，如果安装了 Livy，Livy 将失败，并显示未启用简单身份验证的错误。重新启动 Livy 服务器可解决此问题。解决方法是在集群创建过程中添加一个在主节点上运行 `sudo restart livy-server` 的步骤。
+ 在主节点重启或实例控制器重新启动后，将不会收集 CloudWatch 指标，并且自动扩展功能将在 Amazon EMR 版本 5.14.0、5.15.0 或 5.16.0 中不可用。此问题已在 Amazon EMR 5.17.0 中得到修复。

## 5.16.0 组件版本
<a name="emr-5160-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.1.0 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.6.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.4.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.10.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emrfs | 2.25.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.5.0 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.8.4-amzn-0 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.8.4-amzn-0 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.8.4-amzn-0 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.8.4-amzn-0 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.8.4-amzn-0 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.8.4-amzn-0 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.8.4-amzn-0 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.8.4-amzn-0 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.8.4-amzn-0 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.8.4-amzn-0 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.4.4 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.4.4 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.4.4 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.4.4 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.4.4 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.3-amzn-1 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.3-amzn-1 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.3-amzn-1 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.3-amzn-1 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.3-amzn-1 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.3-amzn-1 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.3-amzn-1 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 4.2.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 0.8.1 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.5.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 1.2.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| nvidia-cuda | 9.2.88 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.0.0 | Oozie 命令行客户端。 | 
| oozie-server | 5.0.0 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 3.4.0 | 开源计算机视觉库。 | 
| phoenix-library | 4.14.0--1.4 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.14.0--1.4 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.203 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.203 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 3.4.1 | 用于统计计算的 R 项目 | 
| spark-client | 2.3.1 | Spark 命令行客户端。 | 
| spark-history-server | 2.3.1 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.3.1 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.3.1 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.7.3 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.12 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.12 | ZooKeeper 命令行客户端。 | 

## 5.16.0 配置分类
<a name="emr-5160-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.16.0 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-env | 更改 Pig 环境中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.15.1
<a name="emr-5151-release"></a>

## 5.15.1 应用程序版本
<a name="emr-5151-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.15.1 | emr-5.15.0 | emr-5.14.2 | emr-5.14.1 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.333 | 1.11.333 | 1.11.297 | 1.11.297 | 
| Python | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.4.2 | 1.4.2 | 1.4.2 | 1.4.2 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.4.4 | 1.4.4 | 1.4.2 | 1.4.2 | 
| HCatalog | 2.3.3-amzn-0 | 2.3.3-amzn-0 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 
| Hadoop | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 
| Hive | 2.3.3-amzn-0 | 2.3.3-amzn-0 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 4.2.0 | 4.2.0 | 4.1.0 | 4.1.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 
| MXNet | 1.1.0 | 1.1.0 | 1.1.0 | 1.1.0 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 5.0.0 | 5.0.0 | 4.3.0 | 4.3.0 | 
| Phoenix | 4.13.0--1.4 HBase | 4.13.0--1.4 HBase | 4.13.0--1.4 HBase | 4.13.0--1.4 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.194 | 0.194 | 0.194 | 0.194 | 
| Spark | 2.3.0 | 2.3.0 | 2.3.0 | 2.3.0 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow |  -  |  -  |  -  |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 
| ZooKeeper | 3.4.12 | 3.4.12 | 3.4.10 | 3.4.10 | 

## 5.15.1 发布说明
<a name="emr-5151-relnotes"></a>

这是一个补丁版本，用于为向 Amazon S3 发出的请求添加 AWS 签名版本 4 身份验证。所有应用程序和组件都与之前的 Amazon EMR 发行版相同。

**重要**  
在此版本中，Amazon EMR 仅使用 AWS 签名版本 4 来验证向 Amazon S3 发出的请求。有关更多信息，请参阅[新功能](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html)。

## 5.15.1 组件版本
<a name="emr-5151-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.0.1 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.5.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.4.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.10.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emrfs | 2.24.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.4.2 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.8.3-amzn-1 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.8.3-amzn-1 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.8.3-amzn-1 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.8.3-amzn-1 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.8.3-amzn-1 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.8.3-amzn-1 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.8.3-amzn-1 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.8.3-amzn-1 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.8.3-amzn-1 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.8.3-amzn-1 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.4.4 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.4.4 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.4.4 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.4.4 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.4.4 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.3-amzn-0 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.3-amzn-0 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.3-amzn-0 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.3-amzn-0 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.3-amzn-0 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.3-amzn-0 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.3-amzn-0 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 4.2.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 0.8.1 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.4.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 1.1.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| nvidia-cuda | 9.1.85 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.0.0 | Oozie 命令行客户端。 | 
| oozie-server | 5.0.0 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 3.4.0 | 开源计算机视觉库。 | 
| phoenix-library | 4.13.0--1.4 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.13.0--1.4 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.194 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.194 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 3.4.1 | 用于统计计算的 R 项目 | 
| spark-client | 2.3.0 | Spark 命令行客户端。 | 
| spark-history-server | 2.3.0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.3.0 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.3.0 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.7.3 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.12 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.12 | ZooKeeper 命令行客户端。 | 

## 5.15.1 配置分类
<a name="emr-5151-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.15.1 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-env | 更改 Pig 环境中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.15.0
<a name="emr-5150-release"></a>

## 5.15.0 应用程序版本
<a name="emr-5150-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.15.0 | emr-5.14.2 | emr-5.14.1 | emr-5.14.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.333 | 1.11.297 | 1.11.297 | 1.11.297 | 
| Python | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.4.2 | 1.4.2 | 1.4.2 | 1.4.2 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.4.4 | 1.4.2 | 1.4.2 | 1.4.2 | 
| HCatalog | 2.3.3-amzn-0 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 
| Hadoop | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 
| Hive | 2.3.3-amzn-0 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 4.2.0 | 4.1.0 | 4.1.0 | 4.1.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub | 0.8.1 | 0.8.1 | 0.8.1 | 0.8.1 | 
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 
| MXNet | 1.1.0 | 1.1.0 | 1.1.0 | 1.1.0 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 5.0.0 | 4.3.0 | 4.3.0 | 4.3.0 | 
| Phoenix | 4.13.0--1.4 HBase | 4.13.0--1.4 HBase | 4.13.0--1.4 HBase | 4.13.0--1.4 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.194 | 0.194 | 0.194 | 0.194 | 
| Spark | 2.3.0 | 2.3.0 | 2.3.0 | 2.3.0 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow |  -  |  -  |  -  |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 
| ZooKeeper | 3.4.12 | 3.4.10 | 3.4.10 | 3.4.10 | 

## 5.15.0 发布说明
<a name="emr-5150-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.15.0 的信息。更改与 5.14.0 有关。

首次发布日期：2018 年 6 月 21 日

**升级**
+ 已升级 HBase 到 1.4.4
+ 已将 Hive 升级到 2.3.3
+ 已将 Hue 升级到 4.2.0
+ 已将 Oozie 升级到 5.0.0
+ 已将 Zookeeper 升级到 3.4.12
+ 已将 AWS SDK 升级到 1.11.333

**更改、增强功能和解决的问题**
+ Hive
  + 已逆向移植 [HIVE-18069](https://issues.apache.org/jira/browse/HIVE-18069)。
+ Hue
  + 更新了 Hue，启用 Kerberos 后可以使用 Livy 正确地进行身份验证。现在，在 Amazon EMR 中使用 Kerberos 时，支持 Livy。
+ JupyterHub
  + 已更新， JupyterHub 因此 Amazon EMR 在默认情况下会安装 LDAP 客户端库。
  + 修复了生成自签名凭证的脚本中的错误。

**已知问题**
+ 此发行版不支持 c1.medium 或 m1.small 实例类型。使用这些实例类型的集群将无法启动。解决方法：指定其它实例类型或使用其它发行版。
+ 在主节点重启或实例控制器重新启动后，将不会收集 CloudWatch 指标，并且自动扩展功能将在 Amazon EMR 版本 5.14.0、5.15.0 或 5.16.0 中不可用。此问题已在 Amazon EMR 5.17.0 中得到修复。

## 5.15.0 组件版本
<a name="emr-5150-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.0.1 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.5.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.4.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.10.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emrfs | 2.24.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.4.2 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.8.3-amzn-1 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.8.3-amzn-1 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.8.3-amzn-1 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.8.3-amzn-1 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.8.3-amzn-1 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.8.3-amzn-1 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.8.3-amzn-1 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.8.3-amzn-1 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.8.3-amzn-1 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.8.3-amzn-1 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.4.4 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.4.4 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.4.4 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.4.4 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.4.4 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.3-amzn-0 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.3-amzn-0 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.3-amzn-0 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.3-amzn-0 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.3-amzn-0 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.3-amzn-0 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.3-amzn-0 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 4.2.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 0.8.1 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.4.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 1.1.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| nvidia-cuda | 9.1.85 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.0.0 | Oozie 命令行客户端。 | 
| oozie-server | 5.0.0 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 3.4.0 | 开源计算机视觉库。 | 
| phoenix-library | 4.13.0--1.4 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.13.0--1.4 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.194 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.194 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 3.4.1 | 用于统计计算的 R 项目 | 
| spark-client | 2.3.0 | Spark 命令行客户端。 | 
| spark-history-server | 2.3.0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.3.0 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.3.0 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.7.3 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.12 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.12 | ZooKeeper 命令行客户端。 | 

## 5.15.0 配置分类
<a name="emr-5150-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.15.0 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-env | 更改 Pig 环境中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.14.2
<a name="emr-5142-release"></a>

## 5.14.2 应用程序版本
<a name="emr-5142-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.14.2 | emr-5.14.1 | emr-5.14.0 | emr-5.13.1 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.297 | 1.11.297 | 1.11.297 | 1.11.297 | 
| Python | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.4.2 | 1.4.2 | 1.4.2 | 1.4.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.4.2 | 1.4.2 | 1.4.2 | 1.4.2 | 
| HCatalog | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 
| Hadoop | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 
| Hive | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 4.1.0 | 4.1.0 | 4.1.0 | 4.1.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub | 0.8.1 | 0.8.1 | 0.8.1 |  -  | 
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 
| MXNet | 1.1.0 | 1.1.0 | 1.1.0 | 1.0.0 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 
| Phoenix | 4.13.0--1.4 HBase | 4.13.0--1.4 HBase | 4.13.0--1.4 HBase | 4.13.0--1.4 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.194 | 0.194 | 0.194 | 0.194 | 
| Spark | 2.3.0 | 2.3.0 | 2.3.0 | 2.3.0 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.6 | 
| TensorFlow |  -  |  -  |  -  |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 

## 5.14.2 发布说明
<a name="emr-5142-relnotes"></a>

这是一个补丁版本，用于为向 Amazon S3 发出的请求添加 AWS 签名版本 4 身份验证。所有应用程序和组件都与之前的 Amazon EMR 发行版相同。

**重要**  
在此版本中，Amazon EMR 仅使用 AWS 签名版本 4 来验证向 Amazon S3 发出的请求。有关更多信息，请参阅[新功能](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html)。

## 5.14.2 组件版本
<a name="emr-5142-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.0.1 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.5.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.4.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.10.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emrfs | 2.23.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.4.2 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.8.3-amzn-1 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.8.3-amzn-1 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.8.3-amzn-1 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.8.3-amzn-1 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.8.3-amzn-1 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.8.3-amzn-1 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.8.3-amzn-1 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.8.3-amzn-1 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.8.3-amzn-1 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.8.3-amzn-1 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.4.2 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.4.2 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.4.2 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.4.2 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.4.2 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.2-amzn-2 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.2-amzn-2 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.2-amzn-2 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.2-amzn-2 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.2-amzn-2 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.2-amzn-2 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.2-amzn-2 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 4.1.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 0.8.1 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.4.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 1.1.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| nvidia-cuda | 9.1.85 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 4.3.0 | Oozie 命令行客户端。 | 
| oozie-server | 4.3.0 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 3.4.0 | 开源计算机视觉库。 | 
| phoenix-library | 4.13.0--1.4 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.13.0--1.4 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.194 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.194 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 3.4.1 | 用于统计计算的 R 项目 | 
| spark-client | 2.3.0 | Spark 命令行客户端。 | 
| spark-history-server | 2.3.0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.3.0 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.3.0 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.7.3 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.10 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.10 | ZooKeeper 命令行客户端。 | 

## 5.14.2 配置分类
<a name="emr-5142-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.14.2 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-env | 更改 Pig 环境中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.14.1
<a name="emr-5141-release"></a>

## 5.14.1 应用程序版本
<a name="emr-5141-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.14.1 | emr-5.14.0 | emr-5.13.1 | emr-5.13.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.297 | 1.11.297 | 1.11.297 | 1.11.297 | 
| Python | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.4.2 | 1.4.2 | 1.4.0 | 1.4.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.4.2 | 1.4.2 | 1.4.2 | 1.4.2 | 
| HCatalog | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 
| Hadoop | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 
| Hive | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 4.1.0 | 4.1.0 | 4.1.0 | 4.1.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub | 0.8.1 | 0.8.1 |  -  |  -  | 
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 
| MXNet | 1.1.0 | 1.1.0 | 1.0.0 | 1.0.0 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 
| Phoenix | 4.13.0--1.4 HBase | 4.13.0--1.4 HBase | 4.13.0--1.4 HBase | 4.13.0--1.4 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.194 | 0.194 | 0.194 | 0.194 | 
| Spark | 2.3.0 | 2.3.0 | 2.3.0 | 2.3.0 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.6 | 1.4.6 | 
| TensorFlow |  -  |  -  |  -  |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 

## 5.14.1 发布说明
<a name="emr-5141-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.14.1 的信息。更改与 5.14.0 有关。

首次发布日期：2018 年 10 月 17 日

更新了 Amazon EMR 的默认 AMI，解决了潜在的安全漏洞。

## 5.14.1 组件版本
<a name="emr-5141-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.0.1 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.5.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.4.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.10.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emrfs | 2.23.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.4.2 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.8.3-amzn-1 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.8.3-amzn-1 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.8.3-amzn-1 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.8.3-amzn-1 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.8.3-amzn-1 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.8.3-amzn-1 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.8.3-amzn-1 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.8.3-amzn-1 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.8.3-amzn-1 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.8.3-amzn-1 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.4.2 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.4.2 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.4.2 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.4.2 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.4.2 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.2-amzn-2 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.2-amzn-2 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.2-amzn-2 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.2-amzn-2 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.2-amzn-2 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.2-amzn-2 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.2-amzn-2 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 4.1.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 0.8.1 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.4.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 1.1.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| nvidia-cuda | 9.1.85 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 4.3.0 | Oozie 命令行客户端。 | 
| oozie-server | 4.3.0 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 3.4.0 | 开源计算机视觉库。 | 
| phoenix-library | 4.13.0--1.4 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.13.0--1.4 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.194 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.194 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 3.4.1 | 用于统计计算的 R 项目 | 
| spark-client | 2.3.0 | Spark 命令行客户端。 | 
| spark-history-server | 2.3.0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.3.0 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.3.0 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.7.3 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.10 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.10 | ZooKeeper 命令行客户端。 | 

## 5.14.1 配置分类
<a name="emr-5141-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.14.1 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-env | 更改 Pig 环境中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.14.0
<a name="emr-5140-release"></a>

## 5.14.0 应用程序版本
<a name="emr-5140-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.14.0 | emr-5.13.1 | emr-5.13.0 | emr-5.12.3 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.297 | 1.11.297 | 1.11.297 | 1.11.267 | 
| Python | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.4.2 | 1.4.0 | 1.4.0 | 1.4.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.4.2 | 1.4.2 | 1.4.2 | 1.4.0 | 
| HCatalog | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-1 | 
| Hadoop | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 
| Hive | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-1 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 4.1.0 | 4.1.0 | 4.1.0 | 4.1.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub | 0.8.1 |  -  |  -  |  -  | 
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 
| MXNet | 1.1.0 | 1.0.0 | 1.0.0 | 1.0.0 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 
| Phoenix | 4.13.0--1.4 HBase | 4.13.0--1.4 HBase | 4.13.0--1.4 HBase | 4.13.0--1.4 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.194 | 0.194 | 0.194 | 0.188 | 
| Spark | 2.3.0 | 2.3.0 | 2.3.0 | 2.2.1 | 
| Sqoop | 1.4.7 | 1.4.6 | 1.4.6 | 1.4.6 | 
| TensorFlow |  -  |  -  |  -  |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 

## 5.14.0 发布说明
<a name="emr-5140-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.14.0 的信息。更改与 5.13.0 有关。

首次发布日期：2018 年 6 月 4 日

**升级**
+ 已将 Apache Flink 升级到 1.4.2
+ 将 Apache 升级 MXnet 到 1.1.0
+ 已将 Apache Sqoop 升级到 1.4.7

**新特征**
+ 增加了 JupyterHub 支持。有关更多信息，请参阅 [JupyterHub](emr-jupyterhub.md)。

**更改、增强功能和解决的问题**
+ EMRFS
  + 更新了对 Amazon S3 的 userAgent 字符串请求，更新为包含调用委托人的用户和组信息。这可以与 AWS CloudTrail 日志一起使用，以实现更全面的请求跟踪。
+ HBase
  +  提供了 [HBASE-20447](https://issues.apache.org/jira/browse/HBASE-20447)，它解决了可能导致缓存问题的问题，特别是拆分区域。
+ MXnet
  + 新增了 OpenCV 库。
+ Spark
  + 当 Spark 使用 EMRFS 将 Parquet 文件写入 Amazon S3 位置时， FileOutputCommitter 算法已更新为使用版本 2 而不是版本 1。这将减少重命名的数量，从而提高应用程序性能。此更改不会影响：
    + Spark 以外的应用程序。
    + 写入其他文件系统的应用程序，例如 HDFS（仍使用版本 1 FileOutputCommitter）。
    + 使用其它输出格式（如文本或 csv）的应用程序（已使用 EMRFS 直接写入）。

**已知问题**
+ JupyterHub
  + 不支持在创建集群时使用配置分类来设置 JupyterHub 和单个 Jupyter 笔记本。手动编辑每个用户的 jupyterhub\$1config.py 文件和 jupyter\$1notebook\$1config.py 文件。有关更多信息，请参阅 [正在配置 JupyterHub](emr-jupyterhub-configure.md)。
  + JupyterHub 无法在私有子网内的群集上启动，失败并显示消息`Error: ENOENT: no such file or directory, open '/etc/jupyter/conf/server.crt' `。这由生成自签名凭证的脚本中的错误所致。使用以下解决方法生成自签名凭证。在连接到主节点时执行所有命令。

    1. 将凭证生成脚本从容器复制到主节点：

       ```
       sudo docker cp jupyterhub:/tmp/gen_self_signed_cert.sh ./
       ```

    1. 使用文本编辑器更改第 23 行，将公有主机名更改为本地主机名，如下所示：

       ```
       local hostname=$(curl -s $EC2_METADATA_SERVICE_URI/local-hostname)
       ```

    1. 运行脚本，生成自签名凭证：

       ```
       sudo bash ./gen_self_signed_cert.sh
       ```

    1. 将脚本生成的凭证文件移至 `/etc/jupyter/conf/` 目录：

       ```
       sudo mv /tmp/server.crt /tmp/server.key /etc/jupyter/conf/
       ```

    您可以通过`tail`该`jupyter.log`文件来验证是否已 JupyterHub 重新启动并且正在返回 200 响应码。例如：

    ```
    tail -f /var/log/jupyter/jupyter.log
    ```

    该命令应返回与以下示例类似的响应：

    ```
    # [I 2018-06-14 18:56:51.356 JupyterHub app:1581] JupyterHub is now running at https://:9443/
    # 19:01:51.359 - info: [ConfigProxy] 200 GET /api/routes
    ```
+ 在主节点重启或实例控制器重新启动后，将不会收集 CloudWatch 指标，并且自动扩展功能将在 Amazon EMR 版本 5.14.0、5.15.0 或 5.16.0 中不可用。此问题已在 Amazon EMR 5.17.0 中得到修复。

## 5.14.0 组件版本
<a name="emr-5140-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.0.1 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.5.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.4.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.10.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emrfs | 2.23.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.4.2 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.8.3-amzn-1 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.8.3-amzn-1 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.8.3-amzn-1 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.8.3-amzn-1 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.8.3-amzn-1 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.8.3-amzn-1 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.8.3-amzn-1 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.8.3-amzn-1 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.8.3-amzn-1 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.8.3-amzn-1 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.4.2 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.4.2 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.4.2 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.4.2 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.4.2 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.2-amzn-2 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.2-amzn-2 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.2-amzn-2 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.2-amzn-2 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.2-amzn-2 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.2-amzn-2 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.2-amzn-2 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 4.1.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 0.8.1 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.4.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 1.1.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| nvidia-cuda | 9.1.85 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 4.3.0 | Oozie 命令行客户端。 | 
| oozie-server | 4.3.0 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 3.4.0 | 开源计算机视觉库。 | 
| phoenix-library | 4.13.0--1.4 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.13.0--1.4 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.194 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.194 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 3.4.1 | 用于统计计算的 R 项目 | 
| spark-client | 2.3.0 | Spark 命令行客户端。 | 
| spark-history-server | 2.3.0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.3.0 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.3.0 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.7.3 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.10 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.10 | ZooKeeper 命令行客户端。 | 

## 5.14.0 配置分类
<a name="emr-5140-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.14.0 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-env | 更改 Pig 环境中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.13.1
<a name="emr-5131-release"></a>

## 5.13.1 应用程序版本
<a name="emr-5131-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.13.1 | emr-5.13.0 | emr-5.12.3 | emr-5.12.2 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.297 | 1.11.297 | 1.11.267 | 1.11.267 | 
| Python | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.4.0 | 1.4.0 | 1.4.0 | 1.4.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.4.2 | 1.4.2 | 1.4.0 | 1.4.0 | 
| HCatalog | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 
| Hadoop | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 
| Hive | 2.3.2-amzn-2 | 2.3.2-amzn-2 | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 4.1.0 | 4.1.0 | 4.1.0 | 4.1.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub |  -  |  -  |  -  |  -  | 
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 
| MXNet | 1.0.0 | 1.0.0 | 1.0.0 | 1.0.0 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 
| Phoenix | 4.13.0--1.4 HBase | 4.13.0--1.4 HBase | 4.13.0--1.4 HBase | 4.13.0--1.4 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.194 | 0.194 | 0.188 | 0.188 | 
| Spark | 2.3.0 | 2.3.0 | 2.2.1 | 2.2.1 | 
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 
| TensorFlow |  -  |  -  |  -  |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 

## 5.13.1 发布说明
<a name="emr-5131-relnotes"></a>

这是一个补丁版本，用于为向 Amazon S3 发出的请求添加 AWS 签名版本 4 身份验证。所有应用程序和组件都与之前的 Amazon EMR 发行版相同。

**重要**  
在此版本中，Amazon EMR 仅使用 AWS 签名版本 4 来验证向 Amazon S3 发出的请求。有关更多信息，请参阅[新功能](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html)。

## 5.13.1 组件版本
<a name="emr-5131-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.0.1 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.5.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.4.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.10.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emrfs | 2.22.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.4.0 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.8.3-amzn-0 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.8.3-amzn-0 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.8.3-amzn-0 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.8.3-amzn-0 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.8.3-amzn-0 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.8.3-amzn-0 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.8.3-amzn-0 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.8.3-amzn-0 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.8.3-amzn-0 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.8.3-amzn-0 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.4.2 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.4.2 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.4.2 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.4.2 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.4.2 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.2-amzn-2 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.2-amzn-2 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.2-amzn-2 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.2-amzn-2 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.2-amzn-2 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.2-amzn-2 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.2-amzn-2 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 4.1.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| livy-server | 0.4.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 1.0.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| nvidia-cuda | 9.1.85 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 4.3.0 | Oozie 命令行客户端。 | 
| oozie-server | 4.3.0 | 用于接受 Oozie 工作流请求的服务。 | 
| phoenix-library | 4.13.0--1.4 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.13.0--1.4 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.194 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.194 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 3.4.1 | 用于统计计算的 R 项目 | 
| spark-client | 2.3.0 | Spark 命令行客户端。 | 
| spark-history-server | 2.3.0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.3.0 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.3.0 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.6 | Apache Sqoop 命令行客户端。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.7.3 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.10 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.10 | ZooKeeper 命令行客户端。 | 

## 5.13.1 配置分类
<a name="emr-5131-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.13.1 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-env | 更改 Pig 环境中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.13.0
<a name="emr-5130-release"></a>

## 5.13.0 应用程序版本
<a name="emr-5130-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.13.0 | emr-5.12.3 | emr-5.12.2 | emr-5.12.1 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.297 | 1.11.267 | 1.11.267 | 1.11.267 | 
| Python | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.4.0 | 1.4.0 | 1.4.0 | 1.4.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.4.2 | 1.4.0 | 1.4.0 | 1.4.0 | 
| HCatalog | 2.3.2-amzn-2 | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 
| Hadoop | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 
| Hive | 2.3.2-amzn-2 | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 4.1.0 | 4.1.0 | 4.1.0 | 4.1.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub |  -  |  -  |  -  |  -  | 
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 
| MXNet | 1.0.0 | 1.0.0 | 1.0.0 | 1.0.0 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 
| Phoenix | 4.13.0--1.4 HBase | 4.13.0--1.4 HBase | 4.13.0--1.4 HBase | 4.13.0--1.4 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.194 | 0.188 | 0.188 | 0.188 | 
| Spark | 2.3.0 | 2.2.1 | 2.2.1 | 2.2.1 | 
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 
| TensorFlow |  -  |  -  |  -  |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 

## 5.13.0 发布说明
<a name="emr-5130-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.13.0 的信息。更改与 5.12.0 有关。

**升级**
+ 已将 Spark 升级到 2.3.0
+ 已升级 HBase 到 1.4.2
+ 已将 Presto 升级到 0.194
+ 已升级 适用于 Java 的 AWS SDK 到 1.11.297

**更改、增强功能和解决的问题**
+ Hive
  + 已逆向移植 [HIVE-15436](https://issues.apache.org/jira/browse/HIVE-15436)。增强了 Hive APIs ，仅返回视图。

**已知问题**
+ MXNet 目前没有 OpenCV 库。

## 5.13.0 组件版本
<a name="emr-5130-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.0.1 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.5.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.4.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.10.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emrfs | 2.22.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.4.0 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.8.3-amzn-0 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.8.3-amzn-0 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.8.3-amzn-0 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.8.3-amzn-0 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.8.3-amzn-0 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.8.3-amzn-0 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.8.3-amzn-0 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.8.3-amzn-0 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.8.3-amzn-0 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.8.3-amzn-0 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.4.2 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.4.2 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.4.2 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.4.2 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.4.2 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.2-amzn-2 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.2-amzn-2 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.2-amzn-2 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.2-amzn-2 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.2-amzn-2 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.2-amzn-2 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.2-amzn-2 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 4.1.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| livy-server | 0.4.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 1.0.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| nvidia-cuda | 9.1.85 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 4.3.0 | Oozie 命令行客户端。 | 
| oozie-server | 4.3.0 | 用于接受 Oozie 工作流请求的服务。 | 
| phoenix-library | 4.13.0--1.4 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.13.0--1.4 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.194 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.194 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 3.4.1 | 用于统计计算的 R 项目 | 
| spark-client | 2.3.0 | Spark 命令行客户端。 | 
| spark-history-server | 2.3.0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.3.0 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.3.0 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.6 | Apache Sqoop 命令行客户端。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.7.3 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.10 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.10 | ZooKeeper 命令行客户端。 | 

## 5.13.0 配置分类
<a name="emr-5130-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.13.0 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-env | 更改 Pig 环境中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.12.3
<a name="emr-5123-release"></a>

## 5.12.3 应用程序版本
<a name="emr-5123-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.12.3 | emr-5.12.2 | emr-5.12.1 | emr-5.12.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.267 | 1.11.267 | 1.11.267 | 1.11.267 | 
| Python | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.4.0 | 1.4.0 | 1.4.0 | 1.4.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.4.0 | 1.4.0 | 1.4.0 | 1.4.0 | 
| HCatalog | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 
| Hadoop | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 
| Hive | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 4.1.0 | 4.1.0 | 4.1.0 | 4.1.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub |  -  |  -  |  -  |  -  | 
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 
| MXNet | 1.0.0 | 1.0.0 | 1.0.0 | 1.0.0 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 
| Phoenix | 4.13.0--1.4 HBase | 4.13.0--1.4 HBase | 4.13.0--1.4 HBase | 4.13.0--1.4 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.188 | 0.188 | 0.188 | 0.188 | 
| Spark | 2.2.1 | 2.2.1 | 2.2.1 | 2.2.1 | 
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 
| TensorFlow |  -  |  -  |  -  |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 

## 5.12.3 发布说明
<a name="emr-5123-relnotes"></a>

这是一个补丁版本，用于为向 Amazon S3 发出的请求添加 AWS 签名版本 4 身份验证。所有应用程序和组件都与之前的 Amazon EMR 发行版相同。

**重要**  
在此版本中，Amazon EMR 仅使用 AWS 签名版本 4 来验证向 Amazon S3 发出的请求。有关更多信息，请参阅[新功能](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html)。

## 5.12.3 组件版本
<a name="emr-5123-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.0.1 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.5.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.4.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.9.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emrfs | 2.21.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.4.0 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.8.3-amzn-0 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.8.3-amzn-0 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.8.3-amzn-0 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.8.3-amzn-0 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.8.3-amzn-0 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.8.3-amzn-0 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.8.3-amzn-0 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.8.3-amzn-0 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.8.3-amzn-0 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.8.3-amzn-0 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.4.0 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.4.0 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.4.0 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.4.0 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.4.0 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.2-amzn-1 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.2-amzn-1 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.2-amzn-1 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.2-amzn-1 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.2-amzn-1 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.2-amzn-1 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.2-amzn-1 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 4.1.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| livy-server | 0.4.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 1.0.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| nvidia-cuda | 9.1.85 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 4.3.0 | Oozie 命令行客户端。 | 
| oozie-server | 4.3.0 | 用于接受 Oozie 工作流请求的服务。 | 
| phoenix-library | 4.13.0--1.4 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.13.0--1.4 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.188 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.188 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| spark-client | 2.2.1 | Spark 命令行客户端。 | 
| spark-history-server | 2.2.1 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.2.1 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.2.1 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.6 | Apache Sqoop 命令行客户端。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.7.3 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.10 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.10 | ZooKeeper 命令行客户端。 | 

## 5.12.3 配置分类
<a name="emr-5123-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.12.3 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-env | 更改 Pig 环境中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.12.2
<a name="emr-5122-release"></a>

## 5.12.2 应用程序版本
<a name="emr-5122-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.12.2 | emr-5.12.1 | emr-5.12.0 | emr-5.11.4 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.267 | 1.11.267 | 1.11.267 | 1.11.238 | 
| Python | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.4.0 | 1.4.0 | 1.4.0 | 1.3.2 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.4.0 | 1.4.0 | 1.4.0 | 1.3.1 | 
| HCatalog | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-0 | 
| Hadoop | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.7.3-amzn-6 | 
| Hive | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-0 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 4.1.0 | 4.1.0 | 4.1.0 | 4.0.1 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub |  -  |  -  |  -  |  -  | 
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 
| MXNet | 1.0.0 | 1.0.0 | 1.0.0 | 0.12.0 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 
| Phoenix | 4.13.0--1.4 HBase | 4.13.0--1.4 HBase | 4.13.0--1.4 HBase | 4.11.0--1.3 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.188 | 0.188 | 0.188 | 0.187 | 
| Spark | 2.2.1 | 2.2.1 | 2.2.1 | 2.2.1 | 
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 
| TensorFlow |  -  |  -  |  -  |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 

## 5.12.2 发布说明
<a name="emr-5122-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.12.2 的信息。更改与 5.12.1 有关。

首次发布日期：2018年 8 月 29 日

**更改、增强功能和解决的问题**
+ 此版本解决了潜在的安全漏洞。

## 5.12.2 组件版本
<a name="emr-5122-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.0.1 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.5.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.4.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.9.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emrfs | 2.21.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.4.0 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.8.3-amzn-0 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.8.3-amzn-0 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.8.3-amzn-0 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.8.3-amzn-0 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.8.3-amzn-0 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.8.3-amzn-0 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.8.3-amzn-0 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.8.3-amzn-0 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.8.3-amzn-0 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.8.3-amzn-0 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.4.0 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.4.0 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.4.0 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.4.0 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.4.0 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.2-amzn-1 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.2-amzn-1 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.2-amzn-1 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.2-amzn-1 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.2-amzn-1 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.2-amzn-1 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.2-amzn-1 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 4.1.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| livy-server | 0.4.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 1.0.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| nvidia-cuda | 9.1.85 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 4.3.0 | Oozie 命令行客户端。 | 
| oozie-server | 4.3.0 | 用于接受 Oozie 工作流请求的服务。 | 
| phoenix-library | 4.13.0--1.4 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.13.0--1.4 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.188 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.188 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| spark-client | 2.2.1 | Spark 命令行客户端。 | 
| spark-history-server | 2.2.1 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.2.1 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.2.1 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.6 | Apache Sqoop 命令行客户端。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.7.3 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.10 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.10 | ZooKeeper 命令行客户端。 | 

## 5.12.2 配置分类
<a name="emr-5122-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.12.2 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-env | 更改 Pig 环境中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.12.1
<a name="emr-5121-release"></a>

## 5.12.1 应用程序版本
<a name="emr-5121-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.12.1 | emr-5.12.0 | emr-5.11.4 | emr-5.11.3 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.267 | 1.11.267 | 1.11.238 | 1.11.238 | 
| Python | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.4.0 | 1.4.0 | 1.3.2 | 1.3.2 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.4.0 | 1.4.0 | 1.3.1 | 1.3.1 | 
| HCatalog | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 
| Hadoop | 2.8.3-amzn-0 | 2.8.3-amzn-0 | 2.7.3-amzn-6 | 2.7.3-amzn-6 | 
| Hive | 2.3.2-amzn-1 | 2.3.2-amzn-1 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 4.1.0 | 4.1.0 | 4.0.1 | 4.0.1 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub |  -  |  -  |  -  |  -  | 
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 
| MXNet | 1.0.0 | 1.0.0 | 0.12.0 | 0.12.0 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 
| Phoenix | 4.13.0--1.4 HBase | 4.13.0--1.4 HBase | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.188 | 0.188 | 0.187 | 0.187 | 
| Spark | 2.2.1 | 2.2.1 | 2.2.1 | 2.2.1 | 
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 
| TensorFlow |  -  |  -  |  -  |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 

## 5.12.1 发布说明
<a name="emr-5121-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.12.1 的信息。更改与 5.12.0 有关。

首次发布日期：2018 年 3 月 29 日

**更改、增强功能和解决的问题**
+ 更新了 Amazon EMR 的默认 Amazon Linux AMI 的 Amazon Linux 内核，解决了潜在漏洞。

## 5.12.1 组件版本
<a name="emr-5121-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.0.1 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.5.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.4.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.9.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emrfs | 2.21.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.4.0 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.8.3-amzn-0 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.8.3-amzn-0 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.8.3-amzn-0 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.8.3-amzn-0 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.8.3-amzn-0 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.8.3-amzn-0 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.8.3-amzn-0 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.8.3-amzn-0 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.8.3-amzn-0 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.8.3-amzn-0 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.4.0 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.4.0 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.4.0 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.4.0 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.4.0 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.2-amzn-1 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.2-amzn-1 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.2-amzn-1 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.2-amzn-1 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.2-amzn-1 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.2-amzn-1 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.2-amzn-1 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 4.1.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| livy-server | 0.4.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 1.0.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| nvidia-cuda | 9.1.85 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 4.3.0 | Oozie 命令行客户端。 | 
| oozie-server | 4.3.0 | 用于接受 Oozie 工作流请求的服务。 | 
| phoenix-library | 4.13.0--1.4 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.13.0--1.4 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.188 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.188 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| spark-client | 2.2.1 | Spark 命令行客户端。 | 
| spark-history-server | 2.2.1 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.2.1 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.2.1 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.6 | Apache Sqoop 命令行客户端。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.7.3 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.10 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.10 | ZooKeeper 命令行客户端。 | 

## 5.12.1 配置分类
<a name="emr-5121-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.12.1 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-env | 更改 Pig 环境中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.12.0
<a name="emr-5120-release"></a>

## 5.12.0 应用程序版本
<a name="emr-5120-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.12.0 | emr-5.11.4 | emr-5.11.3 | emr-5.11.2 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.267 | 1.11.238 | 1.11.238 | 1.11.238 | 
| Python | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.4.0 | 1.3.2 | 1.3.2 | 1.3.2 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.4.0 | 1.3.1 | 1.3.1 | 1.3.1 | 
| HCatalog | 2.3.2-amzn-1 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 
| Hadoop | 2.8.3-amzn-0 | 2.7.3-amzn-6 | 2.7.3-amzn-6 | 2.7.3-amzn-6 | 
| Hive | 2.3.2-amzn-1 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 4.1.0 | 4.0.1 | 4.0.1 | 4.0.1 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub |  -  |  -  |  -  |  -  | 
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 
| MXNet | 1.0.0 | 0.12.0 | 0.12.0 | 0.12.0 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 
| Phoenix | 4.13.0--1.4 HBase | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.188 | 0.187 | 0.187 | 0.187 | 
| Spark | 2.2.1 | 2.2.1 | 2.2.1 | 2.2.1 | 
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 
| TensorFlow |  -  |  -  |  -  |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 

## 5.12.0 发布说明
<a name="emr-5120-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.12.0 的信息。更改与 5.11.1 有关。

**升级**
+ AWS 适用于 Java 的 SDK 1.11.238 ⇒ 1.11.267。有关更多信息，请参阅适用于 [Java 的AWS SDK 更改登录](https://github.com/aws/aws-sdk-java/blob/master/CHANGELOG.md) GitHub。
+ Hadoop 2.7.3 升级到 2.8.3。有关更多信息，请参阅 [Apache Hadoop 发行版](http://hadoop.apache.org/releases.html)。
+ Fink 1.3.2 升级到 1.4.0。有关详细信息，请参阅 [Apache Flink 1.4.0 版本公告](https://flink.apache.org/news/2017/12/12/release-1.4.0.html)。
+ HBase 1.3.1 ⇒ 1.4.0。有关更多信息，请参阅[HBase 发布公告](http://mail-archives.apache.org/mod_mbox/www-announce/201712.mbox/%3CCA+RK=_AU+tB=7SU1HRbeKVEd-sKA5WcJo3oa43vQ6PMB3L9pgQ@mail.gmail.com%3E)。
+ Hue 4.0.1 升级到 4.1.0。有关更多信息，请参阅[发布说明](https://docs.gethue.com/releases/release-notes-4.10.0/)。
+ MxNet 0.12.0 ⇒ 1.0.0。有关更多信息，请参阅[MXNet 更改日志](https://github.com/apache/incubator-mxnet/releases/tag/1.0.0) GitHub。
+ Presto 0.187 升级到 0.188。有关更多信息，请参阅[发布说明](https://prestodb.io/docs/current/release/release-0.188.html)。

**更改、增强功能和解决的问题**
+ **Hadoop**
  + `yarn.resourcemanager.decommissioning.timeout` 属性已更改为 `yarn.resourcemanager.nodemanager-graceful-decommission-timeout-secs`。您可以使用此属性自定义集群缩减。有关更多信息，请参阅《Amazon EMR 管理指南》**中的[集群缩减](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-scaledown-behavior.html)。
  + Hadoop CLI 向 `cp`（复制）命令添加了 `-d` 选项，可指定直接复制。可以使用它来避免创建中间 `.COPYING` 文件，这加快了在 Amazon S3 之间复制数据的速度。有关更多信息，请参阅 [HADOOP-12384](https://issues.apache.org/jira/browse/HADOOP-12384)。
+ **Pig**
  + 添加了 `pig-env` 配置分类，这简化了 Pig 环境属性的配置。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。
+ **：Presto**
  + 新增 `presto-connector-redshift` 配置分类，您可以将其用于配置 Presto `redshift.properties` 配置文件中的值。有关更多信息，请参阅 Presto 文档中 [Redshift 连接器](https://prestodb.io/docs/current/connector/redshift.html)以及 [配置应用程序](emr-configure-apps.md)。
  + 已添加对 EMRFS 的 Presto 支持，且已设为默认配置。早期的亚马逊 EMR 版本使用了 PrestoS3FileSystem，这是唯一的选择。有关更多信息，请参阅 [EMRFS 和 PrestoS3 配置 FileSystem](emr-presto-considerations.md#emr-presto-prestos3)。
**注意**  
如果您使用 Amazon EMR 版本 5.12.0 查询 Amazon S3 中的底层数据，则可能会出现 Presto 错误。这是因为 Presto 无法从 `emrfs-site.xml` 提取配置分类值。解决方法是在 `usr/lib/presto/plugin/hive-hadoop2/` 下创建一个 `emrfs` 子目录，并在 `usr/lib/presto/plugin/hive-hadoop2/emrfs` 中创建一个指向现有 `/usr/share/aws/emr/emrfs/conf/emrfs-site.xml` 文件的符号链接。然后重新启动 presto-server 进程（首先执行 `sudo presto-server stop`，然后执行 `sudo presto-server start`）。
+ **Spark**
  + 向后移植[的 SPARK-22036： BigDecimal 乘法有时会返回空值](https://issues.apache.org/jira/browse/SPARK-22036)。

**已知问题**
+ MXNet 不包括 OpenCV 库。
+ SparkR 不适用于使用自定义 AMI 创建的集群，因为默认情况下不会在集群节点上安装 R。

## 5.12.0 组件版本
<a name="emr-5120-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.0.1 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.5.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.4.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.9.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emrfs | 2.21.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.4.0 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.8.3-amzn-0 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.8.3-amzn-0 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.8.3-amzn-0 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.8.3-amzn-0 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.8.3-amzn-0 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.8.3-amzn-0 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.8.3-amzn-0 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.8.3-amzn-0 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.8.3-amzn-0 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.8.3-amzn-0 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.4.0 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.4.0 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.4.0 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.4.0 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.4.0 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.2-amzn-1 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.2-amzn-1 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.2-amzn-1 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.2-amzn-1 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.2-amzn-1 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.2-amzn-1 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.2-amzn-1 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 4.1.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| livy-server | 0.4.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 1.0.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| nvidia-cuda | 9.1.85 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 4.3.0 | Oozie 命令行客户端。 | 
| oozie-server | 4.3.0 | 用于接受 Oozie 工作流请求的服务。 | 
| phoenix-library | 4.13.0--1.4 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.13.0--1.4 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.188 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.188 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| spark-client | 2.2.1 | Spark 命令行客户端。 | 
| spark-history-server | 2.2.1 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.2.1 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.2.1 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.6 | Apache Sqoop 命令行客户端。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.7.3 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.10 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.10 | ZooKeeper 命令行客户端。 | 

## 5.12.0 配置分类
<a name="emr-5120-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.12.0 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-env | 更改 Pig 环境中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.11.4
<a name="emr-5114-release"></a>

## 5.11.4 应用程序版本
<a name="emr-5114-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.11.4 | emr-5.11.3 | emr-5.11.2 | emr-5.11.1 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.238 | 1.11.238 | 1.11.238 | 1.11.238 | 
| Python | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.3.2 | 1.3.2 | 1.3.2 | 1.3.2 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 
| HCatalog | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 
| Hadoop | 2.7.3-amzn-6 | 2.7.3-amzn-6 | 2.7.3-amzn-6 | 2.7.3-amzn-6 | 
| Hive | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 4.0.1 | 4.0.1 | 4.0.1 | 4.0.1 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub |  -  |  -  |  -  |  -  | 
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 
| MXNet | 0.12.0 | 0.12.0 | 0.12.0 | 0.12.0 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 
| Phoenix | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.187 | 0.187 | 0.187 | 0.187 | 
| Spark | 2.2.1 | 2.2.1 | 2.2.1 | 2.2.1 | 
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 
| TensorFlow |  -  |  -  |  -  |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 

## 5.11.4 发布说明
<a name="emr-5114-relnotes"></a>

这是一个补丁版本，用于为向 Amazon S3 发出的请求添加 AWS 签名版本 4 身份验证。所有应用程序和组件都与之前的 Amazon EMR 发行版相同。

**重要**  
在此版本中，Amazon EMR 仅使用 AWS 签名版本 4 来验证向 Amazon S3 发出的请求。有关更多信息，请参阅[新功能](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html)。

## 5.11.4 组件版本
<a name="emr-5114-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.0 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.5.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.4.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.8.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emrfs | 2.20.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.3.2 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.7.3-amzn-6 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.7.3-amzn-6 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.7.3-amzn-6 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.7.3-amzn-6 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.7.3-amzn-6 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.7.3-amzn-6 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.7.3-amzn-6 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.7.3-amzn-6 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.7.3-amzn-6 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.7.3-amzn-6 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.3.1 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.3.1 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.3.1 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.3.1 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.3.1 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.2-amzn-0 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.2-amzn-0 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.2-amzn-0 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.2-amzn-0 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.2-amzn-0 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.2-amzn-0 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.2-amzn-0 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 4.0.1 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| livy-server | 0.4.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 0.12.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| nvidia-cuda | 9.0.176 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 4.3.0 | Oozie 命令行客户端。 | 
| oozie-server | 4.3.0 | 用于接受 Oozie 工作流请求的服务。 | 
| phoenix-library | 4.11.0--1.3 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.11.0--1.3 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.187 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.187 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| spark-client | 2.2.1 | Spark 命令行客户端。 | 
| spark-history-server | 2.2.1 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.2.1 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.2.1 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.6 | Apache Sqoop 命令行客户端。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.7.3 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.10 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.10 | ZooKeeper 命令行客户端。 | 

## 5.11.4 配置分类
<a name="emr-5114-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.11.4 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.11.3
<a name="emr-5113-release"></a>

## 5.11.3 应用程序版本
<a name="emr-5113-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.11.3 | emr-5.11.2 | emr-5.11.1 | emr-5.11.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.238 | 1.11.238 | 1.11.238 | 1.11.238 | 
| Python | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.3.2 | 1.3.2 | 1.3.2 | 1.3.2 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 
| HCatalog | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 
| Hadoop | 2.7.3-amzn-6 | 2.7.3-amzn-6 | 2.7.3-amzn-6 | 2.7.3-amzn-6 | 
| Hive | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 4.0.1 | 4.0.1 | 4.0.1 | 4.0.1 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub |  -  |  -  |  -  |  -  | 
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 
| MXNet | 0.12.0 | 0.12.0 | 0.12.0 | 0.12.0 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 
| Phoenix | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.187 | 0.187 | 0.187 | 0.187 | 
| Spark | 2.2.1 | 2.2.1 | 2.2.1 | 2.2.1 | 
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 
| TensorFlow |  -  |  -  |  -  |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 

## 5.11.3 发布说明
<a name="emr-5113-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.11.3 的信息。更改与 5.11.2 有关。

首次发布日期：2019 年 7 月 18 日

**更改、增强功能和解决的问题**
+ 更新了 Amazon EMR 的默认 Amazon Linux AMI，提供了重要的 Linux 内核安全更新，其中包括 TCP SACK 拒绝服务问题（[AWS-2019-005](https://aws.amazon.com/security/security-bulletins/AWS-2019-005/)）。

## 5.11.3 组件版本
<a name="emr-5113-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.0 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.5.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.4.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.8.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emrfs | 2.20.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.3.2 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.7.3-amzn-6 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.7.3-amzn-6 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.7.3-amzn-6 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.7.3-amzn-6 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.7.3-amzn-6 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.7.3-amzn-6 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.7.3-amzn-6 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.7.3-amzn-6 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.7.3-amzn-6 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.7.3-amzn-6 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.3.1 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.3.1 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.3.1 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.3.1 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.3.1 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.2-amzn-0 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.2-amzn-0 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.2-amzn-0 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.2-amzn-0 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.2-amzn-0 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.2-amzn-0 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.2-amzn-0 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 4.0.1 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| livy-server | 0.4.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 0.12.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| nvidia-cuda | 9.0.176 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 4.3.0 | Oozie 命令行客户端。 | 
| oozie-server | 4.3.0 | 用于接受 Oozie 工作流请求的服务。 | 
| phoenix-library | 4.11.0--1.3 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.11.0--1.3 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.187 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.187 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| spark-client | 2.2.1 | Spark 命令行客户端。 | 
| spark-history-server | 2.2.1 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.2.1 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.2.1 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.6 | Apache Sqoop 命令行客户端。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.7.3 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.10 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.10 | ZooKeeper 命令行客户端。 | 

## 5.11.3 配置分类
<a name="emr-5113-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.11.3 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.11.2
<a name="emr-5112-release"></a>

## 5.11.2 应用程序版本
<a name="emr-5112-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.11.2 | emr-5.11.1 | emr-5.11.0 | emr-5.10.1 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.238 | 1.11.238 | 1.11.238 | 1.11.221 | 
| Python | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.3.2 | 1.3.2 | 1.3.2 | 1.3.2 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 
| HCatalog | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.1-amzn-0 | 
| Hadoop | 2.7.3-amzn-6 | 2.7.3-amzn-6 | 2.7.3-amzn-6 | 2.7.3-amzn-5 | 
| Hive | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.1-amzn-0 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 4.0.1 | 4.0.1 | 4.0.1 | 4.0.1 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub |  -  |  -  |  -  |  -  | 
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 
| MXNet | 0.12.0 | 0.12.0 | 0.12.0 | 0.12.0 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 
| Phoenix | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.187 | 0.187 | 0.187 | 0.187 | 
| Spark | 2.2.1 | 2.2.1 | 2.2.1 | 2.2.0 | 
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 
| TensorFlow |  -  |  -  |  -  |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 

## 5.11.2 发布说明
<a name="emr-5112-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.11.2 的信息。更改与 5.11.1 有关。

首次发布日期：2018年 8 月 29 日

**更改、增强功能和解决的问题**
+ 此版本解决了潜在的安全漏洞。

## 5.11.2 组件版本
<a name="emr-5112-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.0 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.5.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.4.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.8.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emrfs | 2.20.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.3.2 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.7.3-amzn-6 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.7.3-amzn-6 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.7.3-amzn-6 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.7.3-amzn-6 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.7.3-amzn-6 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.7.3-amzn-6 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.7.3-amzn-6 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.7.3-amzn-6 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.7.3-amzn-6 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.7.3-amzn-6 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.3.1 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.3.1 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.3.1 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.3.1 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.3.1 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.2-amzn-0 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.2-amzn-0 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.2-amzn-0 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.2-amzn-0 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.2-amzn-0 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.2-amzn-0 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.2-amzn-0 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 4.0.1 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| livy-server | 0.4.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 0.12.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| nvidia-cuda | 9.0.176 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 4.3.0 | Oozie 命令行客户端。 | 
| oozie-server | 4.3.0 | 用于接受 Oozie 工作流请求的服务。 | 
| phoenix-library | 4.11.0--1.3 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.11.0--1.3 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.187 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.187 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| spark-client | 2.2.1 | Spark 命令行客户端。 | 
| spark-history-server | 2.2.1 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.2.1 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.2.1 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.6 | Apache Sqoop 命令行客户端。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.7.3 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.10 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.10 | ZooKeeper 命令行客户端。 | 

## 5.11.2 配置分类
<a name="emr-5112-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.11.2 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.11.1
<a name="emr-5111-release"></a>

## 5.11.1 应用程序版本
<a name="emr-5111-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.11.1 | emr-5.11.0 | emr-5.10.1 | emr-5.10.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.238 | 1.11.238 | 1.11.221 | 1.11.221 | 
| Python | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.3.2 | 1.3.2 | 1.3.2 | 1.3.2 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 
| HCatalog | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.1-amzn-0 | 2.3.1-amzn-0 | 
| Hadoop | 2.7.3-amzn-6 | 2.7.3-amzn-6 | 2.7.3-amzn-5 | 2.7.3-amzn-5 | 
| Hive | 2.3.2-amzn-0 | 2.3.2-amzn-0 | 2.3.1-amzn-0 | 2.3.1-amzn-0 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 4.0.1 | 4.0.1 | 4.0.1 | 4.0.1 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub |  -  |  -  |  -  |  -  | 
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 
| MXNet | 0.12.0 | 0.12.0 | 0.12.0 | 0.12.0 | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 
| Phoenix | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.187 | 0.187 | 0.187 | 0.187 | 
| Spark | 2.2.1 | 2.2.1 | 2.2.0 | 2.2.0 | 
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 
| TensorFlow |  -  |  -  |  -  |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.3 | 
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 

## 5.11.1 发布说明
<a name="emr-5111-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.11.1 的信息。更改与 Amazon EMR 5.8.0 发行版有关。

首次发布日期：2018 年 1 月 22 日

**更改、增强功能和解决的问题**
+ 更新了 Amazon EMR 的默认 Amazon Linux AMI 的 Amazon Linux 内核，解决了与推测执行相关的漏洞（CVE-2017-5715、CVE-2017-5753 和 CVE-2017-5754）。有关更多信息，请参阅 [https://aws.amazon.com/security/security-bulletins/AWS-2018-013/](https://aws.amazon.com/security/security-bulletins/AWS-2018-013/)。

## 5.11.1 组件版本
<a name="emr-5111-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.0 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.5.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.4.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.8.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emrfs | 2.20.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.3.2 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.7.3-amzn-6 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.7.3-amzn-6 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.7.3-amzn-6 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.7.3-amzn-6 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.7.3-amzn-6 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.7.3-amzn-6 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.7.3-amzn-6 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.7.3-amzn-6 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.7.3-amzn-6 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.7.3-amzn-6 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.3.1 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.3.1 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.3.1 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.3.1 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.3.1 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.2-amzn-0 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.2-amzn-0 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.2-amzn-0 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.2-amzn-0 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.2-amzn-0 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.2-amzn-0 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.2-amzn-0 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 4.0.1 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| livy-server | 0.4.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 0.12.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| nvidia-cuda | 9.0.176 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 4.3.0 | Oozie 命令行客户端。 | 
| oozie-server | 4.3.0 | 用于接受 Oozie 工作流请求的服务。 | 
| phoenix-library | 4.11.0--1.3 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.11.0--1.3 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.187 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.187 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| spark-client | 2.2.1 | Spark 命令行客户端。 | 
| spark-history-server | 2.2.1 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.2.1 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.2.1 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.6 | Apache Sqoop 命令行客户端。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.7.3 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.10 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.10 | ZooKeeper 命令行客户端。 | 

## 5.11.1 配置分类
<a name="emr-5111-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.11.1 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.11.0
<a name="emr-5110-release"></a>

## 5.11.0 应用程序版本
<a name="emr-5110-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.11.0 | emr-5.10.1 | emr-5.10.0 | emr-5.9.1 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.238 | 1.11.221 | 1.11.221 | 1.11.183 | 
| Python | 2.7、3.4 | 2.7、3.4 | 2.7、3.4 | 未跟踪 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.3.2 | 1.3.2 | 1.3.2 | 1.3.2 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 
| HCatalog | 2.3.2-amzn-0 | 2.3.1-amzn-0 | 2.3.1-amzn-0 | 2.3.0-amzn-0 | 
| Hadoop | 2.7.3-amzn-6 | 2.7.3-amzn-5 | 2.7.3-amzn-5 | 2.7.3-amzn-4 | 
| Hive | 2.3.2-amzn-0 | 2.3.1-amzn-0 | 2.3.1-amzn-0 | 2.3.0-amzn-0 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 4.0.1 | 4.0.1 | 4.0.1 | 4.0.1 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub |  -  |  -  |  -  |  -  | 
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 
| MXNet | 0.12.0 | 0.12.0 | 0.12.0 |  -  | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 
| Phoenix | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.187 | 0.187 | 0.187 | 0.184 | 
| Spark | 2.2.1 | 2.2.0 | 2.2.0 | 2.2.0 | 
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 
| TensorFlow |  -  |  -  |  -  |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.3 | 0.7.2 | 
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 

## 5.11.0 发布说明
<a name="emr-5110-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.11.0 的信息。更改与 5.10.0 有关。

**升级**
+ Hive 2.3.2
+ Spark 2.2.1
+ SDK for Java1.11.238

**新特征**
+ Spark
  + 增加了 `spark.decommissioning.timeout.threshold` 设置，这将改进使用竞价型实例时的 Spark 停用行为。有关更多信息，请参阅 [配置节点停用行为](emr-spark-configure.md#spark-decommissioning)。
  + 在 Spark 中添加了`aws-sagemaker-spark-sdk`组件，它安装了 Amazon SageMaker Spark 以及与 Spark 与[亚马逊](https://aws.amazon.com/sagemaker/)集成的相关依赖项 SageMaker。你可以使用 Amazon SageMaker Spark 通过亚马逊 SageMaker 阶段构建 Spark 机器学习 (ML) 管道。有关更多信息，请参阅《亚马逊* SageMaker 开发者指南》中的 [SageMaker Spark 自述文件](https://github.com/aws/sagemaker-spark/blob/master/README.md) GitHub 和 SageMaker在亚马逊*[上使用 Apache Spark](https://docs.aws.amazon.com/sagemaker/latest/dg/apache-spark.html)。

**已知问题**
+ MXNet 不包括 OpenCV 库。
+ 默认情况下，Hive 2.3.2 设置 `hive.compute.query.using.stats=true`。这会导致查询从现有统计数据而不是直接从数据中获取数据，这可能会造成混淆。例如，如果您有一个包含 `hive.compute.query.using.stats=true` 的表并且将新文件上载到表 `LOCATION`，则在该表上运行 `SELECT COUNT(*)` 查询会返回来自统计数据的计数，而不是选择已添加的行。

  作为解决方法，请使用 `ANALYZE TABLE` 命令收集新的统计数据，或者设置 `hive.compute.query.using.stats=false`。有关更多信息，请参阅 Apache Hive 文档中的 [Hive 中的统计数据](https://cwiki.apache.org/confluence/display/Hive/StatsDev#StatsDev-StatisticsinHive)。

## 5.11.0 组件版本
<a name="emr-5110-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.0 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.5.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.4.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.8.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emrfs | 2.20.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.3.2 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.7.3-amzn-6 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.7.3-amzn-6 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.7.3-amzn-6 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.7.3-amzn-6 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.7.3-amzn-6 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.7.3-amzn-6 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.7.3-amzn-6 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.7.3-amzn-6 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.7.3-amzn-6 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.7.3-amzn-6 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.3.1 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.3.1 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.3.1 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.3.1 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.3.1 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.2-amzn-0 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.2-amzn-0 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.2-amzn-0 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.2-amzn-0 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.2-amzn-0 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.2-amzn-0 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.2-amzn-0 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 4.0.1 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| livy-server | 0.4.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 0.12.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| nvidia-cuda | 9.0.176 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 4.3.0 | Oozie 命令行客户端。 | 
| oozie-server | 4.3.0 | 用于接受 Oozie 工作流请求的服务。 | 
| phoenix-library | 4.11.0--1.3 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.11.0--1.3 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.187 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.187 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| spark-client | 2.2.1 | Spark 命令行客户端。 | 
| spark-history-server | 2.2.1 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.2.1 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.2.1 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.6 | Apache Sqoop 命令行客户端。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.7.3 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.10 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.10 | ZooKeeper 命令行客户端。 | 

## 5.11.0 配置分类
<a name="emr-5110-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.11.0 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.10.1
<a name="emr-5101-release"></a>

## 5.10.1 应用程序版本
<a name="emr-5101-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.10.1 | emr-5.10.0 | emr-5.9.1 | emr-5.9.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.221 | 1.11.221 | 1.11.183 | 1.11.183 | 
| Python | 2.7、3.4 | 2.7、3.4 | 未跟踪 | 未跟踪 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.3.2 | 1.3.2 | 1.3.2 | 1.3.2 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 
| HCatalog | 2.3.1-amzn-0 | 2.3.1-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 
| Hadoop | 2.7.3-amzn-5 | 2.7.3-amzn-5 | 2.7.3-amzn-4 | 2.7.3-amzn-4 | 
| Hive | 2.3.1-amzn-0 | 2.3.1-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 4.0.1 | 4.0.1 | 4.0.1 | 4.0.1 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub |  -  |  -  |  -  |  -  | 
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating | 
| MXNet | 0.12.0 | 0.12.0 |  -  |  -  | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 
| Phoenix | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.187 | 0.187 | 0.184 | 0.184 | 
| Spark | 2.2.0 | 2.2.0 | 2.2.0 | 2.2.0 | 
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 
| TensorFlow |  -  |  -  |  -  |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.7.3 | 0.7.3 | 0.7.2 | 0.7.2 | 
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 

## 5.10.1 发布说明
<a name="emr-5101-relnotes"></a>

这是一个补丁版本，用于为向 Amazon S3 发出的请求添加 AWS 签名版本 4 身份验证。所有应用程序和组件都与之前的 Amazon EMR 发行版相同。

**重要**  
在此版本中，Amazon EMR 仅使用 AWS 签名版本 4 来验证向 Amazon S3 发出的请求。有关更多信息，请参阅[新功能](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html)。

## 5.10.1 组件版本
<a name="emr-5101-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| emr-ddb | 4.5.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.4.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.7.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emrfs | 2.20.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.3.2 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.7.3-amzn-5 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.7.3-amzn-5 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.7.3-amzn-5 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.7.3-amzn-5 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.7.3-amzn-5 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.7.3-amzn-5 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.7.3-amzn-5 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.7.3-amzn-5 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.7.3-amzn-5 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.7.3-amzn-5 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.3.1 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.3.1 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.3.1 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.3.1 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.3.1 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.1-amzn-0 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.1-amzn-0 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.1-amzn-0 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.1-amzn-0 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.1-amzn-0 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.1-amzn-0 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.1-amzn-0 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 4.0.1 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| livy-server | 0.4.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 0.12.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| nvidia-cuda | 9.0.176 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 4.3.0 | Oozie 命令行客户端。 | 
| oozie-server | 4.3.0 | 用于接受 Oozie 工作流请求的服务。 | 
| phoenix-library | 4.11.0--1.3 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.11.0--1.3 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.187 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.187 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| spark-client | 2.2.0 | Spark 命令行客户端。 | 
| spark-history-server | 2.2.0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.2.0 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.2.0 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.6 | Apache Sqoop 命令行客户端。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.7.3 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.10 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.10 | ZooKeeper 命令行客户端。 | 

## 5.10.1 配置分类
<a name="emr-5101-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.10.1 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.10.0
<a name="emr-5100-release"></a>

## 5.10.0 应用程序版本
<a name="emr-5100-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.10.0 | emr-5.9.1 | emr-5.9.0 | emr-5.8.3 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.221 | 1.11.183 | 1.11.183 | 1.11.160 | 
| Python | 2.7、3.4 | 未跟踪 | 未跟踪 | 未跟踪 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.3.2 | 1.3.2 | 1.3.2 | 1.3.1 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 
| HCatalog | 2.3.1-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 
| Hadoop | 2.7.3-amzn-5 | 2.7.3-amzn-4 | 2.7.3-amzn-4 | 2.7.3-amzn-3 | 
| Hive | 2.3.1-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 4.0.1 | 4.0.1 | 4.0.1 | 3.12.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub |  -  |  -  |  -  |  -  | 
| Livy | 0.4.0-incubating | 0.4.0-incubating | 0.4.0-incubating |  -  | 
| MXNet | 0.12.0 |  -  |  -  |  -  | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 
| Phoenix | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.16.0-amzn-1 | 
| Presto | 0.187 | 0.184 | 0.184 | 0.170 | 
| Spark | 2.2.0 | 2.2.0 | 2.2.0 | 2.2.0 | 
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 
| TensorFlow |  -  |  -  |  -  |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.7.3 | 0.7.2 | 0.7.2 | 0.7.2 | 
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 

## 5.10.0 发布说明
<a name="emr-5100-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.10.0 的信息。更改与 Amazon EMR 5.9.0 发行版有关。

**升级**
+ 适用于 Java 的 AWS SDK 1.11.221
+ Hive 2.3.1
+ Presto 0.187

**新特征**
+ 添加了对 Kerberos 身份验证的支持。有关更多信息，请参阅《Amazon EMR 管理指南》**中的[使用 Kerberos 身份验证](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-kerberos.html)。
+ 添加了对适用于 EMRFS 的 IAM 角色的支持。有关更多信息，请参阅《Amazon EMR 管理指南》**中的[为处理 EMRFS 对 Amazon S3 的请求配置 IAM 角色](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-emrfs-iam-role.html)。
+ 添加了对基于 GPU 的 P2 和 P3 实例类型的支持。有关更多信息，请参阅 [Amazon EC2 P2 实例](https://aws.amazon.com/ec2/instance-types/p2/)和 [Amazon EC2 P3 实例](https://aws.amazon.com/ec2/instance-types/p3/)。NVIDIA 驱动程序 384.81 和 CUDA 驱动程序 9.0.176 默认安装在这些实例类型上。
+ 增加了对 [Apache MXNet](emr-mxnet.md) 的支持。

**更改、增强功能和解决的问题**
+ ：Presto
  + 增加了对使用 Glue 数据 AWS 目录作为默认 Hive 元数据仓的支持。有关更多信息，请参阅将 [Presto 与 AWS Glue 数据目录配合使用](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-presto.html#emr-presto-glue)。
  + 添加了对[地理空间函数](https://prestodb.io/docs/current/functions/geospatial.html)的支持。
  + 为联接添加了[溢出到磁盘](https://prestodb.io/docs/current/admin/spill.html)支持。
  + 添加了对 [Redshift 连接器](https://prestodb.io/docs/current/connector/redshift.html)的支持。
+ Spark
  + 已逆向移植 [SPARK-20640](https://issues.apache.org/jira/browse/SPARK-20640)，这使随机注册的 rpc 超时值和重试次数值可使用 `spark.shuffle.registration.timeout` 和 `spark.shuffle.registration.maxAttempts` 属性进行配置。
  + 向后移植[的 SPARK-21549](https://issues.apache.org/jira/browse/SPARK-21549)，它更正了将自定义内容写入非 HDFS 位置时发生 OutputFormat 的错误。
+ 已逆向移植 [Hadoop 13270](https://issues.apache.org/jira/browse/HADOOP-13270)
+ 从基本 Amazon EMR AMI 中删除了 Numpy、Scipy 和 Matplotlib 库。如果您的应用程序需要这些库，应用程序存储库中提供了它们，因此您可以通过引导操作使用 `yum install` 在所有节点上安装它们。
+ Amazon EMR 基本 AMI 不再包含应用程序 RPM 软件包，因此集群节点上不再存在 RPM 软件包。Custom AMIs 和 Amazon EMR 基本 AMI 现在引用了 Amazon S3 中的 RPM 包存储库。
+ 因为 Amazon EC2 中引入了按秒计费，默认的 **Scale down behavior (缩减行为)** 现在为 **Terminate at task completion (在任务完成时终止)** 而非 **Terminate at instance hour (在实例小时边界终止)**。有关更多信息，请参阅[配置集群缩减](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-scaledown-behavior.html)。

**已知问题**
+ MXNet 不包括 OpenCV 库。
+ 默认情况下，Hive 2.3.1 设置 `hive.compute.query.using.stats=true`。这会导致查询从现有统计数据而不是直接从数据中获取数据，这可能会造成混淆。例如，如果您有一个包含 `hive.compute.query.using.stats=true` 的表并且将新文件上载到表 `LOCATION`，则在该表上运行 `SELECT COUNT(*)` 查询会返回来自统计数据的计数，而不是选择已添加的行。

  作为解决方法，请使用 `ANALYZE TABLE` 命令收集新的统计数据，或者设置 `hive.compute.query.using.stats=false`。有关更多信息，请参阅 Apache Hive 文档中的 [Hive 中的统计数据](https://cwiki.apache.org/confluence/display/Hive/StatsDev#StatsDev-StatisticsinHive)。

## 5.10.0 组件版本
<a name="emr-5100-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| emr-ddb | 4.5.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.4.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.7.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emrfs | 2.20.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.3.2 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.7.3-amzn-5 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.7.3-amzn-5 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.7.3-amzn-5 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.7.3-amzn-5 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.7.3-amzn-5 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.7.3-amzn-5 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.7.3-amzn-5 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.7.3-amzn-5 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.7.3-amzn-5 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.7.3-amzn-5 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.3.1 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.3.1 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.3.1 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.3.1 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.3.1 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.1-amzn-0 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.1-amzn-0 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.1-amzn-0 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.1-amzn-0 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.1-amzn-0 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.1-amzn-0 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.1-amzn-0 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 4.0.1 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| livy-server | 0.4.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mxnet | 0.12.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| nvidia-cuda | 9.0.176 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 4.3.0 | Oozie 命令行客户端。 | 
| oozie-server | 4.3.0 | 用于接受 Oozie 工作流请求的服务。 | 
| phoenix-library | 4.11.0--1.3 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.11.0--1.3 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.187 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.187 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| spark-client | 2.2.0 | Spark 命令行客户端。 | 
| spark-history-server | 2.2.0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.2.0 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.2.0 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.6 | Apache Sqoop 命令行客户端。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.7.3 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.10 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.10 | ZooKeeper 命令行客户端。 | 

## 5.10.0 配置分类
<a name="emr-5100-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.10.0 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.9.1
<a name="emr-591-release"></a>

## 5.9.1 应用程序版本
<a name="emr-591-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.9.1 | emr-5.9.0 | emr-5.8.3 | emr-5.8.2 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.183 | 1.11.183 | 1.11.160 | 1.11.160 | 
| Python | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.3.2 | 1.3.2 | 1.3.1 | 1.3.1 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 
| HCatalog | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 
| Hadoop | 2.7.3-amzn-4 | 2.7.3-amzn-4 | 2.7.3-amzn-3 | 2.7.3-amzn-3 | 
| Hive | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 4.0.1 | 4.0.1 | 3.12.0 | 3.12.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub |  -  |  -  |  -  |  -  | 
| Livy | 0.4.0-incubating | 0.4.0-incubating |  -  |  -  | 
| MXNet |  -  |  -  |  -  |  -  | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 
| Phoenix | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.16.0-amzn-1 | 0.16.0-amzn-1 | 
| Presto | 0.184 | 0.184 | 0.170 | 0.170 | 
| Spark | 2.2.0 | 2.2.0 | 2.2.0 | 2.2.0 | 
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 
| TensorFlow |  -  |  -  |  -  |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.7.2 | 0.7.2 | 0.7.2 | 0.7.2 | 
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 

## 5.9.1 发布说明
<a name="emr-591-relnotes"></a>

这是一个补丁版本，用于为向 Amazon S3 发出的请求添加 AWS 签名版本 4 身份验证。所有应用程序和组件都与之前的 Amazon EMR 发行版相同。

**重要**  
在此版本中，Amazon EMR 仅使用 AWS 签名版本 4 来验证向 Amazon S3 发出的请求。有关更多信息，请参阅[新功能](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html)。

## 5.9.1 组件版本
<a name="emr-591-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| emr-ddb | 4.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.4.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.7.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emrfs | 2.19.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.3.2 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.7.3-amzn-4 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.7.3-amzn-4 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.7.3-amzn-4 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.7.3-amzn-4 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.7.3-amzn-4 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.7.3-amzn-4 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.7.3-amzn-4 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.7.3-amzn-4 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.7.3-amzn-4 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.7.3-amzn-4 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.3.1 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.3.1 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.3.1 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.3.1 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.3.1 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.0-amzn-0 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.0-amzn-0 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.0-amzn-0 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.0-amzn-0 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.0-amzn-0 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.0-amzn-0 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.0-amzn-0 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 4.0.1 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| livy-server | 0.4.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| oozie-client | 4.3.0 | Oozie 命令行客户端。 | 
| oozie-server | 4.3.0 | 用于接受 Oozie 工作流请求的服务。 | 
| phoenix-library | 4.11.0--1.3 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.11.0--1.3 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.184 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.184 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| spark-client | 2.2.0 | Spark 命令行客户端。 | 
| spark-history-server | 2.2.0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.2.0 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.2.0 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.6 | Apache Sqoop 命令行客户端。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.7.2 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.10 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.10 | ZooKeeper 命令行客户端。 | 

## 5.9.1 配置分类
<a name="emr-591-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.9.1 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 hbase-site.xml 文件 HBase中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 ZooKeeper的 zoo.cfg 文件中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.9.0
<a name="emr-590-release"></a>

## 5.9.0 应用程序版本
<a name="emr-590-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.9.0 | emr-5.8.3 | emr-5.8.2 | emr-5.8.1 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.183 | 1.11.160 | 1.11.160 | 1.11.160 | 
| Python | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.3.2 | 1.3.1 | 1.3.1 | 1.3.1 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 
| HCatalog | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 
| Hadoop | 2.7.3-amzn-4 | 2.7.3-amzn-3 | 2.7.3-amzn-3 | 2.7.3-amzn-3 | 
| Hive | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 4.0.1 | 3.12.0 | 3.12.0 | 3.12.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub |  -  |  -  |  -  |  -  | 
| Livy | 0.4.0-incubating |  -  |  -  |  -  | 
| MXNet |  -  |  -  |  -  |  -  | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 
| Phoenix | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 
| Pig | 0.17.0 | 0.16.0-amzn-1 | 0.16.0-amzn-1 | 0.16.0-amzn-1 | 
| Presto | 0.184 | 0.170 | 0.170 | 0.170 | 
| Spark | 2.2.0 | 2.2.0 | 2.2.0 | 2.2.0 | 
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 
| TensorFlow |  -  |  -  |  -  |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.7.2 | 0.7.2 | 0.7.2 | 0.7.2 | 
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 

## 5.9.0 发布说明
<a name="emr-590-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.9.0 的信息。更改与 Amazon EMR 5.8.0 发行版有关。

发布日期：2017 年 10 月 5 日

最近功能更新时间：2017 年 10 月 12 日

**升级**
+ 适用于 Java 的 AWS SDK 版本 1.11.183
+ Flink 1.3.2
+ Hue 4.0.1
+ Pig 0.17.0
+ Presto 0.184

**新特征**
+ 添加了 Livy 支持 (0.4.0-incubating 版)。有关更多信息，请参阅[Apache Livy](emr-livy.md)。
+ 添加了对 Hue Notebook for Spark 的支持。
+ 添加了对 i3 系列 Amazon EC2 实例的支持 (2017 年 10 月 12 日)。

**更改、增强功能和解决的问题**
+ Spark
  + 添加了一组新功能，有助于确保 Spark 能够更为正常地处理因手动调整大小或自动扩展策略请求导致的节点终止。有关更多信息，请参阅[配置节点停用行为](emr-spark-configure.md#spark-decommissioning)。
  + 使用 SSL 取代 3DES 为数据块传输服务提供 in-transit 加密，可在使用带 AES-NI 的 Amazon EC2 实例类型时增强性能。
  + 已逆向移植 [SPARK-21494](https://issues.apache.org/jira/browse/SPARK-21494)。
+ Zeppelin
  + 已逆向移植 [ZEPPELIN-2377](https://issues.apache.org/jira/browse/ZEPPELIN-2377)。
+ HBase
  + 添加了 [HBASE-18533](https://issues.apache.org/jira/browse/HBASE-18533) 补丁，该补丁允许使用 HBase BucketCache 配置分类进行更多`hbase-site`配置值。
+ Hue
  + 为 H AWS ue 中的 Hive 查询编辑器添加了 Glue 数据目录支持。
  + 默认情况下，Hue 中的超级用户可以访问允许 Amazon EMR IAM 角色访问的所有文件。新建用户不会自动拥有对 Amazon S3 filebrowser 的访问权限，并且必须为其组启用 `filebrowser.s3_access` 权限。
+ 解决了导致无法访问使用 AWS Glue 数据目录创建的底层 JSON 数据的问题。

**已知问题**
+ 当安装了所有应用程序且未更改默认 Amazon EBS 根卷大小时，集群启动会失败。要解决这个问题，请使用中的`aws emr create-cluster`命令 AWS CLI 并指定一个更大的`--ebs-root-volume-size`参数。
+ 默认情况下，Hive 2.3.0 设置 `hive.compute.query.using.stats=true`。这会导致查询从现有统计数据而不是直接从数据中获取数据，这可能会造成混淆。例如，如果您有一个包含 `hive.compute.query.using.stats=true` 的表并且将新文件上载到表 `LOCATION`，则在该表上运行 `SELECT COUNT(*)` 查询会返回来自统计数据的计数，而不是选择已添加的行。

  作为解决方法，请使用 `ANALYZE TABLE` 命令收集新的统计数据，或者设置 `hive.compute.query.using.stats=false`。有关更多信息，请参阅 Apache Hive 文档中的 [Hive 中的统计数据](https://cwiki.apache.org/confluence/display/Hive/StatsDev#StatsDev-StatisticsinHive)。

## 5.9.0 组件版本
<a name="emr-590-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| emr-ddb | 4.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.4.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.7.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emrfs | 2.19.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.3.2 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.7.3-amzn-4 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.7.3-amzn-4 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.7.3-amzn-4 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.7.3-amzn-4 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.7.3-amzn-4 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.7.3-amzn-4 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.7.3-amzn-4 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.7.3-amzn-4 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.7.3-amzn-4 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.7.3-amzn-4 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.3.1 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.3.1 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.3.1 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.3.1 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.3.1 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.0-amzn-0 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.0-amzn-0 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.0-amzn-0 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.0-amzn-0 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.0-amzn-0 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.0-amzn-0 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.0-amzn-0 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 4.0.1 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| livy-server | 0.4.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| oozie-client | 4.3.0 | Oozie 命令行客户端。 | 
| oozie-server | 4.3.0 | 用于接受 Oozie 工作流请求的服务。 | 
| phoenix-library | 4.11.0--1.3 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.11.0--1.3 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.184 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.184 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| spark-client | 2.2.0 | Spark 命令行客户端。 | 
| spark-history-server | 2.2.0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.2.0 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.2.0 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.6 | Apache Sqoop 命令行客户端。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.7.2 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.10 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.10 | ZooKeeper 命令行客户端。 | 

## 5.9.0 配置分类
<a name="emr-590-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.9.0 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 hbase-site.xml 文件 HBase中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 ZooKeeper的 zoo.cfg 文件中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.8.3
<a name="emr-583-release"></a>

## 5.8.3 应用程序版本
<a name="emr-583-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.8.3 | emr-5.8.2 | emr-5.8.1 | emr-5.8.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.160 | 1.11.160 | 1.11.160 | 1.11.160 | 
| Python | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 
| HCatalog | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 
| Hadoop | 2.7.3-amzn-3 | 2.7.3-amzn-3 | 2.7.3-amzn-3 | 2.7.3-amzn-3 | 
| Hive | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub |  -  |  -  |  -  |  -  | 
| Livy |  -  |  -  |  -  |  -  | 
| MXNet |  -  |  -  |  -  |  -  | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 
| Phoenix | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 
| Pig | 0.16.0-amzn-1 | 0.16.0-amzn-1 | 0.16.0-amzn-1 | 0.16.0-amzn-1 | 
| Presto | 0.170 | 0.170 | 0.170 | 0.170 | 
| Spark | 2.2.0 | 2.2.0 | 2.2.0 | 2.2.0 | 
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 
| TensorFlow |  -  |  -  |  -  |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.7.2 | 0.7.2 | 0.7.2 | 0.7.2 | 
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 

## 5.8.3 发布说明
<a name="emr-583-relnotes"></a>

这是一个补丁版本，用于为向 Amazon S3 发出的请求添加 AWS 签名版本 4 身份验证。所有应用程序和组件都与之前的 Amazon EMR 发行版相同。

**重要**  
在此版本中，Amazon EMR 仅使用 AWS 签名版本 4 来验证向 Amazon S3 发出的请求。有关更多信息，请参阅[新功能](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html)。

## 5.8.3 组件版本
<a name="emr-583-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| emr-ddb | 4.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.4.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.6.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emrfs | 2.18.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.3.1 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.7.3-amzn-3 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.7.3-amzn-3 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.7.3-amzn-3 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.7.3-amzn-3 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.7.3-amzn-3 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.7.3-amzn-3 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.7.3-amzn-3 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.7.3-amzn-3 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.7.3-amzn-3 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.7.3-amzn-3 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.3.1 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.3.1 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.3.1 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.3.1 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.3.1 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.0-amzn-0 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.0-amzn-0 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.0-amzn-0 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.0-amzn-0 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.0-amzn-0 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.0-amzn-0 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.0-amzn-0 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 3.12.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| oozie-client | 4.3.0 | Oozie 命令行客户端。 | 
| oozie-server | 4.3.0 | 用于接受 Oozie 工作流请求的服务。 | 
| phoenix-library | 4.11.0--1.3 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.11.0--1.3 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.170 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.170 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.16.0-amzn-1 | Pig 命令行客户端。 | 
| spark-client | 2.2.0 | Spark 命令行客户端。 | 
| spark-history-server | 2.2.0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.2.0 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.2.0 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.6 | Apache Sqoop 命令行客户端。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.7.2 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.10 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.10 | ZooKeeper 命令行客户端。 | 

## 5.8.3 配置分类
<a name="emr-583-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.8.3 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 hbase-site.xml 文件 HBase中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 ZooKeeper的 zoo.cfg 文件中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.8.2
<a name="emr-582-release"></a>

## 5.8.2 应用程序版本
<a name="emr-582-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.8.2 | emr-5.8.1 | emr-5.8.0 | emr-5.7.1 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.160 | 1.11.160 | 1.11.160 | 1.10.75 | 
| Python | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 
| HCatalog | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.1.1-amzn-0 | 
| Hadoop | 2.7.3-amzn-3 | 2.7.3-amzn-3 | 2.7.3-amzn-3 | 2.7.3-amzn-2 | 
| Hive | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.1.1-amzn-0 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub |  -  |  -  |  -  |  -  | 
| Livy |  -  |  -  |  -  |  -  | 
| MXNet |  -  |  -  |  -  |  -  | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 
| Phoenix | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 
| Pig | 0.16.0-amzn-1 | 0.16.0-amzn-1 | 0.16.0-amzn-1 | 0.16.0-amzn-0 | 
| Presto | 0.170 | 0.170 | 0.170 | 0.170 | 
| Spark | 2.2.0 | 2.2.0 | 2.2.0 | 2.1.1 | 
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 
| TensorFlow |  -  |  -  |  -  |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.7.2 | 0.7.2 | 0.7.2 | 0.7.2 | 
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 

## 5.8.2 发布说明
<a name="emr-582-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.8.2 的信息。更改与 5.8.1 有关。

首次发布日期：2018 年 3 月 29 日

**更改、增强功能和解决的问题**
+ 更新了 Amazon EMR 的默认 Amazon Linux AMI 的 Amazon Linux 内核，解决了潜在漏洞。

## 5.8.2 组件版本
<a name="emr-582-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| emr-ddb | 4.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.4.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.6.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emrfs | 2.18.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.3.1 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.7.3-amzn-3 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.7.3-amzn-3 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.7.3-amzn-3 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.7.3-amzn-3 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.7.3-amzn-3 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.7.3-amzn-3 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.7.3-amzn-3 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.7.3-amzn-3 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.7.3-amzn-3 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.7.3-amzn-3 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.3.1 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.3.1 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.3.1 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.3.1 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.3.1 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.0-amzn-0 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.0-amzn-0 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.0-amzn-0 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.0-amzn-0 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.0-amzn-0 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.0-amzn-0 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.0-amzn-0 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 3.12.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| oozie-client | 4.3.0 | Oozie 命令行客户端。 | 
| oozie-server | 4.3.0 | 用于接受 Oozie 工作流请求的服务。 | 
| phoenix-library | 4.11.0--1.3 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.11.0--1.3 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.170 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.170 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.16.0-amzn-1 | Pig 命令行客户端。 | 
| spark-client | 2.2.0 | Spark 命令行客户端。 | 
| spark-history-server | 2.2.0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.2.0 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.2.0 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.6 | Apache Sqoop 命令行客户端。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.7.2 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.10 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.10 | ZooKeeper 命令行客户端。 | 

## 5.8.2 配置分类
<a name="emr-582-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.8.2 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 hbase-site.xml 文件 HBase中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 ZooKeeper的 zoo.cfg 文件中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.8.1
<a name="emr-581-release"></a>

## 5.8.1 应用程序版本
<a name="emr-581-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.8.1 | emr-5.8.0 | emr-5.7.1 | emr-5.7.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.160 | 1.11.160 | 1.10.75 | 1.10.75 | 
| Python | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.3.1 | 1.3.1 | 1.3.0 | 1.3.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.1 | 
| HCatalog | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 
| Hadoop | 2.7.3-amzn-3 | 2.7.3-amzn-3 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 
| Hive | 2.3.0-amzn-0 | 2.3.0-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub |  -  |  -  |  -  |  -  | 
| Livy |  -  |  -  |  -  |  -  | 
| MXNet |  -  |  -  |  -  |  -  | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 
| Phoenix | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 
| Pig | 0.16.0-amzn-1 | 0.16.0-amzn-1 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 
| Presto | 0.170 | 0.170 | 0.170 | 0.170 | 
| Spark | 2.2.0 | 2.2.0 | 2.1.1 | 2.1.1 | 
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 
| TensorFlow |  -  |  -  |  -  |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.7.2 | 0.7.2 | 0.7.2 | 0.7.2 | 
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 

## 5.8.1 发布说明
<a name="emr-581-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.8.1 的信息。更改与 Amazon EMR 5.8.0 发行版有关。

首次发布日期：2018 年 1 月 22 日

**更改、增强功能和解决的问题**
+ 更新了 Amazon EMR 的默认 Amazon Linux AMI 的 Amazon Linux 内核，解决了与推测执行相关的漏洞（CVE-2017-5715、CVE-2017-5753 和 CVE-2017-5754）。有关更多信息，请参阅 [https://aws.amazon.com/security/security-bulletins/AWS-2018-013/](https://aws.amazon.com/security/security-bulletins/AWS-2018-013/)。

## 5.8.1 组件版本
<a name="emr-581-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| emr-ddb | 4.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.4.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.6.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emrfs | 2.18.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.3.1 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.7.3-amzn-3 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.7.3-amzn-3 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.7.3-amzn-3 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.7.3-amzn-3 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.7.3-amzn-3 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.7.3-amzn-3 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.7.3-amzn-3 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.7.3-amzn-3 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.7.3-amzn-3 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.7.3-amzn-3 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.3.1 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.3.1 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.3.1 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.3.1 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.3.1 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.0-amzn-0 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.0-amzn-0 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.0-amzn-0 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.0-amzn-0 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.0-amzn-0 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.0-amzn-0 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.0-amzn-0 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 3.12.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| oozie-client | 4.3.0 | Oozie 命令行客户端。 | 
| oozie-server | 4.3.0 | 用于接受 Oozie 工作流请求的服务。 | 
| phoenix-library | 4.11.0--1.3 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.11.0--1.3 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.170 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.170 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.16.0-amzn-1 | Pig 命令行客户端。 | 
| spark-client | 2.2.0 | Spark 命令行客户端。 | 
| spark-history-server | 2.2.0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.2.0 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.2.0 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.6 | Apache Sqoop 命令行客户端。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.7.2 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.10 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.10 | ZooKeeper 命令行客户端。 | 

## 5.8.1 配置分类
<a name="emr-581-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.8.1 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 hbase-site.xml 文件 HBase中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 ZooKeeper的 zoo.cfg 文件中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.8.0
<a name="emr-580-release"></a>

## 5.8.0 应用程序版本
<a name="emr-580-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.8.0 | emr-5.7.1 | emr-5.7.0 | emr-5.6.1 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.160 | 1.10.75 | 1.10.75 | 1.10.75 | 
| Python | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.3.1 | 1.3.0 | 1.3.0 | 1.2.1 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.3.1 | 1.3.1 | 1.3.1 | 1.3.0 | 
| HCatalog | 2.3.0-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 
| Hadoop | 2.7.3-amzn-3 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 
| Hive | 2.3.0-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub |  -  |  -  |  -  |  -  | 
| Livy |  -  |  -  |  -  |  -  | 
| MXNet |  -  |  -  |  -  |  -  | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 
| Phoenix | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 4.9.0--1.2 HBase | 
| Pig | 0.16.0-amzn-1 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 
| Presto | 0.170 | 0.170 | 0.170 | 0.170 | 
| Spark | 2.2.0 | 2.1.1 | 2.1.1 | 2.1.1 | 
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 
| TensorFlow |  -  |  -  |  -  |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.7.2 | 0.7.2 | 0.7.2 | 0.7.1 | 
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 

## 5.8.0 发布说明
<a name="emr-580-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.8.0 的信息。更改与 Amazon EMR 5.7.0 发行版有关。

首次发布日期：2017 年 8 月 10 日

最近功能更新时间：2017 年 9 月 25 日

**升级**
+ AWS SDK 1.11.160
+ Flink 1.3.1
+ Hive 2.3.0。有关更多信息，请参阅 Apache Hive 站点上的[发布说明](https://issues.apache.org/jira/secure/ConfigureReleaseNote.jspa?projectId=12310843&version=12340269)。
+ Spark 2.2.0。有关更多信息，请参阅 Apache Spark 站点上的[发布说明](https://spark.apache.org/releases/spark-release-2-2-0.html)。

**新特征**
+ 添加了对查看应用程序历史记录的支持 (2017 年 9 月 25 日)。有关更多信息，请参阅《Amazon EMR 管理指南》**中的[查看应用程序历史记录](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-cluster-application-history.html)。

**更改、增强功能和解决的问题**
+ **与 AWS Glue 数据目录集成**
  + 添加了 Hive 和 Spark SQL 使用 AWS Glue 数据目录作为 Hive 元数据存储的功能。有关更多信息，请参阅[使用 AWS Glue 数据目录作为 Hive 的元数据库](emr-hive-metastore-glue.md)和[在亚马逊 EMR 上使用 AWS Glue 数据目录和 Spark](emr-spark-glue.md)。
+ 已向集群详细信息添加 **Application history (应用程序历史记录)**，这可让您查看 YARN 应用程序的历史数据以及 Spark 应用程序的其它详细信息。有关更多信息，请参阅《Amazon EMR 管理指南》**中的[查看应用程序历史记录](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-cluster-application-history.html)。
+ **Oozie**
  + 已逆向移植 [OOZIE-2748](https://issues.apache.org/jira/browse/OOZIE-2748)。
+ **Hue**
  + 已逆向移植 [HUE-5859](https://issues.cloudera.org/browse/HUE-5859)
+ **HBase**
  + 添加了用于通过 Java 管理扩展 (JMX) 公开 HBase 主服务器启动时间的补丁。`getMasterInitializedTime`
  + 添加了改进集群启动时间的补丁。

**已知问题**
+ 当安装了所有应用程序且未更改默认 Amazon EBS 根卷大小时，集群启动会失败。要解决这个问题，请使用中的`aws emr create-cluster`命令 AWS CLI 并指定一个更大的`--ebs-root-volume-size`参数。
+ 默认情况下，Hive 2.3.0 设置 `hive.compute.query.using.stats=true`。这会导致查询从现有统计数据而不是直接从数据中获取数据，这可能会造成混淆。例如，如果您有一个包含 `hive.compute.query.using.stats=true` 的表并且将新文件上载到表 `LOCATION`，则在该表上运行 `SELECT COUNT(*)` 查询会返回来自统计数据的计数，而不是选择已添加的行。

  作为解决方法，请使用 `ANALYZE TABLE` 命令收集新的统计数据，或者设置 `hive.compute.query.using.stats=false`。有关更多信息，请参阅 Apache Hive 文档中的 [Hive 中的统计数据](https://cwiki.apache.org/confluence/display/Hive/StatsDev#StatsDev-StatisticsinHive)。
+ **Spark**：在使用 Spark 时，apppusher 进程守护程序存在文件处理程序泄漏问题，长时间运行的 Spark 任务在几个小时或几天后可能会出现此情况。要解决此问题，请连接到主节点并键入 `sudo /etc/init.d/apppusher stop`。这将停止 apppusher 进程守护程序，而 Amazon EMR 将自动重新启动它。
+ **应用程序历史记录**
  + 死 Spark 执行程序的历史数据不可用。
  + 应用程序历史记录对使用安全配置来启用传输中加密的集群不可用。

## 5.8.0 组件版本
<a name="emr-580-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| emr-ddb | 4.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.4.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.4.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.6.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emrfs | 2.18.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.3.1 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.7.3-amzn-3 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.7.3-amzn-3 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.7.3-amzn-3 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.7.3-amzn-3 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.7.3-amzn-3 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.7.3-amzn-3 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.7.3-amzn-3 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.7.3-amzn-3 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.7.3-amzn-3 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.7.3-amzn-3 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.3.1 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.3.1 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.3.1 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.3.1 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.3.1 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.3.0-amzn-0 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.3.0-amzn-0 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.3.0-amzn-0 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.3.0-amzn-0 | Hive 命令行客户端。 | 
| hive-hbase | 2.3.0-amzn-0 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.3.0-amzn-0 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.3.0-amzn-0 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 3.12.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| oozie-client | 4.3.0 | Oozie 命令行客户端。 | 
| oozie-server | 4.3.0 | 用于接受 Oozie 工作流请求的服务。 | 
| phoenix-library | 4.11.0--1.3 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.11.0--1.3 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.170 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.170 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.16.0-amzn-1 | Pig 命令行客户端。 | 
| spark-client | 2.2.0 | Spark 命令行客户端。 | 
| spark-history-server | 2.2.0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.2.0 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.2.0 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.6 | Apache Sqoop 命令行客户端。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.7.2 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.10 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.10 | ZooKeeper 命令行客户端。 | 

## 5.8.0 配置分类
<a name="emr-580-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.8.0 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 ZooKeeper的 zoo.cfg 文件中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.7.1
<a name="emr-571-release"></a>

## 5.7.1 应用程序版本
<a name="emr-571-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.7.1 | emr-5.7.0 | emr-5.6.1 | emr-5.6.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 
| Python | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.3.0 | 1.3.0 | 1.2.1 | 1.2.1 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.3.1 | 1.3.1 | 1.3.0 | 1.3.0 | 
| HCatalog | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 
| Hadoop | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 
| Hive | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub |  -  |  -  |  -  |  -  | 
| Livy |  -  |  -  |  -  |  -  | 
| MXNet |  -  |  -  |  -  |  -  | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 | 
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 
| Phoenix | 4.11.0--1.3 HBase | 4.11.0--1.3 HBase | 4.9.0--1.2 HBase | 4.9.0--1.2 HBase | 
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 
| Presto | 0.170 | 0.170 | 0.170 | 0.170 | 
| Spark | 2.1.1 | 2.1.1 | 2.1.1 | 2.1.1 | 
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 
| TensorFlow |  -  |  -  |  -  |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.7.2 | 0.7.2 | 0.7.1 | 0.7.1 | 
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 

## 5.7.1 发布说明
<a name="emr-571-relnotes"></a>

这是一个补丁版本，用于为向 Amazon S3 发出的请求添加 AWS 签名版本 4 身份验证。所有应用程序和组件都与之前的 Amazon EMR 发行版相同。

**重要**  
在此版本中，Amazon EMR 仅使用 AWS 签名版本 4 来验证向 Amazon S3 发出的请求。有关更多信息，请参阅[新功能](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html)。

## 5.7.1 组件版本
<a name="emr-571-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| emr-ddb | 4.3.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.3.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.3.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.5.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emrfs | 2.18.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.3.0 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.7.3-amzn-2 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.7.3-amzn-2 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.7.3-amzn-2 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.7.3-amzn-2 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.7.3-amzn-2 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.7.3-amzn-2 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.7.3-amzn-2 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.7.3-amzn-2 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.7.3-amzn-2 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.7.3-amzn-2 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.3.1 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.3.1 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.3.1 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.3.1 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.3.1 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.1.1-amzn-0 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.1.1-amzn-0 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.1.1-amzn-0 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.1.1-amzn-0 | Hive 命令行客户端。 | 
| hive-hbase | 2.1.1-amzn-0 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.1.1-amzn-0 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.1.1-amzn-0 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 3.12.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| oozie-client | 4.3.0 | Oozie 命令行客户端。 | 
| oozie-server | 4.3.0 | 用于接受 Oozie 工作流请求的服务。 | 
| phoenix-library | 4.11.0--1.3 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.11.0--1.3 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.170 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.170 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.16.0-amzn-0 | Pig 命令行客户端。 | 
| spark-client | 2.1.1 | Spark 命令行客户端。 | 
| spark-history-server | 2.1.1 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.1.1 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.1.1 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.6 | Apache Sqoop 命令行客户端。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.7.2 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.10 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.10 | ZooKeeper 命令行客户端。 | 

## 5.7.1 配置分类
<a name="emr-571-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.7.1 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 ZooKeeper的 zoo.cfg 文件中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.7.0
<a name="emr-570-release"></a>

## 5.7.0 应用程序版本
<a name="emr-570-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.7.0 | emr-5.6.1 | emr-5.6.0 | emr-5.5.4 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 
| Python | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.3.0 | 1.2.1 | 1.2.1 | 1.2.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.3.1 | 1.3.0 | 1.3.0 | 1.3.0 | 
| HCatalog | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 
| Hadoop | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 
| Hive | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub |  -  |  -  |  -  |  -  | 
| Livy |  -  |  -  |  -  |  -  | 
| MXNet |  -  |  -  |  -  |  -  | 
| Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.12.2 | 
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 
| Phoenix | 4.11.0--1.3 HBase | 4.9.0--1.2 HBase | 4.9.0--1.2 HBase | 4.9.0--1.2 HBase | 
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 
| Presto | 0.170 | 0.170 | 0.170 | 0.170 | 
| Spark | 2.1.1 | 2.1.1 | 2.1.1 | 2.1.0 | 
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 
| TensorFlow |  -  |  -  |  -  |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.7.2 | 0.7.1 | 0.7.1 | 0.7.1 | 
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 

## 5.7.0 发布说明
<a name="emr-570-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.7.0 的信息。更改与 Amazon EMR 5.6.0 发行版有关。

发布日期：2017 年 7 月 13 日

**升级**
+ Flink 1.3.0
+ Phoenix 4.11.0
+ Zeppelin 0.7.2

**新特征**
+ 添加了创建集群时指定自定义 Amazon Linux AMI 的功能。有关更多信息，请参阅[使用自定义 AMI](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-custom-ami.html)。

**更改、增强功能和解决的问题**
+ **HBase**
  + 增加了配置 HBase 只读副本集群的功能。请参阅[使用只读副本集群](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hbase-s3.html#emr-hbase-s3-read-replica)。
  + 多个错误修复和增强功能
+ **Presto**：添加了配置 `node.properties` 的功能。
+ **YARN**：添加了配置 `container-log4j.properties` 的功能
+ **Sqoop**：已逆向移植 [SQOOP-2880](https://issues.apache.org/jira/browse/SQOOP-2880)，这将引入一个允许您设置 Sqoop 临时目录的参数。

## 5.7.0 组件版本
<a name="emr-570-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| emr-ddb | 4.3.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.3.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.3.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.5.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emrfs | 2.18.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.3.0 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.7.3-amzn-2 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.7.3-amzn-2 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.7.3-amzn-2 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.7.3-amzn-2 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.7.3-amzn-2 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.7.3-amzn-2 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.7.3-amzn-2 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.7.3-amzn-2 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.7.3-amzn-2 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.7.3-amzn-2 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.3.1 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.3.1 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.3.1 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.3.1 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.3.1 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.1.1-amzn-0 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.1.1-amzn-0 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.1.1-amzn-0 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.1.1-amzn-0 | Hive 命令行客户端。 | 
| hive-hbase | 2.1.1-amzn-0 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.1.1-amzn-0 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.1.1-amzn-0 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 3.12.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| oozie-client | 4.3.0 | Oozie 命令行客户端。 | 
| oozie-server | 4.3.0 | 用于接受 Oozie 工作流请求的服务。 | 
| phoenix-library | 4.11.0--1.3 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.11.0--1.3 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.170 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.170 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.16.0-amzn-0 | Pig 命令行客户端。 | 
| spark-client | 2.1.1 | Spark 命令行客户端。 | 
| spark-history-server | 2.1.1 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.1.1 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.1.1 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.6 | Apache Sqoop 命令行客户端。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.7.2 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.10 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.10 | ZooKeeper 命令行客户端。 | 

## 5.7.0 配置分类
<a name="emr-570-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.7.0 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 ZooKeeper的 zoo.cfg 文件中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.6.1
<a name="emr-561-release"></a>

## 5.6.1 应用程序版本
<a name="emr-561-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.6.1 | emr-5.6.0 | emr-5.5.4 | emr-5.5.3 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 
| Python | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.2.1 | 1.2.1 | 1.2.0 | 1.2.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.3.0 | 1.3.0 | 1.3.0 | 1.3.0 | 
| HCatalog | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 
| Hadoop | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 
| Hive | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub |  -  |  -  |  -  |  -  | 
| Livy |  -  |  -  |  -  |  -  | 
| MXNet |  -  |  -  |  -  |  -  | 
| Mahout | 0.13.0 | 0.13.0 | 0.12.2 | 0.12.2 | 
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 
| Phoenix | 4.9.0--1.2 HBase | 4.9.0--1.2 HBase | 4.9.0--1.2 HBase | 4.9.0--1.2 HBase | 
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 
| Presto | 0.170 | 0.170 | 0.170 | 0.170 | 
| Spark | 2.1.1 | 2.1.1 | 2.1.0 | 2.1.0 | 
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 
| TensorFlow |  -  |  -  |  -  |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.7.1 | 0.7.1 | 0.7.1 | 0.7.1 | 
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 

## 5.6.1 发布说明
<a name="emr-561-relnotes"></a>

这是一个补丁版本，用于为向 Amazon S3 发出的请求添加 AWS 签名版本 4 身份验证。所有应用程序和组件都与之前的 Amazon EMR 发行版相同。

**重要**  
在此版本中，Amazon EMR 仅使用 AWS 签名版本 4 来验证向 Amazon S3 发出的请求。有关更多信息，请参阅[新功能](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html)。

## 5.6.1 组件版本
<a name="emr-561-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| emr-ddb | 4.3.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.3.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.3.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.5.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emrfs | 2.17.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.2.1 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.7.3-amzn-2 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.7.3-amzn-2 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.7.3-amzn-2 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.7.3-amzn-2 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.7.3-amzn-2 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.7.3-amzn-2 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.7.3-amzn-2 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.7.3-amzn-2 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.7.3-amzn-2 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.7.3-amzn-2 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.3.1 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.3.1 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.3.1 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.3.1 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.3.1 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.1.1-amzn-0 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.1.1-amzn-0 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.1.1-amzn-0 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.1.1-amzn-0 | Hive 命令行客户端。 | 
| hive-hbase | 2.1.1-amzn-0 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.1.1-amzn-0 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.1.1-amzn-0 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 3.12.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| oozie-client | 4.3.0 | Oozie 命令行客户端。 | 
| oozie-server | 4.3.0 | 用于接受 Oozie 工作流请求的服务。 | 
| phoenix-library | 4.9.0--1.2 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.9.0--1.2 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.170 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.170 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.16.0-amzn-0 | Pig 命令行客户端。 | 
| spark-client | 2.1.1 | Spark 命令行客户端。 | 
| spark-history-server | 2.1.1 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.1.1 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.1.1 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.6 | Apache Sqoop 命令行客户端。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.7.1 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.10 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.10 | ZooKeeper 命令行客户端。 | 

## 5.6.1 配置分类
<a name="emr-561-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.6.1 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 ZooKeeper的 zoo.cfg 文件中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.6.0
<a name="emr-560-release"></a>

## 5.6.0 应用程序版本
<a name="emr-560-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.6.0 | emr-5.5.4 | emr-5.5.3 | emr-5.5.2 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 
| Python | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.2.1 | 1.2.0 | 1.2.0 | 1.2.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.3.0 | 1.3.0 | 1.3.0 | 1.3.0 | 
| HCatalog | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 
| Hadoop | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 
| Hive | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub |  -  |  -  |  -  |  -  | 
| Livy |  -  |  -  |  -  |  -  | 
| MXNet |  -  |  -  |  -  |  -  | 
| Mahout | 0.13.0 | 0.12.2 | 0.12.2 | 0.12.2 | 
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 
| Phoenix | 4.9.0--1.2 HBase | 4.9.0--1.2 HBase | 4.9.0--1.2 HBase | 4.9.0--1.2 HBase | 
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 
| Presto | 0.170 | 0.170 | 0.170 | 0.170 | 
| Spark | 2.1.1 | 2.1.0 | 2.1.0 | 2.1.0 | 
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 
| TensorFlow |  -  |  -  |  -  |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.7.1 | 0.7.1 | 0.7.1 | 0.7.1 | 
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 

## 5.6.0 发布说明
<a name="emr-560-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.6.0 的信息。更改与 Amazon EMR 5.5.0 发行版有关。

发布日期：2017 年 6 月 5 日

**升级**
+ Flink 1.2.1
+ HBase 1.3.1
+ Mahout 0.13.0。这是 Mahout 在 Amazon EMR 版本 5.0 及更高版本中支持 Spark 2.x 的第一个版本。
+ Spark 2.1.1

**更改、增强功能和解决的问题**
+ **：Presto**
  + 通过使用 SSL/TLS 安全配置启用传输中加密，增加了在 Presto 节点之间启用安全通信的功能。有关更多信息，请参阅[传输中的数据加密](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-data-encryption-options.html#emr-encryption-intransit)。
  + 已逆向移植 [Presto 7661](https://github.com/prestodb/presto/pull/7661/commits)，它向 `VERBOSE` 语句添加了 `EXPLAIN ANALYZE` 选项，以报告有关查询计划的更详细、更低级别的统计数据。

## 5.6.0 组件版本
<a name="emr-560-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| emr-ddb | 4.3.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.3.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.3.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.5.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emrfs | 2.17.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.2.1 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.7.3-amzn-2 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.7.3-amzn-2 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.7.3-amzn-2 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.7.3-amzn-2 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.7.3-amzn-2 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.7.3-amzn-2 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.7.3-amzn-2 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.7.3-amzn-2 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.7.3-amzn-2 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.7.3-amzn-2 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.3.1 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.3.1 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.3.1 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.3.1 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.3.1 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.1.1-amzn-0 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.1.1-amzn-0 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.1.1-amzn-0 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.1.1-amzn-0 | Hive 命令行客户端。 | 
| hive-hbase | 2.1.1-amzn-0 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.1.1-amzn-0 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.1.1-amzn-0 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 3.12.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| mahout-client | 0.13.0 | 用于机器学习的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| oozie-client | 4.3.0 | Oozie 命令行客户端。 | 
| oozie-server | 4.3.0 | 用于接受 Oozie 工作流请求的服务。 | 
| phoenix-library | 4.9.0--1.2 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.9.0--1.2 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.170 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.170 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.16.0-amzn-0 | Pig 命令行客户端。 | 
| spark-client | 2.1.1 | Spark 命令行客户端。 | 
| spark-history-server | 2.1.1 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.1.1 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.1.1 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.6 | Apache Sqoop 命令行客户端。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.7.1 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.10 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.10 | ZooKeeper 命令行客户端。 | 

## 5.6.0 配置分类
<a name="emr-560-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.6.0 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 ZooKeeper的 zoo.cfg 文件中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.5.4
<a name="emr-554-release"></a>

## 5.5.4 应用程序版本
<a name="emr-554-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.5.4 | emr-5.5.3 | emr-5.5.2 | emr-5.5.1 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 
| Python | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.2.0 | 1.2.0 | 1.2.0 | 1.2.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.3.0 | 1.3.0 | 1.3.0 | 1.3.0 | 
| HCatalog | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 
| Hadoop | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 
| Hive | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub |  -  |  -  |  -  |  -  | 
| Livy |  -  |  -  |  -  |  -  | 
| MXNet |  -  |  -  |  -  |  -  | 
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 
| Phoenix | 4.9.0--1.2 HBase | 4.9.0--1.2 HBase | 4.9.0--1.2 HBase | 4.9.0--1.2 HBase | 
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 
| Presto | 0.170 | 0.170 | 0.170 | 0.170 | 
| Spark | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 
| TensorFlow |  -  |  -  |  -  |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.7.1 | 0.7.1 | 0.7.1 | 0.7.1 | 
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 

## 5.5.4 发布说明
<a name="emr-554-relnotes"></a>

这是一个补丁版本，用于为向 Amazon S3 发出的请求添加 AWS 签名版本 4 身份验证。所有应用程序和组件都与之前的 Amazon EMR 发行版相同。

**重要**  
在此版本中，Amazon EMR 仅使用 AWS 签名版本 4 来验证向 Amazon S3 发出的请求。有关更多信息，请参阅[新功能](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html)。

## 5.5.4 组件版本
<a name="emr-554-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| emr-ddb | 4.3.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.3.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.3.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.5.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emrfs | 2.16.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.2.0 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.7.3-amzn-2 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.7.3-amzn-2 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.7.3-amzn-2 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.7.3-amzn-2 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.7.3-amzn-2 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.7.3-amzn-2 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.7.3-amzn-2 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.7.3-amzn-2 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.7.3-amzn-2 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.7.3-amzn-2 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.3.0 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.3.0 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.3.0 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.3.0 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.3.0 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.1.1-amzn-0 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.1.1-amzn-0 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.1.1-amzn-0 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.1.1-amzn-0 | Hive 命令行客户端。 | 
| hive-hbase | 2.1.1-amzn-0 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.1.1-amzn-0 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.1.1-amzn-0 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 3.12.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| mahout-client | 0.12.2 | 用于机器学习的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| oozie-client | 4.3.0 | Oozie 命令行客户端。 | 
| oozie-server | 4.3.0 | 用于接受 Oozie 工作流请求的服务。 | 
| phoenix-library | 4.9.0--1.2 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.9.0--1.2 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.170 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.170 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.16.0-amzn-0 | Pig 命令行客户端。 | 
| spark-client | 2.1.0 | Spark 命令行客户端。 | 
| spark-history-server | 2.1.0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.1.0 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.1.0 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.6 | Apache Sqoop 命令行客户端。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.7.1 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.10 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.10 | ZooKeeper 命令行客户端。 | 

## 5.5.4 配置分类
<a name="emr-554-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.5.4 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-hb HBase aase.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 ZooKeeper的 zoo.cfg 文件中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.5.3
<a name="emr-553-release"></a>

## 5.5.3 应用程序版本
<a name="emr-553-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.5.3 | emr-5.5.2 | emr-5.5.1 | emr-5.5.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 
| Python | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.2.0 | 1.2.0 | 1.2.0 | 1.2.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.3.0 | 1.3.0 | 1.3.0 | 1.3.0 | 
| HCatalog | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 
| Hadoop | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 
| Hive | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 3.12.0 | 3.12.0 | 3.12.0 | 3.12.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub |  -  |  -  |  -  |  -  | 
| Livy |  -  |  -  |  -  |  -  | 
| MXNet |  -  |  -  |  -  |  -  | 
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 
| Phoenix | 4.9.0--1.2 HBase | 4.9.0--1.2 HBase | 4.9.0--1.2 HBase | 4.9.0--1.2 HBase | 
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 
| Presto | 0.170 | 0.170 | 0.170 | 0.170 | 
| Spark | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 
| TensorFlow |  -  |  -  |  -  |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.7.1 | 0.7.1 | 0.7.1 | 0.7.1 | 
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.10 | 

## 5.5.3 发布说明
<a name="emr-553-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.5.3 的信息。更改与 5.5.2 有关。

首次发布日期：2018年 8 月 29 日

**更改、增强功能和解决的问题**
+ 此版本解决了潜在的安全漏洞。

## 5.5.3 组件版本
<a name="emr-553-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| emr-ddb | 4.3.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.3.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.3.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.5.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emrfs | 2.16.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.2.0 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.7.3-amzn-2 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.7.3-amzn-2 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.7.3-amzn-2 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.7.3-amzn-2 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.7.3-amzn-2 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.7.3-amzn-2 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.7.3-amzn-2 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.7.3-amzn-2 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.7.3-amzn-2 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.7.3-amzn-2 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.3.0 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.3.0 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.3.0 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.3.0 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.3.0 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.1.1-amzn-0 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.1.1-amzn-0 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.1.1-amzn-0 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.1.1-amzn-0 | Hive 命令行客户端。 | 
| hive-hbase | 2.1.1-amzn-0 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.1.1-amzn-0 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.1.1-amzn-0 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 3.12.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| mahout-client | 0.12.2 | 用于机器学习的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| oozie-client | 4.3.0 | Oozie 命令行客户端。 | 
| oozie-server | 4.3.0 | 用于接受 Oozie 工作流请求的服务。 | 
| phoenix-library | 4.9.0--1.2 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.9.0--1.2 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.170 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.170 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.16.0-amzn-0 | Pig 命令行客户端。 | 
| spark-client | 2.1.0 | Spark 命令行客户端。 | 
| spark-history-server | 2.1.0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.1.0 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.1.0 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.6 | Apache Sqoop 命令行客户端。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.7.1 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.10 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.10 | ZooKeeper 命令行客户端。 | 

## 5.5.3 配置分类
<a name="emr-553-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.5.3 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-hb HBase aase.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 ZooKeeper的 zoo.cfg 文件中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.5.2
<a name="emr-552-release"></a>

## 5.5.2 应用程序版本
<a name="emr-552-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.5.2 | emr-5.5.1 | emr-5.5.0 | emr-5.4.1 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 
| Python | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.2.0 | 1.2.0 | 1.2.0 | 1.2.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.3.0 | 1.3.0 | 1.3.0 | 1.3.0 | 
| HCatalog | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 
| Hadoop | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-1 | 
| Hive | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 3.12.0 | 3.12.0 | 3.12.0 | 3.11.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub |  -  |  -  |  -  |  -  | 
| Livy |  -  |  -  |  -  |  -  | 
| MXNet |  -  |  -  |  -  |  -  | 
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 
| Phoenix | 4.9.0--1.2 HBase | 4.9.0--1.2 HBase | 4.9.0--1.2 HBase | 4.9.0--1.2 HBase | 
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 
| Presto | 0.170 | 0.170 | 0.170 | 0.166 | 
| Spark | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 
| TensorFlow |  -  |  -  |  -  |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.7.1 | 0.7.1 | 0.7.1 | 0.7.0 | 
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.10 | 3.4.9 | 

## 5.5.2 发布说明
<a name="emr-552-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.5.2 的信息。更改与 5.5.1 有关。

首次发布日期：2018 年 3 月 29 日

**更改、增强功能和解决的问题**
+ 更新了 Amazon EMR 的默认 Amazon Linux AMI 的 Amazon Linux 内核，解决了潜在漏洞。

## 5.5.2 组件版本
<a name="emr-552-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| emr-ddb | 4.3.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.3.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.3.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.5.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emrfs | 2.16.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.2.0 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.7.3-amzn-2 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.7.3-amzn-2 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.7.3-amzn-2 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.7.3-amzn-2 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.7.3-amzn-2 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.7.3-amzn-2 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.7.3-amzn-2 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.7.3-amzn-2 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.7.3-amzn-2 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.7.3-amzn-2 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.3.0 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.3.0 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.3.0 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.3.0 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.3.0 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.1.1-amzn-0 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.1.1-amzn-0 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.1.1-amzn-0 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.1.1-amzn-0 | Hive 命令行客户端。 | 
| hive-hbase | 2.1.1-amzn-0 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.1.1-amzn-0 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.1.1-amzn-0 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 3.12.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| mahout-client | 0.12.2 | 用于机器学习的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| oozie-client | 4.3.0 | Oozie 命令行客户端。 | 
| oozie-server | 4.3.0 | 用于接受 Oozie 工作流请求的服务。 | 
| phoenix-library | 4.9.0--1.2 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.9.0--1.2 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.170 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.170 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.16.0-amzn-0 | Pig 命令行客户端。 | 
| spark-client | 2.1.0 | Spark 命令行客户端。 | 
| spark-history-server | 2.1.0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.1.0 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.1.0 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.6 | Apache Sqoop 命令行客户端。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.7.1 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.10 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.10 | ZooKeeper 命令行客户端。 | 

## 5.5.2 配置分类
<a name="emr-552-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.5.2 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-hb HBase aase.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 ZooKeeper的 zoo.cfg 文件中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.5.1
<a name="emr-551-release"></a>

## 5.5.1 应用程序版本
<a name="emr-551-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.5.1 | emr-5.5.0 | emr-5.4.1 | emr-5.4.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 
| Python | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.2.0 | 1.2.0 | 1.2.0 | 1.2.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.3.0 | 1.3.0 | 1.3.0 | 1.3.0 | 
| HCatalog | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 
| Hadoop | 2.7.3-amzn-2 | 2.7.3-amzn-2 | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 
| Hive | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 3.12.0 | 3.12.0 | 3.11.0 | 3.11.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub |  -  |  -  |  -  |  -  | 
| Livy |  -  |  -  |  -  |  -  | 
| MXNet |  -  |  -  |  -  |  -  | 
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 
| Phoenix | 4.9.0--1.2 HBase | 4.9.0--1.2 HBase | 4.9.0--1.2 HBase | 4.9.0--1.2 HBase | 
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 
| Presto | 0.170 | 0.170 | 0.166 | 0.166 | 
| Spark | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 
| TensorFlow |  -  |  -  |  -  |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.7.1 | 0.7.1 | 0.7.0 | 0.7.0 | 
| ZooKeeper | 3.4.10 | 3.4.10 | 3.4.9 | 3.4.9 | 

## 5.5.1 发布说明
<a name="emr-551-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.5.1 的信息。更改与 Amazon EMR 5.5.0 发行版有关。

首次发布日期：2018 年 1 月 22 日

**更改、增强功能和解决的问题**
+ 更新了 Amazon EMR 的默认 Amazon Linux AMI 的 Amazon Linux 内核，解决了与推测执行相关的漏洞（CVE-2017-5715、CVE-2017-5753 和 CVE-2017-5754）。有关更多信息，请参阅 [https://aws.amazon.com/security/security-bulletins/AWS-2018-013/](https://aws.amazon.com/security/security-bulletins/AWS-2018-013/)。

## 5.5.1 组件版本
<a name="emr-551-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| emr-ddb | 4.3.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.3.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.3.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.5.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emrfs | 2.16.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.2.0 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.7.3-amzn-2 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.7.3-amzn-2 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.7.3-amzn-2 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.7.3-amzn-2 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.7.3-amzn-2 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.7.3-amzn-2 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.7.3-amzn-2 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.7.3-amzn-2 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.7.3-amzn-2 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.7.3-amzn-2 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.3.0 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.3.0 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.3.0 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.3.0 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.3.0 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.1.1-amzn-0 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.1.1-amzn-0 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.1.1-amzn-0 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.1.1-amzn-0 | Hive 命令行客户端。 | 
| hive-hbase | 2.1.1-amzn-0 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.1.1-amzn-0 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.1.1-amzn-0 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 3.12.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| mahout-client | 0.12.2 | 用于机器学习的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| oozie-client | 4.3.0 | Oozie 命令行客户端。 | 
| oozie-server | 4.3.0 | 用于接受 Oozie 工作流请求的服务。 | 
| phoenix-library | 4.9.0--1.2 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.9.0--1.2 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.170 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.170 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.16.0-amzn-0 | Pig 命令行客户端。 | 
| spark-client | 2.1.0 | Spark 命令行客户端。 | 
| spark-history-server | 2.1.0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.1.0 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.1.0 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.6 | Apache Sqoop 命令行客户端。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.7.1 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.10 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.10 | ZooKeeper 命令行客户端。 | 

## 5.5.1 配置分类
<a name="emr-551-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.5.1 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-hb HBase aase.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 ZooKeeper的 zoo.cfg 文件中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.5.0
<a name="emr-550-release"></a>

## 5.5.0 应用程序版本
<a name="emr-550-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.5.0 | emr-5.4.1 | emr-5.4.0 | emr-5.3.2 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 
| Python | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.2.0 | 1.2.0 | 1.2.0 | flink-client | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.3.0 | 1.3.0 | 1.3.0 | 1.2.3 | 
| HCatalog | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 
| Hadoop | 2.7.3-amzn-2 | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 
| Hive | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 3.12.0 | 3.11.0 | 3.11.0 | 3.11.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub |  -  |  -  |  -  |  -  | 
| Livy |  -  |  -  |  -  |  -  | 
| MXNet |  -  |  -  |  -  |  -  | 
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 
| Phoenix | 4.9.0--1.2 HBase | 4.9.0--1.2 HBase | 4.9.0--1.2 HBase | 4.7.0--1.2 HBase | 
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 
| Presto | 0.170 | 0.166 | 0.166 | 0.157.1 | 
| Spark | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 
| TensorFlow |  -  |  -  |  -  |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.7.1 | 0.7.0 | 0.7.0 | 0.6.2 | 
| ZooKeeper | 3.4.10 | 3.4.9 | 3.4.9 | 3.4.9 | 

## 5.5.0 发布说明
<a name="emr-550-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.5.0 的信息。更改与 Amazon EMR 5.4.0 发行版有关。

发布日期：2017 年 4 月 26 日

**升级**
+ Hue 3.12
+ Presto 0.170
+ Zeppelin 0.7.1
+ ZooKeeper 3.4.10

**更改、增强功能和解决的问题**
+ **Spark**
  + 向后移植的 Spark Patch [(SPARK-20115) 修复 DAGScheduler 了在本版本中包含的 Spark 2.1.0 版本中无法使用外部随机播放服务时重新计算所有丢失的随机播放块](https://issues.apache.org/jira/browse/SPARK-20115)的问题。
+ **Flink**
  + Flink 现在使用 Scala 2.11 进行构建。如果您使用 Scala API 和库，我们建议您在项目中使用 Scala 2.11。
  + 解决了 `HADOOP_CONF_DIR` 和 `YARN_CONF_DIR` 默认值未正确设置，因此 `start-scala-shell.sh` 无法工作的问题。此外，还添加了使用 `env.hadoop.conf.dir` 或 `env.yarn.conf.dir` 配置类别中的 `/etc/flink/conf/flink-conf.yaml` 和 `flink-conf` 设置这些值的功能。
  + 推出了一个新的 EMR 特定的命令 `flink-scala-shell` 作为 `start-scala-shell.sh` 的包装程序。我们建议使用此命令而不是 `start-scala-shell`。新命令可简化执行。例如，`flink-scala-shell -n 2` 将使用任务并行度 2 启动 Flink Scala Shell。
  + 推出了一个新的 EMR 特定的命令 `flink-yarn-session` 作为 `yarn-session.sh` 的包装程序。我们建议使用此命令而不是 `yarn-session`。新命令可简化执行。例如，`flink-yarn-session -d -n 2` 将使用两个任务管理器在分离状态下启动长时间运行的 Flink 会话。
  + 解决了 [(FLINK-6125) Commons httpclient is not shaded anymore in Flink 1.2](https://issues.apache.org/jira/browse/FLINK-6125) 的问题。
+ **：Presto**
  + 添加了对 LDAP 身份验证的支持。将 LDAP 与 Presto on Amazon EMR 结合使用，需要您启用对 Presto 协调器的 HTTPS 访问（`config.properties` 中的 `http-server.https.enabled=true`）。有关配置详细信息，请参阅 Presto 文档中的 [LDAP 身份验证](https://prestodb.io/docs/current/security/ldap.html)。
  + 增加了对 `SHOW GRANTS` 的支持。
+ **Amazon EMR 基本 Linux AMI**
  + Amazon EMR 发行版现在基于 Amazon Linux 2017.03。有关更多信息，请参阅 [Amazon Linux AMI 2017.03 发布说明](https://aws.amazon.com/amazon-linux-ami/2017.03-release-notes/)。
  + 从 Amazon EMR 基本 Linux 映像中删除了 Python 2.6。默认安装 Python 2.7 和 3.4。如果需要，您可以手动安装 Python 2.6。

## 5.5.0 组件版本
<a name="emr-550-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| emr-ddb | 4.3.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.3.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.3.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.5.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emrfs | 2.16.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.2.0 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.7.3-amzn-2 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.7.3-amzn-2 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.7.3-amzn-2 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.7.3-amzn-2 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.7.3-amzn-2 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.7.3-amzn-2 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.7.3-amzn-2 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.7.3-amzn-2 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.7.3-amzn-2 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.7.3-amzn-2 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.3.0 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.3.0 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.3.0 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.3.0 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.3.0 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.1.1-amzn-0 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.1.1-amzn-0 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.1.1-amzn-0 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.1.1-amzn-0 | Hive 命令行客户端。 | 
| hive-hbase | 2.1.1-amzn-0 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.1.1-amzn-0 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.1.1-amzn-0 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 3.12.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| mahout-client | 0.12.2 | 用于机器学习的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| oozie-client | 4.3.0 | Oozie 命令行客户端。 | 
| oozie-server | 4.3.0 | 用于接受 Oozie 工作流请求的服务。 | 
| phoenix-library | 4.9.0--1.2 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.9.0--1.2 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.170 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.170 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.16.0-amzn-0 | Pig 命令行客户端。 | 
| spark-client | 2.1.0 | Spark 命令行客户端。 | 
| spark-history-server | 2.1.0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.1.0 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.1.0 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.6 | Apache Sqoop 命令行客户端。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.7.1 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.10 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.10 | ZooKeeper 命令行客户端。 | 

## 5.5.0 配置分类
<a name="emr-550-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.5.0 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-hb HBase aase.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 ZooKeeper的 zoo.cfg 文件中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.4.1
<a name="emr-541-release"></a>

## 5.4.1 应用程序版本
<a name="emr-541-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.4.1 | emr-5.4.0 | emr-5.3.2 | emr-5.3.1 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 
| Python | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.2.0 | 1.2.0 | flink-client | flink-client | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.3.0 | 1.3.0 | 1.2.3 | 1.2.3 | 
| HCatalog | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 
| Hadoop | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 
| Hive | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 3.11.0 | 3.11.0 | 3.11.0 | 3.11.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub |  -  |  -  |  -  |  -  | 
| Livy |  -  |  -  |  -  |  -  | 
| MXNet |  -  |  -  |  -  |  -  | 
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 
| Phoenix | 4.9.0--1.2 HBase | 4.9.0--1.2 HBase | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 
| Presto | 0.166 | 0.166 | 0.157.1 | 0.157.1 | 
| Spark | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 
| TensorFlow |  -  |  -  |  -  |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.7.0 | 0.7.0 | 0.6.2 | 0.6.2 | 
| ZooKeeper | 3.4.9 | 3.4.9 | 3.4.9 | 3.4.9 | 

## 5.4.1 发布说明
<a name="emr-541-relnotes"></a>

这是一个补丁版本，用于为向 Amazon S3 发出的请求添加 AWS 签名版本 4 身份验证。所有应用程序和组件都与之前的 Amazon EMR 发行版相同。

**重要**  
在此版本中，Amazon EMR 仅使用 AWS 签名版本 4 来验证向 Amazon S3 发出的请求。有关更多信息，请参阅[新功能](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html)。

## 5.4.1 组件版本
<a name="emr-541-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| emr-ddb | 4.2.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.3.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.2.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.4.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emrfs | 2.15.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.2.0 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.7.3-amzn-1 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.7.3-amzn-1 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.7.3-amzn-1 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.7.3-amzn-1 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.7.3-amzn-1 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.7.3-amzn-1 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.7.3-amzn-1 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.7.3-amzn-1 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.7.3-amzn-1 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.7.3-amzn-1 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.3.0 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.3.0 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.3.0 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.3.0 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.3.0 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.1.1-amzn-0 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.1.1-amzn-0 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.1.1-amzn-0 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.1.1-amzn-0 | Hive 命令行客户端。 | 
| hive-hbase | 2.1.1-amzn-0 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.1.1-amzn-0 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.1.1-amzn-0 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 3.11.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| mahout-client | 0.12.2 | 用于机器学习的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| oozie-client | 4.3.0 | Oozie 命令行客户端。 | 
| oozie-server | 4.3.0 | 用于接受 Oozie 工作流请求的服务。 | 
| phoenix-library | 4.9.0--1.2 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.9.0--1.2 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.166 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.166 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.16.0-amzn-0 | Pig 命令行客户端。 | 
| spark-client | 2.1.0 | Spark 命令行客户端。 | 
| spark-history-server | 2.1.0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.1.0 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.1.0 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.6 | Apache Sqoop 命令行客户端。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.7.0 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.9 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.9 | ZooKeeper 命令行客户端。 | 

## 5.4.1 配置分类
<a name="emr-541-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.4.1 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-hb HBase aase.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 ZooKeeper的 zoo.cfg 文件中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.4.0
<a name="emr-540-release"></a>

## 5.4.0 应用程序版本
<a name="emr-540-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.4.0 | emr-5.3.2 | emr-5.3.1 | emr-5.3.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 
| Python | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.2.0 | flink-client | flink-client | flink-client | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.3.0 | 1.2.3 | 1.2.3 | 1.2.3 | 
| HCatalog | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 
| Hadoop | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 
| Hive | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 3.11.0 | 3.11.0 | 3.11.0 | 3.11.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub |  -  |  -  |  -  |  -  | 
| Livy |  -  |  -  |  -  |  -  | 
| MXNet |  -  |  -  |  -  |  -  | 
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.3.0 | 
| Phoenix | 4.9.0--1.2 HBase | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 
| Presto | 0.166 | 0.157.1 | 0.157.1 | 0.157.1 | 
| Spark | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 
| TensorFlow |  -  |  -  |  -  |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.7.0 | 0.6.2 | 0.6.2 | 0.6.2 | 
| ZooKeeper | 3.4.9 | 3.4.9 | 3.4.9 | 3.4.9 | 

## 5.4.0 发布说明
<a name="emr-540-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.4.0 的信息。更改与 Amazon EMR 5.3.0 发行版有关。

发布日期：2017 年 3 月 8 日

**升级**
+ 已升级到 Flink 1.2.0
+ 已升级到 HBase 1.3.0
+ 已升级到 Phoenix 4.9.0
**注意**  
如果您从早期版本的 Amazon EMR 升级到 Amazon EMR 发行版 5.4.0 或更高版本并使用二级索引，请升级本地索引，如 [Apache Phoenix 文档](https://phoenix.apache.org/secondary_indexing.html#Upgrading_Local_Indexes_created_before_4.8.0)中所述。Amazon EMR 将从 `hbase-site` 分类中删除所需配置，但索引需要重新填充。支持在线和离线升级索引。在线升级为默认值，这意味着，在从版本 4.8.0 或更高版本的 Phoenix 客户端初始化时重新填充索引。要指定离线升级，请在 `phoenix.client.localIndexUpgrade` 分类中将 `phoenix-site` 配置设置为 false，然后将 SSH 设置为主节点以运行 `psql [zookeeper] -1`。
+ 已升级到 Presto 0.166
+ 已升级到 Zeppelin 0.7.0

**更改和增强功能**
+ 增加了对 r4 实例的支持。请参阅 [Amazon EC2 实例类型](https://aws.amazon.com/ec2/instance-types/)。

## 5.4.0 组件版本
<a name="emr-540-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| emr-ddb | 4.2.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.3.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.2.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.4.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emrfs | 2.15.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.2.0 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.7.3-amzn-1 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.7.3-amzn-1 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.7.3-amzn-1 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.7.3-amzn-1 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.7.3-amzn-1 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.7.3-amzn-1 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.7.3-amzn-1 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.7.3-amzn-1 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.7.3-amzn-1 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.7.3-amzn-1 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.3.0 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.3.0 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.3.0 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.3.0 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.3.0 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.1.1-amzn-0 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.1.1-amzn-0 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.1.1-amzn-0 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.1.1-amzn-0 | Hive 命令行客户端。 | 
| hive-hbase | 2.1.1-amzn-0 | Hive-hbase 客户端。 | 
| hive-metastore-server | 2.1.1-amzn-0 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 2.1.1-amzn-0 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 3.11.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| mahout-client | 0.12.2 | 用于机器学习的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| oozie-client | 4.3.0 | Oozie 命令行客户端。 | 
| oozie-server | 4.3.0 | 用于接受 Oozie 工作流请求的服务。 | 
| phoenix-library | 4.9.0--1.2 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.9.0--1.2 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.166 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.166 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.16.0-amzn-0 | Pig 命令行客户端。 | 
| spark-client | 2.1.0 | Spark 命令行客户端。 | 
| spark-history-server | 2.1.0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.1.0 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.1.0 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.6 | Apache Sqoop 命令行客户端。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.7.0 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.9 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.9 | ZooKeeper 命令行客户端。 | 

## 5.4.0 配置分类
<a name="emr-540-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.4.0 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-hb HBase aase.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 ZooKeeper的 zoo.cfg 文件中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.3.2
<a name="emr-532-release"></a>

## 5.3.2 应用程序版本
<a name="emr-532-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.3.2 | emr-5.3.1 | emr-5.3.0 | emr-5.2.3 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 
| Python | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | flink-client | flink-client | flink-client | 1.1.3 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.2.3 | 1.2.3 | 1.2.3 | 1.2.3 | 
| HCatalog | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.0-amzn-0 | 
| Hadoop | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 
| Hive | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.0-amzn-0 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 3.11.0 | 3.11.0 | 3.11.0 | 3.10.0-amzn-0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub |  -  |  -  |  -  |  -  | 
| Livy |  -  |  -  |  -  |  -  | 
| MXNet |  -  |  -  |  -  |  -  | 
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 
| Oozie | 4.3.0 | 4.3.0 | 4.3.0 | 4.2.0 | 
| Phoenix | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 
| Presto | 0.157.1 | 0.157.1 | 0.157.1 | 0.157.1 | 
| Spark | 2.1.0 | 2.1.0 | 2.1.0 | 2.0.2 | 
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 
| TensorFlow |  -  |  -  |  -  |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.6.2 | 0.6.2 | 0.6.2 | 0.6.2 | 
| ZooKeeper | 3.4.9 | 3.4.9 | 3.4.9 | 3.4.9 | 

## 5.3.2 发布说明
<a name="emr-532-relnotes"></a>

这是一个补丁版本，用于为向 Amazon S3 发出的请求添加 AWS 签名版本 4 身份验证。所有应用程序和组件都与之前的 Amazon EMR 发行版相同。

**重要**  
在此版本中，Amazon EMR 仅使用 AWS 签名版本 4 来验证向 Amazon S3 发出的请求。有关更多信息，请参阅[新功能](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html)。

## 5.3.2 组件版本
<a name="emr-532-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| emr-ddb | 4.2.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.2.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.2.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.4.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emrfs | emrfs | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | flink-client | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.7.3-amzn-1 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.7.3-amzn-1 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.7.3-amzn-1 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.7.3-amzn-1 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.7.3-amzn-1 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.7.3-amzn-1 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.7.3-amzn-1 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.7.3-amzn-1 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.7.3-amzn-1 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.7.3-amzn-1 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.2.3 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.2.3 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.2.3 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.2.3 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.2.3 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.1.1-amzn-0 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.1.1-amzn-0 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.1.1-amzn-0 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.1.1-amzn-0 | Hive 命令行客户端。 | 
| hive-metastore-server | 2.1.1-amzn-0 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server | 2.1.1-amzn-0 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 3.11.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| mahout-client | 0.12.2 | 用于机器学习的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| oozie-client | 4.3.0 | Oozie 命令行客户端。 | 
| oozie-server | 4.3.0 | 用于接受 Oozie 工作流请求的服务。 | 
| phoenix-library | 4.7.0--1.2 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.7.0--1.2 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.157.1 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.157.1 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.16.0-amzn-0 | Pig 命令行客户端。 | 
| spark-client | 2.1.0 | Spark 命令行客户端。 | 
| spark-history-server | 2.1.0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.1.0 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.1.0 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.6 | Apache Sqoop 命令行客户端。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.6.2 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.9 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.9 | ZooKeeper 命令行客户端。 | 

## 5.3.2 配置分类
<a name="emr-532-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.3.2 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-hb HBase aase.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 ZooKeeper的 zoo.cfg 文件中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.3.1
<a name="emr-531-release"></a>

## 5.3.1 应用程序版本
<a name="emr-531-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.3.1 | emr-5.3.0 | emr-5.2.3 | emr-5.2.2 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 
| Python | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | flink-client | flink-client | 1.1.3 | 1.1.3 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.2.3 | 1.2.3 | 1.2.3 | 1.2.3 | 
| HCatalog | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 
| Hadoop | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 
| Hive | 2.1.1-amzn-0 | 2.1.1-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 3.11.0 | 3.11.0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub |  -  |  -  |  -  |  -  | 
| Livy |  -  |  -  |  -  |  -  | 
| MXNet |  -  |  -  |  -  |  -  | 
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 
| Oozie | 4.3.0 | 4.3.0 | 4.2.0 | 4.2.0 | 
| Phoenix | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 
| Presto | 0.157.1 | 0.157.1 | 0.157.1 | 0.157.1 | 
| Spark | 2.1.0 | 2.1.0 | 2.0.2 | 2.0.2 | 
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 
| TensorFlow |  -  |  -  |  -  |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.6.2 | 0.6.2 | 0.6.2 | 0.6.2 | 
| ZooKeeper | 3.4.9 | 3.4.9 | 3.4.9 | 3.4.9 | 

## 5.3.1 发布说明
<a name="emr-531-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.3.1 的信息。更改与 Amazon EMR 5.3.0 发行版有关。

发布日期：2017 年 2 月 7 日

进行了微小更改：逆向移植 Zeppelin 补丁，并更新了 Amazon EMR 的默认 AMI。

## 5.3.1 组件版本
<a name="emr-531-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| emr-ddb | 4.2.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.2.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.2.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.4.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emrfs | emrfs | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | flink-client | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.7.3-amzn-1 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.7.3-amzn-1 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.7.3-amzn-1 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.7.3-amzn-1 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.7.3-amzn-1 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.7.3-amzn-1 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.7.3-amzn-1 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.7.3-amzn-1 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.7.3-amzn-1 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.7.3-amzn-1 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.2.3 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.2.3 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.2.3 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.2.3 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.2.3 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.1.1-amzn-0 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.1.1-amzn-0 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.1.1-amzn-0 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.1.1-amzn-0 | Hive 命令行客户端。 | 
| hive-metastore-server | 2.1.1-amzn-0 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server | 2.1.1-amzn-0 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 3.11.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| mahout-client | 0.12.2 | 用于机器学习的库。 | 
| mysql-server | 5.5.54\$1 | MySQL 数据库服务器。 | 
| oozie-client | 4.3.0 | Oozie 命令行客户端。 | 
| oozie-server | 4.3.0 | 用于接受 Oozie 工作流请求的服务。 | 
| phoenix-library | 4.7.0--1.2 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.7.0--1.2 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.157.1 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.157.1 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.16.0-amzn-0 | Pig 命令行客户端。 | 
| spark-client | 2.1.0 | Spark 命令行客户端。 | 
| spark-history-server | 2.1.0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.1.0 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.1.0 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.6 | Apache Sqoop 命令行客户端。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.6.2 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.9 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.9 | ZooKeeper 命令行客户端。 | 

## 5.3.1 配置分类
<a name="emr-531-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.3.1 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-hb HBase aase.properties 文件中的值。 | 
| hbase-policy | 更改 hbase-policy.xml 文件 HBase中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 ZooKeeper的 zoo.cfg 文件中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.3.0
<a name="emr-530-release"></a>

## 5.3.0 应用程序版本
<a name="emr-530-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.3.0 | emr-5.2.3 | emr-5.2.2 | emr-5.2.1 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 
| Python | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | flink-client | 1.1.3 | 1.1.3 | 1.1.3 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.2.3 | 1.2.3 | 1.2.3 | 1.2.3 | 
| HCatalog | 2.1.1-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 
| Hadoop | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 
| Hive | 2.1.1-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 3.11.0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub |  -  |  -  |  -  |  -  | 
| Livy |  -  |  -  |  -  |  -  | 
| MXNet |  -  |  -  |  -  |  -  | 
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 
| Oozie | 4.3.0 | 4.2.0 | 4.2.0 | 4.2.0 | 
| Phoenix | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 
| Presto | 0.157.1 | 0.157.1 | 0.157.1 | 0.157.1 | 
| Spark | 2.1.0 | 2.0.2 | 2.0.2 | 2.0.2 | 
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 
| TensorFlow |  -  |  -  |  -  |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.6.2 | 0.6.2 | 0.6.2 | 0.6.2 | 
| ZooKeeper | 3.4.9 | 3.4.9 | 3.4.9 | 3.4.9 | 

## 5.3.0 发布说明
<a name="emr-530-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.3.0 的信息。更改与 Amazon EMR 5.2.1 发行版有关。

发布日期：2017 年 1 月 26 日

**升级**
+ 已升级到 Hive 2.1.1
+ 已升级到 Hue 3.11.0
+ 已升级到 Spark 2.1.0
+ 已升级到 Oozie 4.3.0
+ 已升级到 Flink 1.1.4

**更改和增强功能**
+ Hue 新增补丁可使您使用 `interpreters_shown_on_wheel` 设置配置解释器在 Notebook 选择轮盘上最先显示的内容，而不受 `hue.ini` 文件中排序的限制。
+ 新增 `hive-parquet-logging` 配置分类，您可以将其用于配置 Hive `parquet-logging.properties` 文件中的值。

## 5.3.0 组件版本
<a name="emr-530-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| emr-ddb | 4.2.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.2.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.2.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.4.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emrfs | emrfs | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | flink-client | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.7.3-amzn-1 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.7.3-amzn-1 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.7.3-amzn-1 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.7.3-amzn-1 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.7.3-amzn-1 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.7.3-amzn-1 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.7.3-amzn-1 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.7.3-amzn-1 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.7.3-amzn-1 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.7.3-amzn-1 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.2.3 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.2.3 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.2.3 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.2.3 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.2.3 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.1.1-amzn-0 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.1.1-amzn-0 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.1.1-amzn-0 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.1.1-amzn-0 | Hive 命令行客户端。 | 
| hive-metastore-server | 2.1.1-amzn-0 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server | 2.1.1-amzn-0 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 3.11.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| mahout-client | 0.12.2 | 用于机器学习的库。 | 
| mysql-server | 5.5.52 | MySQL 数据库服务器。 | 
| oozie-client | 4.3.0 | Oozie 命令行客户端。 | 
| oozie-server | 4.3.0 | 用于接受 Oozie 工作流请求的服务。 | 
| phoenix-library | 4.7.0--1.2 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.7.0--1.2 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.157.1 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.157.1 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.16.0-amzn-0 | Pig 命令行客户端。 | 
| spark-client | 2.1.0 | Spark 命令行客户端。 | 
| spark-history-server | 2.1.0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.1.0 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.1.0 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.6 | Apache Sqoop 命令行客户端。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.25\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.6.2 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.9 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.9 | ZooKeeper 命令行客户端。 | 

## 5.3.0 配置分类
<a name="emr-530-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.3.0 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-hb HBase aase.properties 文件中的值。 | 
| hbase-policy | 更改 hbase-policy.xml 文件 HBase中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 ZooKeeper的 zoo.cfg 文件中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.2.3
<a name="emr-523-release"></a>

## 5.2.3 用程序版本
<a name="emr-523-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.2.3 | emr-5.2.2 | emr-5.2.1 | emr-5.2.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 
| Python | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.1.3 | 1.1.3 | 1.1.3 | 1.1.3 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.2.3 | 1.2.3 | 1.2.3 | 1.2.3 | 
| HCatalog | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 
| Hadoop | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-0 | 
| Hive | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub |  -  |  -  |  -  |  -  | 
| Livy |  -  |  -  |  -  |  -  | 
| MXNet |  -  |  -  |  -  |  -  | 
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 
| Oozie | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 
| Phoenix | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 
| Presto | 0.157.1 | 0.157.1 | 0.157.1 | 0.152.3 | 
| Spark | 2.0.2 | 2.0.2 | 2.0.2 | 2.0.2 | 
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 
| TensorFlow |  -  |  -  |  -  |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.6.2 | 0.6.2 | 0.6.2 | 0.6.2 | 
| ZooKeeper | 3.4.9 | 3.4.9 | 3.4.9 | 3.4.8 | 

## 5.2.3 发布说明
<a name="emr-523-relnotes"></a>

这是一个补丁版本，用于为向 Amazon S3 发出的请求添加 AWS 签名版本 4 身份验证。所有应用程序和组件都与之前的 Amazon EMR 发行版相同。

**重要**  
在此版本中，Amazon EMR 仅使用 AWS 签名版本 4 来验证向 Amazon S3 发出的请求。有关更多信息，请参阅[新功能](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html)。

## 5.2.3 组件版本
<a name="emr-523-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| emr-ddb | 4.2.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.2.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.2.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.4.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emrfs | 2.13.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.1.3 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.7.3-amzn-1 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.7.3-amzn-1 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.7.3-amzn-1 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.7.3-amzn-1 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.7.3-amzn-1 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.7.3-amzn-1 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.7.3-amzn-1 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.7.3-amzn-1 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.7.3-amzn-1 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.7.3-amzn-1 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.2.3 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.2.3 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.2.3 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.2.3 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.2.3 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.1.0-amzn-0 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.1.0-amzn-0 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.1.0-amzn-0 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.1.0-amzn-0 | Hive 命令行客户端。 | 
| hive-metastore-server | 2.1.0-amzn-0 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server | 2.1.0-amzn-0 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 3.10.0-amzn-0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| mahout-client | 0.12.2 | 用于机器学习的库。 | 
| mysql-server | 5.5.52 | MySQL 数据库服务器。 | 
| oozie-client | 4.2.0 | Oozie 命令行客户端。 | 
| oozie-server | 4.2.0 | 用于接受 Oozie 工作流请求的服务。 | 
| phoenix-library | 4.7.0--1.2 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.7.0--1.2 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.157.1 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.157.1 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.16.0-amzn-0 | Pig 命令行客户端。 | 
| spark-client | 2.0.2 | Spark 命令行客户端。 | 
| spark-history-server | 2.0.2 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.0.2 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.0.2 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.6 | Apache Sqoop 命令行客户端。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.23 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.6.2 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.9 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.9 | ZooKeeper 命令行客户端。 | 

## 5.2.3 配置分类
<a name="emr-523-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.2.3 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-hb HBase aase.properties 文件中的值。 | 
| hbase-policy | 更改 hbase-policy.xml 文件 HBase中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 ZooKeeper的 zoo.cfg 文件中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.2.2
<a name="emr-522-release"></a>

## 5.2.2 应用程序版本
<a name="emr-522-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.2.2 | emr-5.2.1 | emr-5.2.0 | emr-5.1.1 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 
| Python | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.1.3 | 1.1.3 | 1.1.3 | 1.1.3 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.2.3 | 1.2.3 | 1.2.3 | 1.2.3 | 
| HCatalog | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 
| Hadoop | 2.7.3-amzn-1 | 2.7.3-amzn-1 | 2.7.3-amzn-0 | 2.7.3-amzn-0 | 
| Hive | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub |  -  |  -  |  -  |  -  | 
| Livy |  -  |  -  |  -  |  -  | 
| MXNet |  -  |  -  |  -  |  -  | 
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 
| Oozie | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 
| Phoenix | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 
| Presto | 0.157.1 | 0.157.1 | 0.152.3 | 0.152.3 | 
| Spark | 2.0.2 | 2.0.2 | 2.0.2 | 2.0.1 | 
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 
| TensorFlow |  -  |  -  |  -  |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.6.2 | 0.6.2 | 0.6.2 | 0.6.2 | 
| ZooKeeper | 3.4.9 | 3.4.9 | 3.4.8 | 3.4.8 | 

## 5.2.2 发布说明
<a name="emr-522-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.2.2 的信息。更改与 Amazon EMR 5.2.1 发行版有关。

发布日期：2017 年 5 月 2 日

**早期版本中已解决的已知问题**
+ 向后移植的 [SPARK-194459](https://issues.apache.org/jira/browse/SPARK-19459)，它解决了从 char/varchar 包含列的 ORC 表中读取可能失败的问题。

## 5.2.2 组件版本
<a name="emr-522-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| emr-ddb | 4.2.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.2.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.2.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.4.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emrfs | 2.13.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.1.3 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.7.3-amzn-1 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.7.3-amzn-1 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.7.3-amzn-1 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.7.3-amzn-1 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.7.3-amzn-1 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.7.3-amzn-1 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.7.3-amzn-1 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.7.3-amzn-1 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.7.3-amzn-1 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.7.3-amzn-1 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.2.3 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.2.3 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.2.3 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.2.3 | 为提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.2.3 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.1.0-amzn-0 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.1.0-amzn-0 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.1.0-amzn-0 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.1.0-amzn-0 | Hive 命令行客户端。 | 
| hive-metastore-server | 2.1.0-amzn-0 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server | 2.1.0-amzn-0 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 3.10.0-amzn-0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| mahout-client | 0.12.2 | 用于机器学习的库。 | 
| mysql-server | 5.5.52 | MySQL 数据库服务器。 | 
| oozie-client | 4.2.0 | Oozie 命令行客户端。 | 
| oozie-server | 4.2.0 | 用于接受 Oozie 工作流请求的服务。 | 
| phoenix-library | 4.7.0--1.2 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.7.0--1.2 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.157.1 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.157.1 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.16.0-amzn-0 | Pig 命令行客户端。 | 
| spark-client | 2.0.2 | Spark 命令行客户端。 | 
| spark-history-server | 2.0.2 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.0.2 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.0.2 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.6 | Apache Sqoop 命令行客户端。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.23 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.6.2 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.9 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.9 | ZooKeeper 命令行客户端。 | 

## 5.2.2 配置分类
<a name="emr-522-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.2.2 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-hb HBase aase.properties 文件中的值。 | 
| hbase-policy | 更改 hbase-policy.xml 文件 HBase中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 ZooKeeper的 zoo.cfg 文件中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.2.1
<a name="emr-521-release"></a>

## 5.2.1 应用程序版本
<a name="emr-521-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.2.1 | emr-5.2.0 | emr-5.1.1 | emr-5.1.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 
| Python | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.1.3 | 1.1.3 | 1.1.3 | 1.1.3 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.2.3 | 1.2.3 | 1.2.3 | 1.2.3 | 
| HCatalog | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 
| Hadoop | 2.7.3-amzn-1 | 2.7.3-amzn-0 | 2.7.3-amzn-0 | 2.7.3-amzn-0 | 
| Hive | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub |  -  |  -  |  -  |  -  | 
| Livy |  -  |  -  |  -  |  -  | 
| MXNet |  -  |  -  |  -  |  -  | 
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 
| Oozie | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 
| Phoenix | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 
| Presto | 0.157.1 | 0.152.3 | 0.152.3 | 0.152.3 | 
| Spark | 2.0.2 | 2.0.2 | 2.0.1 | 2.0.1 | 
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 
| TensorFlow |  -  |  -  |  -  |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.6.2 | 0.6.2 | 0.6.2 | 0.6.2 | 
| ZooKeeper | 3.4.9 | 3.4.8 | 3.4.8 | 3.4.8 | 

## 5.2.1 发布说明
<a name="emr-521-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.2.1 的信息。更改与 Amazon EMR 5.2.0 发行版有关。

发布日期：2016 年 12 月 29 日

**升级**
+ 已升级到 Presto 0.157.1。有关更多信息，请参阅 Presto 文档中的 [Presto 发布说明](https://prestodb.io/docs/current/release/release-0.157.1.html)。
+ 已升级到 Zookeeper 3.4.9。有关更多信息，请参阅 Apache ZooKeeper 文档中的[ZooKeeper发行说明](https://zookeeper.apache.org/doc/r3.4.9/releasenotes.html)。

**更改和增强功能**
+ 在 Amazon EMR 4.8.3 及更高版本（但不包括 5.0.0、5.0.3 和 5.2.0 版）中添加了对 Amazon EC2 m4.16xlarge 实例类型的支持。
+ Amazon EMR 发行版现在基于 Amazon Linux 2016.09。有关更多信息，请参阅[https://aws.amazon.com/amazon-linux-ami/2016.09-release-notes/](https://aws.amazon.com/amazon-linux-ami/2016.09-release-notes/)。
+ 现在，Flink 和 YARN 配置路径的位置默认在 `/etc/default/flink` 中设置，您在运行 `flink` 或 `yarn-session.sh` 驱动程序脚本启动 Flink 任务时，无需设置环境变量 `FLINK_CONF_DIR` 和 `HADOOP_CONF_DIR`。
+ 增加了对 FlinkKinesisConsumer 类的支持。

**早期版本中已解决的已知问题**
+ 修复了 Hadoop 中的一个问题，即由于在大型集群中复制和删除同一文件之间存在竞争， ReplicationMonitor 线程可能会长时间卡住。
+ 修复了任务状态未成功更新时 ControlledJob \$1toString 因空指针异常 (NPE) 而失败的问题。

## 5.2.1 组件版本
<a name="emr-521-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| emr-ddb | 4.2.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.2.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.2.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.4.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emrfs | 2.13.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.1.3 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.7.3-amzn-1 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.7.3-amzn-1 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.7.3-amzn-1 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.7.3-amzn-1 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.7.3-amzn-1 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.7.3-amzn-1 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.7.3-amzn-1 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.7.3-amzn-1 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.7.3-amzn-1 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.7.3-amzn-1 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.2.3 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.2.3 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.2.3 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.2.3 | 为提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.2.3 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.1.0-amzn-0 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.1.0-amzn-0 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.1.0-amzn-0 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.1.0-amzn-0 | Hive 命令行客户端。 | 
| hive-metastore-server | 2.1.0-amzn-0 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server | 2.1.0-amzn-0 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 3.10.0-amzn-0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| mahout-client | 0.12.2 | 用于机器学习的库。 | 
| mysql-server | 5.5.52 | MySQL 数据库服务器。 | 
| oozie-client | 4.2.0 | Oozie 命令行客户端。 | 
| oozie-server | 4.2.0 | 用于接受 Oozie 工作流请求的服务。 | 
| phoenix-library | 4.7.0--1.2 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.7.0--1.2 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.157.1 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.157.1 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.16.0-amzn-0 | Pig 命令行客户端。 | 
| spark-client | 2.0.2 | Spark 命令行客户端。 | 
| spark-history-server | 2.0.2 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.0.2 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.0.2 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.6 | Apache Sqoop 命令行客户端。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.23 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.6.2 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.9 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.9 | ZooKeeper 命令行客户端。 | 

## 5.2.1 配置分类
<a name="emr-521-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.2.1 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-hb HBase aase.properties 文件中的值。 | 
| hbase-policy | 更改 hbase-policy.xml 文件 HBase中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 ZooKeeper的 zoo.cfg 文件中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.2.0
<a name="emr-520-release"></a>

## 5.2.0 应用程序版本
<a name="emr-520-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.2.0 | emr-5.1.1 | emr-5.1.0 | emr-5.0.3 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 
| Python | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.1.3 | 1.1.3 | 1.1.3 |  -  | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.2.3 | 1.2.3 | 1.2.3 | 1.2.2 | 
| HCatalog | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 
| Hadoop | 2.7.3-amzn-0 | 2.7.3-amzn-0 | 2.7.3-amzn-0 | 2.7.3-amzn-0 | 
| Hive | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub |  -  |  -  |  -  |  -  | 
| Livy |  -  |  -  |  -  |  -  | 
| MXNet |  -  |  -  |  -  |  -  | 
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 
| Oozie | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 
| Phoenix | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 
| Presto | 0.152.3 | 0.152.3 | 0.152.3 | 0.152.3 | 
| Spark | 2.0.2 | 2.0.1 | 2.0.1 | 2.0.1 | 
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 
| TensorFlow |  -  |  -  |  -  |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.6.2 | 0.6.2 | 0.6.2 | 0.6.1 | 
| ZooKeeper | 3.4.8 | 3.4.8 | 3.4.8 | 3.4.8 | 

## 5.2.0 发布说明
<a name="emr-520-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.2.0 的信息。更改与 Amazon EMR 5.1.0 发行版有关。

发布日期：2016 年 11 月 21 日

**更改和增强功能**
+ 为添加了 Amazon S3 存储模式 HBase。
+  允许您为 r HBase ootdir 指定 Amazon S3 的位置。有关更多信息，请参阅 [Amaz HBase on S3](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hbase-s3.html)。

**升级**
+ 已升级到 Spark 2.0.2

**早期版本中已解决的已知问题**
+ 修复了限制为仅 EBS 实例类型上的 2 TB 的 /mnt 的问题。
+ 修复了输出到相应的 .out 文件而不是常规 log4j 配置的 .log 文件 (每小时转动一次) 的 instance-controller 和 logpusher 日志的问题。.out 文件不会转动，因此这最终将填满 /emr 分区。此问题仅影响硬件虚拟机 (HVM) 实例类型。

## 5.2.0 组件版本
<a name="emr-520-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| emr-ddb | 4.1.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.1.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.2.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.4.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emrfs | 2.12.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.1.3 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.7.3-amzn-0 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.7.3-amzn-0 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.7.3-amzn-0 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.7.3-amzn-0 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.7.3-amzn-0 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.7.3-amzn-0 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.7.3-amzn-0 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.7.3-amzn-0 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.7.3-amzn-0 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.7.3-amzn-0 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.2.3 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.2.3 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.2.3 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.2.3 | 为提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.2.3 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.1.0-amzn-0 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.1.0-amzn-0 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.1.0-amzn-0 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.1.0-amzn-0 | Hive 命令行客户端。 | 
| hive-metastore-server | 2.1.0-amzn-0 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server | 2.1.0-amzn-0 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 3.10.0-amzn-0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| mahout-client | 0.12.2 | 用于机器学习的库。 | 
| mysql-server | 5.5.52 | MySQL 数据库服务器。 | 
| oozie-client | 4.2.0 | Oozie 命令行客户端。 | 
| oozie-server | 4.2.0 | 用于接受 Oozie 工作流请求的服务。 | 
| phoenix-library | 4.7.0--1.2 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.7.0--1.2 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.152.3 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.152.3 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.16.0-amzn-0 | Pig 命令行客户端。 | 
| spark-client | 2.0.2 | Spark 命令行客户端。 | 
| spark-history-server | 2.0.2 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.0.2 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.0.2 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.6 | Apache Sqoop 命令行客户端。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.23 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.6.2 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.8 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.8 | ZooKeeper 命令行客户端。 | 

## 5.2.0 配置分类
<a name="emr-520-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.2.0 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-hb HBase aase.properties 文件中的值。 | 
| hbase-policy | 更改 hbase-policy.xml 文件 HBase中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 ZooKeeper的 zoo.cfg 文件中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.1.1
<a name="emr-511-release"></a>

## 5.1.1 应用程序版本
<a name="emr-511-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.1.1 | emr-5.1.0 | emr-5.0.3 | emr-5.0.2 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 
| Python | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.1.3 | 1.1.3 |  -  |  -  | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.2.3 | 1.2.3 | 1.2.2 | 1.2.2 | 
| HCatalog | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 
| Hadoop | 2.7.3-amzn-0 | 2.7.3-amzn-0 | 2.7.3-amzn-0 | 2.7.2-amzn-3 | 
| Hive | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub |  -  |  -  |  -  |  -  | 
| Livy |  -  |  -  |  -  |  -  | 
| MXNet |  -  |  -  |  -  |  -  | 
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 
| Oozie | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 
| Phoenix | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 
| Presto | 0.152.3 | 0.152.3 | 0.152.3 | 0.150 | 
| Spark | 2.0.1 | 2.0.1 | 2.0.1 | 2.0.0 | 
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 
| TensorFlow |  -  |  -  |  -  |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.6.2 | 0.6.2 | 0.6.1 | 0.6.1-SNAPSHOT | 
| ZooKeeper | 3.4.8 | 3.4.8 | 3.4.8 | 3.4.8 | 

## 5.1.1 发布说明
<a name="emr-511-relnotes"></a>

这是一个补丁版本，用于为向 Amazon S3 发出的请求添加 AWS 签名版本 4 身份验证。所有应用程序和组件都与之前的 Amazon EMR 发行版相同。

**重要**  
在此版本中，Amazon EMR 仅使用 AWS 签名版本 4 来验证向 Amazon S3 发出的请求。有关更多信息，请参阅[新功能](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html)。

## 5.1.1 组件版本
<a name="emr-511-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| emr-ddb | 4.1.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.1.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.2.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.4.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emrfs | 2.11.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.1.3 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.7.3-amzn-0 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.7.3-amzn-0 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.7.3-amzn-0 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.7.3-amzn-0 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.7.3-amzn-0 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.7.3-amzn-0 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.7.3-amzn-0 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.7.3-amzn-0 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.7.3-amzn-0 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.7.3-amzn-0 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.2.3 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.2.3 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.2.3 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.2.3 | 为提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.2.3 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.1.0-amzn-0 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.1.0-amzn-0 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.1.0-amzn-0 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.1.0-amzn-0 | Hive 命令行客户端。 | 
| hive-metastore-server | 2.1.0-amzn-0 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server | 2.1.0-amzn-0 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 3.10.0-amzn-0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| mahout-client | 0.12.2 | 用于机器学习的库。 | 
| mysql-server | 5.5.52 | MySQL 数据库服务器。 | 
| oozie-client | 4.2.0 | Oozie 命令行客户端。 | 
| oozie-server | 4.2.0 | 用于接受 Oozie 工作流请求的服务。 | 
| phoenix-library | 4.7.0--1.2 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.7.0--1.2 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.152.3 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.152.3 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.16.0-amzn-0 | Pig 命令行客户端。 | 
| spark-client | 2.0.1 | Spark 命令行客户端。 | 
| spark-history-server | 2.0.1 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.0.1 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.0.1 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.6 | Apache Sqoop 命令行客户端。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.23 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.6.2 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.8 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.8 | ZooKeeper 命令行客户端。 | 

## 5.1.1 配置分类
<a name="emr-511-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.1.1 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-hb HBase aase.properties 文件中的值。 | 
| hbase-policy | 更改 hbase-policy.xml 文件 HBase中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 ZooKeeper的 zoo.cfg 文件中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.1.0
<a name="emr-510-release"></a>

## 5.1.0 应用程序版本
<a name="emr-510-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.1.0 | emr-5.0.3 | emr-5.0.2 | emr-5.0.1 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 
| Python | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.1.3 |  -  |  -  |  -  | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.2.3 | 1.2.2 | 1.2.2 | 1.2.2 | 
| HCatalog | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 
| Hadoop | 2.7.3-amzn-0 | 2.7.3-amzn-0 | 2.7.2-amzn-3 | 2.7.2-amzn-3 | 
| Hive | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub |  -  |  -  |  -  |  -  | 
| Livy |  -  |  -  |  -  |  -  | 
| MXNet |  -  |  -  |  -  |  -  | 
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 
| Oozie | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 
| Phoenix | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 
| Presto | 0.152.3 | 0.152.3 | 0.150 | 0.150 | 
| Spark | 2.0.1 | 2.0.1 | 2.0.0 | 2.0.0 | 
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 
| TensorFlow |  -  |  -  |  -  |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.6.2 | 0.6.1 | 0.6.1-SNAPSHOT | 0.6.1-SNAPSHOT | 
| ZooKeeper | 3.4.8 | 3.4.8 | 3.4.8 | 3.4.8 | 

## 5.1.0 发布说明
<a name="emr-510-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.1.0 的信息。更改与 Amazon EMR 5.0.3 发行版有关。

发布日期：2016 年 11 月 3 日

**更改和增强功能**
+ 增加了对 Flink 1.1.3 的支持。
+ Presto 已作为 Hue 的记事本部分中的选项添加。

**升级**
+ 已升级到 HBase 1.2.3
+ 已升级到 Zeppelin 0.6.2

**早期版本中已解决的已知问题**
+ 修复了带 ORC 文件的 Amazon S3 上的 Tez 查询的性能低于早期 Amazon EMR 4.x 版本中的性能的问题。

## 5.1.0 组件版本
<a name="emr-510-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| emr-ddb | 4.1.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.1.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.2.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.4.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emrfs | 2.11.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.1.3 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.7.3-amzn-0 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.7.3-amzn-0 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.7.3-amzn-0 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.7.3-amzn-0 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.7.3-amzn-0 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.7.3-amzn-0 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.7.3-amzn-0 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.7.3-amzn-0 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.7.3-amzn-0 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.7.3-amzn-0 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.2.3 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.2.3 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.2.3 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.2.3 | 为提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.2.3 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.1.0-amzn-0 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.1.0-amzn-0 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.1.0-amzn-0 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.1.0-amzn-0 | Hive 命令行客户端。 | 
| hive-metastore-server | 2.1.0-amzn-0 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server | 2.1.0-amzn-0 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 3.10.0-amzn-0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| mahout-client | 0.12.2 | 用于机器学习的库。 | 
| mysql-server | 5.5.52 | MySQL 数据库服务器。 | 
| oozie-client | 4.2.0 | Oozie 命令行客户端。 | 
| oozie-server | 4.2.0 | 用于接受 Oozie 工作流请求的服务。 | 
| phoenix-library | 4.7.0--1.2 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.7.0--1.2 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.152.3 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.152.3 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.16.0-amzn-0 | Pig 命令行客户端。 | 
| spark-client | 2.0.1 | Spark 命令行客户端。 | 
| spark-history-server | 2.0.1 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.0.1 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.0.1 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.6 | Apache Sqoop 命令行客户端。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.23 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.6.2 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.8 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.8 | ZooKeeper 命令行客户端。 | 

## 5.1.0 配置分类
<a name="emr-510-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.1.0 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-hb HBase aase.properties 文件中的值。 | 
| hbase-policy | 更改 hbase-policy.xml 文件 HBase中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 ZooKeeper的 zoo.cfg 文件中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.0.3
<a name="emr-503-release"></a>

## 5.0.3 应用程序版本
<a name="emr-503-app-versions"></a>

此版本包括以下应用程序：[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.0.3 | emr-5.0.2 | emr-5.0.1 | emr-5.0.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 
| Python | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink |  -  |  -  |  -  |  -  | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.2.2 | 1.2.2 | 1.2.2 | 1.2.2 | 
| HCatalog | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 
| Hadoop | 2.7.3-amzn-0 | 2.7.2-amzn-3 | 2.7.2-amzn-3 | 2.7.2-amzn-3 | 
| Hive | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub |  -  |  -  |  -  |  -  | 
| Livy |  -  |  -  |  -  |  -  | 
| MXNet |  -  |  -  |  -  |  -  | 
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 
| Oozie | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 
| Phoenix | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 
| Presto | 0.152.3 | 0.150 | 0.150 | 0.150 | 
| Spark | 2.0.1 | 2.0.0 | 2.0.0 | 2.0.0 | 
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 
| TensorFlow |  -  |  -  |  -  |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.6.1 | 0.6.1-SNAPSHOT | 0.6.1-SNAPSHOT | 0.6.1-SNAPSHOT | 
| ZooKeeper | 3.4.8 | 3.4.8 | 3.4.8 | 3.4.8 | 

## 5.0.3 发布说明
<a name="emr-503-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 5.0.3 的信息。更改与 Amazon EMR 5.0.0 发行版有关。

发布日期：2016 年 10 月 24 日

**升级**
+ 已升级到 Hadoop 2.7.3
+ 已升级到 Presto 0.152.3，它包括对 Presto Web 界面的支持。可使用端口 8889 访问 Presto 协调器上的 Presto Web 界面。有关 Presto Web 界面的更多信息，请参阅 Presto 文档中的 [Web 界面](https://prestodb.io/docs/current/admin/web-interface.html)。
+ 已升级到 Spark 2.0.1
+ Amazon EMR 发行版现在基于 Amazon Linux 2016.09。有关更多信息，请参阅 [https://aws.amazon.com/amazon-linux-ami/2016.09-release-notes/](https://aws.amazon.com/amazon-linux-ami/2016.09-release-notes/)。

## 5.0.3 组件版本
<a name="emr-503-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| emr-ddb | 4.1.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.1.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.2.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.4.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emrfs | 2.10.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.7.3-amzn-0 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.7.3-amzn-0 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.7.3-amzn-0 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.7.3-amzn-0 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.7.3-amzn-0 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.7.3-amzn-0 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.7.3-amzn-0 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.7.3-amzn-0 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.7.3-amzn-0 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.7.3-amzn-0 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.2.2 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.2.2 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.2.2 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.2.2 | 为提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.2.2 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.1.0-amzn-0 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.1.0-amzn-0 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.1.0-amzn-0 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.1.0-amzn-0 | Hive 命令行客户端。 | 
| hive-metastore-server | 2.1.0-amzn-0 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server | 2.1.0-amzn-0 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 3.10.0-amzn-0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| mahout-client | 0.12.2 | 用于机器学习的库。 | 
| mysql-server | 5.5.52 | MySQL 数据库服务器。 | 
| oozie-client | 4.2.0 | Oozie 命令行客户端。 | 
| oozie-server | 4.2.0 | 用于接受 Oozie 工作流请求的服务。 | 
| phoenix-library | 4.7.0--1.2 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.7.0--1.2 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.152.3 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.152.3 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.16.0-amzn-0 | Pig 命令行客户端。 | 
| spark-client | 2.0.1 | Spark 命令行客户端。 | 
| spark-history-server | 2.0.1 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.0.1 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.0.1 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.6 | Apache Sqoop 命令行客户端。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.23 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.6.1 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.8 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.8 | ZooKeeper 命令行客户端。 | 

## 5.0.3 配置分类
<a name="emr-503-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.0.3 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-hb HBase aase.properties 文件中的值。 | 
| hbase-policy | 更改 hbase-policy.xml 文件 HBase中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 ZooKeeper的 zoo.cfg 文件中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.0.2
<a name="emr-502-release"></a>

## 5.0.2 应用程序版本
<a name="emr-502-app-versions"></a>

此版本包括以下应用程序：[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.0.3 | emr-5.0.2 | emr-5.0.1 | emr-5.0.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 
| Python | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink |  -  |  -  |  -  |  -  | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.2.2 | 1.2.2 | 1.2.2 | 1.2.2 | 
| HCatalog | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 
| Hadoop | 2.7.3-amzn-0 | 2.7.2-amzn-3 | 2.7.2-amzn-3 | 2.7.2-amzn-3 | 
| Hive | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub |  -  |  -  |  -  |  -  | 
| Livy |  -  |  -  |  -  |  -  | 
| MXNet |  -  |  -  |  -  |  -  | 
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 
| Oozie | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 
| Phoenix | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 
| Presto | 0.152.3 | 0.150 | 0.150 | 0.150 | 
| Spark | 2.0.1 | 2.0.0 | 2.0.0 | 2.0.0 | 
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 
| TensorFlow |  -  |  -  |  -  |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.6.1 | 0.6.1-SNAPSHOT | 0.6.1-SNAPSHOT | 0.6.1-SNAPSHOT | 
| ZooKeeper | 3.4.8 | 3.4.8 | 3.4.8 | 3.4.8 | 

## 5.0.2 发布说明
<a name="emr-502-relnotes"></a>

## 5.0.2 组件版本
<a name="emr-502-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| emr-ddb | 4.0.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.1.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.2.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.4.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emrfs | 2.9.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.7.2-amzn-3 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.7.2-amzn-3 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.7.2-amzn-3 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.7.2-amzn-3 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.7.2-amzn-3 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.7.2-amzn-3 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.7.2-amzn-3 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.7.2-amzn-3 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.7.2-amzn-3 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.7.2-amzn-3 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.2.2 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.2.2 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.2.2 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.2.2 | 为提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.2.2 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.1.0-amzn-0 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.1.0-amzn-0 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.1.0-amzn-0 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.1.0-amzn-0 | Hive 命令行客户端。 | 
| hive-metastore-server | 2.1.0-amzn-0 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server | 2.1.0-amzn-0 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 3.10.0-amzn-0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| mahout-client | 0.12.2 | 用于机器学习的库。 | 
| mysql-server | 5.5.46 | MySQL 数据库服务器。 | 
| oozie-client | 4.2.0 | Oozie 命令行客户端。 | 
| oozie-server | 4.2.0 | 用于接受 Oozie 工作流请求的服务。 | 
| phoenix-library | 4.7.0--1.2 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.7.0--1.2 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.150 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.150 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.16.0-amzn-0 | Pig 命令行客户端。 | 
| spark-client | 2.0.0 | Spark 命令行客户端。 | 
| spark-history-server | 2.0.0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.0.0 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.0.0 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.6 | Apache Sqoop 命令行客户端。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.23 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.6.1-SNAPSHOT | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.8 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.8 | ZooKeeper 命令行客户端。 | 

## 5.0.2 配置分类
<a name="emr-502-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅 [配置应用程序](emr-configure-apps.md)。


**emr-5.0.2 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-hb HBase aase.properties 文件中的值。 | 
| hbase-policy | 更改 hbase-policy.xml 文件 HBase中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 ZooKeeper的 zoo.cfg 文件中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.0.1
<a name="emr-501-release"></a>

## 5.0.1 应用程序版本
<a name="emr-501-app-versions"></a>

此版本包括以下应用程序：[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.0.3 | emr-5.0.2 | emr-5.0.1 | emr-5.0.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 
| Python | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink |  -  |  -  |  -  |  -  | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.2.2 | 1.2.2 | 1.2.2 | 1.2.2 | 
| HCatalog | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 
| Hadoop | 2.7.3-amzn-0 | 2.7.2-amzn-3 | 2.7.2-amzn-3 | 2.7.2-amzn-3 | 
| Hive | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub |  -  |  -  |  -  |  -  | 
| Livy |  -  |  -  |  -  |  -  | 
| MXNet |  -  |  -  |  -  |  -  | 
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 
| Oozie | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 
| Phoenix | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 
| Presto | 0.152.3 | 0.150 | 0.150 | 0.150 | 
| Spark | 2.0.1 | 2.0.0 | 2.0.0 | 2.0.0 | 
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 
| TensorFlow |  -  |  -  |  -  |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.6.1 | 0.6.1-SNAPSHOT | 0.6.1-SNAPSHOT | 0.6.1-SNAPSHOT | 
| ZooKeeper | 3.4.8 | 3.4.8 | 3.4.8 | 3.4.8 | 

## 5.0.1 发布说明
<a name="emr-501-relnotes"></a>

## 5.0.1 组件版本
<a name="emr-501-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| emr-ddb | 4.0.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.1.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.2.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.4.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emrfs | 2.9.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.7.2-amzn-3 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.7.2-amzn-3 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.7.2-amzn-3 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.7.2-amzn-3 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.7.2-amzn-3 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.7.2-amzn-3 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.7.2-amzn-3 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.7.2-amzn-3 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.7.2-amzn-3 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.7.2-amzn-3 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.2.2 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.2.2 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.2.2 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.2.2 | 为提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.2.2 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.1.0-amzn-0 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.1.0-amzn-0 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.1.0-amzn-0 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.1.0-amzn-0 | Hive 命令行客户端。 | 
| hive-metastore-server | 2.1.0-amzn-0 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server | 2.1.0-amzn-0 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 3.10.0-amzn-0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| mahout-client | 0.12.2 | 用于机器学习的库。 | 
| mysql-server | 5.5.46 | MySQL 数据库服务器。 | 
| oozie-client | 4.2.0 | Oozie 命令行客户端。 | 
| oozie-server | 4.2.0 | 用于接受 Oozie 工作流请求的服务。 | 
| phoenix-library | 4.7.0--1.2 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.7.0--1.2 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.150 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.150 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.16.0-amzn-0 | Pig 命令行客户端。 | 
| spark-client | 2.0.0 | Spark 命令行客户端。 | 
| spark-history-server | 2.0.0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.0.0 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.0.0 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.6 | Apache Sqoop 命令行客户端。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.23 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.6.1-SNAPSHOT | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.8 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.8 | ZooKeeper 命令行客户端。 | 

## 5.0.1 配置分类
<a name="emr-501-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅 [配置应用程序](emr-configure-apps.md)。


**emr-5.0.1 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-hb HBase aase.properties 文件中的值。 | 
| hbase-policy | 更改 hbase-policy.xml 文件 HBase中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 ZooKeeper的 zoo.cfg 文件中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 5.0.0
<a name="emr-500-release"></a>

## 5.0.0 应用程序版本
<a name="emr-500-app-versions"></a>

此版本包括以下应用程序：[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[http://gethue.com/](http://gethue.com/)、[http://mahout.apache.org/](http://mahout.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-5.0.3 | emr-5.0.2 | emr-5.0.1 | emr-5.0.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.10.75 | 1.10.75 | 1.10.75 | 1.10.75 | 
| Python | 未跟踪 | 未跟踪 | 未跟踪 | 未跟踪 | 
| Scala | 2.11.8 | 2.11.8 | 2.11.8 | 2.11.8 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink |  -  |  -  |  -  |  -  | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 1.2.2 | 1.2.2 | 1.2.2 | 1.2.2 | 
| HCatalog | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 
| Hadoop | 2.7.3-amzn-0 | 2.7.2-amzn-3 | 2.7.2-amzn-3 | 2.7.2-amzn-3 | 
| Hive | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 2.1.0-amzn-0 | 
| Hudi |  -  |  -  |  -  |  -  | 
| Hue | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 3.10.0-amzn-0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub |  -  |  -  |  -  |  -  | 
| Livy |  -  |  -  |  -  |  -  | 
| MXNet |  -  |  -  |  -  |  -  | 
| Mahout | 0.12.2 | 0.12.2 | 0.12.2 | 0.12.2 | 
| Oozie | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 
| Phoenix | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 4.7.0--1.2 HBase | 
| Pig | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 0.16.0-amzn-0 | 
| Presto | 0.152.3 | 0.150 | 0.150 | 0.150 | 
| Spark | 2.0.1 | 2.0.0 | 2.0.0 | 2.0.0 | 
| Sqoop | 1.4.6 | 1.4.6 | 1.4.6 | 1.4.6 | 
| TensorFlow |  -  |  -  |  -  |  -  | 
| Tez | 0.8.4 | 0.8.4 | 0.8.4 | 0.8.4 | 
| Trino (PrestoSQL) |  -  |  -  |  -  |  -  | 
| Zeppelin | 0.6.1 | 0.6.1-SNAPSHOT | 0.6.1-SNAPSHOT | 0.6.1-SNAPSHOT | 
| ZooKeeper | 3.4.8 | 3.4.8 | 3.4.8 | 3.4.8 | 

## 5.0.0 发布说明
<a name="emr-500-relnotes"></a>

 发布日期：2016 年 7 月 27 日

**升级**
+ 已升级到 Hive 2.1
+ 已升级到 Presto 0.150
+ 已升级到 Spark 2.0
+ 已升级到 Hue 3.10.0
+ 已升级到 Pig 0.16.0
+ 已升级到 Tez 0.8.4
+ 已升级到 Zeppelin 0.6.1

**更改和增强功能**
+ Amazon EMR 支持最新开源版本的 Hive（版本 2.1）和 Pig（版本 0.16.0）。如果您以前使用的是 Amazon EMR 上的 Hive 或 Pig，那么这可能会影响某些使用案例。有关更多信息，请参阅 [Hive](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hive.html) 和 [Pig](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-pig.html)。
+ Hive 和 Pig 的默认执行引擎现在是 Tez。要更改该设置，您可以在 `hive-site` 和 `pig-properties` 配置分类中分别编辑相应的值。
+ 添加了增强型步骤调试功能，可让您查看步骤失败的根本原因 (如果服务可以确定原因)。有关更多信息，请参阅《Amazon EMR 管理指南》中的[增强型步骤调试](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-enhanced-step-debugging.html)。
+ 先前以“-Sandbox”结尾的应用程序不再拥有该后缀。这可能会中断您的自动化，例如，如果您使用脚本来启动具有这些应用程序的集群。下表显示了 Amazon EMR 4.7.2 与 Amazon EMR 5.0.0 中的应用程序名称。  
**应用程序名称更改**    
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_cn/emr/latest/ReleaseGuide/emr-500-release.html)
+ Spark 现在针对 Scala 2.11 进行编译。
+ Java 8 现在是默认 JVM。所有应用程序均使用 Java 8 runtime 运行。对任何应用程序的字节代码目标都没有进行更改。大多数应用程序继续运行 Java 7。
+ Zeppelin 现在包括身份验证功能。有关更多信息，请参阅 [Zeppelin](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-zeppelin.html)。
+ 添加了对安全配置的支持，这使您可以更轻松地创建和应用加密选项。有关更多信息，请参阅[数据加密](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-data-encryption.html)。

## 5.0.0 组件版本
<a name="emr-500-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| emr-ddb | 4.0.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 2.1.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.2.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | 2.4.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emrfs | 2.9.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 2.7.2-amzn-3 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 2.7.2-amzn-3 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 2.7.2-amzn-3 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 2.7.2-amzn-3 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-httpfs-server | 2.7.2-amzn-3 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 2.7.2-amzn-3 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 2.7.2-amzn-3 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 2.7.2-amzn-3 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 2.7.2-amzn-3 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 2.7.2-amzn-3 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 1.2.2 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 1.2.2 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 1.2.2 | HBase 命令行客户端。 | 
| hbase-rest-server | 1.2.2 | 为提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 1.2.2 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 2.1.0-amzn-0 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 2.1.0-amzn-0 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 2.1.0-amzn-0 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 2.1.0-amzn-0 | Hive 命令行客户端。 | 
| hive-metastore-server | 2.1.0-amzn-0 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server | 2.1.0-amzn-0 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hue-server | 3.10.0-amzn-0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| mahout-client | 0.12.2 | 用于机器学习的库。 | 
| mysql-server | 5.5.46 | MySQL 数据库服务器。 | 
| oozie-client | 4.2.0 | Oozie 命令行客户端。 | 
| oozie-server | 4.2.0 | 用于接受 Oozie 工作流请求的服务。 | 
| phoenix-library | 4.7.0--1.2 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 4.7.0--1.2 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.150 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.150 | 用于执行查询的各个部分的服务。 | 
| pig-client | 0.16.0-amzn-0 | Pig 命令行客户端。 | 
| spark-client | 2.0.0 | Spark 命令行客户端。 | 
| spark-history-server | 2.0.0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.0.0 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.0.0 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.6 | Apache Sqoop 命令行客户端。 | 
| tez-on-yarn | 0.8.4 | tez YARN 应用程序和库。 | 
| webserver | 2.4.23 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.6.1-SNAPSHOT | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.8 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.8 | ZooKeeper 命令行客户端。 | 

## 5.0.0 配置分类
<a name="emr-500-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-5.0.0 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-hb HBase aase.properties 文件中的值。 | 
| hbase-policy | 更改 hbase-policy.xml 文件 HBase中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 ZooKeeper的 zoo.cfg 文件中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 |