本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

# Amazon EMR 6.x 发行版
<a name="emr-release-6x"></a>

本部分内容涵盖每个 Amazon EMR 6.x 发行版中可用的应用程序版本、发布说明、组件版本和配置分类。

启动集群时，有多个 Amazon EMR 发行版可供选择。这允许您测试和使用满足您解决方案兼容性需求的应用程序版本。您可以使用*发行版标注*指定版本号。版本标签的格式是 `emr-x.x.x`。例如 `emr-7.12.0`。

从初始发布日期的第一个区域开始，新的 Amazon EMR 发行版将在几天内陆续在不同区域提供。在此期间，您所在区域可能无法提供最新发行版。

有关每个 Amazon EMR 6.x 发行版中的应用程序版本的综合表格，请参阅[Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)。

**Topics**
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 发行版 6.15.0](emr-6150-release.md)
+ [Amazon EMR 发行版 6.14.0](emr-6140-release.md)
+ [Amazon EMR 版本 6.13.0](emr-6130-release.md)
+ [Amazon EMR 版本 6.12.0](emr-6120-release.md)
+ [Amazon EMR 版本 6.11.1](emr-6111-release.md)
+ [Amazon EMR 版本 6.11.0](emr-6110-release.md)
+ [Amazon EMR 版本 6.10.1](emr-6101-release.md)
+ [Amazon EMR 版本 6.10.0](emr-6100-release.md)
+ [Amazon EMR 版本 6.9.1](emr-691-release.md)
+ [Amazon EMR 发行版 6.9.0](emr-690-release.md)
+ [Amazon EMR 版本 6.8.1](emr-681-release.md)
+ [Amazon EMR 发行版 6.8.0](emr-680-release.md)
+ [Amazon EMR 发行版 6.7.0](emr-670-release.md)
+ [Amazon EMR 发行版 6.6.0](emr-660-release.md)
+ [Amazon EMR 发行版 6.5.0](emr-650-release.md)
+ [Amazon EMR 发行版 6.4.0](emr-640-release.md)
+ [Amazon EMR 发行版 6.3.1](emr-631-release.md)
+ [Amazon EMR 发行版 6.3.0](emr-630-release.md)
+ [Amazon EMR 发行版 6.2.1](emr-621-release.md)
+ [Amazon EMR 发行版 6.2.0](emr-620-release.md)
+ [Amazon EMR 发行版 6.1.1](emr-611-release.md)
+ [Amazon EMR 发行版 6.1.0](emr-610-release.md)
+ [Amazon EMR 发行版 6.0.1](emr-601-release.md)
+ [Amazon EMR 发行版 6.0.0](emr-600-release.md)

# Amazon EMR 6.x 发行版中的应用程序版本
<a name="emr-release-app-versions-6.x"></a>

下表列出了每个 Amazon EMR 6.x 发行版中可用的应用程序版本。


**应用程序版本信息**  

|  | emr-6.15.0 | emr-6.14.0 | emr-6.13.0 | emr-6.12.0 | emr-6.11.1 | emr-6.11.0 | emr-6.10.1 | emr-6.10.0 | emr-6.9.1 | emr-6.9.0 | emr-6.8.1 | emr-6.8.0 | emr-6.7.0 | emr-6.6.0 | emr-6.5.0 | emr-6.4.0 | emr-6.3.1 | emr-6.3.0 | emr-6.2.1 | emr-6.2.0 | emr-6.1.1 | emr-6.1.0 | emr-6.0.1 | emr-6.0.0 | 
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 2.20.160-amzn-0, 1.12.569 | 1.12.543 | 1.12.513 | 1.12.490 | 1.12.446 | 1.12.446 | 1.12.397 | 1.12.397 | 1.12.170 | 1.12.170 | 1.12.170 | 1.12.170 | 1.12.170 | 1.12.170 | 1.12.31 | 1.12.31 | 1.11.977 | 1.11.977 | 1.11.880 | 1.11.880 | 1.11.828 | 1.11.828 | 1.11.711 | 1.11.711 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.10 | 2.12.10 | 2.12.10 | 2.12.10 | 2.12.10 | 2.12.10 | 2.12.10 | 2.12.10 | 2.12.10 | 2.12.10 | 2.11.12 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  | 
| Delta | 2.4.0 | 2.4.0 | 2.4.0 | 2.4.0 | 2.2.0 | 2.2.0 | 2.2.0 | 2.2.0 | 2.1.0 | 2.1.0 |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  | 
| Flink | 1.17.1-amzn-1 | 1.17.1-amzn-0 | 1.17.0 | 1.17.0 | 1.16.0 | 1.16.0 | 1.16.0 | 1.16.0 | 1.15.2 | 1.15.2 | 1.15.1 | 1.15.1 | 1.14.2 | 1.14.2 | 1.14.0 | 1.13.1 | 1.12.1 | 1.12.1 | 1.11.2 | 1.11.2 | 1.11.0 | 1.11.0 |  -  |  -  | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.4.17-amzn-3 | 2.4.17-amzn-2 | 2.4.17-amzn-1 | 2.4.17-amzn-0 | 2.4.15-amzn-1.1 | 2.4.15-amzn-1 | 2.4.15-amzn-0.1 | 2.4.15-amzn-0 | 2.4.13-amzn-0.1 | 2.4.13-amzn-0 | 2.4.12-amzn-0.1 | 2.4.12-amzn-0 | 2.4.4-amzn-3 | 2.4.4-amzn-2 | 2.4.4-amzn-1 | 2.4.4-amzn-0 | 2.2.6-amzn-1 | 2.2.6-amzn-1 | 2.2.6-amzn-0 | 2.2.6-amzn-0 | 2.2.5 | 2.2.5 | 2.2.3 | 2.2.3 | 
| HCatalog | 3.1.3-amzn-8 | 3.1.3-amzn-7 | 3.1.3-amzn-6 | 3.1.3-amzn-5 | 3.1.3-amzn-4.1 | 3.1.3-amzn-4 | 3.1.3-amzn-3.1 | 3.1.3-amzn-3 | 3.1.3-amzn-2.1 | 3.1.3-amzn-2 | 3.1.3-amzn-1.1 | 3.1.3-amzn-1 | 3.1.3-amzn-0 | 3.1.2-amzn-7 | 3.1.2-amzn-6 | 3.1.2-amzn-5 | 3.1.2-amzn-4 | 3.1.2-amzn-4 | 3.1.2-amzn-3 | 3.1.2-amzn-3 | 3.1.2-amzn-2 | 3.1.2-amzn-2 | 3.1.2-amzn-0 | 3.1.2-amzn-0 | 
| Hadoop | 3.3.6-amzn-1 | 3.3.3-amzn-6 | 3.3.3-amzn-5 | 3.3.3-amzn-4 | 3.3.3-amzn-3.1 | 3.3.3-amzn-3 | 3.3.3-amzn-2.1 | 3.3.3-amzn-2 | 3.3.3-amzn-1.1 | 3.3.3-amzn-1 | 3.2.1-amzn-8.1 | 3.2.1-amzn-8 | 3.2.1-amzn-7 | 3.2.1-amzn-6 | 3.2.1-amzn-5 | 3.2.1-amzn-4 | 3.2.1-amzn-3.1 | 3.2.1-amzn-3 | 3.2.1-amzn-2.1 | 3.2.1-amzn-2 | 3.2.1-amzn-1.1 | 3.2.1-amzn-1 | 3.2.1-amzn-0.1 | 3.2.1-amzn-0 | 
| Hive | 3.1.3-amzn-8 | 3.1.3-amzn-7 | 3.1.3-amzn-6 | 3.1.3-amzn-5 | 3.1.3-amzn-4.1 | 3.1.3-amzn-4 | 3.1.3-amzn-3.1 | 3.1.3-amzn-3 | 3.1.3-amzn-2.1 | 3.1.3-amzn-2 | 3.1.3-amzn-1.1 | 3.1.3-amzn-1 | 3.1.3-amzn-0 | 3.1.2-amzn-7 | 3.1.2-amzn-6 | 3.1.2-amzn-5 | 3.1.2-amzn-4 | 3.1.2-amzn-4 | 3.1.2-amzn-3 | 3.1.2-amzn-3 | 3.1.2-amzn-2 | 3.1.2-amzn-2 | 3.1.2-amzn-0 | 3.1.2-amzn-0 | 
| Hudi | 0.14.0-amzn-0 | 0.13.1-amzn-2 | 0.13.1-amzn-1 | 0.13.1-amzn-0 | 0.13.0-amzn-0 | 0.13.0-amzn-0 | 0.12.2-amzn-0 | 0.12.2-amzn-0 | 0.12.1-amzn-0 | 0.12.1-amzn-0 | 0.11.1-amzn-0 | 0.11.1-amzn-0 | 0.11.0-amzn-0 | 0.10.1-amzn-0 | 0.9.0-amzn-1 | 0.8.0-amzn-0 | 0.7.0-amzn-0 | 0.7.0-amzn-0 | 0.6.0-amzn-1 | 0.6.0-amzn-1 | 0.5.2-incubating-amzn-2 | 0.5.2-incubating-amzn-2 | 0.5.0-incubating-amzn-1 | 0.5.0-incubating-amzn-1 | 
| Hue | 4.11.0 | 4.11.0 | 4.11.0 | 4.11.0 | 4.11.0 | 4.11.0 | 4.10.0 | 4.10.0 | 4.10.0 | 4.10.0 | 4.10.0 | 4.10.0 | 4.10.0 | 4.10.0 | 4.9.0 | 4.9.0 | 4.9.0 | 4.9.0 | 4.8.0 | 4.8.0 | 4.7.1 | 4.7.1 | 4.4.0 | 4.4.0 | 
| Iceberg | 1.4.0-amzn-0 | 1.3.1-amzn-0 | 1.3.0-amzn-1 | 1.3.0-amzn-0 | 1.2.0-amzn-0 | 1.2.0-amzn-0 | 1.1.0-amzn-0 | 1.1.0-amzn-0 | 0.14.1-amzn-0 | 0.14.1-amzn-0 | 0.14.0-amzn-0 | 0.14.0-amzn-0 | 0.13.1-amzn-0 | 0.13.1 | 0.12.0 |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway | 2.6.0 | 2.6.0 | 2.6.0 | 2.6.0 | 2.6.0 | 2.6.0 | 2.6.0 | 2.6.0 | 2.6.0 | 2.6.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 |  -  |  -  |  -  |  -  | 
| JupyterHub | 1.5.0 | 1.5.0 | 1.5.0 | 1.4.1 | 1.4.1 | 1.4.1 | 1.5.0 | 1.5.0 | 1.4.1 | 1.4.1 | 1.4.1 | 1.4.1 | 1.4.1 | 1.4.1 | 1.4.1 | 1.4.1 | 1.2.2 | 1.2.2 | 1.1.0 | 1.1.0 | 1.1.0 | 1.1.0 | 1.0.0 | 1.0.0 | 
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 
| MXNet | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 1.8.0 | 1.8.0 | 1.8.0 | 1.8.0 | 1.7.0 | 1.7.0 | 1.7.0 | 1.7.0 | 1.6.0 | 1.6.0 | 1.5.1 | 1.5.1 | 
| Mahout |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.0 | 5.2.0 | 5.2.0 | 5.2.0 | 5.1.0 | 5.1.0 | 
| Phoenix | 5.1.3 | 5.1.3 | 5.1.3 | 5.1.3 | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 5.0.0--2.0 HBase | 5.0.0--2.0 HBase | 5.0.0--2.0 HBase | 5.0.0--2.0 HBase | 5.0.0--2.0 HBase | 5.0.0--2.0 HBase | 5.0.0--2.0 HBase | 5.0.0--2.0 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |  -  |  -  | 
| Presto | 0.283-amzn-0 | 0.281-amzn-2 | 0.281-amzn-1 | 0.281-amzn-0 | 0.279-amzn-0 | 0.279-amzn-0 | 0.278.1-amzn-0 | 0.278.1-amzn-0 | 0.276-amzn-0 | 0.276-amzn-0 | 0.273.3-amzn-0 | 0.273.3-amzn-0 | 0.272-amzn-0 | 0.267-amzn-0 | 0.261-amzn-0 | 0.254.1-amzn-0 | 0.245.1-amzn-0 | 0.245.1-amzn-0 | 0.238.3-amzn-1 | 0.238.3-amzn-1 | 0.232 | 0.232 | 0.230 | 0.230 | 
| Spark | 3.4.1-amzn-2 | 3.4.1-amzn-1 | 3.4.1-amzn-0 | 3.4.0-amzn-0 | 3.3.2-amzn-0.1 | 3.3.2-amzn-0 | 3.3.1-amzn-0.1 | 3.3.1-amzn-0 | 3.3.0-amzn-1.1 | 3.3.0-amzn-1 | 3.3.0-amzn-0.1 | 3.3.0-amzn-0 | 3.2.1-amzn-0 | 3.2.0-amzn-0 | 3.1.2-amzn-1 | 3.1.2-amzn-0 | 3.1.1-amzn-0.1 | 3.1.1-amzn-0 | 3.0.1-amzn-0.1 | 3.0.1-amzn-0 | 3.0.0-amzn-0.1 | 3.0.0-amzn-0 | 2.4.4 | 2.4.4 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |  -  |  -  | 
| TensorFlow | 2.11.0 | 2.11.0 | 2.11.0 | 2.11.0 | 2.11.0 | 2.11.0 | 2.11.0 | 2.11.0 | 2.10.0 | 2.10.0 | 2.9.1 | 2.9.1 | 2.4.1 | 2.4.1 | 2.4.1 | 2.4.1 | 2.4.1 | 2.4.1 | 2.3.1 | 2.3.1 | 2.1.0 | 2.1.0 | 1.14.0 | 1.14.0 | 
| Tez | 0.10.2-amzn-6 | 0.10.2-amzn-5 | 0.10.2-amzn-4 | 0.10.2-amzn-3 | 0.10.2-amzn-2.1 | 0.10.2-amzn-2 | 0.10.2-amzn-1.1 | 0.10.2-amzn-1 | 0.10.2-amzn-0.1 | 0.10.2-amzn-0 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) | 426-amzn-0 | 422-amzn-0 | 414-amzn-1 | 414-amzn-0 | 410-amzn-0 | 410-amzn-0 | 403-amzn-0 | 403-amzn-0 | 398-amzn-0 | 398-amzn-0 | 388-amzn-0 | 388-amzn-0 | 378-amzn-0 | 367-amzn-0 | 360 | 359 | 350 | 350 | 343 | 343 | 338 | 338 |  -  |  -  | 
| Zeppelin | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.0 | 0.10.0 | 0.10.0 | 0.9.0 | 0.9.0 | 0.9.0 | 0.9.0-preview1 | 0.9.0-preview1 | 0.9.0-preview1 | 0.9.0-preview1 | 0.9.0-SNAPSHOT | 0.9.0-SNAPSHOT | 
| ZooKeeper | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.7 | 3.5.7 | 3.5.7 | 3.5.7 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 

# Amazon EMR 发行版 6.15.0
<a name="emr-6150-release"></a>

## 6.15.0 应用程序版本
<a name="emr-6150-app-versions"></a>

此版本包括以下应用程序：[https://delta.io/](https://delta.io/)、[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://iceberg.apache.org/](https://iceberg.apache.org/)、[https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://trino.io/](https://trino.io/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-6.15.0 | emr-6.14.0 | emr-6.13.0 | emr-6.12.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 2.20.160-amzn-0, 1.12.569 | 1.12.543 | 1.12.513 | 1.12.490 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta | 2.4.0 | 2.4.0 | 2.4.0 | 2.4.0 | 
| Flink | 1.17.1-amzn-1 | 1.17.1-amzn-0 | 1.17.0 | 1.17.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.4.17-amzn-3 | 2.4.17-amzn-2 | 2.4.17-amzn-1 | 2.4.17-amzn-0 | 
| HCatalog | 3.1.3-amzn-8 | 3.1.3-amzn-7 | 3.1.3-amzn-6 | 3.1.3-amzn-5 | 
| Hadoop | 3.3.6-amzn-1 | 3.3.3-amzn-6 | 3.3.3-amzn-5 | 3.3.3-amzn-4 | 
| Hive | 3.1.3-amzn-8 | 3.1.3-amzn-7 | 3.1.3-amzn-6 | 3.1.3-amzn-5 | 
| Hudi | 0.14.0-amzn-0 | 0.13.1-amzn-2 | 0.13.1-amzn-1 | 0.13.1-amzn-0 | 
| Hue | 4.11.0 | 4.11.0 | 4.11.0 | 4.11.0 | 
| Iceberg | 1.4.0-amzn-0 | 1.3.1-amzn-0 | 1.3.0-amzn-1 | 1.3.0-amzn-0 | 
| JupyterEnterpriseGateway | 2.6.0 | 2.6.0 | 2.6.0 | 2.6.0 | 
| JupyterHub | 1.5.0 | 1.5.0 | 1.5.0 | 1.4.1 | 
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 
| MXNet | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 
| Phoenix | 5.1.3 | 5.1.3 | 5.1.3 | 5.1.3 | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.283-amzn-0 | 0.281-amzn-2 | 0.281-amzn-1 | 0.281-amzn-0 | 
| Spark | 3.4.1-amzn-2 | 3.4.1-amzn-1 | 3.4.1-amzn-0 | 3.4.0-amzn-0 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.11.0 | 2.11.0 | 2.11.0 | 2.11.0 | 
| Tez | 0.10.2-amzn-6 | 0.10.2-amzn-5 | 0.10.2-amzn-4 | 0.10.2-amzn-3 | 
| Trino (PrestoSQL) | 426-amzn-0 | 422-amzn-0 | 414-amzn-1 | 414-amzn-0 | 
| Zeppelin | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 
| ZooKeeper | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 

## 6.15.0 发布说明
<a name="emr-6150-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 6.15.0 的信息。更改与 6.14.0 有关。有关发布时间表的更多信息，请参阅 [6.15.0 更改日志](#6150-changelog)。

**新特征**
+ **应用程序升级**：Amazon EMR 6.15.0 application upgrades include Apache Hadoop 3.3.6, Apache Hudi 0.14.0-amzn-0, Iceberg 1.4.0-amzn-0, and Trino 426.
+ **[在 EC2 上运行的 EMR 集群启动更快](https://aws.amazon.com/about-aws/whats-new/2023/11/amazon-emr-ec2-clusters-5-minutes-less/)**：现在，在 EC2 集群上启动 Amazon EMR 的速度最多可提高 35%。通过这一改进，大多数客户可以在 5 分钟或更短时间内启动集群。
+ **[CodeWhisperer 对于 EMR Studio](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-studio-codewhisperer.html)** — 您现在可以将 CodeWhisperer 亚马逊与 Amazon EMR Studio 配合使用，在编写代码时获得实时推荐。 JupyterLab CodeWhisperer 可以完成您的注释、完成单行代码、提出 line-by-line建议并生成完整格式的函数。
+ **[使用 Flink 可以缩短作业重启时间](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/flink-restart.html)**：在 Amazon EMR 6.15.0 及更高版本中，Apache Flink 有几种新机制可用于缩短任务恢复或扩展操作期间的作业重启时间。这样可以优化执行图的恢复和重启速度，从而提高作业稳定性。
+ **[开放表格式的表级和细粒度访问控制](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-lf-enable.html)** — 在 Amazon EMR 6.15.0 及更高版本中，当您在访问 G AWS lue 数据目录中数据的 EC2 集群上在 Amazon EMR 上运行 Spark 作业时， AWS Lake Formation 您可以使用对基于 Hudi、Iceberg 或 Delta Lake 的表应用表、行、列和单元格级别的权限。
+ **Hadoop 升级**：Amazon EMR 6.15.0 包括将 Apache Hadoop 升级到版本 3.3.6。Hadoop 3.3.6 是 Apache 于 2023 年 6 月发布 Amazon EMR 6.15 部署时的最新版本。之前发布的 Amazon EMR 版本（6.9.0 至 6.14.x）使用了 Hadoop 3.3.3。

  此次升级包括数百项改进和修复，以及包括可重新配置的数据节点参数的功能、在所有实时数据节点上启动批量重新配置操作的 `DFSAdmin` 选项，以及允许搜索量大的读者指定多个要读取的范围的向量化 API。Hadoop 3.3.6 还增加了对 HDFS APIs 的支持及其预写日志 (WAL) 的语义，因此 HBase 可以在其他存储系统实现上运行。有关更多信息，请参阅 *Apache Hadoop 文档*中的 [3.3.4](https://hadoop.apache.org/docs/r3.3.4/hadoop-project-dist/hadoop-common/release/3.3.4/CHANGELOG.3.3.4.html)、[3.3.5](https://hadoop.apache.org/docs/r3.3.5/hadoop-project-dist/hadoop-common/release/3.3.5/CHANGELOG.3.3.5.html) 和 [3.3.6](https://hadoop.apache.org/docs/r3.3.6/hadoop-project-dist/hadoop-common/release/3.3.6/CHANGELOG.3.3.6.html) 版本的变更日志。
+ **支持 AWS 适用于 Java 的 SDK，版本 2** [——亚马逊 EMR 6.15.0 应用程序可以使用 AWS 适用于 Java 的 SDK 版本 [1.12.569 或 2.20.16](https://github.com/aws/aws-sdk-java/tree/1.12.569) 0（如果应用程序支持 v2）。](https://github.com/aws/aws-sdk-java-v2/tree/2.20.160) AWS 适用于 Java 2.x 的 SDK 是对 1.x 版本代码库的重大改写。它基于 Java 8\$1 构建，并增加了几个请求次数较多的功能。其中包括对非阻塞 I/O 的支持以及在运行时系统插入不同 HTTP 实现的功能。有关更多信息，包括**从 SDK for Java v1 到 v2 的迁移指南**，请参阅 [AWS SDK for Java 版本 2](https://docs.aws.amazon.com/sdk-for-java) 指南。

**已知问题**
+ 当节点上有大量线程 and/or 打开文件句柄时，监控实例运行状况的集群实例状态脚本可能会消耗过多的 CPU 和内存资源。

**更改、增强功能和解决的问题**
+  从 Spark 3.3.1（EMR 6.10 及更高版本支持）开始，停用主机中的所有执行程序都会设置为新的 `ExecutorState`，称为 *DECOMMISSIONING* 状态。Yarn 不能使用正在停用的执行程序来分配任务，因此如果需要，它将为正在执行的任务请求新的执行程序。因此，如果您在 EMR-EC2 集群上使用 EMR 托管扩展、EMR 自动扩缩或任何自定义扩展机制时禁用 Spark DRA，则 Yarn 可能会为每个作业请求允许的最大执行程序数。为了避免出现此问题，在使用上述功能组合时，请将 `spark.dynamicAllocation.enabled` 属性设置为 `TRUE`（默认值）。此外，您还可以通过为 Spark 作业设置 `spark.dynamicAllocation.maxExecutors` 和 `spark.dynamicAllocation.minExecutors` 属性的值来设置最小和最大执行程序约束，以限制作业执行期间分配的执行程序数量。
+ 为了改进您的高可用性 EMR 集群，此发行版允许在使用 IPv6 端点的本地主机上连接到 Amazon EMR 进程守护程序。
+ 此版本启用 TLS 1.2，以便 ZooKeeper 在您的高可用性集群的所有主节点上进行通信。
+ 此版本改进了对主节点上维护的 ZooKeeper 事务日志文件的管理，以最大限度地减少日志文件越界增长并中断集群操作的情况。
+ 此发行版使高可用性 EMR 集群的节点内通信更具弹性。此改进减小了引导操作失败或集群启动失败的几率。
+ Amazon EMR 6.15.0 中的 Tez 引入了配置，您可以指定这些配置来异步打开 Tez 分组拆分中的输入拆分。当单个 Tez 分组拆分中有大量输入拆分时，这样可以提高读取查询的性能。有关更多信息，请参阅 [Tez 异步拆分打开](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/tez-configure.html#tez-configure-async)。
+ 当您使用 Amazon EMR 5.36 或更高版本、6.6 或更高版本或 7.0 或更高版本的*最新补丁版本*启动集群时，Amazon EMR 会使用最新的 Amazon Linux 2023 或 Amazon Linux 2 发行版作为默认 Amazon EMR AMI。如需更多信息，请参阅 [Using the default Amazon Linux AMI for Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html)。    
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_cn/emr/latest/ReleaseGuide/emr-6150-release.html)

## 6.15.0 默认 Java 版本
<a name="emr-6150-jdk"></a>

Amazon EMR 6.12.0 及更高版本默认支持所有采用 Amazon Corretto 8 的应用程序，但 Trino 除外。对于 Trino，Amazon EMR 从Amazon EMR 版本 6.9.0 开始默认支持 Amazon Corretto 17。Amazon EMR 还支持某些搭载 Amazon Corretto 11 和 17 的应用程序。下表列出了这些应用程序。如果要更改集群上的默认 JVM，请按照在集群上运行的每个应用程序的 [配置应用程序来使用特定 Java 虚拟机](configuring-java8.md) 中的说明进行操作。一个集群只能使用一个 Java 运行时系统版本。Amazon EMR 不支持在同一集群的不同运行时系统版本上运行不同的节点或应用程序。

虽然 Amazon EMR 在 Apache Spark、Apache Hadoop 和 Apache Hive 上同时支持 Amazon Corretto 11 和 17，但当您使用这些版本的 Corretto 时，某些工作负载的性能可能会下降。我们建议您在更改默认值之前先测试工作负载。

下表显示 Amazon EMR 6.15.0 中的应用程序的默认 Java 版本：


| 应用程序 | Java/Amazon Corretto 版本（默认为粗体） | 
| --- | --- | 
| Delta | 17、11、8 | 
| Flink | 11、8 | 
| Ganglia | 8 | 
| HBase | 11、8 | 
| HCatalog | 17、11、8 | 
| Hadoop | 17、11、8 | 
| Hive | 17、11、8 | 
| Hudi | 17、11、8 | 
| Iceberg | 17、11、8 | 
| Livy | 17、11、8 | 
| Oozie | 17、11、8 | 
| Phoenix | 8 | 
| PrestoDB | 8 | 
| Spark | 17、11、8 | 
| Spark RAPIDS | 17、11、8 | 
| Sqoop | 8 | 
| Tez | 17、11、8 | 
| Trino | 17 | 
| Zeppelin | 8 | 
| Pig | 8 | 
| Zookeeper | 8 | 

## 6.15.0 组件版本
<a name="emr-6150-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.2 | 亚马逊 SageMaker Spark SDK | 
| delta | 2.4.0 | Delta lake 是一种适用于超大型分析数据集的开放表格式。 | 
| delta-standalone-connectors | 0.6.0 | Delta Connectors 提供不同的运行时，将 Delta Lake 与 Flink、Hive 和 Presto 等引擎集成。 | 
| emr-ddb | 5.2.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 3.8.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.12.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-notebook-env | 1.7.0 | 适用于 EMR Notebooks（可提供 jupyter 企业网关）的 Conda env | 
| emr-s3-dist-cp | 2.29.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 2.8.0 | EMR S3 Select 连接器 | 
| emr-wal-cli | 1.2.0 | 用于 emrwal 列表/删除的 cli。 | 
| emrfs | 2.60.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.17.1-amzn-1 | Apache Flink 命令行客户端脚本和应用程序。 | 
| flink-jobmanager-config | 1.17.1-amzn-1 | 在 EMR 节点上管理 Apache Flink 的资源。 JobManager | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 3.3.6-amzn-1 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 3.3.6-amzn-1 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 3.3.6-amzn-1 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 3.3.6-amzn-1 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-hdfs-journalnode | 3.3.6-amzn-1 | 用于管理 HA 集群上的 Hadoop 文件系统日志的 HDFS 服务。 | 
| hadoop-httpfs-server | 3.3.6-amzn-1 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 3.3.6-amzn-1 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 3.3.6-amzn-1 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 3.3.6-amzn-1 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 3.3.6-amzn-1 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 3.3.6-amzn-1 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 2.4.17-amzn-3 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 2.4.17-amzn-3 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 2.4.17-amzn-3 | HBase 命令行客户端。 | 
| hbase-rest-server | 2.4.17-amzn-3 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 2.4.17-amzn-3 | 为其提供 Thrift 端点的 HBase服务。 | 
| hbase-operator-tools | 2.4.17-amzn-3 | 适用于 Apache HBase 集群的修复工具。 | 
| hcatalog-client | 3.1.3-amzn-8 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 3.1.3-amzn-8 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 3.1.3-amzn-8 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 3.1.3-amzn-8 | Hive 命令行客户端。 | 
| hive-hbase | 3.1.3-amzn-8 | Hive-hbase 客户端。 | 
| hive-metastore-server | 3.1.3-amzn-8 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 3.1.3-amzn-8 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hudi | 0.14.0-amzn-0 | 增量处理框架，以支持低延迟和高效率的数据管道。 | 
| hudi-presto | 0.14.0-amzn-0 | 用于运行 Presto 以及 Hudl 的捆绑库。 | 
| hudi-trino | 0.14.0-amzn-0 | 用于运行 Trino 以及 Hudi 的捆绑库。 | 
| hudi-spark | 0.14.0-amzn-0 | 用于运行 Spark 以及 Hudi 的捆绑库。 | 
| hue-server | 4.11.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| iceberg | 1.4.0-amzn-0 | Apache Iceberg 是一种适用于超大型分析数据集的开放表格式。 | 
| jupyterhub | 1.5.0 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.7.1-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mxnet | 1.9.1 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mariadb-server | 5.5.68\$1 | MariaDB 数据库服务器。 | 
| nvidia-cuda | 11.8.0 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.2.1 | Oozie 命令行客户端。 | 
| oozie-server | 5.2.1 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 4.7.0 | 开源计算机视觉库。 | 
| phoenix-library | 5.1.3 | 服务器和客户端的 phoenix 库 | 
| phoenix-connectors | 5.1.3 | Apache Phoenix-Connectors for Spark-3 | 
| phoenix-query-server | 6.0.0 | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.283-amzn-0 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.283-amzn-0 | 用于执行查询的各个部分的服务。 | 
| presto-client | 0.283-amzn-0 | Presto 命令行客户端，安装在 HA 集群的备用主节点（未启动 Presto 服务器）上。 | 
| trino-coordinator | 426-amzn-0 | 用于在 trino-worker 之中接受查询并管理查询的服务。 | 
| trino-worker | 426-amzn-0 | 用于执行查询的各个部分的服务。 | 
| trino-client | 426-amzn-0 | Trino 命令行客户端，安装在 HA 集群的备用主服务器（未启动 Trino 服务器）上。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 4.0.2 | 用于统计计算的 R 项目 | 
| ranger-kms-server | 2.0.0 | Apache Ranger 密钥管理系统 | 
| spark-client | 3.4.1-amzn-2 | Spark 命令行客户端。 | 
| spark-history-server | 3.4.1-amzn-2 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 3.4.1-amzn-2 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 3.4.1-amzn-2 | YARN 从属项所需的 Apache Spark 库。 | 
| spark-rapids | 23.08.1-amzn-0 | Nvidia Spark RAPIDS 插件可以加速 Apache Spark GPUs | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 2.11.0 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.10.2-amzn-6 | tez YARN 应用程序和库。 | 
| tez-on-worker | 0.10.2-amzn-6 | 用于 Worker 节点的 tez YARN 应用程序和库。 | 
| webserver | 2.4.41\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.10.1 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.5.10 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.5.10 | ZooKeeper 命令行客户端。 | 

## 6.15.0 配置分类
<a name="emr-6150-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。

为处于运行状态的集群中的实例组指定配置时，将发生重新配置操作。Amazon EMR 仅为您修改的分类启动重新配置操作。有关更多信息，请参阅 [在正在运行的集群中重新配置实例组](emr-configure-apps-running-cluster.md)。


**emr-6.15.0 分类**  

| 分类 | 说明 | 重新配置操作 | 
| --- | --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | Restarts the ResourceManager service. | 
| container-executor | 更改 Hadoop YARN 的 container-executor.cfg 文件中的值。 | Not available. | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | Not available. | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | 更改 docker 相关设置。 | Not available. | 
| emrfs-site | 更改 EMRFS 设置。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | 更改 flink-conf.yaml 设置。 | Restarts Flink history server. | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | Restarts Flink history server. | 
| flink-log4j-session | 更改会话的 Flink log4j-session.properties Kubernetes/Yarn  | Restarts Flink history server. | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | Restarts Flink history server. | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | Not available. | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | Not available. | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | 更改环境 HBase中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | Not available. | 
| hbase-site | 更改 hbase-site.xml 文件 HBase中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | This classification should not be reconfigured. | 
| hdfs-env | 更改 HDFS 环境中的值。 | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | 更改环境 HCatalog中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | Restarts Hive WebHCat server. | 
| hive | 适用于 Apache Hive 的 Amazon EMR 辅助设置。 | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | Not available. | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | Not available. | 
| hive-env | 更改 Hive 环境中的值。 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | Not available. | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | Not available. | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | Not available. | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | Not available. | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | Restarts Hadoop Httpfs service. | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | Not available. | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | Restarts Hadoop-KMS service. | 
| hadoop-kms-java-home | 更改 Hadoop 的 KMS java 主页 | Not available. | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | Not available. | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | 更改 Hudi 环境中的值。 | Not available. | 
| hudi-defaults | 更改 Hudi 的 hudi-defaults.conf 文件中的值。 | Not available. | 
| iceberg-defaults | 更改 Iceberg 的 iceberg-defaults.conf 文件中的值。 | Not available. | 
| delta-defaults | 更改 Delta 的 delta-defaults.conf 文件中的值。 | Not available. | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | Not available. | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | Not available. | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | Not available. | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | Not available. | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | Restarts Livy Server. | 
| livy-env | 更改 Livy 环境中的值。 | Restarts Livy Server. | 
| livy-log4j2 | 更改 Livy log4j2.properties 设置。 | Restarts Livy Server. | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | 更改 Oozie 的环境中的值。 | Restarts Oozie. | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | Restarts Oozie. | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | Restarts Oozie. | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | Not available. | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | Not available. | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | Not available. | 
| pig-env | 更改 Pig 环境中的值。 | Not available. | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | Restarts Oozie. | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | Not available. | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | Not available. | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | Not available. | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | Not available. | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | Not available. | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | Not available. | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | Not available. | 
| presto-connector-lakeformation | 更改 Presto 的 lakeformation.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | Not available. | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | Not available. | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | Not available. | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | Not available. | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | Not available. | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | Not available. | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | Not available. | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | Not available. | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | Not available. | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | Not available. | 
| trino-log | 更改 Trino 的 log.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-config | 更改 Trino 的 config.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-password-authenticator | 更改 Trino 的 password-authenticator.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-env | 更改 Trino 的 trino-env.sh 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-node | 更改 Trino 的 node.properties 文件中的值。 | Not available. | 
| trino-connector-blackhole | 更改 Trino 的 blackhole.properties 文件中的值。 | Not available. | 
| trino-connector-cassandra | 更改 Trino 的 cassandra.properties 文件中的值。 | Not available. | 
| trino-connector-delta | 更改 Trino 的 delta.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-connector-hive | 更改 Trino 的 hive.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-exchange-manager | 更改 Trino 的 exchange-manager.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-connector-iceberg | 更改 Trino 的 iceberg.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-connector-hudi | 更改 Trino 的 hudi.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-connector-jmx | 更改 Trino 的 jmx.properties 文件中的值。 | Not available. | 
| trino-connector-kafka | 更改 Trino 的 kafka.properties 文件中的值。 | Not available. | 
| trino-connector-localfile | 更改 Trino 的 localfile.properties 文件中的值。 | Not available. | 
| trino-connector-memory | 更改 Trino 的 memory.properties 文件中的值。 | Not available. | 
| trino-connector-mongodb | 更改 Trino 的 mongodb.properties 文件中的值。 | Not available. | 
| trino-connector-mysql | 更改 Trino 的 mysql.properties 文件中的值。 | Not available. | 
| trino-connector-postgresql | 更改 Trino 的 postgresql.properties 文件中的值。 | Not available. | 
| trino-connector-raptor | 更改 Trino 的 raptor.properties 文件中的值。 | Not available. | 
| trino-connector-redis | 更改 Trino 的 redis.properties 文件中的值。 | Not available. | 
| trino-connector-redshift | 更改 Trino 的 redshift.properties 文件中的值。 | Not available. | 
| trino-connector-tpch | 更改 Trino 的 tpch.properties 文件中的值。 | Not available. | 
| trino-connector-tpcds | 更改 Trino 的 tpcds.properties 文件中的值。 | Not available. | 
| ranger-kms-dbks-site | 更改 Ranger KMS 的 dbks-site.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-site | 更改 Ranger K ranger-kms-site MS 的.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-env | 更改 Ranger KMS 环境中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-logback | 更改 Ranger KMS 的 kms-logback.xml 文件中的值。 | Not available. | 
| ranger-kms-db-ca | 更改 S3 上用于与 Ranger KMS 进行 MySQL SSL 连接的 CA 文件的值。 | Not available. | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | This property modifies spark-defaults. See actions there. | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-env | 更改 Spark 环境中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | Not available. | 
| spark-log4j2 | 更改 Spark 的 log4j2.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | Not available. | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | Not available. | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | Not available. | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | Restart Oozie and HiveServer2. | 
| yarn-env | 更改 YARN 环境中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | Restarts Zeppelin. | 
| zeppelin-site | 更改 zeppelin-site.xml 中的配置设置。 | Restarts Zeppelin. | 
| zookeeper-config | 更改 ZooKeeper的 zoo.cfg 文件中的值。 | Restarts Zookeeper server. | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | Restarts Zookeeper server. | 

## 6.15.0 更改日志
<a name="6150-changelog"></a>


**6.15.0 发行版的更改日志和发布说明**  

| 日期 | 事件 | 说明 | 
| --- | --- | --- | 
| 2025-09-03 | 文档修订 | Amazon EMR 6.15.0 发布说明添加了已知问题 | 
| 2023-11-17 | 文档发布 | 首次发布 Amazon EMR 6.15.0 发布说明 | 
| 2023-11-17 | 部署完成 | Amazon EMR 6.15.0 已全面部署到所有[支持的区域](https://aws.amazon.com/about-aws/global-infrastructure/regional-product-services/) | 
| 2023-11-13 | 初始版本 | Amazon EMR 6.15.0 首次部署到初始商业区域 | 

# Amazon EMR 发行版 6.14.0
<a name="emr-6140-release"></a>

## 6.14.0 应用程序版本
<a name="emr-6140-app-versions"></a>

此版本包括以下应用程序：[https://delta.io/](https://delta.io/)、[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://iceberg.apache.org/](https://iceberg.apache.org/)、[https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://trino.io/](https://trino.io/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-6.14.0 | emr-6.13.0 | emr-6.12.0 | emr-6.11.1 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.12.543 | 1.12.513 | 1.12.490 | 1.12.446 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta | 2.4.0 | 2.4.0 | 2.4.0 | 2.2.0 | 
| Flink | 1.17.1-amzn-0 | 1.17.0 | 1.17.0 | 1.16.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.4.17-amzn-2 | 2.4.17-amzn-1 | 2.4.17-amzn-0 | 2.4.15-amzn-1.1 | 
| HCatalog | 3.1.3-amzn-7 | 3.1.3-amzn-6 | 3.1.3-amzn-5 | 3.1.3-amzn-4.1 | 
| Hadoop | 3.3.3-amzn-6 | 3.3.3-amzn-5 | 3.3.3-amzn-4 | 3.3.3-amzn-3.1 | 
| Hive | 3.1.3-amzn-7 | 3.1.3-amzn-6 | 3.1.3-amzn-5 | 3.1.3-amzn-4.1 | 
| Hudi | 0.13.1-amzn-2 | 0.13.1-amzn-1 | 0.13.1-amzn-0 | 0.13.0-amzn-0 | 
| Hue | 4.11.0 | 4.11.0 | 4.11.0 | 4.11.0 | 
| Iceberg | 1.3.1-amzn-0 | 1.3.0-amzn-1 | 1.3.0-amzn-0 | 1.2.0-amzn-0 | 
| JupyterEnterpriseGateway | 2.6.0 | 2.6.0 | 2.6.0 | 2.6.0 | 
| JupyterHub | 1.5.0 | 1.5.0 | 1.4.1 | 1.4.1 | 
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 
| MXNet | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 
| Phoenix | 5.1.3 | 5.1.3 | 5.1.3 | 5.1.2 | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.281-amzn-2 | 0.281-amzn-1 | 0.281-amzn-0 | 0.279-amzn-0 | 
| Spark | 3.4.1-amzn-1 | 3.4.1-amzn-0 | 3.4.0-amzn-0 | 3.3.2-amzn-0.1 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.11.0 | 2.11.0 | 2.11.0 | 2.11.0 | 
| Tez | 0.10.2-amzn-5 | 0.10.2-amzn-4 | 0.10.2-amzn-3 | 0.10.2-amzn-2.1 | 
| Trino (PrestoSQL) | 422-amzn-0 | 414-amzn-1 | 414-amzn-0 | 410-amzn-0 | 
| Zeppelin | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 
| ZooKeeper | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 

## 6.14.0 发布说明
<a name="emr-6140-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 6.14.0 的信息。更改与 6.13.0 有关。有关发布时间表的更多信息，请参阅 [6.14.0 更改日志](#6140-changelog)。

**新特征**
+ Amazon EMR 6.14.0 supports Apache Spark 3.4.1, Apache Spark RAPIDS 23.06.0-amzn-2, Flink 1.17.1, Iceberg 1.3.1, and Trino 422.
+ [Amazon EMR 托管式自动扩缩功能](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-managed-scaling.html) 现已在 `ap-southeast-3` 亚太地区（雅加达）区域开放，可用于您使用 Amazon EMR 6.14.0 及更高版本创建的集群。

**已知问题**
+ 当节点上有大量线程 and/or 打开文件句柄时，监控实例运行状况的集群实例状态脚本可能会消耗过多的 CPU 和内存资源。

**更改、增强功能和解决的问题**
+  从 Spark 3.3.1（EMR 6.10 及更高版本支持）开始，停用主机中的所有执行程序都会设置为新的 `ExecutorState`，称为 *DECOMMISSIONING* 状态。Yarn 不能使用正在停用的执行程序来分配任务，因此如果需要，它将为正在执行的任务请求新的执行程序。因此，如果您在 EMR-EC2 集群上使用 EMR 托管扩展、EMR 自动扩缩或任何自定义扩展机制时禁用 Spark DRA，则 Yarn 可能会为每个作业请求允许的最大执行程序数。为了避免出现此问题，在使用上述功能组合时，请将 `spark.dynamicAllocation.enabled` 属性设置为 `TRUE`（默认值）。此外，您还可以通过为 Spark 作业设置 `spark.dynamicAllocation.maxExecutors` 和 `spark.dynamicAllocation.minExecutors` 属性的值来设置最小和最大执行程序约束，以限制作业执行期间分配的执行程序数量。
+ 6.14.0 发行版通过在 Amazon EC2 上运行的 Amazon EMR 来优化日志管理。因此，您可能会看到集群日志的存储成本略有降低。
+ 6.14.0 发行版改进了扩展工作流，以满足 Amazon EBS 卷大小差异很大的不同核心实例需求。此改进仅适用于核心节点；任务节点的缩减操作不受影响。
+ 6.14.0 发行版改进了 Amazon EMR 与 Apache Hadoop YARN ResourceManager and HDFS NameNode 等开源应用程序交互的方式。此改进降低了集群扩展导致操作延迟的风险，并减少了由于开源应用程序连接问题导致的启动故障。
+ 6.14.0 发行版优化了集群启动时的应用程序安装。此改进缩短了某些 Amazon EMR 应用程序组合的集群启动时间。
+ 6.14.0 发行版修复了在具有自定义域的 VPC 上运行的集群遇到核心节点或任务节点重启时，集群的缩减操作可能会停滞的问题。
+ 当您使用 Amazon EMR 5.36 或更高版本、6.6 或更高版本或 7.0 或更高版本的*最新补丁版本*启动集群时，Amazon EMR 会使用最新的 Amazon Linux 2023 或 Amazon Linux 2 发行版作为默认 Amazon EMR AMI。如需更多信息，请参阅 [Using the default Amazon Linux AMI for Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html)。    
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_cn/emr/latest/ReleaseGuide/emr-6140-release.html)

## 6.14.0 默认 Java 版本
<a name="emr-6140-jdk"></a>

Amazon EMR 6.12.0 及更高版本默认支持所有采用 Amazon Corretto 8 的应用程序，但 Trino 除外。对于 Trino，Amazon EMR 从Amazon EMR 版本 6.9.0 开始默认支持 Amazon Corretto 17。Amazon EMR 还支持某些搭载 Amazon Corretto 11 和 17 的应用程序。下表列出了这些应用程序。如果要更改集群上的默认 JVM，请按照在集群上运行的每个应用程序的 [配置应用程序来使用特定 Java 虚拟机](configuring-java8.md) 中的说明进行操作。一个集群只能使用一个 Java 运行时系统版本。Amazon EMR 不支持在同一集群的不同运行时系统版本上运行不同的节点或应用程序。

虽然 Amazon EMR 在 Apache Spark、Apache Hadoop 和 Apache Hive 上同时支持 Amazon Corretto 11 和 17，但当您使用这些版本的 Corretto 时，某些工作负载的性能可能会下降。我们建议您在更改默认值之前先测试工作负载。

下表显示 Amazon EMR 6.14.0 中的应用程序的默认 Java 版本：


| 应用程序 | Java/Amazon Corretto 版本（默认为粗体） | 
| --- | --- | 
| Delta | 17、11、8 | 
| Flink | 11、8 | 
| Ganglia | 8 | 
| HBase | 11、8 | 
| HCatalog | 17、11、8 | 
| Hadoop | 17、11、8 | 
| Hive | 17、11、8 | 
| Hudi | 17、11、8 | 
| Iceberg | 17、11、8 | 
| Livy | 17、11、8 | 
| Oozie | 17、11、8 | 
| Phoenix | 8 | 
| PrestoDB | 8 | 
| Spark | 17、11、8 | 
| Spark RAPIDS | 17、11、8 | 
| Sqoop | 8 | 
| Tez | 17、11、8 | 
| Trino | 17 | 
| Zeppelin | 8 | 
| Pig | 8 | 
| Zookeeper | 8 | 

## 6.14.0 组件版本
<a name="emr-6140-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.2 | 亚马逊 SageMaker Spark SDK | 
| delta | 2.4.0 | Delta lake 是一种适用于超大型分析数据集的开放表格式。 | 
| delta-standalone-connectors | 0.6.0 | Delta Connectors 提供不同的运行时，将 Delta Lake 与 Flink、Hive 和 Presto 等引擎集成。 | 
| emr-ddb | 5.1.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 3.7.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.11.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-notebook-env | 1.7.0 | 适用于 EMR Notebooks（可提供 jupyter 企业网关）的 Conda env | 
| emr-s3-dist-cp | 2.28.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 2.7.0 | EMR S3 Select 连接器 | 
| emr-wal-cli | 1.1.0 | 用于 emrwal 列表/删除的 cli。 | 
| emrfs | 2.59.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.17.1-amzn-0 | Apache Flink 命令行客户端脚本和应用程序。 | 
| flink-jobmanager-config | 1.17.1-amzn-0 | 在 EMR 节点上管理 Apache Flink 的资源。 JobManager | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 3.3.3-amzn-6 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 3.3.3-amzn-6 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 3.3.3-amzn-6 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 3.3.3-amzn-6 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-hdfs-journalnode | 3.3.3-amzn-6 | 用于管理 HA 集群上的 Hadoop 文件系统日志的 HDFS 服务。 | 
| hadoop-httpfs-server | 3.3.3-amzn-6 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 3.3.3-amzn-6 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 3.3.3-amzn-6 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 3.3.3-amzn-6 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 3.3.3-amzn-6 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 3.3.3-amzn-6 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 2.4.17-amzn-2 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 2.4.17-amzn-2 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 2.4.17-amzn-2 | HBase 命令行客户端。 | 
| hbase-rest-server | 2.4.17-amzn-2 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 2.4.17-amzn-2 | 为其提供 Thrift 端点的 HBase服务。 | 
| hbase-operator-tools | 2.4.17-amzn-2 | 适用于 Apache HBase 集群的修复工具。 | 
| hcatalog-client | 3.1.3-amzn-7 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 3.1.3-amzn-7 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 3.1.3-amzn-7 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 3.1.3-amzn-7 | Hive 命令行客户端。 | 
| hive-hbase | 3.1.3-amzn-7 | Hive-hbase 客户端。 | 
| hive-metastore-server | 3.1.3-amzn-7 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 3.1.3-amzn-7 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hudi | 0.13.1-amzn-2 | 增量处理框架，以支持低延迟和高效率的数据管道。 | 
| hudi-presto | 0.13.1-amzn-2 | 用于运行 Presto 以及 Hudl 的捆绑库。 | 
| hudi-trino | 0.13.1-amzn-2 | 用于运行 Trino 以及 Hudi 的捆绑库。 | 
| hudi-spark | 0.13.1-amzn-2 | 用于运行 Spark 以及 Hudi 的捆绑库。 | 
| hue-server | 4.11.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| iceberg | 1.3.1-amzn-0 | Apache Iceberg 是一种适用于超大型分析数据集的开放表格式。 | 
| jupyterhub | 1.5.0 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.7.1-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mxnet | 1.9.1 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mariadb-server | 5.5.68\$1 | MariaDB 数据库服务器。 | 
| nvidia-cuda | 11.8.0 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.2.1 | Oozie 命令行客户端。 | 
| oozie-server | 5.2.1 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 4.7.0 | 开源计算机视觉库。 | 
| phoenix-library | 5.1.3 | 服务器和客户端的 phoenix 库 | 
| phoenix-connectors | 5.1.3 | Apache Phoenix-Connectors for Spark-3 | 
| phoenix-query-server | 6.0.0 | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.281-amzn-2 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.281-amzn-2 | 用于执行查询的各个部分的服务。 | 
| presto-client | 0.281-amzn-2 | Presto 命令行客户端，安装在 HA 集群的备用主节点（未启动 Presto 服务器）上。 | 
| trino-coordinator | 422-amzn-0 | 用于在 trino-worker 之中接受查询并管理查询的服务。 | 
| trino-worker | 422-amzn-0 | 用于执行查询的各个部分的服务。 | 
| trino-client | 422-amzn-0 | Trino 命令行客户端，安装在 HA 集群的备用主服务器（未启动 Trino 服务器）上。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 4.0.2 | 用于统计计算的 R 项目 | 
| ranger-kms-server | 2.0.0 | Apache Ranger 密钥管理系统 | 
| spark-client | 3.4.1-amzn-1 | Spark 命令行客户端。 | 
| spark-history-server | 3.4.1-amzn-1 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 3.4.1-amzn-1 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 3.4.1-amzn-1 | YARN 从属项所需的 Apache Spark 库。 | 
| spark-rapids | 23.06.0-amzn-2 | Nvidia Spark RAPIDS 插件可以加速 Apache Spark GPUs | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 2.11.0 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.10.2-amzn-5 | tez YARN 应用程序和库。 | 
| tez-on-worker | 0.10.2-amzn-5 | 用于 Worker 节点的 tez YARN 应用程序和库。 | 
| webserver | 2.4.41\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.10.1 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.5.10 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.5.10 | ZooKeeper 命令行客户端。 | 

## 6.14.0 配置分类
<a name="emr-6140-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。

为处于运行状态的集群中的实例组指定配置时，将发生重新配置操作。Amazon EMR 仅为您修改的分类启动重新配置操作。有关更多信息，请参阅 [在正在运行的集群中重新配置实例组](emr-configure-apps-running-cluster.md)。


**emr-6.14.0 分类**  

| 分类 | 说明 | 重新配置操作 | 
| --- | --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | Restarts the ResourceManager service. | 
| container-executor | 更改 Hadoop YARN 的 container-executor.cfg 文件中的值。 | Not available. | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | Not available. | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | 更改 docker 相关设置。 | Not available. | 
| emrfs-site | 更改 EMRFS 设置。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | 更改 flink-conf.yaml 设置。 | Restarts Flink history server. | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | Restarts Flink history server. | 
| flink-log4j-session | 更改会话的 Flink log4j-session.properties Kubernetes/Yarn  | Restarts Flink history server. | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | Restarts Flink history server. | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | Not available. | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | Not available. | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | 更改环境 HBase中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | Not available. | 
| hbase-site | 更改 hbase-site.xml 文件 HBase中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | This classification should not be reconfigured. | 
| hdfs-env | 更改 HDFS 环境中的值。 | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | 更改环境 HCatalog中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | Restarts Hive WebHCat server. | 
| hive | 适用于 Apache Hive 的 Amazon EMR 辅助设置。 | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | Not available. | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | Not available. | 
| hive-env | 更改 Hive 环境中的值。 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | Not available. | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | Not available. | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | Not available. | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | Not available. | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | Restarts Hadoop Httpfs service. | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | Not available. | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | Restarts Hadoop-KMS service. | 
| hadoop-kms-java-home | 更改 Hadoop 的 KMS java 主页 | Not available. | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | Not available. | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | 更改 Hudi 环境中的值。 | Not available. | 
| hudi-defaults | 更改 Hudi 的 hudi-defaults.conf 文件中的值。 | Not available. | 
| iceberg-defaults | 更改 Iceberg 的 iceberg-defaults.conf 文件中的值。 | Not available. | 
| delta-defaults | 更改 Delta 的 delta-defaults.conf 文件中的值。 | Not available. | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | Not available. | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | Not available. | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | Not available. | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | Not available. | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | Restarts Livy Server. | 
| livy-env | 更改 Livy 环境中的值。 | Restarts Livy Server. | 
| livy-log4j2 | 更改 Livy log4j2.properties 设置。 | Restarts Livy Server. | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | 更改 Oozie 的环境中的值。 | Restarts Oozie. | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | Restarts Oozie. | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | Restarts Oozie. | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | Not available. | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | Not available. | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | Not available. | 
| pig-env | 更改 Pig 环境中的值。 | Not available. | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | Restarts Oozie. | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | Not available. | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | Not available. | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | Not available. | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | Not available. | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | Not available. | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | Not available. | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | Not available. | 
| presto-connector-lakeformation | 更改 Presto 的 lakeformation.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | Not available. | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | Not available. | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | Not available. | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | Not available. | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | Not available. | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | Not available. | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | Not available. | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | Not available. | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | Not available. | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | Not available. | 
| trino-log | 更改 Trino 的 log.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-config | 更改 Trino 的 config.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-password-authenticator | 更改 Trino 的 password-authenticator.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-env | 更改 Trino 的 trino-env.sh 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-node | 更改 Trino 的 node.properties 文件中的值。 | Not available. | 
| trino-connector-blackhole | 更改 Trino 的 blackhole.properties 文件中的值。 | Not available. | 
| trino-connector-cassandra | 更改 Trino 的 cassandra.properties 文件中的值。 | Not available. | 
| trino-connector-delta | 更改 Trino 的 delta.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-connector-hive | 更改 Trino 的 hive.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-exchange-manager | 更改 Trino 的 exchange-manager.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-connector-iceberg | 更改 Trino 的 iceberg.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-connector-hudi | 更改 Trino 的 hudi.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-connector-jmx | 更改 Trino 的 jmx.properties 文件中的值。 | Not available. | 
| trino-connector-kafka | 更改 Trino 的 kafka.properties 文件中的值。 | Not available. | 
| trino-connector-localfile | 更改 Trino 的 localfile.properties 文件中的值。 | Not available. | 
| trino-connector-memory | 更改 Trino 的 memory.properties 文件中的值。 | Not available. | 
| trino-connector-mongodb | 更改 Trino 的 mongodb.properties 文件中的值。 | Not available. | 
| trino-connector-mysql | 更改 Trino 的 mysql.properties 文件中的值。 | Not available. | 
| trino-connector-postgresql | 更改 Trino 的 postgresql.properties 文件中的值。 | Not available. | 
| trino-connector-raptor | 更改 Trino 的 raptor.properties 文件中的值。 | Not available. | 
| trino-connector-redis | 更改 Trino 的 redis.properties 文件中的值。 | Not available. | 
| trino-connector-redshift | 更改 Trino 的 redshift.properties 文件中的值。 | Not available. | 
| trino-connector-tpch | 更改 Trino 的 tpch.properties 文件中的值。 | Not available. | 
| trino-connector-tpcds | 更改 Trino 的 tpcds.properties 文件中的值。 | Not available. | 
| ranger-kms-dbks-site | 更改 Ranger KMS 的 dbks-site.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-site | 更改 Ranger K ranger-kms-site MS 的.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-env | 更改 Ranger KMS 环境中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-logback | 更改 Ranger KMS 的 kms-logback.xml 文件中的值。 | Not available. | 
| ranger-kms-db-ca | 更改 S3 上用于与 Ranger KMS 进行 MySQL SSL 连接的 CA 文件的值。 | Not available. | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | This property modifies spark-defaults. See actions there. | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-env | 更改 Spark 环境中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | Not available. | 
| spark-log4j2 | 更改 Spark 的 log4j2.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | Not available. | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | Not available. | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | Not available. | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | Restart Oozie and HiveServer2. | 
| yarn-env | 更改 YARN 环境中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | Restarts Zeppelin. | 
| zeppelin-site | 更改 zeppelin-site.xml 中的配置设置。 | Restarts Zeppelin. | 
| zookeeper-config | 更改 ZooKeeper的 zoo.cfg 文件中的值。 | Restarts Zookeeper server. | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | Restarts Zookeeper server. | 

## 6.14.0 更改日志
<a name="6140-changelog"></a>


**6.14.0 发行版的更改日志和发布说明**  

| 日期 | 事件 | 说明 | 
| --- | --- | --- | 
| 2025-09-03 | 文档修订 | Amazon EMR 6.14.0 发布说明添加了已知问题 | 
| *2023-11-02* | 部署完成 | Amazon EMR 6.14.0 已全面部署到所有[支持的区域](https://aws.amazon.com/about-aws/global-infrastructure/regional-product-services/) | 
| 2023-10-10 | 文档发布 | 首次发布 Amazon EMR 6.14.0 发布说明 | 
| 2023-10-04 | 初始版本 | Amazon EMR 6.14.0 首次部署到初始商业区域 | 

# Amazon EMR 版本 6.13.0
<a name="emr-6130-release"></a>

## 6.13.0 应用程序版本
<a name="emr-6130-app-versions"></a>

此版本包括以下应用程序：[https://delta.io/](https://delta.io/)、[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://iceberg.apache.org/](https://iceberg.apache.org/)、[https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://trino.io/](https://trino.io/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-6.13.0 | emr-6.12.0 | emr-6.11.1 | emr-6.11.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.12.513 | 1.12.490 | 1.12.446 | 1.12.446 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta | 2.4.0 | 2.4.0 | 2.2.0 | 2.2.0 | 
| Flink | 1.17.0 | 1.17.0 | 1.16.0 | 1.16.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.4.17-amzn-1 | 2.4.17-amzn-0 | 2.4.15-amzn-1.1 | 2.4.15-amzn-1 | 
| HCatalog | 3.1.3-amzn-6 | 3.1.3-amzn-5 | 3.1.3-amzn-4.1 | 3.1.3-amzn-4 | 
| Hadoop | 3.3.3-amzn-5 | 3.3.3-amzn-4 | 3.3.3-amzn-3.1 | 3.3.3-amzn-3 | 
| Hive | 3.1.3-amzn-6 | 3.1.3-amzn-5 | 3.1.3-amzn-4.1 | 3.1.3-amzn-4 | 
| Hudi | 0.13.1-amzn-1 | 0.13.1-amzn-0 | 0.13.0-amzn-0 | 0.13.0-amzn-0 | 
| Hue | 4.11.0 | 4.11.0 | 4.11.0 | 4.11.0 | 
| Iceberg | 1.3.0-amzn-1 | 1.3.0-amzn-0 | 1.2.0-amzn-0 | 1.2.0-amzn-0 | 
| JupyterEnterpriseGateway | 2.6.0 | 2.6.0 | 2.6.0 | 2.6.0 | 
| JupyterHub | 1.5.0 | 1.4.1 | 1.4.1 | 1.4.1 | 
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 
| MXNet | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 
| Phoenix | 5.1.3 | 5.1.3 | 5.1.2 | 5.1.2 | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.281-amzn-1 | 0.281-amzn-0 | 0.279-amzn-0 | 0.279-amzn-0 | 
| Spark | 3.4.1-amzn-0 | 3.4.0-amzn-0 | 3.3.2-amzn-0.1 | 3.3.2-amzn-0 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.11.0 | 2.11.0 | 2.11.0 | 2.11.0 | 
| Tez | 0.10.2-amzn-4 | 0.10.2-amzn-3 | 0.10.2-amzn-2.1 | 0.10.2-amzn-2 | 
| Trino (PrestoSQL) | 414-amzn-1 | 414-amzn-0 | 410-amzn-0 | 410-amzn-0 | 
| Zeppelin | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 
| ZooKeeper | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 

## 6.13.0 发布说明
<a name="emr-6130-relnotes"></a>

以下发布说明包括有关 Amazon EMR 版本 6.13.0 的信息。更改与 6.12.0 有关。有关发布时间表的更多信息，请参阅 [6.13.0 更改日志](#6130-changelog)。

**新特征**
+ Amazon EMR 6.13.0 supports Apache Spark 3.4.1, Apache Spark RAPIDS 23.06.0-amzn-1, CUDA Toolkit 11.8.0, and JupyterHub 1.5.0.

**已知问题**
+ 当节点上有大量线程 and/or 打开文件句柄时，监控实例运行状况的集群实例状态脚本可能会消耗过多的 CPU 和内存资源。

**更改、增强功能和解决的问题**
+  从 Spark 3.3.1（EMR 6.10 及更高版本支持）开始，停用主机中的所有执行程序都会设置为新的 `ExecutorState`，称为 *DECOMMISSIONING* 状态。Yarn 不能使用正在停用的执行程序来分配任务，因此如果需要，它将为正在执行的任务请求新的执行程序。因此，如果您在 EMR-EC2 集群上使用 EMR 托管扩展、EMR 自动扩缩或任何自定义扩展机制时禁用 Spark DRA，则 Yarn 可能会为每个作业请求允许的最大执行程序数。为了避免出现此问题，在使用上述功能组合时，请将 `spark.dynamicAllocation.enabled` 属性设置为 `TRUE`（默认值）。此外，您还可以通过为 Spark 作业设置 `spark.dynamicAllocation.maxExecutors` 和 `spark.dynamicAllocation.minExecutors` 属性的值来设置最小和最大执行程序约束，以限制作业执行期间分配的执行程序数量。
+ 6.13.0 版本改进了 Amazon EMR 日志管理进程守护程序，以确保在发出集群终止命令时，所有日志都定期上传到 Amazon S3。这有助于更快地终止集群。
+ 6.13.0 版本增强了 Amazon EMR 日志管理功能，确保所有日志文件一致而及时地上传到 Amazon S3。这尤其有利于长期运行的 EMR 集群。
+ 当您使用 Amazon EMR 5.36 或更高版本、6.6 或更高版本或 7.0 或更高版本的*最新补丁版本*启动集群时，Amazon EMR 会使用最新的 Amazon Linux 2023 或 Amazon Linux 2 发行版作为默认 Amazon EMR AMI。如需更多信息，请参阅 [Using the default Amazon Linux AMI for Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html)。    
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_cn/emr/latest/ReleaseGuide/emr-6130-release.html)

## 6.13.0 默认 Java 版本
<a name="emr-6130-jdk"></a>

Amazon EMR 6.12.0 及更高版本默认支持所有采用 Amazon Corretto 8 的应用程序，但 Trino 除外。对于 Trino，Amazon EMR 从Amazon EMR 版本 6.9.0 开始默认支持 Amazon Corretto 17。Amazon EMR 还支持某些搭载 Amazon Corretto 11 和 17 的应用程序。下表列出了这些应用程序。如果要更改集群上的默认 JVM，请按照在集群上运行的每个应用程序的 [配置应用程序来使用特定 Java 虚拟机](configuring-java8.md) 中的说明进行操作。一个集群只能使用一个 Java 运行时系统版本。Amazon EMR 不支持在同一集群的不同运行时系统版本上运行不同的节点或应用程序。

虽然 Amazon EMR 在 Apache Spark、Apache Hadoop 和 Apache Hive 上同时支持 Amazon Corretto 11 和 17，但当您使用这些版本的 Corretto 时，某些工作负载的性能可能会下降。我们建议您在更改默认值之前先测试工作负载。

下表显示 Amazon EMR 6.13.0 中的应用程序的默认 Java 版本：


| 应用程序 | Java/Amazon Corretto 版本（默认为粗体） | 
| --- | --- | 
| Delta | 17、11、8 | 
| Flink | 11、8 | 
| Ganglia | 8 | 
| HBase | 11、8 | 
| HCatalog | 17、11、8 | 
| Hadoop | 17、11、8 | 
| Hive | 17、11、8 | 
| Hudi | 17、11、8 | 
| Iceberg | 17、11、8 | 
| Livy | 17、11、8 | 
| Oozie | 17、11、8 | 
| Phoenix | 8 | 
| PrestoDB | 8 | 
| Spark | 17、11、8 | 
| Spark RAPIDS | 17、11、8 | 
| Sqoop | 8 | 
| Tez | 17、11、8 | 
| Trino | 17 | 
| Zeppelin | 8 | 
| Pig | 8 | 
| Zookeeper | 8 | 

## 6.13.0 组件版本
<a name="emr-6130-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.2 | 亚马逊 SageMaker Spark SDK | 
| delta | 2.4.0 | Delta lake 是一种适用于超大型分析数据集的开放表格式。 | 
| delta-standalone-connectors | 0.6.0 | Delta Connectors 提供不同的运行时，将 Delta Lake 与 Flink、Hive 和 Presto 等引擎集成。 | 
| emr-ddb | 5.1.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 3.6.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.10.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-notebook-env | 1.7.0 | 适用于 EMR Notebooks（可提供 jupyter 企业网关）的 Conda env | 
| emr-s3-dist-cp | 2.27.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 2.6.0 | EMR S3 Select 连接器 | 
| emr-wal-cli | 1.1.0 | 用于 emrwal 列表/删除的 cli。 | 
| emrfs | 2.58.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.17.0 | Apache Flink 命令行客户端脚本和应用程序。 | 
| flink-jobmanager-config | 1.17.0 | 在 EMR 节点上管理 Apache Flink 的资源。 JobManager | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 3.3.3-amzn-5 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 3.3.3-amzn-5 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 3.3.3-amzn-5 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 3.3.3-amzn-5 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-hdfs-journalnode | 3.3.3-amzn-5 | 用于管理 HA 集群上的 Hadoop 文件系统日志的 HDFS 服务。 | 
| hadoop-httpfs-server | 3.3.3-amzn-5 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 3.3.3-amzn-5 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 3.3.3-amzn-5 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 3.3.3-amzn-5 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 3.3.3-amzn-5 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 3.3.3-amzn-5 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 2.4.17-amzn-1 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 2.4.17-amzn-1 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 2.4.17-amzn-1 | HBase 命令行客户端。 | 
| hbase-rest-server | 2.4.17-amzn-1 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 2.4.17-amzn-1 | 为其提供 Thrift 端点的 HBase服务。 | 
| hbase-operator-tools | 2.4.17-amzn-1 | 适用于 Apache HBase 集群的修复工具。 | 
| hcatalog-client | 3.1.3-amzn-6 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 3.1.3-amzn-6 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 3.1.3-amzn-6 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 3.1.3-amzn-6 | Hive 命令行客户端。 | 
| hive-hbase | 3.1.3-amzn-6 | Hive-hbase 客户端。 | 
| hive-metastore-server | 3.1.3-amzn-6 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 3.1.3-amzn-6 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hudi | 0.13.1-amzn-1 | 增量处理框架，以支持低延迟和高效率的数据管道。 | 
| hudi-presto | 0.13.1-amzn-1 | 用于运行 Presto 以及 Hudl 的捆绑库。 | 
| hudi-trino | 0.13.1-amzn-1 | 用于运行 Trino 以及 Hudi 的捆绑库。 | 
| hudi-spark | 0.13.1-amzn-1 | 用于运行 Spark 以及 Hudi 的捆绑库。 | 
| hue-server | 4.11.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| iceberg | 1.3.0-amzn-1 | Apache Iceberg 是一种适用于超大型分析数据集的开放表格式。 | 
| jupyterhub | 1.5.0 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.7.1-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mxnet | 1.9.1 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mariadb-server | 5.5.68\$1 | MariaDB 数据库服务器。 | 
| nvidia-cuda | 11.8.0 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.2.1 | Oozie 命令行客户端。 | 
| oozie-server | 5.2.1 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 4.7.0 | 开源计算机视觉库。 | 
| phoenix-library | 5.1.3 | 服务器和客户端的 phoenix 库 | 
| phoenix-connectors | 5.1.3 | Apache Phoenix-Connectors for Spark-3 | 
| phoenix-query-server | 6.0.0 | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.281-amzn-1 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.281-amzn-1 | 用于执行查询的各个部分的服务。 | 
| presto-client | 0.281-amzn-1 | Presto 命令行客户端，安装在 HA 集群的备用主节点（未启动 Presto 服务器）上。 | 
| trino-coordinator | 414-amzn-1 | 用于在 trino-worker 之中接受查询并管理查询的服务。 | 
| trino-worker | 414-amzn-1 | 用于执行查询的各个部分的服务。 | 
| trino-client | 414-amzn-1 | Trino 命令行客户端，安装在 HA 集群的备用主服务器（未启动 Trino 服务器）上。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 4.0.2 | 用于统计计算的 R 项目 | 
| ranger-kms-server | 2.0.0 | Apache Ranger 密钥管理系统 | 
| spark-client | 3.4.1-amzn-0 | Spark 命令行客户端。 | 
| spark-history-server | 3.4.1-amzn-0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 3.4.1-amzn-0 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 3.4.1-amzn-0 | YARN 从属项所需的 Apache Spark 库。 | 
| spark-rapids | 23.06.0-amzn-1 | Nvidia Spark RAPIDS 插件可以加速 Apache Spark GPUs | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 2.11.0 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.10.2-amzn-4 | tez YARN 应用程序和库。 | 
| tez-on-worker | 0.10.2-amzn-4 | 用于 Worker 节点的 tez YARN 应用程序和库。 | 
| webserver | 2.4.41\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.10.1 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.5.10 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.5.10 | ZooKeeper 命令行客户端。 | 

## 6.13.0 配置分类
<a name="emr-6130-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。

为处于运行状态的集群中的实例组指定配置时，将发生重新配置操作。Amazon EMR 仅为您修改的分类启动重新配置操作。有关更多信息，请参阅 [在正在运行的集群中重新配置实例组](emr-configure-apps-running-cluster.md)。


**emr-6.13.0 分类**  

| 分类 | 说明 | 重新配置操作 | 
| --- | --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | Restarts the ResourceManager service. | 
| container-executor | 更改 Hadoop YARN 的 container-executor.cfg 文件中的值。 | Not available. | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | Not available. | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | 更改 docker 相关设置。 | Not available. | 
| emrfs-site | 更改 EMRFS 设置。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | 更改 flink-conf.yaml 设置。 | Restarts Flink history server. | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | Restarts Flink history server. | 
| flink-log4j-session | 更改会话的 Flink log4j-session.properties Kubernetes/Yarn  | Restarts Flink history server. | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | Restarts Flink history server. | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | Not available. | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | Not available. | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | 更改环境 HBase中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | Not available. | 
| hbase-site | 更改 hbase-site.xml 文件 HBase中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | This classification should not be reconfigured. | 
| hdfs-env | 更改 HDFS 环境中的值。 | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | 更改环境 HCatalog中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | Restarts Hive WebHCat server. | 
| hive | 适用于 Apache Hive 的 Amazon EMR 辅助设置。 | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | Not available. | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | Not available. | 
| hive-env | 更改 Hive 环境中的值。 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | Not available. | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | Not available. | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | Not available. | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | Not available. | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | Restarts Hadoop Httpfs service. | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | Not available. | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | Restarts Hadoop-KMS service. | 
| hadoop-kms-java-home | 更改 Hadoop 的 KMS java 主页 | Not available. | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | Not available. | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | 更改 Hudi 环境中的值。 | Not available. | 
| hudi-defaults | 更改 Hudi 的 hudi-defaults.conf 文件中的值。 | Not available. | 
| iceberg-defaults | 更改 Iceberg 的 iceberg-defaults.conf 文件中的值。 | Not available. | 
| delta-defaults | 更改 Delta 的 delta-defaults.conf 文件中的值。 | Not available. | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | Not available. | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | Not available. | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | Not available. | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | Not available. | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | Restarts Livy Server. | 
| livy-env | 更改 Livy 环境中的值。 | Restarts Livy Server. | 
| livy-log4j2 | 更改 Livy log4j2.properties 设置。 | Restarts Livy Server. | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | 更改 Oozie 的环境中的值。 | Restarts Oozie. | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | Restarts Oozie. | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | Restarts Oozie. | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | Not available. | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | Not available. | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | Not available. | 
| pig-env | 更改 Pig 环境中的值。 | Not available. | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | Restarts Oozie. | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | Not available. | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | Not available. | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | Not available. | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | Not available. | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | Not available. | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | Not available. | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | Not available. | 
| presto-connector-lakeformation | 更改 Presto 的 lakeformation.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | Not available. | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | Not available. | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | Not available. | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | Not available. | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | Not available. | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | Not available. | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | Not available. | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | Not available. | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | Not available. | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | Not available. | 
| trino-log | 更改 Trino 的 log.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-config | 更改 Trino 的 config.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-password-authenticator | 更改 Trino 的 password-authenticator.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-env | 更改 Trino 的 trino-env.sh 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-node | 更改 Trino 的 node.properties 文件中的值。 | Not available. | 
| trino-connector-blackhole | 更改 Trino 的 blackhole.properties 文件中的值。 | Not available. | 
| trino-connector-cassandra | 更改 Trino 的 cassandra.properties 文件中的值。 | Not available. | 
| trino-connector-delta | 更改 Trino 的 delta.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-connector-hive | 更改 Trino 的 hive.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-exchange-manager | 更改 Trino 的 exchange-manager.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-connector-iceberg | 更改 Trino 的 iceberg.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-connector-hudi | 更改 Trino 的 hudi.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-connector-jmx | 更改 Trino 的 jmx.properties 文件中的值。 | Not available. | 
| trino-connector-kafka | 更改 Trino 的 kafka.properties 文件中的值。 | Not available. | 
| trino-connector-localfile | 更改 Trino 的 localfile.properties 文件中的值。 | Not available. | 
| trino-connector-memory | 更改 Trino 的 memory.properties 文件中的值。 | Not available. | 
| trino-connector-mongodb | 更改 Trino 的 mongodb.properties 文件中的值。 | Not available. | 
| trino-connector-mysql | 更改 Trino 的 mysql.properties 文件中的值。 | Not available. | 
| trino-connector-postgresql | 更改 Trino 的 postgresql.properties 文件中的值。 | Not available. | 
| trino-connector-raptor | 更改 Trino 的 raptor.properties 文件中的值。 | Not available. | 
| trino-connector-redis | 更改 Trino 的 redis.properties 文件中的值。 | Not available. | 
| trino-connector-redshift | 更改 Trino 的 redshift.properties 文件中的值。 | Not available. | 
| trino-connector-tpch | 更改 Trino 的 tpch.properties 文件中的值。 | Not available. | 
| trino-connector-tpcds | 更改 Trino 的 tpcds.properties 文件中的值。 | Not available. | 
| ranger-kms-dbks-site | 更改 Ranger KMS 的 dbks-site.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-site | 更改 Ranger K ranger-kms-site MS 的.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-env | 更改 Ranger KMS 环境中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-logback | 更改 Ranger KMS 的 kms-logback.xml 文件中的值。 | Not available. | 
| ranger-kms-db-ca | 更改 S3 上用于与 Ranger KMS 进行 MySQL SSL 连接的 CA 文件的值。 | Not available. | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | This property modifies spark-defaults. See actions there. | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-env | 更改 Spark 环境中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | Not available. | 
| spark-log4j2 | 更改 Spark 的 log4j2.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | Not available. | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | Not available. | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | Not available. | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | Restart Oozie and HiveServer2. | 
| yarn-env | 更改 YARN 环境中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | Restarts Zeppelin. | 
| zeppelin-site | 更改 zeppelin-site.xml 中的配置设置。 | Restarts Zeppelin. | 
| zookeeper-config | 更改 ZooKeeper的 zoo.cfg 文件中的值。 | Restarts Zookeeper server. | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | Restarts Zookeeper server. | 

## 6.13.0 更改日志
<a name="6130-changelog"></a>


**发行版 6.13.0 的更改日志和发布说明**  

| 日期 | 事件 | 说明 | 
| --- | --- | --- | 
| 2025-09-03 | 文档修订 | Amazon EMR 6.13.0 发布说明添加了已知问题 | 
| *2023-09-23* | 部署完成 | Amazon EMR 6.13.0 已全面部署到所有[支持的区域](https://aws.amazon.com/about-aws/global-infrastructure/regional-product-services/) | 
| 2023-09-12 | 文档发布 | Amazon EMR 6.13.0 发布说明首次发布 | 
| 2023-09-01 | 初始版本 | Amazon EMR 6.13.0 首次部署到初始商业区域 | 

# Amazon EMR 版本 6.12.0
<a name="emr-6120-release"></a>

## 6.12.0 应用程序版本
<a name="emr-6120-app-versions"></a>

此版本包括以下应用程序：[https://delta.io/](https://delta.io/)、[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://iceberg.apache.org/](https://iceberg.apache.org/)、[https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://trino.io/](https://trino.io/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-6.12.0 | emr-6.11.1 | emr-6.11.0 | emr-6.10.1 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.12.490 | 1.12.446 | 1.12.446 | 1.12.397 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta | 2.4.0 | 2.2.0 | 2.2.0 | 2.2.0 | 
| Flink | 1.17.0 | 1.16.0 | 1.16.0 | 1.16.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.4.17-amzn-0 | 2.4.15-amzn-1.1 | 2.4.15-amzn-1 | 2.4.15-amzn-0.1 | 
| HCatalog | 3.1.3-amzn-5 | 3.1.3-amzn-4.1 | 3.1.3-amzn-4 | 3.1.3-amzn-3.1 | 
| Hadoop | 3.3.3-amzn-4 | 3.3.3-amzn-3.1 | 3.3.3-amzn-3 | 3.3.3-amzn-2.1 | 
| Hive | 3.1.3-amzn-5 | 3.1.3-amzn-4.1 | 3.1.3-amzn-4 | 3.1.3-amzn-3.1 | 
| Hudi | 0.13.1-amzn-0 | 0.13.0-amzn-0 | 0.13.0-amzn-0 | 0.12.2-amzn-0 | 
| Hue | 4.11.0 | 4.11.0 | 4.11.0 | 4.10.0 | 
| Iceberg | 1.3.0-amzn-0 | 1.2.0-amzn-0 | 1.2.0-amzn-0 | 1.1.0-amzn-0 | 
| JupyterEnterpriseGateway | 2.6.0 | 2.6.0 | 2.6.0 | 2.6.0 | 
| JupyterHub | 1.4.1 | 1.4.1 | 1.4.1 | 1.5.0 | 
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 
| MXNet | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 
| Phoenix | 5.1.3 | 5.1.2 | 5.1.2 | 5.1.2 | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.281-amzn-0 | 0.279-amzn-0 | 0.279-amzn-0 | 0.278.1-amzn-0 | 
| Spark | 3.4.0-amzn-0 | 3.3.2-amzn-0.1 | 3.3.2-amzn-0 | 3.3.1-amzn-0.1 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.11.0 | 2.11.0 | 2.11.0 | 2.11.0 | 
| Tez | 0.10.2-amzn-3 | 0.10.2-amzn-2.1 | 0.10.2-amzn-2 | 0.10.2-amzn-1.1 | 
| Trino (PrestoSQL) | 414-amzn-0 | 410-amzn-0 | 410-amzn-0 | 403-amzn-0 | 
| Zeppelin | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 
| ZooKeeper | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 

## 6.12.0 发布说明
<a name="emr-6120-relnotes"></a>

以下发布说明包括有关 Amazon EMR 版本 6.12.0 的信息。更改与 6.11.0 有关。有关发布时间表的更多信息，请参阅 [6.12.0 更改日志](#6120-changelog)。

**新特征**
+ Amazon EMR 6.12.0 supports Apache Spark 3.4.0, Apache Spark RAPIDS 23.06.0-amzn-0, CUDA 11.8.0, Apache Hudi 0.13.1-amzn-0, Apache Iceberg 1.3.0-amzn-0, Trino 414, and PrestoDB 0.281.
+ 亚马逊 EMR 版本 6.12.0 及更高版本支持 LDAP 与 Apache Livy、Apache Hive 到 HiveServer 2 (HS2)、Trino、Presto 和 Hue 集成。您还可以在使用 6.12.0 或更高版本的 EMR 集群上安装 Apache Spark 和 Apache Hadoop，并将它们配置为使用 LDAP。有关更多信息，请参阅[使用 Active Directory 或 LDAP 服务器通过 Amazon EMR 进行身份验证](https://docs.aws.amazon.com/emr/latest/ManagementGuide/ldap.html)。

**已知问题**
+ 当节点上有大量线程 and/or 打开文件句柄时，监控实例运行状况的集群实例状态脚本可能会消耗过多的 CPU 和内存资源。

**更改、增强功能和解决的问题**
+  从 Spark 3.3.1（EMR 6.10 及更高版本支持）开始，停用主机中的所有执行程序都会设置为新的 `ExecutorState`，称为 *DECOMMISSIONING* 状态。Yarn 不能使用正在停用的执行程序来分配任务，因此如果需要，它将为正在执行的任务请求新的执行程序。因此，如果您在 EMR-EC2 集群上使用 EMR 托管扩展、EMR 自动扩缩或任何自定义扩展机制时禁用 Spark DRA，则 Yarn 可能会为每个作业请求允许的最大执行程序数。为了避免出现此问题，在使用上述功能组合时，请将 `spark.dynamicAllocation.enabled` 属性设置为 `TRUE`（默认值）。此外，您还可以通过为 Spark 作业设置 `spark.dynamicAllocation.maxExecutors` 和 `spark.dynamicAllocation.minExecutors` 属性的值来设置最小和最大执行程序约束，以限制作业执行期间分配的执行程序数量。
+ Amazon EMR 6.12.0 及更高版本为 Flink 提供 Java 11 运行时系统支持。有关更多信息，请参阅 [将 Flink 配置为使用 Java 11 运行](flink-configure.md#flink-configure-java11)。
+ 6.12.0 版本为运行 Presto 或 Trino 的 EMR 集群的集群扩展工作流程添加了新的重试机制。这一改进降低了由于单个调整大小操作失败而导致集群大小调整无限期停滞的风险。它还可以提高集群利用率，因为您的集群可以更快地向上和向下扩展。
+ 6.12.0 版本修复了一个问题，即当处于正常停用状态的核心节点在完全停用之前出于任何原因变得运行不正常时，集群的缩减操作可能会停滞不前。
+ 6.12.0 版本改进了集群缩减逻辑，因此您的集群不会尝试将核心节点缩减到低于集群 HDFS 复制因子设置的范围。这符合您的数据冗余要求，并减少了扩展操作可能停滞的机会。
+ 6.12.0 版本通过提高记录实例状态变化的速度，提高了 Amazon EMR 运行状况监控服务的性能和效率。这一改进降低了运行多个自定义客户端工具或第三方应用程序的集群节点性能下降的机会。
+ 6.12.0 版本提高了 Amazon EMR 的集群上日志管理进程守护程序的性能。因此，对于以高并发度运行步骤的 EMR 集群，性能下降的可能性较小。
+ 在 Amazon EMR 6.12.0 版本中，日志管理进程守护程序已升级，可以识别本地实例存储中所有包含打开文件句柄的使用中的日志，以及相关的进程。此次升级可确保 Amazon EMR 在日志存档到 Amazon S3 后正确删除文件并回收存储空间。
+ 6.12.0 版本包括日志管理进程守护程序增强功能，可删除本地集群文件系统中空的、未使用的步骤目录。过多的空目录会降低 Amazon EMR 进程守护程序的性能并导致磁盘过度使用。
+ 6.12.0 版本支持 YARN Timeline Server 日志的日志轮换。这样可以最大限度地减少磁盘过度使用情况，特别是对于长时间运行的集群。
+ Amazon EMR 6.10.0 及更高版本的默认根卷大小已增加到 15 GB。早期版本的默认根卷大小为 10 GB。
+ 当您使用 Amazon EMR 5.36 或更高版本、6.6 或更高版本或 7.0 或更高版本的*最新补丁版本*启动集群时，Amazon EMR 会使用最新的 Amazon Linux 2023 或 Amazon Linux 2 发行版作为默认 Amazon EMR AMI。如需更多信息，请参阅 [Using the default Amazon Linux AMI for Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html)。    
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_cn/emr/latest/ReleaseGuide/emr-6120-release.html)

## 6.12.0 默认 Java 版本
<a name="emr-6120-jdk"></a>

Amazon EMR 6.12.0 及更高版本默认支持所有采用 Amazon Corretto 8 的应用程序，但 Trino 除外。对于 Trino，Amazon EMR 从Amazon EMR 版本 6.9.0 开始默认支持 Amazon Corretto 17。Amazon EMR 还支持某些搭载 Amazon Corretto 11 和 17 的应用程序。下表列出了这些应用程序。如果要更改集群上的默认 JVM，请按照在集群上运行的每个应用程序的 [配置应用程序来使用特定 Java 虚拟机](configuring-java8.md) 中的说明进行操作。一个集群只能使用一个 Java 运行时系统版本。Amazon EMR 不支持在同一集群的不同运行时系统版本上运行不同的节点或应用程序。

虽然 Amazon EMR 在 Apache Spark、Apache Hadoop 和 Apache Hive 上同时支持 Amazon Corretto 11 和 17，但当您使用这些版本的 Corretto 时，某些工作负载的性能可能会下降。我们建议您在更改默认值之前先测试工作负载。

下表显示 Amazon EMR 6.12.0 中的应用程序的默认 Java 版本：


| 应用程序 | Java/Amazon Corretto 版本（默认为粗体） | 
| --- | --- | 
| Delta | 17、11、8 | 
| Flink | 11、8 | 
| Ganglia | 8 | 
| HBase | 11、8 | 
| HCatalog | 17、11、8 | 
| Hadoop | 17、11、8 | 
| Hive | 17、11、8 | 
| Hudi | 17、11、8 | 
| Iceberg | 17、11、8 | 
| Livy | 17、11、8 | 
| Oozie | 17、11、8 | 
| Phoenix | 8 | 
| PrestoDB | 8 | 
| Spark | 17、11、8 | 
| Spark RAPIDS | 17、11、8 | 
| Sqoop | 8 | 
| Tez | 17、11、8 | 
| Trino | 17 | 
| Zeppelin | 8 | 
| Pig | 8 | 
| Zookeeper | 8 | 

## 6.12.0 组件版本
<a name="emr-6120-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.2 | 亚马逊 SageMaker Spark SDK | 
| delta | 2.4.0 | Delta lake 是一种适用于超大型分析数据集的开放表格式。 | 
| delta-standalone-connectors | 0.6.0 | Delta Connectors 提供不同的运行时，将 Delta Lake 与 Flink、Hive 和 Presto 等引擎集成。 | 
| emr-ddb | 5.1.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 3.5.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.9.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-notebook-env | 1.7.0 | 适用于 EMR Notebooks（可提供 jupyter 企业网关）的 Conda env | 
| emr-s3-dist-cp | 2.26.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 2.5.0 | EMR S3 Select 连接器 | 
| emr-wal-cli | 1.1.0 | 用于 emrwal 列表/删除的 cli。 | 
| emrfs | 2.57.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.17.0 | Apache Flink 命令行客户端脚本和应用程序。 | 
| flink-jobmanager-config | 1.17.0 | 在 EMR 节点上管理 Apache Flink 的资源。 JobManager | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 3.3.3-amzn-4 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 3.3.3-amzn-4 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 3.3.3-amzn-4 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 3.3.3-amzn-4 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-hdfs-journalnode | 3.3.3-amzn-4 | 用于管理 HA 集群上的 Hadoop 文件系统日志的 HDFS 服务。 | 
| hadoop-httpfs-server | 3.3.3-amzn-4 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 3.3.3-amzn-4 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 3.3.3-amzn-4 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 3.3.3-amzn-4 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 3.3.3-amzn-4 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 3.3.3-amzn-4 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 2.4.17-amzn-0 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 2.4.17-amzn-0 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 2.4.17-amzn-0 | HBase 命令行客户端。 | 
| hbase-rest-server | 2.4.17-amzn-0 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 2.4.17-amzn-0 | 为其提供 Thrift 端点的 HBase服务。 | 
| hbase-operator-tools | 2.4.17-amzn-0 | 适用于 Apache HBase 集群的修复工具。 | 
| hcatalog-client | 3.1.3-amzn-5 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 3.1.3-amzn-5 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 3.1.3-amzn-5 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 3.1.3-amzn-5 | Hive 命令行客户端。 | 
| hive-hbase | 3.1.3-amzn-5 | Hive-hbase 客户端。 | 
| hive-metastore-server | 3.1.3-amzn-5 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 3.1.3-amzn-5 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hudi | 0.13.1-amzn-0 | 增量处理框架，以支持低延迟和高效率的数据管道。 | 
| hudi-presto | 0.13.1-amzn-0 | 用于运行 Presto 以及 Hudl 的捆绑库。 | 
| hudi-trino | 0.13.1-amzn-0 | 用于运行 Trino 以及 Hudi 的捆绑库。 | 
| hudi-spark | 0.13.1-amzn-0 | 用于运行 Spark 以及 Hudi 的捆绑库。 | 
| hue-server | 4.11.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| iceberg | 1.3.0-amzn-0 | Apache Iceberg 是一种适用于超大型分析数据集的开放表格式。 | 
| jupyterhub | 1.4.1 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.7.1-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mxnet | 1.9.1 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mariadb-server | 5.5.68\$1 | MariaDB 数据库服务器。 | 
| nvidia-cuda | 11.8.0 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.2.1 | Oozie 命令行客户端。 | 
| oozie-server | 5.2.1 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 4.7.0 | 开源计算机视觉库。 | 
| phoenix-library | 5.1.3 | 服务器和客户端的 phoenix 库 | 
| phoenix-connectors | 5.1.3 | Apache Phoenix-Connectors for Spark-3 | 
| phoenix-query-server | 6.0.0 | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.281-amzn-0 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.281-amzn-0 | 用于执行查询的各个部分的服务。 | 
| presto-client | 0.281-amzn-0 | Presto 命令行客户端，安装在 HA 集群的备用主节点（未启动 Presto 服务器）上。 | 
| trino-coordinator | 414-amzn-0 | 用于在 trino-worker 之中接受查询并管理查询的服务。 | 
| trino-worker | 414-amzn-0 | 用于执行查询的各个部分的服务。 | 
| trino-client | 414-amzn-0 | Trino 命令行客户端，安装在 HA 集群的备用主服务器（未启动 Trino 服务器）上。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 4.0.2 | 用于统计计算的 R 项目 | 
| ranger-kms-server | 2.0.0 | Apache Ranger 密钥管理系统 | 
| spark-client | 3.4.0-amzn-0 | Spark 命令行客户端。 | 
| spark-history-server | 3.4.0-amzn-0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 3.4.0-amzn-0 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 3.4.0-amzn-0 | YARN 从属项所需的 Apache Spark 库。 | 
| spark-rapids | 23.06.0-amzn-0 | Nvidia Spark RAPIDS 插件可以加速 Apache Spark GPUs | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 2.11.0 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.10.2-amzn-3 | tez YARN 应用程序和库。 | 
| tez-on-worker | 0.10.2-amzn-3 | 用于 Worker 节点的 tez YARN 应用程序和库。 | 
| webserver | 2.4.41\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.10.1 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.5.10 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.5.10 | ZooKeeper 命令行客户端。 | 

## 6.12.0 配置分类
<a name="emr-6120-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。

为处于运行状态的集群中的实例组指定配置时，将发生重新配置操作。Amazon EMR 仅为您修改的分类启动重新配置操作。有关更多信息，请参阅 [在正在运行的集群中重新配置实例组](emr-configure-apps-running-cluster.md)。


**emr-6.12.0 分类**  

| 分类 | 说明 | 重新配置操作 | 
| --- | --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | Restarts the ResourceManager service. | 
| container-executor | 更改 Hadoop YARN 的 container-executor.cfg 文件中的值。 | Not available. | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | Not available. | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | 更改 docker 相关设置。 | Not available. | 
| emrfs-site | 更改 EMRFS 设置。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | 更改 flink-conf.yaml 设置。 | Restarts Flink history server. | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | Restarts Flink history server. | 
| flink-log4j-session | 更改会话的 Flink log4j-session.properties Kubernetes/Yarn  | Restarts Flink history server. | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | Restarts Flink history server. | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | Not available. | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | Not available. | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | 更改环境 HBase中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | Not available. | 
| hbase-site | 更改 hbase-site.xml 文件 HBase中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | This classification should not be reconfigured. | 
| hdfs-env | 更改 HDFS 环境中的值。 | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | 更改环境 HCatalog中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | Restarts Hive WebHCat server. | 
| hive | 适用于 Apache Hive 的 Amazon EMR 辅助设置。 | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | Not available. | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | Not available. | 
| hive-env | 更改 Hive 环境中的值。 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | Not available. | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | Not available. | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | Not available. | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | Not available. | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | Restarts Hadoop Httpfs service. | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | Not available. | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | Restarts Hadoop-KMS service. | 
| hadoop-kms-java-home | 更改 Hadoop 的 KMS java 主页 | Not available. | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | Not available. | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | 更改 Hudi 环境中的值。 | Not available. | 
| hudi-defaults | 更改 Hudi 的 hudi-defaults.conf 文件中的值。 | Not available. | 
| iceberg-defaults | 更改 Iceberg 的 iceberg-defaults.conf 文件中的值。 | Not available. | 
| delta-defaults | 更改 Delta 的 delta-defaults.conf 文件中的值。 | Not available. | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | Not available. | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | Not available. | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | Not available. | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | Not available. | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | Restarts Livy Server. | 
| livy-env | 更改 Livy 环境中的值。 | Restarts Livy Server. | 
| livy-log4j2 | 更改 Livy log4j2.properties 设置。 | Restarts Livy Server. | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | 更改 Oozie 的环境中的值。 | Restarts Oozie. | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | Restarts Oozie. | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | Restarts Oozie. | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | Not available. | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | Not available. | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | Not available. | 
| pig-env | 更改 Pig 环境中的值。 | Not available. | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | Restarts Oozie. | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | Not available. | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | Not available. | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | Not available. | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | Not available. | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | Not available. | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | Not available. | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | Not available. | 
| presto-connector-lakeformation | 更改 Presto 的 lakeformation.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | Not available. | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | Not available. | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | Not available. | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | Not available. | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | Not available. | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | Not available. | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | Not available. | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | Not available. | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | Not available. | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | Not available. | 
| trino-log | 更改 Trino 的 log.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-config | 更改 Trino 的 config.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-password-authenticator | 更改 Trino 的 password-authenticator.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-env | 更改 Trino 的 trino-env.sh 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-node | 更改 Trino 的 node.properties 文件中的值。 | Not available. | 
| trino-connector-blackhole | 更改 Trino 的 blackhole.properties 文件中的值。 | Not available. | 
| trino-connector-cassandra | 更改 Trino 的 cassandra.properties 文件中的值。 | Not available. | 
| trino-connector-delta | 更改 Trino 的 delta.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-connector-hive | 更改 Trino 的 hive.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-exchange-manager | 更改 Trino 的 exchange-manager.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-connector-iceberg | 更改 Trino 的 iceberg.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-connector-hudi | 更改 Trino 的 hudi.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-connector-jmx | 更改 Trino 的 jmx.properties 文件中的值。 | Not available. | 
| trino-connector-kafka | 更改 Trino 的 kafka.properties 文件中的值。 | Not available. | 
| trino-connector-localfile | 更改 Trino 的 localfile.properties 文件中的值。 | Not available. | 
| trino-connector-memory | 更改 Trino 的 memory.properties 文件中的值。 | Not available. | 
| trino-connector-mongodb | 更改 Trino 的 mongodb.properties 文件中的值。 | Not available. | 
| trino-connector-mysql | 更改 Trino 的 mysql.properties 文件中的值。 | Not available. | 
| trino-connector-postgresql | 更改 Trino 的 postgresql.properties 文件中的值。 | Not available. | 
| trino-connector-raptor | 更改 Trino 的 raptor.properties 文件中的值。 | Not available. | 
| trino-connector-redis | 更改 Trino 的 redis.properties 文件中的值。 | Not available. | 
| trino-connector-redshift | 更改 Trino 的 redshift.properties 文件中的值。 | Not available. | 
| trino-connector-tpch | 更改 Trino 的 tpch.properties 文件中的值。 | Not available. | 
| trino-connector-tpcds | 更改 Trino 的 tpcds.properties 文件中的值。 | Not available. | 
| ranger-kms-dbks-site | 更改 Ranger KMS 的 dbks-site.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-site | 更改 Ranger K ranger-kms-site MS 的.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-env | 更改 Ranger KMS 环境中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-logback | 更改 Ranger KMS 的 kms-logback.xml 文件中的值。 | Not available. | 
| ranger-kms-db-ca | 更改 S3 上用于与 Ranger KMS 进行 MySQL SSL 连接的 CA 文件的值。 | Not available. | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | This property modifies spark-defaults. See actions there. | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-env | 更改 Spark 环境中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | Not available. | 
| spark-log4j2 | 更改 Spark 的 log4j2.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | Not available. | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | Not available. | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | Not available. | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | Restart Oozie and HiveServer2. | 
| yarn-env | 更改 YARN 环境中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | Restarts Zeppelin. | 
| zeppelin-site | 更改 zeppelin-site.xml 中的配置设置。 | Restarts Zeppelin. | 
| zookeeper-config | 更改 ZooKeeper的 zoo.cfg 文件中的值。 | Restarts Zookeeper server. | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | Restarts Zookeeper server. | 

## 6.12.0 更改日志
<a name="6120-changelog"></a>


**发行版 6.12.0 的更改日志和发布说明**  

| 日期 | 事件 | 说明 | 
| --- | --- | --- | 
| 2025-09-03 | 文档修订 | Amazon EMR 6.12.0 发布说明添加了已知问题 | 
| 2023-07-27 | 更新文档 | 更新 6.12 的 Java 选项并添加 Oozie 教程来更新 JVM | 
| 2023-07-21 | 部署完成 | Amazon EMR 6.12.0 已全面部署到所有[支持的区域](https://aws.amazon.com/about-aws/global-infrastructure/regional-product-services/) | 
| 2023-07-21 | 文档发布 | Amazon EMR 6.12.0 发布说明首次发布 | 
| 2023-07-12 | 初始版本 | Amazon EMR 6.12.0 首次部署到初始商业区域 | 

# Amazon EMR 版本 6.11.1
<a name="emr-6111-release"></a>

## 6.11.1 应用程序版本
<a name="emr-6111-app-versions"></a>

此版本包括以下应用程序：[https://delta.io/](https://delta.io/)、[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://iceberg.apache.org/](https://iceberg.apache.org/)、[https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://trino.io/](https://trino.io/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-6.11.1 | emr-6.11.0 | emr-6.10.1 | emr-6.10.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.12.446 | 1.12.446 | 1.12.397 | 1.12.397 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta | 2.2.0 | 2.2.0 | 2.2.0 | 2.2.0 | 
| Flink | 1.16.0 | 1.16.0 | 1.16.0 | 1.16.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.4.15-amzn-1.1 | 2.4.15-amzn-1 | 2.4.15-amzn-0.1 | 2.4.15-amzn-0 | 
| HCatalog | 3.1.3-amzn-4.1 | 3.1.3-amzn-4 | 3.1.3-amzn-3.1 | 3.1.3-amzn-3 | 
| Hadoop | 3.3.3-amzn-3.1 | 3.3.3-amzn-3 | 3.3.3-amzn-2.1 | 3.3.3-amzn-2 | 
| Hive | 3.1.3-amzn-4.1 | 3.1.3-amzn-4 | 3.1.3-amzn-3.1 | 3.1.3-amzn-3 | 
| Hudi | 0.13.0-amzn-0 | 0.13.0-amzn-0 | 0.12.2-amzn-0 | 0.12.2-amzn-0 | 
| Hue | 4.11.0 | 4.11.0 | 4.10.0 | 4.10.0 | 
| Iceberg | 1.2.0-amzn-0 | 1.2.0-amzn-0 | 1.1.0-amzn-0 | 1.1.0-amzn-0 | 
| JupyterEnterpriseGateway | 2.6.0 | 2.6.0 | 2.6.0 | 2.6.0 | 
| JupyterHub | 1.4.1 | 1.4.1 | 1.5.0 | 1.5.0 | 
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 
| MXNet | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 
| Phoenix | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.279-amzn-0 | 0.279-amzn-0 | 0.278.1-amzn-0 | 0.278.1-amzn-0 | 
| Spark | 3.3.2-amzn-0.1 | 3.3.2-amzn-0 | 3.3.1-amzn-0.1 | 3.3.1-amzn-0 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.11.0 | 2.11.0 | 2.11.0 | 2.11.0 | 
| Tez | 0.10.2-amzn-2.1 | 0.10.2-amzn-2 | 0.10.2-amzn-1.1 | 0.10.2-amzn-1 | 
| Trino (PrestoSQL) | 410-amzn-0 | 410-amzn-0 | 403-amzn-0 | 403-amzn-0 | 
| Zeppelin | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 
| ZooKeeper | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 

## 6.11.1 发布说明
<a name="emr-6111-relnotes"></a>

以下发布说明包括有关 Amazon EMR 版本 6.11.1 的信息。更改与 6.11.0 有关。有关发布时间表的更多信息，请参阅 [6.11.1 更改日志](#6111-changelog)。

**更改、增强功能和解决的问题**
+  从 Spark 3.3.1（EMR 6.10 及更高版本支持）开始，停用主机中的所有执行程序都会设置为新的 `ExecutorState`，称为 *DECOMMISSIONING* 状态。Yarn 不能使用正在停用的执行程序来分配任务，因此如果需要，它将为正在执行的任务请求新的执行程序。因此，如果您在 EMR-EC2 集群上使用 EMR 托管扩展、EMR 自动扩缩或任何自定义扩展机制时禁用 Spark DRA，则 Yarn 可能会为每个作业请求允许的最大执行程序数。为了避免出现此问题，在使用上述功能组合时，请将 `spark.dynamicAllocation.enabled` 属性设置为 `TRUE`（默认值）。此外，您还可以通过为 Spark 作业设置 `spark.dynamicAllocation.maxExecutors` 和 `spark.dynamicAllocation.minExecutors` 属性的值来设置最小和最大执行程序约束，以限制作业执行期间分配的执行程序数量。
+ 由于锁争用，如果在尝试停用节点的同时添加或移除节点，则该节点可能会陷入死锁。结果，Hadoop 资源管理器（YARN）变得无响应，并会影响所有传入和当前正在运行的容器。
+ 此版本包括一项更改，允许高可用性集群在重启后从故障状态中恢复。
+ 此版本包含针对 Hue 和的安全补丁 HBase。
+ 此版本修复了在 Spark 上使用 Amazon EMR 运行工作负载的集群可能会静默收到包含 `contains`、`startsWith`、`endsWith` 和 `like` 错误结果的问题。当您在 Amazon EMR Hive3 Metastore 服务器（HMS）中使用包含元数据的分区字段的表达式时，就会出现此问题。
+ 此版本修复了没有用户定义函数（UDF）时在 Glue 端的节流问题。
+ 此版本修复了在 YARN 停用时，在日志推送器能够将容器日志推送到 S3 之前，节点日志聚合服务会删除容器日志的问题。
+ 此版本修复了 Hadoo FairShare p 启用节点标签时调度器指标的问题。
+ 此版本修复了您在 `spark-defaults.conf` 中为 `spark.yarn.heterogeneousExecutors.enabled` 配置设置默认 `true` 值时影响 Spark 性能的问题。
+ 此版本修复了 Reduce Task 无法读取随机数据的问题。该问题因内存损坏错误导致 Hive 查询失败。
+ 此版本为运行 Presto 或 Trino 的 EMR 集群的集群扩展工作流程添加了新的重试机制。这一改进降低了由于单个调整大小操作失败而导致集群大小调整无限期停滞的风险。它还可以提高集群利用率，因为您的集群可以更快地向上和向下扩展。
+ 此版本改进了集群缩减逻辑，因此您的集群不会尝试将核心节点缩减到低于集群 HDFS 复制因子设置的范围。这符合您的数据冗余要求，并减少了扩展操作可能停滞的机会。
+ 日志管理进程守护程序已升级，可以识别本地实例存储中所有包含打开文件句柄的使用中的日志，以及相关的进程。此次升级可确保 Amazon EMR 在日志存档到 Amazon S3 后正确删除文件并回收存储空间。
+ 此版本包括日志管理进程守护程序增强功能，可删除本地集群文件系统中空的、未使用的步骤目录。过多的空目录会降低 Amazon EMR 进程守护程序的性能并导致磁盘过度使用。
+ 当您使用 Amazon EMR 5.36 或更高版本、6.6 或更高版本或 7.0 或更高版本的*最新补丁版本*启动集群时，Amazon EMR 会使用最新的 Amazon Linux 2023 或 Amazon Linux 2 发行版作为默认 Amazon EMR AMI。如需更多信息，请参阅 [Using the default Amazon Linux AMI for Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html)。    
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_cn/emr/latest/ReleaseGuide/emr-6111-release.html)

## 6.11.1 组件版本
<a name="emr-6111-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.2 | 亚马逊 SageMaker Spark SDK | 
| delta | 2.2.0 | Delta lake 是一种适用于超大型分析数据集的开放表格式。 | 
| delta-standalone-connectors | 0.6.0 | Delta Connectors 提供不同的运行时，将 Delta Lake 与 Flink、Hive 和 Presto 等引擎集成。 | 
| emr-ddb | 5.1.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 3.4.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.8.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-notebook-env | 1.7.0 | 适用于 EMR Notebooks（可提供 jupyter 企业网关）的 Conda env | 
| emr-s3-dist-cp | 2.25.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 2.4.0 | EMR S3 Select 连接器 | 
| emr-wal-cli | 1.1.0 | 用于 emrwal 列表/删除的 cli。 | 
| emrfs | 2.56.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.16.0 | Apache Flink 命令行客户端脚本和应用程序。 | 
| flink-jobmanager-config | 1.16.0 | 在 EMR 节点上管理 Apache Flink 的资源。 JobManager | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 3.3.3-amzn-3.1 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 3.3.3-amzn-3.1 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 3.3.3-amzn-3.1 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 3.3.3-amzn-3.1 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-hdfs-journalnode | 3.3.3-amzn-3.1 | 用于管理 HA 集群上的 Hadoop 文件系统日志的 HDFS 服务。 | 
| hadoop-httpfs-server | 3.3.3-amzn-3.1 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 3.3.3-amzn-3.1 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 3.3.3-amzn-3.1 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 3.3.3-amzn-3.1 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 3.3.3-amzn-3.1 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 3.3.3-amzn-3.1 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 2.4.15-amzn-1.1 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 2.4.15-amzn-1.1 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 2.4.15-amzn-1.1 | HBase 命令行客户端。 | 
| hbase-rest-server | 2.4.15-amzn-1.1 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 2.4.15-amzn-1.1 | 为其提供 Thrift 端点的 HBase服务。 | 
| hbase-operator-tools | 2.4.15-amzn-1.1 | 适用于 Apache HBase 集群的修复工具。 | 
| hcatalog-client | 3.1.3-amzn-4.1 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 3.1.3-amzn-4.1 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 3.1.3-amzn-4.1 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 3.1.3-amzn-4.1 | Hive 命令行客户端。 | 
| hive-hbase | 3.1.3-amzn-4.1 | Hive-hbase 客户端。 | 
| hive-metastore-server | 3.1.3-amzn-4.1 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 3.1.3-amzn-4.1 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hudi | 0.13.0-amzn-0 | 增量处理框架，以支持低延迟和高效率的数据管道。 | 
| hudi-presto | 0.13.0-amzn-0 | 用于运行 Presto 以及 Hudl 的捆绑库。 | 
| hudi-trino | 0.13.0-amzn-0 | 用于运行 Trino 以及 Hudi 的捆绑库。 | 
| hudi-spark | 0.13.0-amzn-0 | 用于运行 Spark 以及 Hudi 的捆绑库。 | 
| hue-server | 4.11.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| iceberg | 1.2.0-amzn-0 | Apache Iceberg 是一种适用于超大型分析数据集的开放表格式。 | 
| jupyterhub | 1.4.1 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.7.1-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mxnet | 1.9.1 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mariadb-server | 5.5.68\$1 | MariaDB 数据库服务器。 | 
| nvidia-cuda | 11.8.0 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.2.1 | Oozie 命令行客户端。 | 
| oozie-server | 5.2.1 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 4.5.0 | 开源计算机视觉库。 | 
| phoenix-library | 5.1.2 | 服务器和客户端的 phoenix 库 | 
| phoenix-connectors | 5.1.2 | Apache Phoenix-Connectors for Spark-3 | 
| phoenix-query-server | 6.0.0 | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.279-amzn-0 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.279-amzn-0 | 用于执行查询的各个部分的服务。 | 
| presto-client | 0.279-amzn-0 | Presto 命令行客户端，安装在 HA 集群的备用主节点（未启动 Presto 服务器）上。 | 
| trino-coordinator | 410-amzn-0 | 用于在 trino-worker 之中接受查询并管理查询的服务。 | 
| trino-worker | 410-amzn-0 | 用于执行查询的各个部分的服务。 | 
| trino-client | 410-amzn-0 | Trino 命令行客户端，安装在 HA 集群的备用主服务器（未启动 Trino 服务器）上。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 4.0.2 | 用于统计计算的 R 项目 | 
| ranger-kms-server | 2.0.0 | Apache Ranger 密钥管理系统 | 
| spark-client | 3.3.2-amzn-0.1 | Spark 命令行客户端。 | 
| spark-history-server | 3.3.2-amzn-0.1 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 3.3.2-amzn-0.1 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 3.3.2-amzn-0.1 | YARN 从属项所需的 Apache Spark 库。 | 
| spark-rapids | 23.02.0-amzn-0 | Nvidia Spark RAPIDS 插件可以加速 Apache Spark GPUs | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 2.11.0 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.10.2-amzn-2.1 | tez YARN 应用程序和库。 | 
| tez-on-worker | 0.10.2-amzn-2.1 | 用于 Worker 节点的 tez YARN 应用程序和库。 | 
| webserver | 2.4.41\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.10.1 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.5.10 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.5.10 | ZooKeeper 命令行客户端。 | 

## 6.11.1 配置分类
<a name="emr-6111-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。

为处于运行状态的集群中的实例组指定配置时，将发生重新配置操作。Amazon EMR 仅为您修改的分类启动重新配置操作。有关更多信息，请参阅 [在正在运行的集群中重新配置实例组](emr-configure-apps-running-cluster.md)。


**emr-6.11.1 分类**  

| 分类 | 说明 | 重新配置操作 | 
| --- | --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | Restarts the ResourceManager service. | 
| container-executor | 更改 Hadoop YARN 的 container-executor.cfg 文件中的值。 | Not available. | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | Not available. | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | 更改 docker 相关设置。 | Not available. | 
| emrfs-site | 更改 EMRFS 设置。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | 更改 flink-conf.yaml 设置。 | Restarts Flink history server. | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | Restarts Flink history server. | 
| flink-log4j-session | 更改会话的 Flink log4j-session.properties Kubernetes/Yarn  | Restarts Flink history server. | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | Restarts Flink history server. | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | Not available. | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | Not available. | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | 更改环境 HBase中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | Not available. | 
| hbase-site | 更改 hbase-site.xml 文件 HBase中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | This classification should not be reconfigured. | 
| hdfs-env | 更改 HDFS 环境中的值。 | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | 更改环境 HCatalog中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | Restarts Hive WebHCat server. | 
| hive | 适用于 Apache Hive 的 Amazon EMR 辅助设置。 | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | Not available. | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | Not available. | 
| hive-env | 更改 Hive 环境中的值。 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | Not available. | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | Not available. | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | Not available. | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | Not available. | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | Restarts Hadoop Httpfs service. | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | Not available. | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | Not available. | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | 更改 Hudi 环境中的值。 | Not available. | 
| hudi-defaults | 更改 Hudi 的 hudi-defaults.conf 文件中的值。 | Not available. | 
| iceberg-defaults | 更改 Iceberg 的 iceberg-defaults.conf 文件中的值。 | Not available. | 
| delta-defaults | 更改 Delta 的 delta-defaults.conf 文件中的值。 | Not available. | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | Not available. | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | Not available. | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | Not available. | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | Not available. | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | Restarts Livy Server. | 
| livy-env | 更改 Livy 环境中的值。 | Restarts Livy Server. | 
| livy-log4j2 | 更改 Livy log4j2.properties 设置。 | Restarts Livy Server. | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | 更改 Oozie 的环境中的值。 | Restarts Oozie. | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | Restarts Oozie. | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | Restarts Oozie. | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | Not available. | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | Not available. | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | Not available. | 
| pig-env | 更改 Pig 环境中的值。 | Not available. | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | Restarts Oozie. | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | Not available. | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | Not available. | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | Not available. | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | Not available. | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | Not available. | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | Not available. | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | Not available. | 
| presto-connector-lakeformation | 更改 Presto 的 lakeformation.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | Not available. | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | Not available. | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | Not available. | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | Not available. | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | Not available. | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | Not available. | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | Not available. | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | Not available. | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | Not available. | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | Not available. | 
| trino-log | 更改 Trino 的 log.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-config | 更改 Trino 的 config.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-password-authenticator | 更改 Trino 的 password-authenticator.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-env | 更改 Trino 的 trino-env.sh 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-node | 更改 Trino 的 node.properties 文件中的值。 | Not available. | 
| trino-connector-blackhole | 更改 Trino 的 blackhole.properties 文件中的值。 | Not available. | 
| trino-connector-cassandra | 更改 Trino 的 cassandra.properties 文件中的值。 | Not available. | 
| trino-connector-delta | 更改 Trino 的 delta.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-connector-hive | 更改 Trino 的 hive.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-exchange-manager | 更改 Trino 的 exchange-manager.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-connector-iceberg | 更改 Trino 的 iceberg.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-connector-hudi | 更改 Trino 的 hudi.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-connector-jmx | 更改 Trino 的 jmx.properties 文件中的值。 | Not available. | 
| trino-connector-kafka | 更改 Trino 的 kafka.properties 文件中的值。 | Not available. | 
| trino-connector-localfile | 更改 Trino 的 localfile.properties 文件中的值。 | Not available. | 
| trino-connector-memory | 更改 Trino 的 memory.properties 文件中的值。 | Not available. | 
| trino-connector-mongodb | 更改 Trino 的 mongodb.properties 文件中的值。 | Not available. | 
| trino-connector-mysql | 更改 Trino 的 mysql.properties 文件中的值。 | Not available. | 
| trino-connector-postgresql | 更改 Trino 的 postgresql.properties 文件中的值。 | Not available. | 
| trino-connector-raptor | 更改 Trino 的 raptor.properties 文件中的值。 | Not available. | 
| trino-connector-redis | 更改 Trino 的 redis.properties 文件中的值。 | Not available. | 
| trino-connector-redshift | 更改 Trino 的 redshift.properties 文件中的值。 | Not available. | 
| trino-connector-tpch | 更改 Trino 的 tpch.properties 文件中的值。 | Not available. | 
| trino-connector-tpcds | 更改 Trino 的 tpcds.properties 文件中的值。 | Not available. | 
| ranger-kms-dbks-site | 更改 Ranger KMS 的 dbks-site.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-site | 更改 Ranger K ranger-kms-site MS 的.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-env | 更改 Ranger KMS 环境中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-logback | 更改 Ranger KMS 的 kms-logback.xml 文件中的值。 | Not available. | 
| ranger-kms-db-ca | 更改 S3 上用于与 Ranger KMS 进行 MySQL SSL 连接的 CA 文件的值。 | Not available. | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | This property modifies spark-defaults. See actions there. | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-env | 更改 Spark 环境中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | Not available. | 
| spark-log4j2 | 更改 Spark 的 log4j2.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | Not available. | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | Not available. | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | Not available. | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | Restart Oozie and HiveServer2. | 
| yarn-env | 更改 YARN 环境中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | Restarts Zeppelin. | 
| zeppelin-site | 更改 zeppelin-site.xml 中的配置设置。 | Restarts Zeppelin. | 
| zookeeper-config | 更改 ZooKeeper的 zoo.cfg 文件中的值。 | Restarts Zookeeper server. | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | Restarts Zookeeper server. | 

## 6.11.1 更改日志
<a name="6111-changelog"></a>


**发行版 6.11.1 的更改日志和发布说明**  

| 日期 | 事件 | 说明 | 
| --- | --- | --- | 
| 2023-08-30 | 更新发行说明 | 在发行说明中添加了几个与控制面板相关的修复 | 
| 2023-08-21 | 文档发布 | Amazon EMR 6.11.1 发布说明首次发布 | 
| 2023-08-16 | 部署完成 | Amazon EMR 6.11.1 已全面部署到所有[支持的区域](https://aws.amazon.com/about-aws/global-infrastructure/regional-product-services/) | 
| 2023-08-04 | 初始版本 | Amazon EMR 6.11.1 首次面向部分商业区域部署 | 

# Amazon EMR 版本 6.11.0
<a name="emr-6110-release"></a>

## 6.11.0 应用程序版本
<a name="emr-6110-app-versions"></a>

此版本包括以下应用程序：[https://delta.io/](https://delta.io/)、[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://iceberg.apache.org/](https://iceberg.apache.org/)、[https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://trino.io/](https://trino.io/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-6.11.0 | emr-6.10.1 | emr-6.10.0 | emr-6.9.1 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.12.446 | 1.12.397 | 1.12.397 | 1.12.170 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta | 2.2.0 | 2.2.0 | 2.2.0 | 2.1.0 | 
| Flink | 1.16.0 | 1.16.0 | 1.16.0 | 1.15.2 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.4.15-amzn-1 | 2.4.15-amzn-0.1 | 2.4.15-amzn-0 | 2.4.13-amzn-0.1 | 
| HCatalog | 3.1.3-amzn-4 | 3.1.3-amzn-3.1 | 3.1.3-amzn-3 | 3.1.3-amzn-2.1 | 
| Hadoop | 3.3.3-amzn-3 | 3.3.3-amzn-2.1 | 3.3.3-amzn-2 | 3.3.3-amzn-1.1 | 
| Hive | 3.1.3-amzn-4 | 3.1.3-amzn-3.1 | 3.1.3-amzn-3 | 3.1.3-amzn-2.1 | 
| Hudi | 0.13.0-amzn-0 | 0.12.2-amzn-0 | 0.12.2-amzn-0 | 0.12.1-amzn-0 | 
| Hue | 4.11.0 | 4.10.0 | 4.10.0 | 4.10.0 | 
| Iceberg | 1.2.0-amzn-0 | 1.1.0-amzn-0 | 1.1.0-amzn-0 | 0.14.1-amzn-0 | 
| JupyterEnterpriseGateway | 2.6.0 | 2.6.0 | 2.6.0 | 2.6.0 | 
| JupyterHub | 1.4.1 | 1.5.0 | 1.5.0 | 1.4.1 | 
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 
| MXNet | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 
| Phoenix | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.279-amzn-0 | 0.278.1-amzn-0 | 0.278.1-amzn-0 | 0.276-amzn-0 | 
| Spark | 3.3.2-amzn-0 | 3.3.1-amzn-0.1 | 3.3.1-amzn-0 | 3.3.0-amzn-1.1 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.11.0 | 2.11.0 | 2.11.0 | 2.10.0 | 
| Tez | 0.10.2-amzn-2 | 0.10.2-amzn-1.1 | 0.10.2-amzn-1 | 0.10.2-amzn-0.1 | 
| Trino (PrestoSQL) | 410-amzn-0 | 403-amzn-0 | 403-amzn-0 | 398-amzn-0 | 
| Zeppelin | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 
| ZooKeeper | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 

## 6.11.0 发布说明
<a name="emr-6110-relnotes"></a>

以下发布说明包括有关 Amazon EMR 版本 6.11.0 的信息。更改与 6.10.0 有关。有关发布时间表的信息，请参阅[更改日志](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-6110-release.html#6110-changelog)。

**新特征**
+ Amazon EMR 6.11.0 支持 Apache Spark 3.3.2-amzn-0、Apache Spark RAPIDS 23.02.0-amzn-0、CUDA 11.8.0、Apache Hudi 0.13.0-amzn-0、Apache Iceberg 1.2.0-amzn-0、Trino 410-amzn-0 和 PrestoDB 0.279-amzn-0。

**更改、增强功能和解决的问题**
+  从 Spark 3.3.1（EMR 6.10 及更高版本支持）开始，停用主机中的所有执行程序都会设置为新的 `ExecutorState`，称为 *DECOMMISSIONING* 状态。Yarn 不能使用正在停用的执行程序来分配任务，因此如果需要，它将为正在执行的任务请求新的执行程序。因此，如果您在 EMR-EC2 集群上使用 EMR 托管扩展、EMR 自动扩缩或任何自定义扩展机制时禁用 Spark DRA，则 Yarn 可能会为每个作业请求允许的最大执行程序数。为了避免出现此问题，在使用上述功能组合时，请将 `spark.dynamicAllocation.enabled` 属性设置为 `TRUE`（默认值）。此外，您还可以通过为 Spark 作业设置 `spark.dynamicAllocation.maxExecutors` 和 `spark.dynamicAllocation.minExecutors` 属性的值来设置最小和最大执行程序约束，以限制作业执行期间分配的执行程序数量。
+ 在 Amazon EMR 6.11.0 中，DynamoDB 连接器已升级到 5.0.0 版。5.0.0 版本使用。 AWS SDK for Java 2.x之前的版本使用的是 适用于 Java 的 AWS SDK 1.x。由于此次升级，我们强烈建议您在将 DynamoDB 连接器与 Amazon EMR 6.11 配合使用之前，先测试您的代码。
+ 当 Amazon EMR 6.11.0 的 DynamoDB 连接器调用 DynamoDB 服务时，它会使用您为 `dynamodb.endpoint` 属性提供的区域值。我们建议您在使用 `dynamodb.endpoint` 时也配置 `dynamodb.region`，并且两个属性都以相同的 AWS 区域为目标。如果您使用`dynamodb.endpoint`但未进行配置`dynamodb.region`，则适用于 Amazon EMR 6.11.0 的 DynamoDB 连接器将返回一个无效的区域异常，并尝试协调 AWS 区域 来自亚马逊 EC2 实例元数据服务 (IMDS) 的信息。如果连接器无法从 IMDS 检索区域，则默认为美国东部（弗吉尼亚州北部）(`us-east-1`)。以下错误是您未正确配置该`dynamodb.region`属性时可能会遇到的无效区域异常的示例：`error software.amazon.awssdk.services.dynamodb.model.DynamoDbException: Credential should be scoped to a valid region.`有关受 适用于 Java 的 AWS SDK 升级到 2.x 影响的类的更多信息，请参阅 Amazon EMR-DynamoDB 连接器存储库中的[适用于 Java 的 AWS SDK 从 1.x 升级到 2.x (\$1175)](https://github.com/awslabs/emr-dynamodb-connector/commit/1dec9d1972d3673c3fae6c6ea51f19f295147ccf) 提交。 GitHub 
+ 此版本修复了在执行列重命名操作后使用 Delta Lake 在 Amazon S3 中存储 Delta 表数据时列数据变为 `NULL` 的问题。有关 Delta Lake 中此实验性功能的更多信息，请参阅《Delta Lake User Guide》中的 [Column rename operation](https://docs.delta.io/latest/delta-batch.html#rename-columns)。
+ 6.11.0 版本修复了通过从具有多个主节点的集群中复制一个主节点来创建边缘节点时可能出现的问题。复制的边缘节点可能会导致缩减操作的延迟，或者导致主节点的内存使用率过高。有关如何创建边缘节点以与 EMR 集群通信的更多信息，请参阅存储库中的 E [dge Node Creato](https://github.com/aws-samples/aws-emr-utilities/tree/main/utilities/emr-edge-node-creator) r。`aws-samples` GitHub
+ 6.11.0 版本改进了 Amazon EMR 用于在重启后将 Amazon EBS 卷重新挂载到实例的自动化流程。
+ 6.11.0 版本修复了导致亚马逊 EMR 向亚马逊发布的 Hadoop 指标间歇性出现差距的问题。 CloudWatch
+ 6.11.0 版本修复了 EMR 集群的一个问题，即由于磁盘过度使用而导致对包含集群节点排除列表的 YARN 配置文件的更新中断。不完整的更新阻碍了未来对集群的缩减操作。此版本可确保您的集群保持正常运行，并确保扩展操作按预期进行。
+ Amazon EMR 6.10.0 及更高版本的默认根卷大小已增加到 15 GB。早期版本的默认根卷大小为 10 GB。
+ Hadoop 3.3.3 在 YARN（[YARN-9608](https://issues.apache.org/jira/browse/YARN-9608)）中引入了一项更改，即在应用程序完成之前，容器运行所在的节点一直处于停用状态。此更改可确保如随机数据等本地数据不会丢失，并且您无需重新运行作业。无论是否启用托管扩展，这种方法还可能导致集群的资源利用不足。

  在 Amazon EMR 6.11.0 及更高版本以及 6.8.1、6.9.1 和 6.10.1 中，在 `yarn-site.xml` 中将 `yarn.resourcemanager.decommissioning-nodes-watcher.wait-for-applications` 的值设置为 `false` 以解决此问题。

  虽然该修复解决了 YARN-9608 引入的问题，但由于启用了托管扩展的集群上的随机数据丢失，它可能会导致 Hive 作业失败。在此版本中，我们还通过设置 Hive `yarn.resourcemanager.decommissioning-nodes-watcher.wait-for-shuffle-data` 工作负载来降低这种风险。此配置在 Amazon EMR 版本 6.11.0 及更高版本中提供。
+ 当您使用 Amazon EMR 5.36 或更高版本、6.6 或更高版本或 7.0 或更高版本的*最新补丁版本*启动集群时，Amazon EMR 会使用最新的 Amazon Linux 2023 或 Amazon Linux 2 发行版作为默认 Amazon EMR AMI。如需更多信息，请参阅 [Using the default Amazon Linux AMI for Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html)。
**注意**  
此版本不再获得 AMI 自动更新，因为它已被另外 1 个补丁版本取代。补丁版本以第二位小数点后的数字 (`6.8.1`) 表示。要查看您是否使用的是最新补丁版本，请查看《[https://docs.aws.amazon.com/emr/latest/ReleaseGuide](https://docs.aws.amazon.com/emr/latest/ReleaseGuide)》中的可用版本，或者在控制台中创建集群时查看 **Amazon EMR 版本**下拉列表，或使用 [https://docs.aws.amazon.com/emr/latest/APIReference/API_ListReleaseLabels.html](https://docs.aws.amazon.com/emr/latest/APIReference/API_ListReleaseLabels.html) API 或 [https://docs.aws.amazon.com/cli/latest/reference/emr/list-release-labels.html](https://docs.aws.amazon.com/cli/latest/reference/emr/list-release-labels.html) CLI 操作。要获取有关新版本的更新，请订阅[新增功能](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html)页面上的 RSS 源。    
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_cn/emr/latest/ReleaseGuide/emr-6110-release.html)

## 6.11.0 组件版本
<a name="emr-6110-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.2 | 亚马逊 SageMaker Spark SDK | 
| delta | 2.2.0 | Delta lake 是一种适用于超大型分析数据集的开放表格式。 | 
| delta-standalone-connectors | 0.6.0 | Delta Connectors 提供不同的运行时，将 Delta Lake 与 Flink、Hive 和 Presto 等引擎集成。 | 
| emr-ddb | 5.1.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 3.4.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.8.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-notebook-env | 1.7.0 | 适用于 EMR Notebooks（可提供 jupyter 企业网关）的 Conda env | 
| emr-s3-dist-cp | 2.25.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 2.4.0 | EMR S3 Select 连接器 | 
| emr-wal-cli | 1.1.0 | 用于 emrwal 列表/删除的 cli。 | 
| emrfs | 2.56.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.16.0 | Apache Flink 命令行客户端脚本和应用程序。 | 
| flink-jobmanager-config | 1.16.0 | 在 EMR 节点上管理 Apache Flink 的资源。 JobManager | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 3.3.3-amzn-3 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 3.3.3-amzn-3 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 3.3.3-amzn-3 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 3.3.3-amzn-3 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-hdfs-journalnode | 3.3.3-amzn-3 | 用于管理 HA 集群上的 Hadoop 文件系统日志的 HDFS 服务。 | 
| hadoop-httpfs-server | 3.3.3-amzn-3 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 3.3.3-amzn-3 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 3.3.3-amzn-3 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 3.3.3-amzn-3 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 3.3.3-amzn-3 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 3.3.3-amzn-3 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 2.4.15-amzn-1 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 2.4.15-amzn-1 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 2.4.15-amzn-1 | HBase 命令行客户端。 | 
| hbase-rest-server | 2.4.15-amzn-1 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 2.4.15-amzn-1 | 为其提供 Thrift 端点的 HBase服务。 | 
| hbase-operator-tools | 2.4.15-amzn-1 | 适用于 Apache HBase 集群的修复工具。 | 
| hcatalog-client | 3.1.3-amzn-4 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 3.1.3-amzn-4 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 3.1.3-amzn-4 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 3.1.3-amzn-4 | Hive 命令行客户端。 | 
| hive-hbase | 3.1.3-amzn-4 | Hive-hbase 客户端。 | 
| hive-metastore-server | 3.1.3-amzn-4 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 3.1.3-amzn-4 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hudi | 0.13.0-amzn-0 | 增量处理框架，以支持低延迟和高效率的数据管道。 | 
| hudi-presto | 0.13.0-amzn-0 | 用于运行 Presto 以及 Hudl 的捆绑库。 | 
| hudi-trino | 0.13.0-amzn-0 | 用于运行 Trino 以及 Hudi 的捆绑库。 | 
| hudi-spark | 0.13.0-amzn-0 | 用于运行 Spark 以及 Hudi 的捆绑库。 | 
| hue-server | 4.11.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| iceberg | 1.2.0-amzn-0 | Apache Iceberg 是一种适用于超大型分析数据集的开放表格式。 | 
| jupyterhub | 1.4.1 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.7.1-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mxnet | 1.9.1 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mariadb-server | 5.5.68\$1 | MariaDB 数据库服务器。 | 
| nvidia-cuda | 11.8.0 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.2.1 | Oozie 命令行客户端。 | 
| oozie-server | 5.2.1 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 4.5.0 | 开源计算机视觉库。 | 
| phoenix-library | 5.1.2 | 服务器和客户端的 phoenix 库 | 
| phoenix-connectors | 5.1.2 | Apache Phoenix-Connectors for Spark-3 | 
| phoenix-query-server | 6.0.0 | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.279-amzn-0 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.279-amzn-0 | 用于执行查询的各个部分的服务。 | 
| presto-client | 0.279-amzn-0 | Presto 命令行客户端，安装在 HA 集群的备用主节点（未启动 Presto 服务器）上。 | 
| trino-coordinator | 410-amzn-0 | 用于在 trino-worker 之中接受查询并管理查询的服务。 | 
| trino-worker | 410-amzn-0 | 用于执行查询的各个部分的服务。 | 
| trino-client | 410-amzn-0 | Trino 命令行客户端，安装在 HA 集群的备用主服务器（未启动 Trino 服务器）上。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 4.0.2 | 用于统计计算的 R 项目 | 
| ranger-kms-server | 2.0.0 | Apache Ranger 密钥管理系统 | 
| spark-client | 3.3.2-amzn-0 | Spark 命令行客户端。 | 
| spark-history-server | 3.3.2-amzn-0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 3.3.2-amzn-0 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 3.3.2-amzn-0 | YARN 从属项所需的 Apache Spark 库。 | 
| spark-rapids | 23.02.0-amzn-0 | Nvidia Spark RAPIDS 插件可以加速 Apache Spark GPUs | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 2.11.0 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.10.2-amzn-2 | tez YARN 应用程序和库。 | 
| tez-on-worker | 0.10.2-amzn-2 | 用于 Worker 节点的 tez YARN 应用程序和库。 | 
| webserver | 2.4.41\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.10.1 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.5.10 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.5.10 | ZooKeeper 命令行客户端。 | 

## 6.11.0 配置分类
<a name="emr-6110-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。

为处于运行状态的集群中的实例组指定配置时，将发生重新配置操作。Amazon EMR 仅为您修改的分类启动重新配置操作。有关更多信息，请参阅 [在正在运行的集群中重新配置实例组](emr-configure-apps-running-cluster.md)。


**emr-6.11.0 分类**  

| 分类 | 说明 | 重新配置操作 | 
| --- | --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | Restarts the ResourceManager service. | 
| container-executor | 更改 Hadoop YARN 的 container-executor.cfg 文件中的值。 | Not available. | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | Not available. | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | 更改 docker 相关设置。 | Not available. | 
| emrfs-site | 更改 EMRFS 设置。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | 更改 flink-conf.yaml 设置。 | Restarts Flink history server. | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | Restarts Flink history server. | 
| flink-log4j-session | 更改会话的 Flink log4j-session.properties Kubernetes/Yarn  | Restarts Flink history server. | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | Restarts Flink history server. | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | Not available. | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | Not available. | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | 更改环境 HBase中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | Not available. | 
| hbase-site | 更改 hbase-site.xml 文件 HBase中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | This classification should not be reconfigured. | 
| hdfs-env | 更改 HDFS 环境中的值。 | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | 更改环境 HCatalog中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | Restarts Hive WebHCat server. | 
| hive | 适用于 Apache Hive 的 Amazon EMR 辅助设置。 | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | Not available. | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | Not available. | 
| hive-env | 更改 Hive 环境中的值。 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | Not available. | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | Not available. | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | Not available. | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | Not available. | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | Restarts Hadoop Httpfs service. | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | Not available. | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | Not available. | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | 更改 Hudi 环境中的值。 | Not available. | 
| hudi-defaults | 更改 Hudi 的 hudi-defaults.conf 文件中的值。 | Not available. | 
| iceberg-defaults | 更改 Iceberg 的 iceberg-defaults.conf 文件中的值。 | Not available. | 
| delta-defaults | 更改 Delta 的 delta-defaults.conf 文件中的值。 | Not available. | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | Not available. | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | Not available. | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | Not available. | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | Not available. | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | Restarts Livy Server. | 
| livy-env | 更改 Livy 环境中的值。 | Restarts Livy Server. | 
| livy-log4j2 | 更改 Livy log4j2.properties 设置。 | Restarts Livy Server. | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | 更改 Oozie 的环境中的值。 | Restarts Oozie. | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | Restarts Oozie. | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | Restarts Oozie. | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | Not available. | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | Not available. | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | Not available. | 
| pig-env | 更改 Pig 环境中的值。 | Not available. | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | Restarts Oozie. | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | Not available. | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | Not available. | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | Not available. | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | Not available. | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | Not available. | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | Not available. | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | Not available. | 
| presto-connector-lakeformation | 更改 Presto 的 lakeformation.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | Not available. | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | Not available. | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | Not available. | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | Not available. | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | Not available. | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | Not available. | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | Not available. | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | Not available. | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | Not available. | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | Not available. | 
| trino-log | 更改 Trino 的 log.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-config | 更改 Trino 的 config.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-password-authenticator | 更改 Trino 的 password-authenticator.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-env | 更改 Trino 的 trino-env.sh 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-node | 更改 Trino 的 node.properties 文件中的值。 | Not available. | 
| trino-connector-blackhole | 更改 Trino 的 blackhole.properties 文件中的值。 | Not available. | 
| trino-connector-cassandra | 更改 Trino 的 cassandra.properties 文件中的值。 | Not available. | 
| trino-connector-delta | 更改 Trino 的 delta.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-connector-hive | 更改 Trino 的 hive.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-exchange-manager | 更改 Trino 的 exchange-manager.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-connector-iceberg | 更改 Trino 的 iceberg.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-connector-hudi | 更改 Trino 的 hudi.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-connector-jmx | 更改 Trino 的 jmx.properties 文件中的值。 | Not available. | 
| trino-connector-kafka | 更改 Trino 的 kafka.properties 文件中的值。 | Not available. | 
| trino-connector-localfile | 更改 Trino 的 localfile.properties 文件中的值。 | Not available. | 
| trino-connector-memory | 更改 Trino 的 memory.properties 文件中的值。 | Not available. | 
| trino-connector-mongodb | 更改 Trino 的 mongodb.properties 文件中的值。 | Not available. | 
| trino-connector-mysql | 更改 Trino 的 mysql.properties 文件中的值。 | Not available. | 
| trino-connector-postgresql | 更改 Trino 的 postgresql.properties 文件中的值。 | Not available. | 
| trino-connector-raptor | 更改 Trino 的 raptor.properties 文件中的值。 | Not available. | 
| trino-connector-redis | 更改 Trino 的 redis.properties 文件中的值。 | Not available. | 
| trino-connector-redshift | 更改 Trino 的 redshift.properties 文件中的值。 | Not available. | 
| trino-connector-tpch | 更改 Trino 的 tpch.properties 文件中的值。 | Not available. | 
| trino-connector-tpcds | 更改 Trino 的 tpcds.properties 文件中的值。 | Not available. | 
| ranger-kms-dbks-site | 更改 Ranger KMS 的 dbks-site.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-site | 更改 Ranger K ranger-kms-site MS 的.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-env | 更改 Ranger KMS 环境中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-logback | 更改 Ranger KMS 的 kms-logback.xml 文件中的值。 | Not available. | 
| ranger-kms-db-ca | 更改 S3 上用于与 Ranger KMS 进行 MySQL SSL 连接的 CA 文件的值。 | Not available. | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | This property modifies spark-defaults. See actions there. | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-env | 更改 Spark 环境中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | Not available. | 
| spark-log4j2 | 更改 Spark 的 log4j2.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | Not available. | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | Not available. | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | Not available. | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | Restart Oozie and HiveServer2. | 
| yarn-env | 更改 YARN 环境中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | Restarts Zeppelin. | 
| zeppelin-site | 更改 zeppelin-site.xml 中的配置设置。 | Restarts Zeppelin. | 
| zookeeper-config | 更改 ZooKeeper的 zoo.cfg 文件中的值。 | Restarts Zookeeper server. | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | Restarts Zookeeper server. | 

## 6.11.0 更改日志
<a name="6110-changelog"></a>


**发行版 6.11.0 的更改日志和发布说明**  

| 日期 | 事件 | 说明 | 
| --- | --- | --- | 
| 2023-08-21 | 更新 | 修复了 Hadoop 3.3.3 引入的问题。 | 
| 2023-07-26 | 更新 | 新的操作系统版本标签 2.0.20230612.0 和 2.0.20230628.0。 | 
| 2023-06-09 | 部署完成 | Amazon EMR 6.11.0 已全面部署到所有[支持的区域](https://aws.amazon.com/about-aws/global-infrastructure/regional-product-services/) | 
| 2023-06-09 | 文档发布 | Amazon EMR 6.11.0 发布说明首次发布 | 
| 2023-06-08 | 初始版本 | Amazon EMR 6.11.0 首次部署到初始商业区域 | 

# Amazon EMR 版本 6.10.1
<a name="emr-6101-release"></a>

## 6.10.1 应用程序版本
<a name="emr-6101-app-versions"></a>

此版本包括以下应用程序：[https://delta.io/](https://delta.io/)、[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://iceberg.apache.org/](https://iceberg.apache.org/)、[https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://trino.io/](https://trino.io/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-6.10.1 | emr-6.10.0 | emr-6.9.1 | emr-6.9.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.12.397 | 1.12.397 | 1.12.170 | 1.12.170 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta | 2.2.0 | 2.2.0 | 2.1.0 | 2.1.0 | 
| Flink | 1.16.0 | 1.16.0 | 1.15.2 | 1.15.2 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.4.15-amzn-0.1 | 2.4.15-amzn-0 | 2.4.13-amzn-0.1 | 2.4.13-amzn-0 | 
| HCatalog | 3.1.3-amzn-3.1 | 3.1.3-amzn-3 | 3.1.3-amzn-2.1 | 3.1.3-amzn-2 | 
| Hadoop | 3.3.3-amzn-2.1 | 3.3.3-amzn-2 | 3.3.3-amzn-1.1 | 3.3.3-amzn-1 | 
| Hive | 3.1.3-amzn-3.1 | 3.1.3-amzn-3 | 3.1.3-amzn-2.1 | 3.1.3-amzn-2 | 
| Hudi | 0.12.2-amzn-0 | 0.12.2-amzn-0 | 0.12.1-amzn-0 | 0.12.1-amzn-0 | 
| Hue | 4.10.0 | 4.10.0 | 4.10.0 | 4.10.0 | 
| Iceberg | 1.1.0-amzn-0 | 1.1.0-amzn-0 | 0.14.1-amzn-0 | 0.14.1-amzn-0 | 
| JupyterEnterpriseGateway | 2.6.0 | 2.6.0 | 2.6.0 | 2.6.0 | 
| JupyterHub | 1.5.0 | 1.5.0 | 1.4.1 | 1.4.1 | 
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 
| MXNet | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 
| Phoenix | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.278.1-amzn-0 | 0.278.1-amzn-0 | 0.276-amzn-0 | 0.276-amzn-0 | 
| Spark | 3.3.1-amzn-0.1 | 3.3.1-amzn-0 | 3.3.0-amzn-1.1 | 3.3.0-amzn-1 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.11.0 | 2.11.0 | 2.10.0 | 2.10.0 | 
| Tez | 0.10.2-amzn-1.1 | 0.10.2-amzn-1 | 0.10.2-amzn-0.1 | 0.10.2-amzn-0 | 
| Trino (PrestoSQL) | 403-amzn-0 | 403-amzn-0 | 398-amzn-0 | 398-amzn-0 | 
| Zeppelin | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 
| ZooKeeper | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 

## 6.10.1 发布说明
<a name="emr-6101-relnotes"></a>

以下发布说明包括有关 Amazon EMR 版本 6.10.1 的信息。更改与 6.10.0 有关。有关发布时间表的更多信息，请参阅 [6.10.1 更改日志](#6101-changelog)。

**已知问题**
+  从 Spark 3.3.1（EMR 6.10 及更高版本支持）开始，停用主机中的所有执行程序都会设置为新的 `ExecutorState`，称为 *DECOMMISSIONING* 状态。Yarn 不能使用正在停用的执行程序来分配任务，因此如果需要，它将为正在执行的任务请求新的执行程序。因此，如果您在 EMR-EC2 集群上使用 EMR 托管扩展、EMR 自动扩缩或任何自定义扩展机制时禁用 Spark DRA，则 Yarn 可能会为每个作业请求允许的最大执行程序数。为了避免出现此问题，在使用上述功能组合时，请将 `spark.dynamicAllocation.enabled` 属性设置为 `TRUE`（默认值）。此外，您还可以通过为 Spark 作业设置 `spark.dynamicAllocation.maxExecutors` 和 `spark.dynamicAllocation.minExecutors` 属性的值来设置最小和最大执行程序约束，以限制作业执行期间分配的执行程序数量。

**更改、增强功能和解决的问题**
+ 由于锁争用，如果在尝试停用节点的同时添加或移除节点，则该节点可能会陷入死锁。结果，Hadoop 资源管理器（YARN）变得无响应，并会影响所有传入和当前正在运行的容器。
+ Hadoop 3.3.3 在 YARN（[YARN-9608](https://issues.apache.org/jira/browse/YARN-9608)）中引入了一项更改，即在应用程序完成之前，容器运行所在的节点一直处于停用状态。此更改可确保如随机数据等本地数据不会丢失，并且您无需重新运行作业。无论是否启用托管扩展，这种方法还可能导致集群的资源利用不足。

  在 Amazon EMR 6.11.0 及更高版本以及 6.8.1、6.9.1 和 6.10.1 中，在 `yarn-site.xml` 中将 `yarn.resourcemanager.decommissioning-nodes-watcher.wait-for-applications` 的值设置为 `false` 以解决此问题。

  虽然该修复解决了 YARN-9608 引入的问题，但由于启用了托管扩展的集群上的随机数据丢失，它可能会导致 Hive 作业失败。在此版本中，我们还通过设置 Hive `yarn.resourcemanager.decommissioning-nodes-watcher.wait-for-shuffle-data` 工作负载来降低这种风险。此配置在 Amazon EMR 版本 6.11.0 及更高版本中提供。
+ 使用实例组配置的集群中的主节点失效转移后，指标收集器不会向控制面板发送任何指标。
+ 此版本包括一项更改，允许高可用性集群在重启后从故障状态中恢复。
+ 此版本包含针对 Hue 和的安全补丁 HBase。
+ 此版本修复了在 Spark 上使用 Amazon EMR 运行工作负载的集群可能会静默收到包含 `contains`、`startsWith`、`endsWith` 和 `like` 错误结果的问题。当您在 Amazon EMR Hive3 Metastore 服务器（HMS）中使用包含元数据的分区字段的表达式时，就会出现此问题。
+ 此版本修复了没有用户定义函数（UDF）时在 Glue 端的节流问题。
+ 此版本修复了在 YARN 停用时，在日志推送器能够将容器日志推送到 S3 之前，节点日志聚合服务会删除容器日志的问题。
+ 此版本修复了 Hadoo FairShare p 启用节点标签时调度器指标的问题。
+ 此版本修复了您在 `spark-defaults.conf` 中为 `spark.yarn.heterogeneousExecutors.enabled` 配置设置默认 `true` 值时影响 Spark 性能的问题。
+ 此版本修复了 Reduce Task 无法读取随机数据的问题。该问题因内存损坏错误导致 Hive 查询失败。
+ 此版本为运行 Presto 或 Trino 的 EMR 集群的集群扩展工作流程添加了新的重试机制。这一改进降低了由于单个调整大小操作失败而导致集群大小调整无限期停滞的风险。它还可以提高集群利用率，因为您的集群可以更快地向上和向下扩展。
+ 此版本改进了集群缩减逻辑，因此您的集群不会尝试将核心节点缩减到低于集群 HDFS 复制因子设置的范围。这符合您的数据冗余要求，并减少了扩展操作可能停滞的机会。
+ 日志管理进程守护程序已升级，可以识别本地实例存储中所有包含打开文件句柄的使用中的日志，以及相关的进程。此次升级可确保 Amazon EMR 在日志存档到 Amazon S3 后正确删除文件并回收存储空间。
+ 此版本包括日志管理进程守护程序增强功能，可删除本地集群文件系统中空的、未使用的步骤目录。过多的空目录会降低 Amazon EMR 进程守护程序的性能并导致磁盘过度使用。
+ 此版本修复了通过从具有多个主节点的集群中复制一个主节点来创建边缘节点时可能出现的问题。复制的边缘节点可能会导致缩减操作的延迟，或者导致主节点的内存使用率过高。有关如何创建边缘节点以与 EMR 集群通信的更多信息，请参阅存储库中的 E [dge Node Creato](https://github.com/aws-samples/aws-emr-utilities/tree/main/utilities/emr-edge-node-creator) r。`aws-samples` GitHub
+ 此版本改进了 Amazon EMR 用于在重启后将 Amazon EBS 卷重新挂载到实例的自动化流程。
+ 此版本修复了导致亚马逊 EMR 向亚马逊发布的 Hadoop 指标间歇性出现差距的问题。 CloudWatch
+ 此版本修复了 EMR 集群的一个问题，即由于磁盘过度使用而导致对包含集群节点排除列表的 YARN 配置文件的更新中断。不完整的更新阻碍了未来对集群的缩减操作。此版本可确保您的集群保持正常运行，并确保扩展操作按预期进行。
+ 当您使用 Amazon EMR 5.36 或更高版本、6.6 或更高版本或 7.0 或更高版本的*最新补丁版本*启动集群时，Amazon EMR 会使用最新的 Amazon Linux 2023 或 Amazon Linux 2 发行版作为默认 Amazon EMR AMI。如需更多信息，请参阅 [Using the default Amazon Linux AMI for Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html)。    
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_cn/emr/latest/ReleaseGuide/emr-6101-release.html)

## 6.10.1 组件版本
<a name="emr-6101-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.2 | 亚马逊 SageMaker Spark SDK | 
| delta | 2.2.0 | Delta lake 是一种适用于超大型分析数据集的开放表格式。 | 
| emr-ddb | 4.16.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 3.3.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.7.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-notebook-env | 1.7.0 | 适用于 EMR Notebooks（可提供 jupyter 企业网关）的 Conda env | 
| emr-s3-dist-cp | 2.24.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 2.3.0 | EMR S3 Select 连接器 | 
| emr-wal-cli | 1.0.0 | 用于 emrwal 列表/删除的 cli。 | 
| emrfs | 2.55.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.16.0 | Apache Flink 命令行客户端脚本和应用程序。 | 
| flink-jobmanager-config | 1.16.0 | 在 EMR 节点上管理 Apache Flink 的资源。 JobManager | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 3.3.3-amzn-2.1 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 3.3.3-amzn-2.1 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 3.3.3-amzn-2.1 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 3.3.3-amzn-2.1 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-hdfs-journalnode | 3.3.3-amzn-2.1 | 用于管理 HA 集群上的 Hadoop 文件系统日志的 HDFS 服务。 | 
| hadoop-httpfs-server | 3.3.3-amzn-2.1 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 3.3.3-amzn-2.1 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 3.3.3-amzn-2.1 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 3.3.3-amzn-2.1 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 3.3.3-amzn-2.1 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 3.3.3-amzn-2.1 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 2.4.15-amzn-0.1 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 2.4.15-amzn-0.1 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 2.4.15-amzn-0.1 | HBase 命令行客户端。 | 
| hbase-rest-server | 2.4.15-amzn-0.1 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 2.4.15-amzn-0.1 | 为其提供 Thrift 端点的 HBase服务。 | 
| hbase-operator-tools | 2.4.15-amzn-0.1 | 适用于 Apache HBase 集群的修复工具。 | 
| hcatalog-client | 3.1.3-amzn-3.1 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 3.1.3-amzn-3.1 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 3.1.3-amzn-3.1 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 3.1.3-amzn-3.1 | Hive 命令行客户端。 | 
| hive-hbase | 3.1.3-amzn-3.1 | Hive-hbase 客户端。 | 
| hive-metastore-server | 3.1.3-amzn-3.1 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 3.1.3-amzn-3.1 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hudi | 0.12.2-amzn-0 | 增量处理框架，以支持低延迟和高效率的数据管道。 | 
| hudi-presto | 0.12.2-amzn-0 | 用于运行 Presto 以及 Hudl 的捆绑库。 | 
| hudi-trino | 0.12.2-amzn-0 | 用于运行 Trino 以及 Hudi 的捆绑库。 | 
| hudi-spark | 0.12.2-amzn-0 | 用于运行 Spark 以及 Hudi 的捆绑库。 | 
| hue-server | 4.10.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| iceberg | 1.1.0-amzn-0 | Apache Iceberg 是一种适用于超大型分析数据集的开放表格式。 | 
| jupyterhub | 1.5.0 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.7.1-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mxnet | 1.9.1 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mariadb-server | 5.5.68\$1 | MariaDB 数据库服务器。 | 
| nvidia-cuda | 11.8.0 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.2.1 | Oozie 命令行客户端。 | 
| oozie-server | 5.2.1 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 4.5.0 | 开源计算机视觉库。 | 
| phoenix-library | 5.1.2 | 服务器和客户端的 phoenix 库 | 
| phoenix-connectors | 6.0.0-SNAPSHOT | Apache Phoenix-Connectors for Spark-3 | 
| phoenix-query-server | 6.0.0 | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.278.1-amzn-0 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.278.1-amzn-0 | 用于执行查询的各个部分的服务。 | 
| presto-client | 0.278.1-amzn-0 | Presto 命令行客户端，安装在 HA 集群的备用主节点（未启动 Presto 服务器）上。 | 
| trino-coordinator | 403-amzn-0 | 用于在 trino-worker 之中接受查询并管理查询的服务。 | 
| trino-worker | 403-amzn-0 | 用于执行查询的各个部分的服务。 | 
| trino-client | 403-amzn-0 | Trino 命令行客户端，安装在 HA 集群的备用主服务器（未启动 Trino 服务器）上。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 4.0.2 | 用于统计计算的 R 项目 | 
| ranger-kms-server | 2.0.0 | Apache Ranger 密钥管理系统 | 
| spark-client | 3.3.1-amzn-0.1 | Spark 命令行客户端。 | 
| spark-history-server | 3.3.1-amzn-0.1 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 3.3.1-amzn-0.1 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 3.3.1-amzn-0.1 | YARN 从属项所需的 Apache Spark 库。 | 
| spark-rapids | 22.12.0-amzn-0 | Nvidia Spark RAPIDS 插件可以加速 Apache Spark GPUs | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 2.11.0 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.10.2-amzn-1.1 | tez YARN 应用程序和库。 | 
| tez-on-worker | 0.10.2-amzn-1.1 | 用于 Worker 节点的 tez YARN 应用程序和库。 | 
| webserver | 2.4.41\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.10.1 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.5.10 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.5.10 | ZooKeeper 命令行客户端。 | 

## 6.10.1 配置分类
<a name="emr-6101-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。

为处于运行状态的集群中的实例组指定配置时，将发生重新配置操作。Amazon EMR 仅为您修改的分类启动重新配置操作。有关更多信息，请参阅 [在正在运行的集群中重新配置实例组](emr-configure-apps-running-cluster.md)。


**emr-6.10.1 分类**  

| 分类 | 说明 | 重新配置操作 | 
| --- | --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | Restarts the ResourceManager service. | 
| container-executor | 更改 Hadoop YARN 的 container-executor.cfg 文件中的值。 | Not available. | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | Not available. | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | 更改 docker 相关设置。 | Not available. | 
| emrfs-site | 更改 EMRFS 设置。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | 更改 flink-conf.yaml 设置。 | Restarts Flink history server. | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | Restarts Flink history server. | 
| flink-log4j-session | 更改会话的 Flink log4j-session.properties Kubernetes/Yarn  | Restarts Flink history server. | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | Restarts Flink history server. | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | Not available. | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | Not available. | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | 更改环境 HBase中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | Not available. | 
| hbase-site | 更改 hbase-site.xml 文件 HBase中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | This classification should not be reconfigured. | 
| hdfs-env | 更改 HDFS 环境中的值。 | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | 更改环境 HCatalog中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | Restarts Hive WebHCat server. | 
| hive | 适用于 Apache Hive 的 Amazon EMR 辅助设置。 | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | Not available. | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | Not available. | 
| hive-env | 更改 Hive 环境中的值。 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | Not available. | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | Not available. | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | Not available. | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | Not available. | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | Restarts Hadoop Httpfs service. | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | Not available. | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | Not available. | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | 更改 Hudi 环境中的值。 | Not available. | 
| hudi-defaults | 更改 Hudi 的 hudi-defaults.conf 文件中的值。 | Not available. | 
| iceberg-defaults | 更改 Iceberg 的 iceberg-defaults.conf 文件中的值。 | Not available. | 
| delta-defaults | 更改 Delta 的 delta-defaults.conf 文件中的值。 | Not available. | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | Not available. | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | Not available. | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | Not available. | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | Not available. | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | Restarts Livy Server. | 
| livy-env | 更改 Livy 环境中的值。 | Restarts Livy Server. | 
| livy-log4j2 | 更改 Livy log4j2.properties 设置。 | Restarts Livy Server. | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | 更改 Oozie 的环境中的值。 | Restarts Oozie. | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | Restarts Oozie. | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | Restarts Oozie. | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | Not available. | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | Not available. | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | Not available. | 
| pig-env | 更改 Pig 环境中的值。 | Not available. | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | Restarts Oozie. | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | Not available. | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | Not available. | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | Not available. | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | Not available. | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | Not available. | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | Not available. | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | Not available. | 
| presto-connector-lakeformation | 更改 Presto 的 lakeformation.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | Not available. | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | Not available. | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | Not available. | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | Not available. | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | Not available. | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | Not available. | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | Not available. | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | Not available. | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | Not available. | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | Not available. | 
| trino-log | 更改 Trino 的 log.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-config | 更改 Trino 的 config.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-password-authenticator | 更改 Trino 的 password-authenticator.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-env | 更改 Trino 的 trino-env.sh 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-node | 更改 Trino 的 node.properties 文件中的值。 | Not available. | 
| trino-connector-blackhole | 更改 Trino 的 blackhole.properties 文件中的值。 | Not available. | 
| trino-connector-cassandra | 更改 Trino 的 cassandra.properties 文件中的值。 | Not available. | 
| trino-connector-delta | 更改 Trino 的 delta.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-connector-hive | 更改 Trino 的 hive.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-exchange-manager | 更改 Trino 的 exchange-manager.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-connector-iceberg | 更改 Trino 的 iceberg.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-connector-hudi | 更改 Trino 的 hudi.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-connector-jmx | 更改 Trino 的 jmx.properties 文件中的值。 | Not available. | 
| trino-connector-kafka | 更改 Trino 的 kafka.properties 文件中的值。 | Not available. | 
| trino-connector-localfile | 更改 Trino 的 localfile.properties 文件中的值。 | Not available. | 
| trino-connector-memory | 更改 Trino 的 memory.properties 文件中的值。 | Not available. | 
| trino-connector-mongodb | 更改 Trino 的 mongodb.properties 文件中的值。 | Not available. | 
| trino-connector-mysql | 更改 Trino 的 mysql.properties 文件中的值。 | Not available. | 
| trino-connector-postgresql | 更改 Trino 的 postgresql.properties 文件中的值。 | Not available. | 
| trino-connector-raptor | 更改 Trino 的 raptor.properties 文件中的值。 | Not available. | 
| trino-connector-redis | 更改 Trino 的 redis.properties 文件中的值。 | Not available. | 
| trino-connector-redshift | 更改 Trino 的 redshift.properties 文件中的值。 | Not available. | 
| trino-connector-tpch | 更改 Trino 的 tpch.properties 文件中的值。 | Not available. | 
| trino-connector-tpcds | 更改 Trino 的 tpcds.properties 文件中的值。 | Not available. | 
| ranger-kms-dbks-site | 更改 Ranger KMS 的 dbks-site.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-site | 更改 Ranger K ranger-kms-site MS 的.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-env | 更改 Ranger KMS 环境中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-logback | 更改 Ranger KMS 的 kms-logback.xml 文件中的值。 | Not available. | 
| ranger-kms-db-ca | 更改 S3 上用于与 Ranger KMS 进行 MySQL SSL 连接的 CA 文件的值。 | Not available. | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | This property modifies spark-defaults. See actions there. | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-env | 更改 Spark 环境中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | Not available. | 
| spark-log4j2 | 更改 Spark 的 log4j2.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | Not available. | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | Not available. | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | Not available. | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | Restart Oozie and HiveServer2. | 
| yarn-env | 更改 YARN 环境中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | Restarts Zeppelin. | 
| zeppelin-site | 更改 zeppelin-site.xml 中的配置设置。 | Restarts Zeppelin. | 
| zookeeper-config | 更改 ZooKeeper的 zoo.cfg 文件中的值。 | Restarts Zookeeper server. | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | Restarts Zookeeper server. | 

## 6.10.1 更改日志
<a name="6101-changelog"></a>


**发行版 6.10.1 的更改日志和发布说明**  

| 日期 | 事件 | 说明 | 
| --- | --- | --- | 
| 2023-08-30 | 更新发行说明 | 在发行说明中添加了几个与控制面板相关的修复 | 
| 2023-08-21 | 文档发布 | Amazon EMR 6.10.1 发布说明首次发布 | 
| 2023-08-16 | 部署完成 | Amazon EMR 6.10.1 已全面部署到所有[支持的区域](https://aws.amazon.com/about-aws/global-infrastructure/regional-product-services/) | 
| 2023-08-04 | 初始版本 | Amazon EMR 6.10.1 首次面向部分商业区域部署 | 

# Amazon EMR 版本 6.10.0
<a name="emr-6100-release"></a>

## 6.10.0 应用程序版本
<a name="emr-6100-app-versions"></a>

此版本包括以下应用程序：[https://delta.io/](https://delta.io/)、[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://iceberg.apache.org/](https://iceberg.apache.org/)、[https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://trino.io/](https://trino.io/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-6.10.0 | emr-6.9.1 | emr-6.9.0 | emr-6.8.1 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.12.397 | 1.12.170 | 1.12.170 | 1.12.170 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta | 2.2.0 | 2.1.0 | 2.1.0 |  -  | 
| Flink | 1.16.0 | 1.15.2 | 1.15.2 | 1.15.1 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.4.15-amzn-0 | 2.4.13-amzn-0.1 | 2.4.13-amzn-0 | 2.4.12-amzn-0.1 | 
| HCatalog | 3.1.3-amzn-3 | 3.1.3-amzn-2.1 | 3.1.3-amzn-2 | 3.1.3-amzn-1.1 | 
| Hadoop | 3.3.3-amzn-2 | 3.3.3-amzn-1.1 | 3.3.3-amzn-1 | 3.2.1-amzn-8.1 | 
| Hive | 3.1.3-amzn-3 | 3.1.3-amzn-2.1 | 3.1.3-amzn-2 | 3.1.3-amzn-1.1 | 
| Hudi | 0.12.2-amzn-0 | 0.12.1-amzn-0 | 0.12.1-amzn-0 | 0.11.1-amzn-0 | 
| Hue | 4.10.0 | 4.10.0 | 4.10.0 | 4.10.0 | 
| Iceberg | 1.1.0-amzn-0 | 0.14.1-amzn-0 | 0.14.1-amzn-0 | 0.14.0-amzn-0 | 
| JupyterEnterpriseGateway | 2.6.0 | 2.6.0 | 2.6.0 | 2.1.0 | 
| JupyterHub | 1.5.0 | 1.4.1 | 1.4.1 | 1.4.1 | 
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 
| MXNet | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 
| Phoenix | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.278.1-amzn-0 | 0.276-amzn-0 | 0.276-amzn-0 | 0.273.3-amzn-0 | 
| Spark | 3.3.1-amzn-0 | 3.3.0-amzn-1.1 | 3.3.0-amzn-1 | 3.3.0-amzn-0.1 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.11.0 | 2.10.0 | 2.10.0 | 2.9.1 | 
| Tez | 0.10.2-amzn-1 | 0.10.2-amzn-0.1 | 0.10.2-amzn-0 | 0.9.2 | 
| Trino (PrestoSQL) | 403-amzn-0 | 398-amzn-0 | 398-amzn-0 | 388-amzn-0 | 
| Zeppelin | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 
| ZooKeeper | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 

## 6.10.0 发布说明
<a name="emr-6100-relnotes"></a>

以下发布说明包括有关 Amazon EMR 版本 6.10.0 的信息。更改与 6.9.0 有关。有关发布时间表的信息，请参阅[更改日志](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-6100-release.html#6100-changelog)。

**新特征**
+ Amazon EMR 6.10.0 支持 Apache Spark 3.3.1、Apache Spark RAPIDS 22.12.0、CUDA 11.8.0、Apache Hudi 0.12.2-amzn-0、Apache Iceberg 1.1.0-amzn-0、Trino 403 和 PrestoDB 0.278.1。
+ Amazon EMR 6.10.0 包含原生 Trino-Hudi 连接器，可提供对 Hudi 表中数据的读取权限。您可以使用 `trino-cli --catalog hudi` 激活连接器，并使用 `trino-connector-hudi` 配置连接器以满足您的要求。与 Amazon EMR 的原生集成意味着您不再需要使用 `trino-connector-hive` 来查询 Hudi 表。有关新连接器支持的配置列表，请参阅 Trino 文档的 [Hudi connector](https://trino.io/docs/current/connector/hudi.html) 页面。
+ Amazon EMR 版本 6.10.0 及更高版本支持 Apache Zeppelin 与 Apache Flink 集成。请参阅[在 Amazon EMR 中通过 Zeppelin 使用 Flink 作业](flink-zeppelin.md)了解更多信息。

**已知问题**
+ Hadoop 3.3.3 在 YARN（[YARN-9608](https://issues.apache.org/jira/browse/YARN-9608)）中引入了一项更改，即在应用程序完成之前，容器运行所在的节点一直处于停用状态。此更改可确保如随机数据等本地数据不会丢失，并且您无需重新运行作业。无论是否启用托管扩展，这种方法还可能导致集群的资源利用不足。

  要在 Amazon EMR 6.10.0 中解决此问题，您可以在 `yarn-site.xml` 中将 `yarn.resourcemanager.decommissioning-nodes-watcher.wait-for-applications` 的值设置为 `false`。在 Amazon EMR 版本 6.11.0 及更高版本以及 6.8.1、6.9.1 和 6.10.1 中，默认将配置设置为 `false` 以解决此问题。
+  从 Spark 3.3.1（EMR 6.10 及更高版本支持）开始，停用主机中的所有执行程序都会设置为新的 `ExecutorState`，称为 *DECOMMISSIONING* 状态。Yarn 不能使用正在停用的执行程序来分配任务，因此如果需要，它将为正在执行的任务请求新的执行程序。因此，如果您在 EMR-EC2 集群上使用 EMR 托管扩展、EMR 自动扩缩或任何自定义扩展机制时禁用 Spark DRA，则 Yarn 可能会为每个作业请求允许的最大执行程序数。为了避免出现此问题，在使用上述功能组合时，请将 `spark.dynamicAllocation.enabled` 属性设置为 `TRUE`（默认值）。此外，您还可以通过为 Spark 作业设置 `spark.dynamicAllocation.maxExecutors` 和 `spark.dynamicAllocation.minExecutors` 属性的值来设置最小和最大执行程序约束，以限制作业执行期间分配的执行程序数量。

**更改、增强功能和解决的问题**
+ Amazon EMR 6.10.0 消除了对[适用于 Apache Spark 的 Amazon Redshift 集成](emr-spark-redshift-launch.md)的 `minimal-json.jar` 依赖，并自动将所需的 Spark-Redshift 相关 jar 添加到 Spark 的执行程序类路径中：`spark-redshift.jar`、`spark-avro.jar` 和 `RedshiftJDBC.jar`。
+ 6.10.0 版本改进了集群上日志管理进程守护程序，以监控 EMR 集群中的其他日志文件夹。这一改进最大限度地减少了磁盘过度使用情况。
+ 6.10.0 版本在集群上日志管理进程守护程序停止后会自动重启该守护程序。这一改进降低了由于磁盘过度使用而导致节点出现运行状况不佳的风险。
+ Amazon EMR 6.10.0 支持 EMRFS 用户映射的区域端点。
+ Amazon EMR 6.10.0 及更高版本的默认根卷大小已增加到 15 GB。早期版本的默认根卷大小为 10 GB。
+ 6.10.0 版本修复了当所有剩余的 Spark 执行程序都位于使用 YARN 资源管理器的停用主机上时，导致 Spark 作业停滞的问题。
+ 在 6.6.0 到 6.9.x 版 Amazon EMR 中，带有动态分区和 ORDER BY 或 SORT BY 子句的 INSERT 查询将始终具有两个 Reducer。此问题是由于 OSS 更改 [HIVE-20703](https://issues.apache.org/jira/browse/HIVE-20703) 所致，该更改将动态排序分区优化置于基于成本的决策之下。如果您的工作负载不需要对动态分区进行排序，建议将 `hive.optimize.sort.dynamic.partition.threshold` 属性设置为 `-1` 以禁用新功能并获得计算正确的 Reducer 数量。此问题已作为 [HIVE-22269](https://issues.apache.org/jira/browse/HIVE-22269) 的一部分在 OSS Hive 中修复，并已在 Amazon EMR 6.10.0 中修复。
+ 当您使用 Amazon EMR 5.36 或更高版本、6.6 或更高版本或 7.0 或更高版本的*最新补丁版本*启动集群时，Amazon EMR 会使用最新的 Amazon Linux 2023 或 Amazon Linux 2 发行版作为默认 Amazon EMR AMI。如需更多信息，请参阅 [Using the default Amazon Linux AMI for Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html)。
**注意**  
此版本不再获得 AMI 自动更新，因为它已被另外 1 个补丁版本取代。补丁版本以第二位小数点后的数字 (`6.8.1`) 表示。要查看您是否使用的是最新补丁版本，请查看《[https://docs.aws.amazon.com/emr/latest/ReleaseGuide](https://docs.aws.amazon.com/emr/latest/ReleaseGuide)》中的可用版本，或者在控制台中创建集群时查看 **Amazon EMR 版本**下拉列表，或使用 [https://docs.aws.amazon.com/emr/latest/APIReference/API_ListReleaseLabels.html](https://docs.aws.amazon.com/emr/latest/APIReference/API_ListReleaseLabels.html) API 或 [https://docs.aws.amazon.com/cli/latest/reference/emr/list-release-labels.html](https://docs.aws.amazon.com/cli/latest/reference/emr/list-release-labels.html) CLI 操作。要获取有关新版本的更新，请订阅[新增功能](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html)页面上的 RSS 源。    
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_cn/emr/latest/ReleaseGuide/emr-6100-release.html)

## 6.10.0 组件版本
<a name="emr-6100-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.2 | 亚马逊 SageMaker Spark SDK | 
| delta | 2.2.0 | Delta lake 是一种适用于超大型分析数据集的开放表格式。 | 
| emr-ddb | 4.16.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 3.3.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.7.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-notebook-env | 1.7.0 | 适用于 EMR Notebooks（可提供 jupyter 企业网关）的 Conda env | 
| emr-s3-dist-cp | 2.24.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 2.3.0 | EMR S3 Select 连接器 | 
| emr-wal-cli | 1.0.0 | 用于 emrwal 列表/删除的 cli。 | 
| emrfs | 2.55.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.16.0 | Apache Flink 命令行客户端脚本和应用程序。 | 
| flink-jobmanager-config | 1.16.0 | 在 EMR 节点上管理 Apache Flink 的资源。 JobManager | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 3.3.3-amzn-2 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 3.3.3-amzn-2 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 3.3.3-amzn-2 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 3.3.3-amzn-2 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-hdfs-journalnode | 3.3.3-amzn-2 | 用于管理 HA 集群上的 Hadoop 文件系统日志的 HDFS 服务。 | 
| hadoop-httpfs-server | 3.3.3-amzn-2 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 3.3.3-amzn-2 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 3.3.3-amzn-2 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 3.3.3-amzn-2 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 3.3.3-amzn-2 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 3.3.3-amzn-2 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 2.4.15-amzn-0 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 2.4.15-amzn-0 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 2.4.15-amzn-0 | HBase 命令行客户端。 | 
| hbase-rest-server | 2.4.15-amzn-0 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 2.4.15-amzn-0 | 为其提供 Thrift 端点的 HBase服务。 | 
| hbase-operator-tools | 2.4.15-amzn-0 | 适用于 Apache HBase 集群的修复工具。 | 
| hcatalog-client | 3.1.3-amzn-3 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 3.1.3-amzn-3 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 3.1.3-amzn-3 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 3.1.3-amzn-3 | Hive 命令行客户端。 | 
| hive-hbase | 3.1.3-amzn-3 | Hive-hbase 客户端。 | 
| hive-metastore-server | 3.1.3-amzn-3 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 3.1.3-amzn-3 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hudi | 0.12.2-amzn-0 | 增量处理框架，以支持低延迟和高效率的数据管道。 | 
| hudi-presto | 0.12.2-amzn-0 | 用于运行 Presto 以及 Hudl 的捆绑库。 | 
| hudi-trino | 0.12.2-amzn-0 | 用于运行 Trino 以及 Hudi 的捆绑库。 | 
| hudi-spark | 0.12.2-amzn-0 | 用于运行 Spark 以及 Hudi 的捆绑库。 | 
| hue-server | 4.10.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| iceberg | 1.1.0-amzn-0 | Apache Iceberg 是一种适用于超大型分析数据集的开放表格式。 | 
| jupyterhub | 1.5.0 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.7.1-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mxnet | 1.9.1 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mariadb-server | 5.5.68\$1 | MariaDB 数据库服务器。 | 
| nvidia-cuda | 11.8.0 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.2.1 | Oozie 命令行客户端。 | 
| oozie-server | 5.2.1 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 4.5.0 | 开源计算机视觉库。 | 
| phoenix-library | 5.1.2 | 服务器和客户端的 phoenix 库 | 
| phoenix-connectors | 6.0.0-SNAPSHOT | Apache Phoenix-Connectors for Spark-3 | 
| phoenix-query-server | 6.0.0 | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.278.1-amzn-0 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.278.1-amzn-0 | 用于执行查询的各个部分的服务。 | 
| presto-client | 0.278.1-amzn-0 | Presto 命令行客户端，安装在 HA 集群的备用主节点（未启动 Presto 服务器）上。 | 
| trino-coordinator | 403-amzn-0 | 用于在 trino-worker 之中接受查询并管理查询的服务。 | 
| trino-worker | 403-amzn-0 | 用于执行查询的各个部分的服务。 | 
| trino-client | 403-amzn-0 | Trino 命令行客户端，安装在 HA 集群的备用主服务器（未启动 Trino 服务器）上。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 4.0.2 | 用于统计计算的 R 项目 | 
| ranger-kms-server | 2.0.0 | Apache Ranger 密钥管理系统 | 
| spark-client | 3.3.1-amzn-0 | Spark 命令行客户端。 | 
| spark-history-server | 3.3.1-amzn-0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 3.3.1-amzn-0 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 3.3.1-amzn-0 | YARN 从属项所需的 Apache Spark 库。 | 
| spark-rapids | 22.12.0-amzn-0 | Nvidia Spark RAPIDS 插件可以加速 Apache Spark GPUs | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 2.11.0 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.10.2-amzn-1 | tez YARN 应用程序和库。 | 
| tez-on-worker | 0.10.2-amzn-1 | 用于 Worker 节点的 tez YARN 应用程序和库。 | 
| webserver | 2.4.41\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.10.1 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.5.10 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.5.10 | ZooKeeper 命令行客户端。 | 

## 6.10.0 配置分类
<a name="emr-6100-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。

为处于运行状态的集群中的实例组指定配置时，将发生重新配置操作。Amazon EMR 仅为您修改的分类启动重新配置操作。有关更多信息，请参阅 [在正在运行的集群中重新配置实例组](emr-configure-apps-running-cluster.md)。


**emr-6.10.0 分类**  

| 分类 | 说明 | 重新配置操作 | 
| --- | --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | Restarts the ResourceManager service. | 
| container-executor | 更改 Hadoop YARN 的 container-executor.cfg 文件中的值。 | Not available. | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | Not available. | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | 更改 docker 相关设置。 | Not available. | 
| emrfs-site | 更改 EMRFS 设置。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | 更改 flink-conf.yaml 设置。 | Restarts Flink history server. | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | Restarts Flink history server. | 
| flink-log4j-session | 更改会话的 Flink log4j-session.properties Kubernetes/Yarn  | Restarts Flink history server. | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | Restarts Flink history server. | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | Not available. | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | Not available. | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | 更改环境 HBase中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | Not available. | 
| hbase-site | 更改 hbase-site.xml 文件 HBase中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | This classification should not be reconfigured. | 
| hdfs-env | 更改 HDFS 环境中的值。 | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | 更改环境 HCatalog中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | Restarts Hive WebHCat server. | 
| hive | 适用于 Apache Hive 的 Amazon EMR 辅助设置。 | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | Not available. | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | Not available. | 
| hive-env | 更改 Hive 环境中的值。 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | Not available. | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | Not available. | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | Not available. | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | Not available. | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | Restarts Hadoop Httpfs service. | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | Not available. | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | Not available. | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | 更改 Hudi 环境中的值。 | Not available. | 
| hudi-defaults | 更改 Hudi 的 hudi-defaults.conf 文件中的值。 | Not available. | 
| iceberg-defaults | 更改 Iceberg 的 iceberg-defaults.conf 文件中的值。 | Not available. | 
| delta-defaults | 更改 Delta 的 delta-defaults.conf 文件中的值。 | Not available. | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | Not available. | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | Not available. | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | Not available. | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | Not available. | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | Restarts Livy Server. | 
| livy-env | 更改 Livy 环境中的值。 | Restarts Livy Server. | 
| livy-log4j2 | 更改 Livy log4j2.properties 设置。 | Restarts Livy Server. | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | 更改 Oozie 的环境中的值。 | Restarts Oozie. | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | Restarts Oozie. | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | Restarts Oozie. | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | Not available. | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | Not available. | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | Not available. | 
| pig-env | 更改 Pig 环境中的值。 | Not available. | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | Restarts Oozie. | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | Not available. | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | Not available. | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | Not available. | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | Not available. | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | Not available. | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | Not available. | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | Not available. | 
| presto-connector-lakeformation | 更改 Presto 的 lakeformation.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | Not available. | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | Not available. | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | Not available. | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | Not available. | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | Not available. | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | Not available. | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | Not available. | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | Not available. | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | Not available. | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | Not available. | 
| trino-log | 更改 Trino 的 log.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-config | 更改 Trino 的 config.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-password-authenticator | 更改 Trino 的 password-authenticator.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-env | 更改 Trino 的 trino-env.sh 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-node | 更改 Trino 的 node.properties 文件中的值。 | Not available. | 
| trino-connector-blackhole | 更改 Trino 的 blackhole.properties 文件中的值。 | Not available. | 
| trino-connector-cassandra | 更改 Trino 的 cassandra.properties 文件中的值。 | Not available. | 
| trino-connector-delta | 更改 Trino 的 delta.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-connector-hive | 更改 Trino 的 hive.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-exchange-manager | 更改 Trino 的 exchange-manager.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-connector-iceberg | 更改 Trino 的 iceberg.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-connector-hudi | 更改 Trino 的 hudi.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-connector-jmx | 更改 Trino 的 jmx.properties 文件中的值。 | Not available. | 
| trino-connector-kafka | 更改 Trino 的 kafka.properties 文件中的值。 | Not available. | 
| trino-connector-localfile | 更改 Trino 的 localfile.properties 文件中的值。 | Not available. | 
| trino-connector-memory | 更改 Trino 的 memory.properties 文件中的值。 | Not available. | 
| trino-connector-mongodb | 更改 Trino 的 mongodb.properties 文件中的值。 | Not available. | 
| trino-connector-mysql | 更改 Trino 的 mysql.properties 文件中的值。 | Not available. | 
| trino-connector-postgresql | 更改 Trino 的 postgresql.properties 文件中的值。 | Not available. | 
| trino-connector-raptor | 更改 Trino 的 raptor.properties 文件中的值。 | Not available. | 
| trino-connector-redis | 更改 Trino 的 redis.properties 文件中的值。 | Not available. | 
| trino-connector-redshift | 更改 Trino 的 redshift.properties 文件中的值。 | Not available. | 
| trino-connector-tpch | 更改 Trino 的 tpch.properties 文件中的值。 | Not available. | 
| trino-connector-tpcds | 更改 Trino 的 tpcds.properties 文件中的值。 | Not available. | 
| ranger-kms-dbks-site | 更改 Ranger KMS 的 dbks-site.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-site | 更改 Ranger K ranger-kms-site MS 的.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-env | 更改 Ranger KMS 环境中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-logback | 更改 Ranger KMS 的 kms-logback.xml 文件中的值。 | Not available. | 
| ranger-kms-db-ca | 更改 S3 上用于与 Ranger KMS 进行 MySQL SSL 连接的 CA 文件的值。 | Not available. | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | This property modifies spark-defaults. See actions there. | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-env | 更改 Spark 环境中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | Not available. | 
| spark-log4j2 | 更改 Spark 的 log4j2.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | Not available. | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | Not available. | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | Not available. | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | Restart Oozie and HiveServer2. | 
| yarn-env | 更改 YARN 环境中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | Restarts Zeppelin. | 
| zeppelin-site | 更改 zeppelin-site.xml 中的配置设置。 | Restarts Zeppelin. | 
| zookeeper-config | 更改 ZooKeeper的 zoo.cfg 文件中的值。 | Restarts Zookeeper server. | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | Restarts Zookeeper server. | 

## 6.10.0 更改日志
<a name="6100-changelog"></a>


**发行版 6.10.0 的更改日志和发布说明**  

| 日期 | 事件 | 说明 | 
| --- | --- | --- | 
| 2023-08-21 | 更新 | 添加了 Hadoop 3.3.3 引入的一个已知问题。 | 
| 2023-07-26 | 更新 | 新的操作系统版本标签 2.0.20230612.0 和 2.0.20230628.0。 | 
| 2023-03-02 | 部署完成 | Amazon EMR 6.10 已全面部署到所有[支持的区域](https://aws.amazon.com/about-aws/global-infrastructure/regional-product-services/) | 
| 2023-03-02 | 文档发布 | Amazon EMR 6.10 发布说明首次发布 | 
| 2023-02-27 | 初始版本 | Amazon EMR 6.10 面向部分商业区域部署 | 

# Amazon EMR 版本 6.9.1
<a name="emr-691-release"></a>

## 6.9.1 应用程序版本
<a name="emr-691-app-versions"></a>

此版本包括以下应用程序：[https://delta.io/](https://delta.io/)、[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://iceberg.apache.org/](https://iceberg.apache.org/)、[https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://trino.io/](https://trino.io/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-6.9.1 | emr-6.9.0 | emr-6.8.1 | emr-6.8.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.12.170 | 1.12.170 | 1.12.170 | 1.12.170 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta | 2.1.0 | 2.1.0 |  -  |  -  | 
| Flink | 1.15.2 | 1.15.2 | 1.15.1 | 1.15.1 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.4.13-amzn-0.1 | 2.4.13-amzn-0 | 2.4.12-amzn-0.1 | 2.4.12-amzn-0 | 
| HCatalog | 3.1.3-amzn-2.1 | 3.1.3-amzn-2 | 3.1.3-amzn-1.1 | 3.1.3-amzn-1 | 
| Hadoop | 3.3.3-amzn-1.1 | 3.3.3-amzn-1 | 3.2.1-amzn-8.1 | 3.2.1-amzn-8 | 
| Hive | 3.1.3-amzn-2.1 | 3.1.3-amzn-2 | 3.1.3-amzn-1.1 | 3.1.3-amzn-1 | 
| Hudi | 0.12.1-amzn-0 | 0.12.1-amzn-0 | 0.11.1-amzn-0 | 0.11.1-amzn-0 | 
| Hue | 4.10.0 | 4.10.0 | 4.10.0 | 4.10.0 | 
| Iceberg | 0.14.1-amzn-0 | 0.14.1-amzn-0 | 0.14.0-amzn-0 | 0.14.0-amzn-0 | 
| JupyterEnterpriseGateway | 2.6.0 | 2.6.0 | 2.1.0 | 2.1.0 | 
| JupyterHub | 1.4.1 | 1.4.1 | 1.4.1 | 1.4.1 | 
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 
| MXNet | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 
| Phoenix | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.276-amzn-0 | 0.276-amzn-0 | 0.273.3-amzn-0 | 0.273.3-amzn-0 | 
| Spark | 3.3.0-amzn-1.1 | 3.3.0-amzn-1 | 3.3.0-amzn-0.1 | 3.3.0-amzn-0 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.10.0 | 2.10.0 | 2.9.1 | 2.9.1 | 
| Tez | 0.10.2-amzn-0.1 | 0.10.2-amzn-0 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) | 398-amzn-0 | 398-amzn-0 | 388-amzn-0 | 388-amzn-0 | 
| Zeppelin | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 
| ZooKeeper | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 

## 6.9.1 发布说明
<a name="emr-691-relnotes"></a>

以下发布说明包括有关 Amazon EMR 版本 6.9.1 的信息。更改与 6.9.0 有关。有关发布时间表的更多信息，请参阅 [6.9.1 更改日志](#691-changelog)。

**更改、增强功能和解决的问题**
+ Hadoop 3.3.3 在 YARN（[YARN-9608](https://issues.apache.org/jira/browse/YARN-9608)）中引入了一项更改，即在应用程序完成之前，容器运行所在的节点一直处于停用状态。此更改可确保如随机数据等本地数据不会丢失，并且您无需重新运行作业。无论是否启用托管扩展，这种方法还可能导致集群的资源利用不足。

  在 Amazon EMR 6.11.0 及更高版本以及 6.8.1、6.9.1 和 6.10.1 中，在 `yarn-site.xml` 中将 `yarn.resourcemanager.decommissioning-nodes-watcher.wait-for-applications` 的值设置为 `false` 以解决此问题。

  虽然该修复解决了 YARN-9608 引入的问题，但由于启用了托管扩展的集群上的随机数据丢失，它可能会导致 Hive 作业失败。在此版本中，我们还通过设置 Hive `yarn.resourcemanager.decommissioning-nodes-watcher.wait-for-shuffle-data` 工作负载来降低这种风险。此配置在 Amazon EMR 版本 6.11.0 及更高版本中提供。
+ 使用实例组配置的集群中的主节点失效转移后，指标收集器不会向控制面板发送任何指标。
+ 此版本消除了在向指标收集器端点发出失败的 HTTP 请求时进行重试。
+ 此版本包括一项更改，允许高可用性集群在重启后从故障状态中恢复。
+ 此版本修复了用户创建的大量内容 UIDs 导致溢出异常的问题。
+ 此版本修复了 Amazon EMR 重新配置过程中的超时问题。
+ 此版本包含安全修复。
+ 此版本修复了在 Spark 上使用 Amazon EMR 运行工作负载的集群可能会静默收到包含 `contains`、`startsWith`、`endsWith` 和 `like` 错误结果的问题。当您在 Amazon EMR Hive3 Metastore 服务器（HMS）中使用包含元数据的分区字段的表达式时，就会出现此问题。
+ 在 6.6.0 到 6.9.x 版 Amazon EMR 中，带有动态分区和 ORDER BY 或 SORT BY 子句的 INSERT 查询将始终具有两个 Reducer。此问题是由于 OSS 更改 [HIVE-20703](https://issues.apache.org/jira/browse/HIVE-20703) 所致，该更改将动态排序分区优化置于基于成本的决策之下。如果您的工作负载不需要对动态分区进行排序，建议将 `hive.optimize.sort.dynamic.partition.threshold` 属性设置为 `-1` 以禁用新功能并获得计算正确的 Reducer 数量。此问题已作为 [HIVE-22269](https://issues.apache.org/jira/browse/HIVE-22269) 的一部分在 OSS Hive 中修复，并已在 Amazon EMR 6.10.0 中修复。
+ 当您使用 HDFS 作为暂存目录并启用了合并小文件且该表包含静态分区路径时，Hive 可能会丢失数据。
+ 此版本修复了若在 ETL 作业结束时启用合并小文件（默认禁用）时 Hive 的性能问题。
+ 此版本修复了没有用户定义函数（UDF）时在 Glue 端的节流问题。
+ 此版本修复了在 YARN 停用时，在日志推送器能够将容器日志推送到 S3 之前，节点日志聚合服务会删除容器日志的问题。
+ 此版本修复了使用永久存储文件跟踪功能对压缩/存档文件的处理。 HBase
+ 此版本修复了您在 `spark-defaults.conf` 中为 `spark.yarn.heterogeneousExecutors.enabled` 配置设置默认 `true` 值时影响 Spark 性能的问题。
+ 此版本修复了 Reduce Task 无法读取随机数据的问题。该问题因内存损坏错误导致 Hive 查询失败。
+ 此版本修复了在 HDFS NameNode (NN) 服务在节点更换期间停留在安全模式时导致节点置备器失败的问题。
+ 此版本为运行 Presto 或 Trino 的 EMR 集群的集群扩展工作流程添加了新的重试机制。这一改进降低了由于单个调整大小操作失败而导致集群大小调整无限期停滞的风险。它还可以提高集群利用率，因为您的集群可以更快地向上和向下扩展。
+ 此版本改进了集群缩减逻辑，因此您的集群不会尝试将核心节点缩减到低于集群 HDFS 复制因子设置的范围。这符合您的数据冗余要求，并减少了扩展操作可能停滞的机会。
+ 日志管理进程守护程序已升级，可以识别本地实例存储中所有包含打开文件句柄的使用中的日志，以及相关的进程。此次升级可确保 Amazon EMR 在日志存档到 Amazon S3 后正确删除文件并回收存储空间。
+ 此版本包括日志管理进程守护程序增强功能，可删除本地集群文件系统中空的、未使用的步骤目录。过多的空目录会降低 Amazon EMR 进程守护程序的性能并导致磁盘过度使用。
+ 此版本修复了通过从具有多个主节点的集群中复制一个主节点来创建边缘节点时可能出现的问题。复制的边缘节点可能会导致缩减操作的延迟，或者导致主节点的内存使用率过高。有关如何创建边缘节点以与 EMR 集群通信的更多信息，请参阅存储库中的 E [dge Node Creato](https://github.com/aws-samples/aws-emr-utilities/tree/main/utilities/emr-edge-node-creator) r。`aws-samples` GitHub
+ 此版本改进了 Amazon EMR 用于在重启后将 Amazon EBS 卷重新挂载到实例的自动化流程。
+ 此版本修复了导致亚马逊 EMR 向亚马逊发布的 Hadoop 指标间歇性出现差距的问题。 CloudWatch
+ 此版本修复了 EMR 集群的一个问题，即由于磁盘过度使用而导致对包含集群节点排除列表的 YARN 配置文件的更新中断。不完整的更新阻碍了未来对集群的缩减操作。此版本可确保您的集群保持正常运行，并确保扩展操作按预期进行。
+ 此版本改进了集群上日志管理进程守护程序，以监控 EMR 集群中的其他日志文件夹。这一改进最大限度地减少了磁盘过度使用情况。
+ 此版本在集群上日志管理进程守护程序停止后会自动重启该守护程序。这一改进降低了由于磁盘过度使用而导致节点出现运行状况不佳的风险。
+ 当您使用 Amazon EMR 5.36 或更高版本、6.6 或更高版本或 7.0 或更高版本的*最新补丁版本*启动集群时，Amazon EMR 会使用最新的 Amazon Linux 2023 或 Amazon Linux 2 发行版作为默认 Amazon EMR AMI。如需更多信息，请参阅 [Using the default Amazon Linux AMI for Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html)。    
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_cn/emr/latest/ReleaseGuide/emr-691-release.html)

## 6.9.1 组件版本
<a name="emr-691-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.2 | 亚马逊 SageMaker Spark SDK | 
| delta | 2.1.0 | Delta lake 是一种适用于超大型分析数据集的开放表格式。 | 
| emr-ddb | 4.16.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 3.3.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.6.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-notebook-env | 1.7.0 | 适用于 EMR Notebooks（可提供 jupyter 企业网关）的 Conda env | 
| emr-s3-dist-cp | 2.23.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 2.2.0 | EMR S3 Select 连接器 | 
| emrfs | 2.54.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.15.2 | Apache Flink 命令行客户端脚本和应用程序。 | 
| flink-jobmanager-config | 1.15.2 | 在 EMR 节点上管理 Apache Flink 的资源。 JobManager | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 3.3.3-amzn-1.1 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 3.3.3-amzn-1.1 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 3.3.3-amzn-1.1 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 3.3.3-amzn-1.1 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-hdfs-journalnode | 3.3.3-amzn-1.1 | 用于管理 HA 集群上的 Hadoop 文件系统日志的 HDFS 服务。 | 
| hadoop-httpfs-server | 3.3.3-amzn-1.1 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 3.3.3-amzn-1.1 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 3.3.3-amzn-1.1 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 3.3.3-amzn-1.1 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 3.3.3-amzn-1.1 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 3.3.3-amzn-1.1 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 2.4.13-amzn-0.1 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 2.4.13-amzn-0.1 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 2.4.13-amzn-0.1 | HBase 命令行客户端。 | 
| hbase-rest-server | 2.4.13-amzn-0.1 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 2.4.13-amzn-0.1 | 为其提供 Thrift 端点的 HBase服务。 | 
| hbase-operator-tools | 2.4.13-amzn-0.1 | 适用于 Apache HBase 集群的修复工具。 | 
| hcatalog-client | 3.1.3-amzn-2.1 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 3.1.3-amzn-2.1 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 3.1.3-amzn-2.1 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 3.1.3-amzn-2.1 | Hive 命令行客户端。 | 
| hive-hbase | 3.1.3-amzn-2.1 | Hive-hbase 客户端。 | 
| hive-metastore-server | 3.1.3-amzn-2.1 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 3.1.3-amzn-2.1 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hudi | 0.12.1-amzn-0 | 增量处理框架，以支持低延迟和高效率的数据管道。 | 
| hudi-presto | 0.12.1-amzn-0 | 用于运行 Presto 以及 Hudl 的捆绑库。 | 
| hudi-trino | 0.12.1-amzn-0 | 用于运行 Trino 以及 Hudi 的捆绑库。 | 
| hudi-spark | 0.12.1-amzn-0 | 用于运行 Spark 以及 Hudi 的捆绑库。 | 
| hue-server | 4.10.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| iceberg | 0.14.1-amzn-0 | Apache Iceberg 是一种适用于超大型分析数据集的开放表格式。 | 
| jupyterhub | 1.4.1 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.7.1-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mxnet | 1.9.1 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mariadb-server | 5.5.68\$1 | MariaDB 数据库服务器。 | 
| nvidia-cuda | 11.7.0 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.2.1 | Oozie 命令行客户端。 | 
| oozie-server | 5.2.1 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 4.5.0 | 开源计算机视觉库。 | 
| phoenix-library | 5.1.2 | 服务器和客户端的 phoenix 库 | 
| phoenix-connectors | 6.0.0-SNAPSHOT | Apache Phoenix-Connectors for Spark-3 | 
| phoenix-query-server | 6.0.0 | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.276-amzn-0 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.276-amzn-0 | 用于执行查询的各个部分的服务。 | 
| presto-client | 0.276-amzn-0 | Presto 命令行客户端，安装在 HA 集群的备用主节点（未启动 Presto 服务器）上。 | 
| trino-coordinator | 398-amzn-0 | 用于在 trino-worker 之中接受查询并管理查询的服务。 | 
| trino-worker | 398-amzn-0 | 用于执行查询的各个部分的服务。 | 
| trino-client | 398-amzn-0 | Trino 命令行客户端，安装在 HA 集群的备用主服务器（未启动 Trino 服务器）上。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 4.0.2 | 用于统计计算的 R 项目 | 
| ranger-kms-server | 2.0.0 | Apache Ranger 密钥管理系统 | 
| spark-client | 3.3.0-amzn-1.1 | Spark 命令行客户端。 | 
| spark-history-server | 3.3.0-amzn-1.1 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 3.3.0-amzn-1.1 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 3.3.0-amzn-1.1 | YARN 从属项所需的 Apache Spark 库。 | 
| spark-rapids | 22.08.0-amzn-0 | Nvidia Spark RAPIDS 插件可以加速 Apache Spark GPUs | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 2.10.0 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.10.2-amzn-0.1 | tez YARN 应用程序和库。 | 
| webserver | 2.4.41\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.10.1 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.5.10 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.5.10 | ZooKeeper 命令行客户端。 | 

## 6.9.1 配置分类
<a name="emr-691-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。

为处于运行状态的集群中的实例组指定配置时，将发生重新配置操作。Amazon EMR 仅为您修改的分类启动重新配置操作。有关更多信息，请参阅 [在正在运行的集群中重新配置实例组](emr-configure-apps-running-cluster.md)。


**emr-6.9.1 分类**  

| 分类 | 说明 | 重新配置操作 | 
| --- | --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | Restarts the ResourceManager service. | 
| container-executor | 更改 Hadoop YARN 的 container-executor.cfg 文件中的值。 | Not available. | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | Not available. | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | 更改 docker 相关设置。 | Not available. | 
| emrfs-site | 更改 EMRFS 设置。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | 更改 flink-conf.yaml 设置。 | Restarts Flink history server. | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | Restarts Flink history server. | 
| flink-log4j-session | 更改会话的 Flink log4j-session.properties Kubernetes/Yarn  | Restarts Flink history server. | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | Restarts Flink history server. | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | Not available. | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | Not available. | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | 更改环境 HBase中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | Not available. | 
| hbase-site | 更改 hbase-site.xml 文件 HBase中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | This classification should not be reconfigured. | 
| hdfs-env | 更改 HDFS 环境中的值。 | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | 更改环境 HCatalog中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | Restarts Hive WebHCat server. | 
| hive | 适用于 Apache Hive 的 Amazon EMR 辅助设置。 | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | Not available. | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | Not available. | 
| hive-env | 更改 Hive 环境中的值。 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | Not available. | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | Not available. | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | Not available. | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | Not available. | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | Restarts Hadoop Httpfs service. | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | Not available. | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | Not available. | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | 更改 Hudi 环境中的值。 | Not available. | 
| hudi-defaults | 更改 Hudi 的 hudi-defaults.conf 文件中的值。 | Not available. | 
| iceberg-defaults | 更改 Iceberg 的 iceberg-defaults.conf 文件中的值。 | Not available. | 
| delta-defaults | 更改 Delta 的 delta-defaults.conf 文件中的值。 | Not available. | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | Not available. | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | Not available. | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | Not available. | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | Not available. | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | Restarts Livy Server. | 
| livy-env | 更改 Livy 环境中的值。 | Restarts Livy Server. | 
| livy-log4j2 | 更改 Livy log4j2.properties 设置。 | Restarts Livy Server. | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | 更改 Oozie 的环境中的值。 | Restarts Oozie. | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | Restarts Oozie. | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | Restarts Oozie. | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | Not available. | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | Not available. | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | Not available. | 
| pig-env | 更改 Pig 环境中的值。 | Not available. | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | Restarts Oozie. | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | Not available. | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | Not available. | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | Not available. | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | Not available. | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | Not available. | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | Not available. | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | Not available. | 
| presto-connector-lakeformation | 更改 Presto 的 lakeformation.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | Not available. | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | Not available. | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | Not available. | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | Not available. | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | Not available. | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | Not available. | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | Not available. | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | Not available. | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | Not available. | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | Not available. | 
| trino-log | 更改 Trino 的 log.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-config | 更改 Trino 的 config.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-password-authenticator | 更改 Trino 的 password-authenticator.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-env | 更改 Trino 的 trino-env.sh 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-node | 更改 Trino 的 node.properties 文件中的值。 | Not available. | 
| trino-connector-blackhole | 更改 Trino 的 blackhole.properties 文件中的值。 | Not available. | 
| trino-connector-cassandra | 更改 Trino 的 cassandra.properties 文件中的值。 | Not available. | 
| trino-connector-delta | 更改 Trino 的 delta.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-connector-hive | 更改 Trino 的 hive.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-exchange-manager | 更改 Trino 的 exchange-manager.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-connector-iceberg | 更改 Trino 的 iceberg.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-connector-jmx | 更改 Trino 的 jmx.properties 文件中的值。 | Not available. | 
| trino-connector-kafka | 更改 Trino 的 kafka.properties 文件中的值。 | Not available. | 
| trino-connector-localfile | 更改 Trino 的 localfile.properties 文件中的值。 | Not available. | 
| trino-connector-memory | 更改 Trino 的 memory.properties 文件中的值。 | Not available. | 
| trino-connector-mongodb | 更改 Trino 的 mongodb.properties 文件中的值。 | Not available. | 
| trino-connector-mysql | 更改 Trino 的 mysql.properties 文件中的值。 | Not available. | 
| trino-connector-postgresql | 更改 Trino 的 postgresql.properties 文件中的值。 | Not available. | 
| trino-connector-raptor | 更改 Trino 的 raptor.properties 文件中的值。 | Not available. | 
| trino-connector-redis | 更改 Trino 的 redis.properties 文件中的值。 | Not available. | 
| trino-connector-redshift | 更改 Trino 的 redshift.properties 文件中的值。 | Not available. | 
| trino-connector-tpch | 更改 Trino 的 tpch.properties 文件中的值。 | Not available. | 
| trino-connector-tpcds | 更改 Trino 的 tpcds.properties 文件中的值。 | Not available. | 
| ranger-kms-dbks-site | 更改 Ranger KMS 的 dbks-site.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-site | 更改 Ranger K ranger-kms-site MS 的.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-env | 更改 Ranger KMS 环境中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-log4j | 更改 Ranger KMS 的 kms-log4j.properties 文件中的值。 | Not available. | 
| ranger-kms-db-ca | 更改 S3 上用于与 Ranger KMS 进行 MySQL SSL 连接的 CA 文件的值。 | Not available. | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | This property modifies spark-defaults. See actions there. | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-env | 更改 Spark 环境中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | Not available. | 
| spark-log4j2 | 更改 Spark 的 log4j2.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | Not available. | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | Not available. | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | Not available. | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | Restart Oozie and HiveServer2. | 
| yarn-env | 更改 YARN 环境中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | Restarts Zeppelin. | 
| zeppelin-site | 更改 zeppelin-site.xml 中的配置设置。 | Restarts Zeppelin. | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | Restarts Zookeeper server. | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | Restarts Zookeeper server. | 

## 6.9.1 更改日志
<a name="691-changelog"></a>


**发行版 6.9.1 的更改日志和发布说明**  

| 日期 | 事件 | 说明 | 
| --- | --- | --- | 
| 2023-08-30 | 更新发行说明 | 在发行说明中添加了几个与控制面板相关的修复 | 
| 2023-08-21 | 文档发布 | Amazon EMR 6.9.1 发布说明首次发布 | 
| 2023-08-16 | 部署完成 | Amazon EMR 6.9.1 已全面部署到所有[支持的区域](https://aws.amazon.com/about-aws/global-infrastructure/regional-product-services/) | 
| 2023-08-04 | 初始版本 | Amazon EMR 6.9.1 首次面向部分商业区域部署 | 

# Amazon EMR 发行版 6.9.0
<a name="emr-690-release"></a>

## 6.9.0 应用程序版本
<a name="emr-690-app-versions"></a>

此版本包括以下应用程序：[https://delta.io/](https://delta.io/)、[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://iceberg.apache.org/](https://iceberg.apache.org/)、[https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://trino.io/](https://trino.io/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-6.9.0 | emr-6.8.1 | emr-6.8.0 | emr-6.7.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.12.170 | 1.12.170 | 1.12.170 | 1.12.170 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta | 2.1.0 |  -  |  -  |  -  | 
| Flink | 1.15.2 | 1.15.1 | 1.15.1 | 1.14.2 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.4.13-amzn-0 | 2.4.12-amzn-0.1 | 2.4.12-amzn-0 | 2.4.4-amzn-3 | 
| HCatalog | 3.1.3-amzn-2 | 3.1.3-amzn-1.1 | 3.1.3-amzn-1 | 3.1.3-amzn-0 | 
| Hadoop | 3.3.3-amzn-1 | 3.2.1-amzn-8.1 | 3.2.1-amzn-8 | 3.2.1-amzn-7 | 
| Hive | 3.1.3-amzn-2 | 3.1.3-amzn-1.1 | 3.1.3-amzn-1 | 3.1.3-amzn-0 | 
| Hudi | 0.12.1-amzn-0 | 0.11.1-amzn-0 | 0.11.1-amzn-0 | 0.11.0-amzn-0 | 
| Hue | 4.10.0 | 4.10.0 | 4.10.0 | 4.10.0 | 
| Iceberg | 0.14.1-amzn-0 | 0.14.0-amzn-0 | 0.14.0-amzn-0 | 0.13.1-amzn-0 | 
| JupyterEnterpriseGateway | 2.6.0 | 2.1.0 | 2.1.0 | 2.1.0 | 
| JupyterHub | 1.4.1 | 1.4.1 | 1.4.1 | 1.4.1 | 
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 
| MXNet | 1.9.1 | 1.9.1 | 1.9.1 | 1.8.0 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 
| Phoenix | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.276-amzn-0 | 0.273.3-amzn-0 | 0.273.3-amzn-0 | 0.272-amzn-0 | 
| Spark | 3.3.0-amzn-1 | 3.3.0-amzn-0.1 | 3.3.0-amzn-0 | 3.2.1-amzn-0 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.10.0 | 2.9.1 | 2.9.1 | 2.4.1 | 
| Tez | 0.10.2-amzn-0 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) | 398-amzn-0 | 388-amzn-0 | 388-amzn-0 | 378-amzn-0 | 
| Zeppelin | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.0 | 
| ZooKeeper | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.7 | 

## 6.9.0 发布说明
<a name="emr-690-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 6.9.0 的信息。更改与 Amazon EMR 发行版 6.8.0 有关。有关发布时间表的信息，请参阅[更改日志](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-690-release.html#690-changelog)。

**新功能**
+ Amazon EMR 发行版 6.9.0 支持 Apache Spark RAPIDS 22.08.0、Apache Hudi 0.12.1、Apache Iceberg 0.14.1、Trino 398 和 Tez 0.10.2。
+ Amazon EMR 发行版 6.9.0 包括一个新的开源应用程序，[Delta Lake](emr-delta.md) 2.1.0。
+ Amazon EMR 发行版 6.9.0 及更高版本包含适用于 Apache Spark 的 Amazon Redshift 集成。本地集成之前是一种开源工具，现在是 Spark 连接器，您可以将其用于构建 Apache Spark 应用程序，这些应用程序可在 Amazon Redshift 和 Amazon Redshift Serverless 中读取和写入数据。有关更多信息，请参阅 [将适用于 Apache Spark 的 Amazon Redshift 集成与 Amazon EMR 结合使用](emr-spark-redshift.md)。
+ Amazon EMR 发行版 6.9.0 增加了对在集群缩减期间将日志存档到 Amazon S3 的支持。之前，您只能在集群终止期间将日志文件存档到 Amazon S3。这项新功能可确保即使在节点终止后，集群上生成的日志文件仍保留在 Amazon S3 上。有关更多信息，请参阅[配置集群日志记录和调试](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-debugging.html)。
+ 为了支持长时间运行的查询，Trino 现在包括容错执行机制。容错执行通过重试失败的查询或其组件任务来减少查询失败。
+ 您可以在 Amazon EMR 上使用 Apache Flink 对 Apache Hive 表或任何 Flink 表源（例如 Iceberg、Kinesis 或 Kafka）的元数据进行统一的 `BATCH` 和 `STREAM` 处理。您可以使用 AWS 管理控制台、 AWS CLI或亚马逊 EMR API 将 AWS Glue 数据目录指定为 Flink 的元数据库。有关更多信息，请参阅 [在 Amazon EMR 中配置 Flink](flink-configure.md)。
+ 现在，您可以使用亚马逊 AI Studio 在 EC2 集群上的 Amazon EMR 上为 Apache Spark、Apache Hive 和 Presto 查询指定 AWS Identity and Access Management (IAM) 运行时角色和 AWS Lake Formation基于访问控制。 SageMaker 有关更多信息，请参阅[为 Amazon EMR 步骤配置运行时角色](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-steps-runtime-roles.html)。

**已知问题**
+ 对于 Amazon EMR 发行版 6.9.0，Trino 不适用于为 Apache Ranger 启用的集群。如果您需要将 Trino 与 Ranger 结合使用，请联系 [支持](https://console.aws.amazon.com/support/home#/)。
+ 如果您使用适用于 Apache Spark 的 Amazon Redshift 集成，并且具有 Parquet 格式的时间、timetz、时间戳或 timestamptz（精度为微秒），连接器会将时间值舍入为最接近的毫秒值。解决方法是使用文本卸载格式 `unload_s3_format` 参数。
+ 当您将 Spark 与 Hive 分区位置格式化结合使用以读取 Amazon S3 中的数据，并在 Amazon EMR 版本 5.30.0 至 5.36.0 以及 6.2.0 至 6.9.0 上运行 Spark 时，可能会遇到导致集群无法正确读取数据的问题。如果您的分区具有以下所有特征，会发生这种情况：
  + 从同一个表扫描两个或多个分区。
  + 至少有一个分区目录路径是至少一个其他分区目录路径的前缀，例如，`s3://bucket/table/p=a` 是 `s3://bucket/table/p=a b` 的前缀。
  + 另一个分区目录中前缀后面的第一个字符的 UTF-8 值小于 `/` 字符 (U\$1002F)。例如，在 `s3://bucket/table/p=a b` 中，a 和 b 之间出现的空格字符 (U\$10020) 就属于此类。请注意，还有其他 14 个非控制字符：`!"#$%&‘()*+,-`。有关更多信息，请参阅 [UTF-8 encoding table and Unicode characters](https://www.utf8-chartable.de/)（UTF-8 编码表和 Unicode 字符）。

  解决方法是在 `spark-defaults` 分类中将 `spark.sql.sources.fastS3PartitionDiscovery.enabled` 配置设置为 `false`。
+ 从 Amazon A SageMaker I Studio 到 Amazon EMR 集群的连接可能会间歇性失败，并显示 **403 禁止的响应代码**。如果在集群上设置 IAM 角色的时间超过 60 秒，就会发生此错误。解决方法是安装 Amazon EMR 补丁以启用重试，并将超时增加到至少 300 秒。启动集群时，按照以下步骤应用引导操作。

  1.  从以下 Amazon S3 URIs 下载引导脚本和 RPM 文件。

     ```
     s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/gcsc/replace-rpms.sh
     s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/gcsc/emr-secret-agent-1.18.0-SNAPSHOT20221121212949.noarch.rpm
     ```

  1. 将上一步中的文件上传到您自己的 Amazon S3 存储桶中。存储桶必须与您计划启动集群的 AWS 区域 位置相同。

  1. 启动集群时，执行以下引导操作。用 Amazon S3 URIs 中的相应版本替换*bootstrap\$1URI*和。*RPM\$1URI*

     ```
     --bootstrap-actions "Path=bootstrap_URI,Args=[RPM_URI]"
     ```
+ 在 Amazon EMR 发行版 5.36.0 和 6.6.0 到 6.9.0 中，`SecretAgent` 和 `RecordServer` 服务组件可能会因为 Log4j2 属性中的文件名模式配置不正确而出现日志数据丢失的情况。错误的配置导致组件每天只生成一个日志文件。当应用轮换策略时，它会重写现有文件，而不是按预期生成新的日志文件。应变方法是使用引导操作每小时生成一次日志文件，并在文件名中附加一个自动增量的整数来处理轮换。

  对于 Amazon EMR 发行版 6.6.0 到 6.9.0，启动集群时，请执行以下引导操作。

  ```
  ‑‑bootstrap‑actions "Path=s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/log-rotation-emr-6x/replace-puppet.sh,Args=[]"
  ```

  对于 Amazon EMR 发行版 5.36.0，启动集群时，请执行以下引导操作。

  ```
  ‑‑bootstrap‑actions "Path=s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/log-rotation-emr-5x/replace-puppet.sh,Args=[]"
  ```
+ Apache Flink 提供原生 S3 FileSystem 和 Hadoop FileSystem 连接器，允许应用程序创建 FileSink 并将数据写入 Amazon S3。这 FileSink 会失败，但有以下两个例外情况之一。

  ```
  java.lang.UnsupportedOperationException: Recoverable writers on Hadoop are only supported for HDFS
  ```

  ```
  Caused by: java.lang.NoSuchMethodError: org.apache.hadoop.io.retry.RetryPolicies.retryOtherThanRemoteAndSaslException(Lorg/apache/hadoop/io/retry/RetryPolicy;Ljava/util/Map;)Lorg/apache/hadoop/io/retry/RetryPolicy;
                                          at org.apache.hadoop.yarn.client.RMProxy.createRetryPolicy(RMProxy.java:302) ~[hadoop-yarn-common-3.3.3-amzn-0.jar:?]
  ```

  解决方法是安装 Amazon EMR 补丁，该补丁可以修复 Flink 中的上述问题。要在启动集群时应用引导操作，请完成以下步骤。

  1. 将 flink-rpm 下载到 Amazon S3 存储桶中。您的 RPM 路径是 `s3://DOC-EXAMPLE-BUCKET/rpms/flink/`。

  1. 使用以下 URI 从 Amazon S3 下载引导脚本和 RPM 文件。`regionName`替换为您计划启动集群 AWS 区域 的位置。

     ```
     s3://emr-data-access-control-regionName/customer-bootstrap-actions/gcsc/replace-rpms.sh
     ```

  1. Hadoop 3.3.3 在 YARN（[YARN-9608](https://issues.apache.org/jira/browse/YARN-9608)）中引入了一项更改，即在应用程序完成之前，容器运行所在的节点一直处于停用状态。此更改可确保如随机数据等本地数据不会丢失，并且您无需重新运行作业。在 Amazon EMR 6.8.0 和 6.9.0 中，无论是否启用托管扩展，这种方法还可能导致集群的资源利用不足。

     在 [Amazon EMR 6.10.0](emr-6100-release.md#emr-6100-relnotes) 中，有一个解决此问题的方法，可以在 `yarn-site.xml` 中将 `yarn.resourcemanager.decommissioning-nodes-watcher.wait-for-applications` 的值设置为 `false`。在 Amazon EMR 版本 6.11.0 及更高版本以及 6.8.1、6.9.1 和 6.10.1 中，默认将配置设置为 `false` 以解决此问题。

**更改、增强和解决的问题**
+ 对于 Amazon EMR 发行版 6.9.0 及更高版本，Amazon EMR 安装的所有使用 Log4j 库的组件都使用 Log4j 版本 2.17.1 或更高版本。
+ 在 Amazon EMR 版本 6.6.0、6.7.0 和 6.8.0 上将 DynamoDB 连接器与 Spark 结合使用时，即使输入拆分引用了非空数据，表中的所有读取都会返回空结果。Amazon EMR 发行版 6.9.0 修复了此问题。
+ 在使用 Spark SQL 读取数据时，Amazon EMR 6.9.0 添加对基于 Lake Formation 的访问控制及 Apache Hudi 的有限支持。支持针对使用 Spark SQL 的 SELECT 查询，并且仅限于列级访问控制。有关更多信息，请参阅 [Hudi 和 Lake Formation](https://docs.aws.amazon.com/emr/latest/ManagementGuide/hudi-with-lake-formation.html)。
+ 当您使用 Amazon EMR 6.9.0 创建启用了[节点标签](https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/NodeLabel.html)的 Hadoop 集群时，[YARN 指标 API](https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/ResourceManagerRest.html#Cluster_Metrics_API) 会返回所有分区的聚合信息，而不是默认分区。有关更多信息，请参阅 [YARN-11414](https://issues.apache.org/jira/browse/YARN-11414)。
+ 在 Amazon EMR 6.9.0 版本中，我们已将 Trino 更新到使用 Java 17 的 398 版本。之前支持的 Amazon EMR 6.8.0 Trino 版本是在 Java 11 上运行的 Trino 388。有关此变更的更多信息，请参阅 Trino 博客上的 [Trino updates to Java 17](https://trino.io/blog/2022/07/14/trino-updates-to-java-17.html)。
+ 此版本修复了 Apache BigTop 和 EC2 集群启动序列上的 Amazon EMR 之间的时间序列不匹配问题。当系统尝试同时执行两个或多个操作而不是按正确的顺序执行它们时，就会发生这种计时序列不匹配。因此，某些集群配置会遇到实例启动超时和较慢的集群启动时间。
+ 当您使用 Amazon EMR 5.36 或更高版本、6.6 或更高版本或 7.0 或更高版本的*最新补丁版本*启动集群时，Amazon EMR 会使用最新的 Amazon Linux 2023 或 Amazon Linux 2 发行版作为默认 Amazon EMR AMI。如需更多信息，请参阅 [Using the default Amazon Linux AMI for Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html)。
**注意**  
此版本不再获得 AMI 自动更新，因为它已被另外 1 个补丁版本取代。补丁版本以第二位小数点后的数字 (`6.8.1`) 表示。要查看您是否使用的是最新补丁版本，请查看《[https://docs.aws.amazon.com/emr/latest/ReleaseGuide](https://docs.aws.amazon.com/emr/latest/ReleaseGuide)》中的可用版本，或者在控制台中创建集群时查看 **Amazon EMR 版本**下拉列表，或使用 [https://docs.aws.amazon.com/emr/latest/APIReference/API_ListReleaseLabels.html](https://docs.aws.amazon.com/emr/latest/APIReference/API_ListReleaseLabels.html) API 或 [https://docs.aws.amazon.com/cli/latest/reference/emr/list-release-labels.html](https://docs.aws.amazon.com/cli/latest/reference/emr/list-release-labels.html) CLI 操作。要获取有关新版本的更新，请订阅[新增功能](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html)页面上的 RSS 源。    
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_cn/emr/latest/ReleaseGuide/emr-690-release.html)

## 6.9.0 组件版本
<a name="emr-690-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.2 | 亚马逊 SageMaker Spark SDK | 
| delta | 2.1.0 | Delta lake 是一种适用于超大型分析数据集的开放表格式。 | 
| emr-ddb | 4.16.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 3.3.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.6.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-notebook-env | 1.7.0 | 适用于 EMR Notebooks（可提供 jupyter 企业网关）的 Conda env | 
| emr-s3-dist-cp | 2.23.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 2.2.0 | EMR S3 Select 连接器 | 
| emrfs | 2.54.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.15.2 | Apache Flink 命令行客户端脚本和应用程序。 | 
| flink-jobmanager-config | 1.15.2 | 在 EMR 节点上管理 Apache Flink 的资源。 JobManager | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 3.3.3-amzn-1 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 3.3.3-amzn-1 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 3.3.3-amzn-1 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 3.3.3-amzn-1 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-hdfs-journalnode | 3.3.3-amzn-1 | 用于管理 HA 集群上的 Hadoop 文件系统日志的 HDFS 服务。 | 
| hadoop-httpfs-server | 3.3.3-amzn-1 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 3.3.3-amzn-1 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 3.3.3-amzn-1 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 3.3.3-amzn-1 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 3.3.3-amzn-1 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 3.3.3-amzn-1 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 2.4.13-amzn-0 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 2.4.13-amzn-0 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 2.4.13-amzn-0 | HBase 命令行客户端。 | 
| hbase-rest-server | 2.4.13-amzn-0 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 2.4.13-amzn-0 | 为其提供 Thrift 端点的 HBase服务。 | 
| hbase-operator-tools | 2.4.13-amzn-0 | 适用于 Apache HBase 集群的修复工具。 | 
| hcatalog-client | 3.1.3-amzn-2 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 3.1.3-amzn-2 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 3.1.3-amzn-2 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 3.1.3-amzn-2 | Hive 命令行客户端。 | 
| hive-hbase | 3.1.3-amzn-2 | Hive-hbase 客户端。 | 
| hive-metastore-server | 3.1.3-amzn-2 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 3.1.3-amzn-2 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hudi | 0.12.1-amzn-0 | 增量处理框架，以支持低延迟和高效率的数据管道。 | 
| hudi-presto | 0.12.1-amzn-0 | 用于运行 Presto 以及 Hudl 的捆绑库。 | 
| hudi-trino | 0.12.1-amzn-0 | 用于运行 Trino 以及 Hudi 的捆绑库。 | 
| hudi-spark | 0.12.1-amzn-0 | 用于运行 Spark 以及 Hudi 的捆绑库。 | 
| hue-server | 4.10.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| iceberg | 0.14.1-amzn-0 | Apache Iceberg 是一种适用于超大型分析数据集的开放表格式。 | 
| jupyterhub | 1.4.1 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.7.1-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mxnet | 1.9.1 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mariadb-server | 5.5.68\$1 | MariaDB 数据库服务器。 | 
| nvidia-cuda | 11.7.0 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.2.1 | Oozie 命令行客户端。 | 
| oozie-server | 5.2.1 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 4.5.0 | 开源计算机视觉库。 | 
| phoenix-library | 5.1.2 | 服务器和客户端的 phoenix 库 | 
| phoenix-connectors | 6.0.0-SNAPSHOT | Apache Phoenix-Connectors for Spark-3 | 
| phoenix-query-server | 6.0.0 | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.276-amzn-0 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.276-amzn-0 | 用于执行查询的各个部分的服务。 | 
| presto-client | 0.276-amzn-0 | Presto 命令行客户端，安装在 HA 集群的备用主节点（未启动 Presto 服务器）上。 | 
| trino-coordinator | 398-amzn-0 | 用于在 trino-worker 之中接受查询并管理查询的服务。 | 
| trino-worker | 398-amzn-0 | 用于执行查询的各个部分的服务。 | 
| trino-client | 398-amzn-0 | Trino 命令行客户端，安装在 HA 集群的备用主服务器（未启动 Trino 服务器）上。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 4.0.2 | 用于统计计算的 R 项目 | 
| ranger-kms-server | 2.0.0 | Apache Ranger 密钥管理系统 | 
| spark-client | 3.3.0-amzn-1 | Spark 命令行客户端。 | 
| spark-history-server | 3.3.0-amzn-1 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 3.3.0-amzn-1 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 3.3.0-amzn-1 | YARN 从属项所需的 Apache Spark 库。 | 
| spark-rapids | 22.08.0-amzn-0 | Nvidia Spark RAPIDS 插件可以加速 Apache Spark GPUs | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 2.10.0 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.10.2-amzn-0 | tez YARN 应用程序和库。 | 
| webserver | 2.4.41\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.10.1 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.5.10 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.5.10 | ZooKeeper 命令行客户端。 | 

## 6.9.0 配置分类
<a name="emr-690-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。

为处于运行状态的集群中的实例组指定配置时，将发生重新配置操作。Amazon EMR 仅为您修改的分类启动重新配置操作。有关更多信息，请参阅 [在正在运行的集群中重新配置实例组](emr-configure-apps-running-cluster.md)。


**emr-6.9.0 分类**  

| 分类 | 说明 | 重新配置操作 | 
| --- | --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | Restarts the ResourceManager service. | 
| container-executor | 更改 Hadoop YARN 的 container-executor.cfg 文件中的值。 | Not available. | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | Not available. | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | 更改 docker 相关设置。 | Not available. | 
| emrfs-site | 更改 EMRFS 设置。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | 更改 flink-conf.yaml 设置。 | Restarts Flink history server. | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | Restarts Flink history server. | 
| flink-log4j-session | 更改会话的 Flink log4j-session.properties Kubernetes/Yarn  | Restarts Flink history server. | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | Restarts Flink history server. | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | Not available. | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | Not available. | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | 更改环境 HBase中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | Not available. | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | This classification should not be reconfigured. | 
| hdfs-env | 更改 HDFS 环境中的值。 | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | 更改环境 HCatalog中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | Restarts Hive WebHCat server. | 
| hive | 适用于 Apache Hive 的 Amazon EMR 辅助设置。 | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | Not available. | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | Not available. | 
| hive-env | 更改 Hive 环境中的值。 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | Not available. | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | Not available. | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | Not available. | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | Not available. | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | Restarts Hadoop Httpfs service. | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | Not available. | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | Not available. | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | 更改 Hudi 环境中的值。 | Not available. | 
| hudi-defaults | 更改 Hudi 的 hudi-defaults.conf 文件中的值。 | Not available. | 
| iceberg-defaults | 更改 Iceberg 的 iceberg-defaults.conf 文件中的值。 | Not available. | 
| delta-defaults | 更改 Delta 的 delta-defaults.conf 文件中的值。 | Not available. | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | Not available. | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | Not available. | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | Not available. | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | Not available. | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | Restarts Livy Server. | 
| livy-env | 更改 Livy 环境中的值。 | Restarts Livy Server. | 
| livy-log4j2 | 更改 Livy log4j2.properties 设置。 | Restarts Livy Server. | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | 更改 Oozie 的环境中的值。 | Restarts Oozie. | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | Restarts Oozie. | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | Restarts Oozie. | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | Not available. | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | Not available. | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | Not available. | 
| pig-env | 更改 Pig 环境中的值。 | Not available. | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | Restarts Oozie. | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | Not available. | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | Not available. | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | Not available. | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | Not available. | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | Not available. | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | Not available. | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | Not available. | 
| presto-connector-lakeformation | 更改 Presto 的 lakeformation.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | Not available. | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | Not available. | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | Not available. | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | Not available. | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | Not available. | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | Not available. | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | Not available. | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | Not available. | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | Not available. | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | Not available. | 
| trino-log | 更改 Trino 的 log.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-config | 更改 Trino 的 config.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-password-authenticator | 更改 Trino 的 password-authenticator.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-env | 更改 Trino 的 trino-env.sh 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-node | 更改 Trino 的 node.properties 文件中的值。 | Not available. | 
| trino-connector-blackhole | 更改 Trino 的 blackhole.properties 文件中的值。 | Not available. | 
| trino-connector-cassandra | 更改 Trino 的 cassandra.properties 文件中的值。 | Not available. | 
| trino-connector-delta | 更改 Trino 的 delta.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-connector-hive | 更改 Trino 的 hive.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-exchange-manager | 更改 Trino 的 exchange-manager.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-connector-iceberg | 更改 Trino 的 iceberg.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-connector-jmx | 更改 Trino 的 jmx.properties 文件中的值。 | Not available. | 
| trino-connector-kafka | 更改 Trino 的 kafka.properties 文件中的值。 | Not available. | 
| trino-connector-localfile | 更改 Trino 的 localfile.properties 文件中的值。 | Not available. | 
| trino-connector-memory | 更改 Trino 的 memory.properties 文件中的值。 | Not available. | 
| trino-connector-mongodb | 更改 Trino 的 mongodb.properties 文件中的值。 | Not available. | 
| trino-connector-mysql | 更改 Trino 的 mysql.properties 文件中的值。 | Not available. | 
| trino-connector-postgresql | 更改 Trino 的 postgresql.properties 文件中的值。 | Not available. | 
| trino-connector-raptor | 更改 Trino 的 raptor.properties 文件中的值。 | Not available. | 
| trino-connector-redis | 更改 Trino 的 redis.properties 文件中的值。 | Not available. | 
| trino-connector-redshift | 更改 Trino 的 redshift.properties 文件中的值。 | Not available. | 
| trino-connector-tpch | 更改 Trino 的 tpch.properties 文件中的值。 | Not available. | 
| trino-connector-tpcds | 更改 Trino 的 tpcds.properties 文件中的值。 | Not available. | 
| ranger-kms-dbks-site | 更改 Ranger KMS 的 dbks-site.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-site | 更改 Ranger K ranger-kms-site MS 的.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-env | 更改 Ranger KMS 环境中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-log4j | 更改 Ranger KMS 的 kms-log4j.properties 文件中的值。 | Not available. | 
| ranger-kms-db-ca | 更改 S3 上用于与 Ranger KMS 进行 MySQL SSL 连接的 CA 文件的值。 | Not available. | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | This property modifies spark-defaults. See actions there. | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-env | 更改 Spark 环境中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | Not available. | 
| spark-log4j2 | 更改 Spark 的 log4j2.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | Not available. | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | Not available. | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | Not available. | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | Restart Oozie and HiveServer2. | 
| yarn-env | 更改 YARN 环境中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | Restarts Zeppelin. | 
| zeppelin-site | 更改 zeppelin-site.xml 中的配置设置。 | Restarts Zeppelin. | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | Restarts Zookeeper server. | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | Restarts Zookeeper server. | 

## 6.9.0 更改日志
<a name="690-changelog"></a>


**发行版 6.9.0 的更改日志和发布说明**  

| 日期 | 事件 | 说明 | 
| --- | --- | --- | 
| 2023-08-30 | 更新发行说明 | 添加了对定时序列不匹配问题的修复 | 
| 2023-08-21 | 更新发行说明 | 在 Hadoop 3.3.3 中添加了一个已知问题。 | 
| 2023-07-26 | 更新 | 新的操作系统版本标签 2.0.20230612.0 和 2.0.20230628.0。 | 
| 2022-12-13 | 发布说明已更新 | 为使用 SageMaker AI 的运行时添加了功能和已知问题 | 
| 2022-11-29 | 发布说明和文档已更新 | 添加了适用于 Apache Spark 的 Amazon Redshift 集成功能 | 
| 2022-11-23 | 发布说明已更新 | Log4j 条目已删除 | 
| 2022-11-18 | 部署完成 | Amazon EMR 6.9 已全面部署到所有[支持的区域](https://aws.amazon.com/about-aws/global-infrastructure/regional-product-services/) | 
| 2022-11-18 | 文档发布 | Amazon EMR 6.9 发布说明首次发布 | 
| 2022-11-14 | 初始版本 | Amazon EMR 6.9 面向部分商业区域部署 | 

# Amazon EMR 版本 6.8.1
<a name="emr-681-release"></a>

## 6.8.1 应用程序版本
<a name="emr-681-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://iceberg.apache.org/](https://iceberg.apache.org/)、[https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://trino.io/](https://trino.io/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-6.8.1 | emr-6.8.0 | emr-6.7.0 | emr-6.6.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.12.170 | 1.12.170 | 1.12.170 | 1.12.170 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.10 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.15.1 | 1.15.1 | 1.14.2 | 1.14.2 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.4.12-amzn-0.1 | 2.4.12-amzn-0 | 2.4.4-amzn-3 | 2.4.4-amzn-2 | 
| HCatalog | 3.1.3-amzn-1.1 | 3.1.3-amzn-1 | 3.1.3-amzn-0 | 3.1.2-amzn-7 | 
| Hadoop | 3.2.1-amzn-8.1 | 3.2.1-amzn-8 | 3.2.1-amzn-7 | 3.2.1-amzn-6 | 
| Hive | 3.1.3-amzn-1.1 | 3.1.3-amzn-1 | 3.1.3-amzn-0 | 3.1.2-amzn-7 | 
| Hudi | 0.11.1-amzn-0 | 0.11.1-amzn-0 | 0.11.0-amzn-0 | 0.10.1-amzn-0 | 
| Hue | 4.10.0 | 4.10.0 | 4.10.0 | 4.10.0 | 
| Iceberg | 0.14.0-amzn-0 | 0.14.0-amzn-0 | 0.13.1-amzn-0 | 0.13.1 | 
| JupyterEnterpriseGateway | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 
| JupyterHub | 1.4.1 | 1.4.1 | 1.4.1 | 1.4.1 | 
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 
| MXNet | 1.9.1 | 1.9.1 | 1.8.0 | 1.8.0 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 
| Phoenix | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.273.3-amzn-0 | 0.273.3-amzn-0 | 0.272-amzn-0 | 0.267-amzn-0 | 
| Spark | 3.3.0-amzn-0.1 | 3.3.0-amzn-0 | 3.2.1-amzn-0 | 3.2.0-amzn-0 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.9.1 | 2.9.1 | 2.4.1 | 2.4.1 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) | 388-amzn-0 | 388-amzn-0 | 378-amzn-0 | 367-amzn-0 | 
| Zeppelin | 0.10.1 | 0.10.1 | 0.10.0 | 0.10.0 | 
| ZooKeeper | 3.5.10 | 3.5.10 | 3.5.7 | 3.5.7 | 

## 6.8.1 发布说明
<a name="emr-681-relnotes"></a>

以下发布说明包括有关 Amazon EMR 版本 6.8.1 的信息。更改与 6.8.0 有关。有关发布时间表的更多信息，请参阅 [6.8.1 更改日志](#681-changelog)。

**更改、增强功能和解决的问题**
+ Hadoop 3.3.3 在 YARN（[YARN-9608](https://issues.apache.org/jira/browse/YARN-9608)）中引入了一项更改，即在应用程序完成之前，容器运行所在的节点一直处于停用状态。此更改可确保如随机数据等本地数据不会丢失，并且您无需重新运行作业。无论是否启用托管扩展，这种方法还可能导致集群的资源利用不足。

  在 Amazon EMR 6.11.0 及更高版本以及 6.8.1、6.9.1 和 6.10.1 中，在 `yarn-site.xml` 中将 `yarn.resourcemanager.decommissioning-nodes-watcher.wait-for-applications` 的值设置为 `false` 以解决此问题。

  虽然该修复解决了 YARN-9608 引入的问题，但由于启用了托管扩展的集群上的随机数据丢失，它可能会导致 Hive 作业失败。在此版本中，我们还通过设置 Hive `yarn.resourcemanager.decommissioning-nodes-watcher.wait-for-shuffle-data` 工作负载来降低这种风险。此配置在 Amazon EMR 版本 6.11.0 及更高版本中提供。
+ 使用实例组配置的集群中的主节点失效转移后，指标收集器不会向控制面板发送任何指标。
+ 此版本消除了在向指标收集器端点发出失败的 HTTP 请求时进行重试。
+ 此版本包括一项更改，允许高可用性集群在重启后从故障状态中恢复。
+ 此版本修复了用户创建的大量内容 UIDs 导致溢出异常的问题。
+ 此版本修复了 Amazon EMR 重新配置过程中的超时问题。
+ 此版本可防止出现重新配置失败可能会中断其他不相关的进程的问题。
+ 此版本包含安全修复。
+ 此版本修复了在 Spark 上使用 Amazon EMR 运行工作负载的集群可能会静默收到包含 `contains`、`startsWith`、`endsWith` 和 `like` 错误结果的问题。当您在 Amazon EMR Hive3 Metastore 服务器（HMS）中使用包含元数据的分区字段的表达式时，就会出现此问题。
+ 在 6.6.0 到 6.9.x 版 Amazon EMR 中，带有动态分区和 ORDER BY 或 SORT BY 子句的 INSERT 查询将始终具有两个 Reducer。此问题是由于 OSS 更改 [HIVE-20703](https://issues.apache.org/jira/browse/HIVE-20703) 所致，该更改将动态排序分区优化置于基于成本的决策之下。如果您的工作负载不需要对动态分区进行排序，建议将 `hive.optimize.sort.dynamic.partition.threshold` 属性设置为 `-1` 以禁用新功能并获得计算正确的 Reducer 数量。此问题已作为 [HIVE-22269](https://issues.apache.org/jira/browse/HIVE-22269) 的一部分在 OSS Hive 中修复，并已在 Amazon EMR 6.10.0 中修复。
+ 当您使用 HDFS 作为暂存目录并启用了合并小文件且该表包含静态分区路径时，Hive 可能会丢失数据。
+ 此版本修复了若在 ETL 作业结束时启用合并小文件（默认禁用）时 Hive 的性能问题。
+ 此版本修复了没有用户定义函数（UDF）时在 Glue 端的节流问题。
+ 此版本修复了在 YARN 停用时，在日志推送器能够将容器日志推送到 S3 之前，节点日志聚合服务会删除容器日志的问题。
+ 此版本修复了使用永久存储文件跟踪功能对压缩/存档文件的处理。 HBase
+ 此版本修复了您在 `spark-defaults.conf` 中为 `spark.yarn.heterogeneousExecutors.enabled` 配置设置默认 `true` 值时影响 Spark 性能的问题。
+ 此版本修复了 Reduce Task 无法读取随机数据的问题。该问题因内存损坏错误导致 Hive 查询失败。
+ 此版本修复了在 HDFS NameNode (NN) 服务在节点更换期间停留在安全模式时导致节点置备器失败的问题。
+ 此版本为运行 Presto 或 Trino 的 EMR 集群的集群扩展工作流程添加了新的重试机制。这一改进降低了由于单个调整大小操作失败而导致集群大小调整无限期停滞的风险。它还可以提高集群利用率，因为您的集群可以更快地向上和向下扩展。
+ 此版本改进了集群缩减逻辑，因此您的集群不会尝试将核心节点缩减到低于集群 HDFS 复制因子设置的范围。这符合您的数据冗余要求，并减少了扩展操作可能停滞的机会。
+ 日志管理进程守护程序已升级，可以识别本地实例存储中所有包含打开文件句柄的使用中的日志，以及相关的进程。此次升级可确保 Amazon EMR 在日志存档到 Amazon S3 后正确删除文件并回收存储空间。
+ 此版本包括日志管理进程守护程序增强功能，可删除本地集群文件系统中空的、未使用的步骤目录。过多的空目录会降低 Amazon EMR 进程守护程序的性能并导致磁盘过度使用。
+ 此版本修复了通过从具有多个主节点的集群中复制一个主节点来创建边缘节点时可能出现的问题。复制的边缘节点可能会导致缩减操作的延迟，或者导致主节点的内存使用率过高。有关如何创建边缘节点以与 EMR 集群通信的更多信息，请参阅存储库中的 E [dge Node Creato](https://github.com/aws-samples/aws-emr-utilities/tree/main/utilities/emr-edge-node-creator) r。`aws-samples` GitHub
+ 此版本改进了 Amazon EMR 用于在重启后将 Amazon EBS 卷重新挂载到实例的自动化流程。
+ 此版本修复了导致亚马逊 EMR 向亚马逊发布的 Hadoop 指标间歇性出现差距的问题。 CloudWatch
+ 此版本修复了 EMR 集群的一个问题，即由于磁盘过度使用而导致对包含集群节点排除列表的 YARN 配置文件的更新中断。不完整的更新阻碍了未来对集群的缩减操作。此版本可确保您的集群保持正常运行，并确保扩展操作按预期进行。
+ 此版本改进了集群上日志管理进程守护程序，以监控 EMR 集群中的其他日志文件夹。这一改进最大限度地减少了磁盘过度使用情况。
+ 此版本在集群上日志管理进程守护程序停止后会自动重启该守护程序。这一改进降低了由于磁盘过度使用而导致节点出现运行状况不佳的风险。
+ 此版本增加了对在集群缩减期间将日志存档到 Amazon S3 的支持。之前，您只能在集群终止期间将日志文件存档到 Amazon S3。这项新功能可确保即使在节点终止后，集群上生成的日志文件仍保留在 Amazon S3 上。有关更多信息，请参阅[配置集群日志记录和调试](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-debugging.html)。
+ 此版本修复了引导操作的 Amazon S3 URI 以端口号结尾时出现的问题，例如：`a.b.c.d:4345`。Amazon EMR 错误地解析了这些内容 URIs，因此任何相关的引导操作都将失败。
+ 此版本修复了 Apache BigTop 和 EC2 集群启动序列上的 Amazon EMR 之间的时间序列不匹配问题。当系统尝试同时执行两个或多个操作而不是按正确的顺序执行它们时，就会发生这种计时序列不匹配。因此，某些集群配置会遇到实例启动超时和较慢的集群启动时间。
+ 当您使用 Amazon EMR 5.36 或更高版本、6.6 或更高版本或 7.0 或更高版本的*最新补丁版本*启动集群时，Amazon EMR 会使用最新的 Amazon Linux 2023 或 Amazon Linux 2 发行版作为默认 Amazon EMR AMI。如需更多信息，请参阅 [Using the default Amazon Linux AMI for Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html)。    
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_cn/emr/latest/ReleaseGuide/emr-681-release.html)

## 6.8.1 组件版本
<a name="emr-681-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.2 | 亚马逊 SageMaker Spark SDK | 
| emr-ddb | 4.16.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 3.2.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.5.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-notebook-env | 1.7.0 | 适用于 EMR Notebooks（可提供 jupyter 企业网关）的 Conda env | 
| emr-s3-dist-cp | 2.22.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 2.1.0 | EMR S3 Select 连接器 | 
| emrfs | 2.53.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.15.1 | Apache Flink 命令行客户端脚本和应用程序。 | 
| flink-jobmanager-config | 1.15.1 | 在 EMR 节点上管理 Apache Flink 的资源。 JobManager | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 3.2.1-amzn-8.1 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 3.2.1-amzn-8.1 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 3.2.1-amzn-8.1 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 3.2.1-amzn-8.1 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-hdfs-journalnode | 3.2.1-amzn-8.1 | 用于管理 HA 集群上的 Hadoop 文件系统日志的 HDFS 服务。 | 
| hadoop-httpfs-server | 3.2.1-amzn-8.1 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 3.2.1-amzn-8.1 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 3.2.1-amzn-8.1 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 3.2.1-amzn-8.1 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 3.2.1-amzn-8.1 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 3.2.1-amzn-8.1 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 2.4.12-amzn-0.1 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 2.4.12-amzn-0.1 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 2.4.12-amzn-0.1 | HBase 命令行客户端。 | 
| hbase-rest-server | 2.4.12-amzn-0.1 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 2.4.12-amzn-0.1 | 为其提供 Thrift 端点的 HBase服务。 | 
| hbase-operator-tools | 2.4.12-amzn-0.1 | 适用于 Apache HBase 集群的修复工具。 | 
| hcatalog-client | 3.1.3-amzn-1.1 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 3.1.3-amzn-1.1 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 3.1.3-amzn-1.1 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 3.1.3-amzn-1.1 | Hive 命令行客户端。 | 
| hive-hbase | 3.1.3-amzn-1.1 | Hive-hbase 客户端。 | 
| hive-metastore-server | 3.1.3-amzn-1.1 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 3.1.3-amzn-1.1 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hudi | 0.11.1-amzn-0 | 增量处理框架，以支持低延迟和高效率的数据管道。 | 
| hudi-presto | 0.11.1-amzn-0 | 用于运行 Presto 以及 Hudl 的捆绑库。 | 
| hudi-trino | 0.11.1-amzn-0 | 用于运行 Trino 以及 Hudi 的捆绑库。 | 
| hudi-spark | 0.11.1-amzn-0 | 用于运行 Spark 以及 Hudi 的捆绑库。 | 
| hue-server | 4.10.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| iceberg | 0.14.0-amzn-0 | Apache Iceberg 是一种适用于超大型分析数据集的开放表格式。 | 
| jupyterhub | 1.4.1 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.7.1-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mxnet | 1.9.1 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mariadb-server | 5.5.68\$1 | MariaDB 数据库服务器。 | 
| nvidia-cuda | 11.7.0 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.2.1 | Oozie 命令行客户端。 | 
| oozie-server | 5.2.1 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 4.5.0 | 开源计算机视觉库。 | 
| phoenix-library | 5.1.2 | 服务器和客户端的 phoenix 库 | 
| phoenix-connectors | 5.1.2 | Apache Phoenix-Connectors for Spark-3 | 
| phoenix-query-server | 5.1.2 | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.273.3-amzn-0 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.273.3-amzn-0 | 用于执行查询的各个部分的服务。 | 
| presto-client | 0.273.3-amzn-0 | Presto 命令行客户端，安装在 HA 集群的备用主节点（未启动 Presto 服务器）上。 | 
| trino-coordinator | 388-amzn-0 | 用于在 trino-worker 之中接受查询并管理查询的服务。 | 
| trino-worker | 388-amzn-0 | 用于执行查询的各个部分的服务。 | 
| trino-client | 388-amzn-0 | Trino 命令行客户端，安装在 HA 集群的备用主服务器（未启动 Trino 服务器）上。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 4.0.2 | 用于统计计算的 R 项目 | 
| ranger-kms-server | 2.0.0 | Apache Ranger 密钥管理系统 | 
| spark-client | 3.3.0-amzn-0.1 | Spark 命令行客户端。 | 
| spark-history-server | 3.3.0-amzn-0.1 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 3.3.0-amzn-0.1 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 3.3.0-amzn-0.1 | YARN 从属项所需的 Apache Spark 库。 | 
| spark-rapids | 22.06.0-amzn-0 | Nvidia Spark RAPIDS 插件可以加速 Apache Spark GPUs | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 2.9.1 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.9.2 | tez YARN 应用程序和库。 | 
| webserver | 2.4.41\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.10.1 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.5.10 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.5.10 | ZooKeeper 命令行客户端。 | 

## 6.8.1 配置分类
<a name="emr-681-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。

为处于运行状态的集群中的实例组指定配置时，将发生重新配置操作。Amazon EMR 仅为您修改的分类启动重新配置操作。有关更多信息，请参阅 [在正在运行的集群中重新配置实例组](emr-configure-apps-running-cluster.md)。


**emr-6.8.1 分类**  

| 分类 | 说明 | 重新配置操作 | 
| --- | --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | Restarts the ResourceManager service. | 
| container-executor | 更改 Hadoop YARN 的 container-executor.cfg 文件中的值。 | Not available. | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | Not available. | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | 更改 docker 相关设置。 | Not available. | 
| emrfs-site | 更改 EMRFS 设置。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | 更改 flink-conf.yaml 设置。 | Restarts Flink history server. | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | Restarts Flink history server. | 
| flink-log4j-session | 更改会话的 Flink log4j-session.properties Kubernetes/Yarn  | Restarts Flink history server. | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | Restarts Flink history server. | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | Not available. | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | Not available. | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | 更改环境 HBase中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | Not available. | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | This classification should not be reconfigured. | 
| hdfs-env | 更改 HDFS 环境中的值。 | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | 更改环境 HCatalog中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | Restarts Hive WebHCat server. | 
| hive | 适用于 Apache Hive 的 Amazon EMR 辅助设置。 | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | Not available. | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | Not available. | 
| hive-env | 更改 Hive 环境中的值。 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | Not available. | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | Not available. | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | Not available. | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | Not available. | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | Restarts Hadoop Httpfs service. | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | Not available. | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | Not available. | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | 更改 Hudi 环境中的值。 | Not available. | 
| hudi-defaults | 更改 Hudi 的 hudi-defaults.conf 文件中的值。 | Not available. | 
| iceberg-defaults | 更改 Iceberg 的 iceberg-defaults.conf 文件中的值。 | Not available. | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | Not available. | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | Not available. | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | Not available. | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | Not available. | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | Restarts Livy Server. | 
| livy-env | 更改 Livy 环境中的值。 | Restarts Livy Server. | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | Restarts Livy Server. | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | 更改 Oozie 的环境中的值。 | Restarts Oozie. | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | Restarts Oozie. | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | Restarts Oozie. | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | Not available. | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | Not available. | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | Not available. | 
| pig-env | 更改 Pig 环境中的值。 | Not available. | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | Restarts Oozie. | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | Not available. | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | Not available. | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | Not available. | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | Not available. | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | Not available. | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | Not available. | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | Not available. | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | Not available. | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | Not available. | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | Not available. | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | Not available. | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | Not available. | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | Not available. | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | Not available. | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | Not available. | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | Not available. | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | Not available. | 
| trino-log | 更改 Trino 的 log.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-config | 更改 Trino 的 config.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-password-authenticator | 更改 Trino 的 password-authenticator.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-env | 更改 Trino 的 trino-env.sh 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-node | 更改 Trino 的 node.properties 文件中的值。 | Not available. | 
| trino-connector-blackhole | 更改 Trino 的 blackhole.properties 文件中的值。 | Not available. | 
| trino-connector-cassandra | 更改 Trino 的 cassandra.properties 文件中的值。 | Not available. | 
| trino-connector-hive | 更改 Trino 的 hive.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-connector-iceberg | 更改 Trino 的 iceberg.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-connector-jmx | 更改 Trino 的 jmx.properties 文件中的值。 | Not available. | 
| trino-connector-kafka | 更改 Trino 的 kafka.properties 文件中的值。 | Not available. | 
| trino-connector-localfile | 更改 Trino 的 localfile.properties 文件中的值。 | Not available. | 
| trino-connector-memory | 更改 Trino 的 memory.properties 文件中的值。 | Not available. | 
| trino-connector-mongodb | 更改 Trino 的 mongodb.properties 文件中的值。 | Not available. | 
| trino-connector-mysql | 更改 Trino 的 mysql.properties 文件中的值。 | Not available. | 
| trino-connector-postgresql | 更改 Trino 的 postgresql.properties 文件中的值。 | Not available. | 
| trino-connector-raptor | 更改 Trino 的 raptor.properties 文件中的值。 | Not available. | 
| trino-connector-redis | 更改 Trino 的 redis.properties 文件中的值。 | Not available. | 
| trino-connector-redshift | 更改 Trino 的 redshift.properties 文件中的值。 | Not available. | 
| trino-connector-tpch | 更改 Trino 的 tpch.properties 文件中的值。 | Not available. | 
| trino-connector-tpcds | 更改 Trino 的 tpcds.properties 文件中的值。 | Not available. | 
| ranger-kms-dbks-site | 更改 Ranger KMS 的 dbks-site.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-site | 更改 Ranger K ranger-kms-site MS 的.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-env | 更改 Ranger KMS 环境中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-log4j | 更改 Ranger KMS 的 kms-log4j.properties 文件中的值。 | Not available. | 
| ranger-kms-db-ca | 更改 S3 上用于与 Ranger KMS 进行 MySQL SSL 连接的 CA 文件的值。 | Not available. | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | This property modifies spark-defaults. See actions there. | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-env | 更改 Spark 环境中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | Not available. | 
| spark-log4j2 | 更改 Spark 的 log4j2.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | Not available. | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | Not available. | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | Not available. | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | Restart Oozie and HiveServer2. | 
| yarn-env | 更改 YARN 环境中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | Restarts Zeppelin. | 
| zeppelin-site | 更改 zeppelin-site.xml 中的配置设置。 | Restarts Zeppelin. | 
| zookeeper-config | 更改 zoo.cfg 文件 ZooKeeper中的值。 | Restarts Zookeeper server. | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | Restarts Zookeeper server. | 

## 6.8.1 更改日志
<a name="681-changelog"></a>


**发行版 6.8.1 的更改日志和发布说明**  

| 日期 | 事件 | 说明 | 
| --- | --- | --- | 
| 2023-08-30 | 更新发行说明 | 在发行说明中添加了几个与控制面板相关的修复 | 
| 2023-08-21 | 文档发布 | Amazon EMR 6.8.1 发布说明首次发布 | 
| 2023-08-16 | 部署完成 | Amazon EMR 6.8.1 已全面部署到所有[支持的区域](https://aws.amazon.com/about-aws/global-infrastructure/regional-product-services/) | 
| 2023-08-04 | 初始版本 | Amazon EMR 6.8.1 首次面向部分商业区域部署 | 

# Amazon EMR 发行版 6.8.0
<a name="emr-680-release"></a>

## 6.8.0 应用程序版本
<a name="emr-680-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://iceberg.apache.org/](https://iceberg.apache.org/)、[https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://trino.io/](https://trino.io/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-6.8.0 | emr-6.7.0 | emr-6.6.0 | emr-6.5.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.12.170 | 1.12.170 | 1.12.170 | 1.12.31 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.12.15 | 2.12.15 | 2.12.10 | 2.12.10 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.15.1 | 1.14.2 | 1.14.2 | 1.14.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.4.12-amzn-0 | 2.4.4-amzn-3 | 2.4.4-amzn-2 | 2.4.4-amzn-1 | 
| HCatalog | 3.1.3-amzn-1 | 3.1.3-amzn-0 | 3.1.2-amzn-7 | 3.1.2-amzn-6 | 
| Hadoop | 3.2.1-amzn-8 | 3.2.1-amzn-7 | 3.2.1-amzn-6 | 3.2.1-amzn-5 | 
| Hive | 3.1.3-amzn-1 | 3.1.3-amzn-0 | 3.1.2-amzn-7 | 3.1.2-amzn-6 | 
| Hudi | 0.11.1-amzn-0 | 0.11.0-amzn-0 | 0.10.1-amzn-0 | 0.9.0-amzn-1 | 
| Hue | 4.10.0 | 4.10.0 | 4.10.0 | 4.9.0 | 
| Iceberg | 0.14.0-amzn-0 | 0.13.1-amzn-0 | 0.13.1 | 0.12.0 | 
| JupyterEnterpriseGateway | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 
| JupyterHub | 1.4.1 | 1.4.1 | 1.4.1 | 1.4.1 | 
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 
| MXNet | 1.9.1 | 1.8.0 | 1.8.0 | 1.8.0 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 
| Phoenix | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.273.3-amzn-0 | 0.272-amzn-0 | 0.267-amzn-0 | 0.261-amzn-0 | 
| Spark | 3.3.0-amzn-0 | 3.2.1-amzn-0 | 3.2.0-amzn-0 | 3.1.2-amzn-1 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.9.1 | 2.4.1 | 2.4.1 | 2.4.1 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) | 388-amzn-0 | 378-amzn-0 | 367-amzn-0 | 360 | 
| Zeppelin | 0.10.1 | 0.10.0 | 0.10.0 | 0.10.0 | 
| ZooKeeper | 3.5.10 | 3.5.7 | 3.5.7 | 3.5.7 | 

## 6.8.0 发布说明
<a name="emr-680-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 6.8.0 的信息。更改与 6.7.0 有关。

**新功能**
+ 亚马逊 EMR 步骤功能现在支持 Apache Livy 终端节点和客户端。 JDBC/ODBC 有关更多信息，请参阅[为 Amazon EMR 步骤配置运行时角色](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-steps-runtime-roles.html)。
+ 亚马逊 EMR 版本 6.8.0 附带 Apache 版本 2.4.12。 HBase 在此 HBase 版本中，您可以存档和删除 HBase 表。Amazon S3 存档过程会将所有表文件重命名为存档目录。这一过程成本高昂且时间较长。现在，您可以跳过存档过程，快速删除大型表。有关更多信息，请参阅 [使用外 HBase 壳](emr-hbase-connect.md)。

**已知问题**
+ Hadoop 3.3.3 在 YARN（[YARN-9608](https://issues.apache.org/jira/browse/YARN-9608)）中引入了一项更改，即在应用程序完成之前，容器运行所在的节点一直处于停用状态。此更改可确保如随机数据等本地数据不会丢失，并且您无需重新运行作业。在 Amazon EMR 6.8.0 和 6.9.0 中，无论是否启用托管扩展，这种方法还可能导致集群的资源利用不足。

  在 [Amazon EMR 6.10.0](emr-6100-release.md#emr-6100-relnotes) 中，有一个解决此问题的方法，可以在 `yarn-site.xml` 中将 `yarn.resourcemanager.decommissioning-nodes-watcher.wait-for-applications` 的值设置为 `false`。在 Amazon EMR 版本 6.11.0 及更高版本以及 6.8.1、6.9.1 和 6.10.1 中，默认将配置设置为 `false` 以解决此问题。

**更改、增强和解决的问题**
+ 当 Amazon EMR 发行版 6.5.0、6.6.0 或 6.7.0 通过 Apache Spark Shell 读取 Apache Phoenix 表时，Amazon EMR 会生成 `NoSuchMethodError`。Amazon EMR 发行版 6.8.0 修复了此问题。
+ Amazon EMR 发行版 6.8.0 随附 [Apache Hudi](https://hudi.apache.org/) 0.11.1；但是，Amazon EMR 6.8.0 集群也与 Hudi 0.12.0 中的开源 `hudi-spark3.3-bundle_2.12` 兼容。
+ Amazon EMR 发行版 6.8.0 随附 Apache Spar 3.3.0。此 Spark 发行版使用 Apache Log4j 2 和 `log4j2.properties` 文件，在 Spark 进程中配置 Log4j。如果您在集群中使用 Spark 或使用自定义配置参数创建 EMR 集群，并且希望升级到 Amazon EMR 发行版 6.8.0，则必须迁移到新的 `spark-log4j2` 配置分类和 Apache Log4j 2 的密钥格式。有关更多信息，请参阅 [从 Apache Log4j 1.x 迁移到 Log4j 2.x](emr-spark-configure.md#spark-migrate-logj42)。
+ 当您使用 Amazon EMR 5.36 或更高版本、6.6 或更高版本或 7.0 或更高版本的*最新补丁版本*启动集群时，Amazon EMR 会使用最新的 Amazon Linux 2023 或 Amazon Linux 2 发行版作为默认 Amazon EMR AMI。如需更多信息，请参阅 [Using the default Amazon Linux AMI for Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html)。
**注意**  
此版本不再获得 AMI 自动更新，因为它已被另外 1 个补丁版本取代。补丁版本以第二位小数点后的数字 (`6.8.1`) 表示。要查看您是否使用的是最新补丁版本，请查看《[https://docs.aws.amazon.com/emr/latest/ReleaseGuide](https://docs.aws.amazon.com/emr/latest/ReleaseGuide)》中的可用版本，或者在控制台中创建集群时查看 **Amazon EMR 版本**下拉列表，或使用 [https://docs.aws.amazon.com/emr/latest/APIReference/API_ListReleaseLabels.html](https://docs.aws.amazon.com/emr/latest/APIReference/API_ListReleaseLabels.html) API 或 [https://docs.aws.amazon.com/cli/latest/reference/emr/list-release-labels.html](https://docs.aws.amazon.com/cli/latest/reference/emr/list-release-labels.html) CLI 操作。要获取有关新版本的更新，请订阅[新增功能](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html)页面上的 RSS 源。    
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_cn/emr/latest/ReleaseGuide/emr-680-release.html)

**已知问题**
+ 在 Amazon EMR 版本 6.6.0、6.7.0 和 6.8.0 上将 DynamoDB 连接器与 Spark 结合使用时，即使输入拆分引用了非空数据，表中的所有读取都会返回空结果。这是因为 Spark 3.2.0 将 `spark.hadoopRDD.ignoreEmptySplits` 默认设置为 `true`。解决方法是将 `spark.hadoopRDD.ignoreEmptySplits` 显式设置为 `false`。Amazon EMR 发行版 6.9.0 修复了此问题。
+ 当您将 Spark 与 Hive 分区位置格式化结合使用以读取 Amazon S3 中的数据，并在 Amazon EMR 版本 5.30.0 至 5.36.0 以及 6.2.0 至 6.9.0 上运行 Spark 时，可能会遇到导致集群无法正确读取数据的问题。如果您的分区具有以下所有特征，会发生这种情况：
  + 从同一个表扫描两个或多个分区。
  + 至少有一个分区目录路径是至少一个其他分区目录路径的前缀，例如，`s3://bucket/table/p=a` 是 `s3://bucket/table/p=a b` 的前缀。
  + 另一个分区目录中前缀后面的第一个字符的 UTF-8 值小于 `/` 字符 (U\$1002F)。例如，在 `s3://bucket/table/p=a b` 中，a 和 b 之间出现的空格字符 (U\$10020) 就属于此类。请注意，还有其他 14 个非控制字符：`!"#$%&‘()*+,-`。有关更多信息，请参阅 [UTF-8 encoding table and Unicode characters](https://www.utf8-chartable.de/)（UTF-8 编码表和 Unicode 字符）。

  解决方法是在 `spark-defaults` 分类中将 `spark.sql.sources.fastS3PartitionDiscovery.enabled` 配置设置为 `false`。
+ 在 Amazon EMR 发行版 5.36.0 和 6.6.0 到 6.9.0 中，`SecretAgent` 和 `RecordServer` 服务组件可能会因为 Log4j2 属性中的文件名模式配置不正确而出现日志数据丢失的情况。错误的配置导致组件每天只生成一个日志文件。当应用轮换策略时，它会重写现有文件，而不是按预期生成新的日志文件。应变方法是使用引导操作每小时生成一次日志文件，并在文件名中附加一个自动增量的整数来处理轮换。

  对于 Amazon EMR 发行版 6.6.0 到 6.9.0，启动集群时，请执行以下引导操作。

  ```
  ‑‑bootstrap‑actions "Path=s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/log-rotation-emr-6x/replace-puppet.sh,Args=[]"
  ```

  对于 Amazon EMR 发行版 5.36.0，启动集群时，请执行以下引导操作。

  ```
  ‑‑bootstrap‑actions "Path=s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/log-rotation-emr-5x/replace-puppet.sh,Args=[]"
  ```

有关发布时间表的更多信息，请参阅[更改日志](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-680-release.html#680-changelog)。

## 6.8.0 组件版本
<a name="emr-680-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.2 | 亚马逊 SageMaker Spark 软件开发工具包 | 
| emr-ddb | 4.16.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 3.2.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.5.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-notebook-env | 1.7.0 | 适用于 EMR Notebooks（可提供 jupyter 企业网关）的 Conda env | 
| emr-s3-dist-cp | 2.22.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 2.1.0 | EMR S3 Select 连接器 | 
| emrfs | 2.53.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.15.1 | Apache Flink 命令行客户端脚本和应用程序。 | 
| flink-jobmanager-config | 1.15.1 | 在 EMR 节点上管理 Apache Flink 的资源。 JobManager | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 3.2.1-amzn-8 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 3.2.1-amzn-8 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 3.2.1-amzn-8 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 3.2.1-amzn-8 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-hdfs-journalnode | 3.2.1-amzn-8 | 用于管理 HA 集群上的 Hadoop 文件系统日志的 HDFS 服务。 | 
| hadoop-httpfs-server | 3.2.1-amzn-8 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 3.2.1-amzn-8 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 3.2.1-amzn-8 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 3.2.1-amzn-8 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 3.2.1-amzn-8 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 3.2.1-amzn-8 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 2.4.12-amzn-0 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 2.4.12-amzn-0 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 2.4.12-amzn-0 | HBase 命令行客户端。 | 
| hbase-rest-server | 2.4.12-amzn-0 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 2.4.12-amzn-0 | 为其提供 Thrift 端点的 HBase服务。 | 
| hbase-operator-tools | 2.4.12-amzn-0 | 适用于 Apache HBase 集群的修复工具。 | 
| hcatalog-client | 3.1.3-amzn-1 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 3.1.3-amzn-1 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 3.1.3-amzn-1 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 3.1.3-amzn-1 | Hive 命令行客户端。 | 
| hive-hbase | 3.1.3-amzn-1 | Hive-hbase 客户端。 | 
| hive-metastore-server | 3.1.3-amzn-1 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 3.1.3-amzn-1 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hudi | 0.11.1-amzn-0 | 增量处理框架，以支持低延迟和高效率的数据管道。 | 
| hudi-presto | 0.11.1-amzn-0 | 用于运行 Presto 以及 Hudl 的捆绑库。 | 
| hudi-trino | 0.11.1-amzn-0 | 用于运行 Trino 以及 Hudi 的捆绑库。 | 
| hudi-spark | 0.11.1-amzn-0 | 用于运行 Spark 以及 Hudi 的捆绑库。 | 
| hue-server | 4.10.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| iceberg | 0.14.0-amzn-0 | Apache Iceberg 是一种适用于超大型分析数据集的开放表格式。 | 
| jupyterhub | 1.4.1 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.7.1-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mxnet | 1.9.1 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mariadb-server | 5.5.68\$1 | MariaDB 数据库服务器。 | 
| nvidia-cuda | 11.7.0 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.2.1 | Oozie 命令行客户端。 | 
| oozie-server | 5.2.1 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 4.5.0 | 开源计算机视觉库。 | 
| phoenix-library | 5.1.2 | 服务器和客户端的 phoenix 库 | 
| phoenix-connectors | 5.1.2 | Apache Phoenix-Connectors for Spark-3 | 
| phoenix-query-server | 5.1.2 | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.273.3-amzn-0 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.273.3-amzn-0 | 用于执行查询的各个部分的服务。 | 
| presto-client | 0.273.3-amzn-0 | Presto 命令行客户端，安装在 HA 集群的备用主节点（未启动 Presto 服务器）上。 | 
| trino-coordinator | 388-amzn-0 | 用于在 trino-worker 之中接受查询并管理查询的服务。 | 
| trino-worker | 388-amzn-0 | 用于执行查询的各个部分的服务。 | 
| trino-client | 388-amzn-0 | Trino 命令行客户端，安装在 HA 集群的备用主服务器（未启动 Trino 服务器）上。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 4.0.2 | 用于统计计算的 R 项目 | 
| ranger-kms-server | 2.0.0 | Apache Ranger 密钥管理系统 | 
| spark-client | 3.3.0-amzn-0 | Spark 命令行客户端。 | 
| spark-history-server | 3.3.0-amzn-0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 3.3.0-amzn-0 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 3.3.0-amzn-0 | YARN 从属项所需的 Apache Spark 库。 | 
| spark-rapids | 22.06.0-amzn-0 | Nvidia Spark RAPIDS 插件可以加速 Apache Spark GPUs | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 2.9.1 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.9.2 | tez YARN 应用程序和库。 | 
| webserver | 2.4.41\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.10.1 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.5.10 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.5.10 | ZooKeeper 命令行客户端。 | 

## 6.8.0 配置分类
<a name="emr-680-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。

为处于运行状态的集群中的实例组指定配置时，将发生重新配置操作。Amazon EMR 仅为您修改的分类启动重新配置操作。有关更多信息，请参阅 [在正在运行的集群中重新配置实例组](emr-configure-apps-running-cluster.md)。


**emr-6.8.0 分类**  

| 分类 | 说明 | 重新配置操作 | 
| --- | --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | Restarts the ResourceManager service. | 
| container-executor | 更改 Hadoop YARN 的 container-executor.cfg 文件中的值。 | Not available. | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | Not available. | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | 更改 docker 相关设置。 | Not available. | 
| emrfs-site | 更改 EMRFS 设置。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | 更改 flink-conf.yaml 设置。 | Restarts Flink history server. | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | Restarts Flink history server. | 
| flink-log4j-session | 更改会话的 Flink log4j-session.properties Kubernetes/Yarn  | Restarts Flink history server. | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | Restarts Flink history server. | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | Not available. | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | Not available. | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | 更改环境 HBase中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | Not available. | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | This classification should not be reconfigured. | 
| hdfs-env | 更改 HDFS 环境中的值。 | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | 更改环境 HCatalog中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | Restarts Hive WebHCat server. | 
| hive | 适用于 Apache Hive 的 Amazon EMR 辅助设置。 | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | Not available. | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | Not available. | 
| hive-env | 更改 Hive 环境中的值。 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | Not available. | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | Not available. | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | Not available. | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | Not available. | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | Restarts Hadoop Httpfs service. | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | Not available. | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | Not available. | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | 更改 Hudi 环境中的值。 | Not available. | 
| hudi-defaults | 更改 Hudi 的 hudi-defaults.conf 文件中的值。 | Not available. | 
| iceberg-defaults | 更改 Iceberg 的 iceberg-defaults.conf 文件中的值。 | Not available. | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | Not available. | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | Not available. | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | Not available. | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | Not available. | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | Restarts Livy Server. | 
| livy-env | 更改 Livy 环境中的值。 | Restarts Livy Server. | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | Restarts Livy Server. | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | 更改 Oozie 的环境中的值。 | Restarts Oozie. | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | Restarts Oozie. | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | Restarts Oozie. | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | Not available. | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | Not available. | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | Not available. | 
| pig-env | 更改 Pig 环境中的值。 | Not available. | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | Restarts Oozie. | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | Not available. | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | Not available. | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | Not available. | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | Not available. | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | Not available. | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | Not available. | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | Not available. | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | Not available. | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | Not available. | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | Not available. | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | Not available. | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | Not available. | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | Not available. | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | Not available. | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | Not available. | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | Not available. | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | Not available. | 
| trino-log | 更改 Trino 的 log.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-config | 更改 Trino 的 config.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-password-authenticator | 更改 Trino 的 password-authenticator.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-env | 更改 Trino 的 trino-env.sh 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-node | 更改 Trino 的 node.properties 文件中的值。 | Not available. | 
| trino-connector-blackhole | 更改 Trino 的 blackhole.properties 文件中的值。 | Not available. | 
| trino-connector-cassandra | 更改 Trino 的 cassandra.properties 文件中的值。 | Not available. | 
| trino-connector-hive | 更改 Trino 的 hive.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-connector-iceberg | 更改 Trino 的 iceberg.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-connector-jmx | 更改 Trino 的 jmx.properties 文件中的值。 | Not available. | 
| trino-connector-kafka | 更改 Trino 的 kafka.properties 文件中的值。 | Not available. | 
| trino-connector-localfile | 更改 Trino 的 localfile.properties 文件中的值。 | Not available. | 
| trino-connector-memory | 更改 Trino 的 memory.properties 文件中的值。 | Not available. | 
| trino-connector-mongodb | 更改 Trino 的 mongodb.properties 文件中的值。 | Not available. | 
| trino-connector-mysql | 更改 Trino 的 mysql.properties 文件中的值。 | Not available. | 
| trino-connector-postgresql | 更改 Trino 的 postgresql.properties 文件中的值。 | Not available. | 
| trino-connector-raptor | 更改 Trino 的 raptor.properties 文件中的值。 | Not available. | 
| trino-connector-redis | 更改 Trino 的 redis.properties 文件中的值。 | Not available. | 
| trino-connector-redshift | 更改 Trino 的 redshift.properties 文件中的值。 | Not available. | 
| trino-connector-tpch | 更改 Trino 的 tpch.properties 文件中的值。 | Not available. | 
| trino-connector-tpcds | 更改 Trino 的 tpcds.properties 文件中的值。 | Not available. | 
| ranger-kms-dbks-site | 更改 Ranger KMS 的 dbks-site.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-site | 更改 Ranger K ranger-kms-site MS 的.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-env | 更改 Ranger KMS 环境中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-log4j | 更改 Ranger KMS 的 kms-log4j.properties 文件中的值。 | Not available. | 
| ranger-kms-db-ca | 更改 S3 上用于与 Ranger KMS 进行 MySQL SSL 连接的 CA 文件的值。 | Not available. | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | This property modifies spark-defaults. See actions there. | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-env | 更改 Spark 环境中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | Not available. | 
| spark-log4j2 | 更改 Spark 的 log4j2.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | Not available. | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | Not available. | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | Not available. | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | Restart Oozie and HiveServer2. | 
| yarn-env | 更改 YARN 环境中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | Restarts Zeppelin. | 
| zeppelin-site | 更改 zeppelin-site.xml 中的配置设置。 | Restarts Zeppelin. | 
| zookeeper-config | 更改 ZooKeeper的 zoo.cfg 文件中的值。 | Restarts Zookeeper server. | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | Restarts Zookeeper server. | 

## 6.8.0 更改日志
<a name="680-changelog"></a>


**发行版 6.8.0 的更改日志和发布说明**  

| 日期 | 事件 | 说明 | 
| --- | --- | --- | 
| 2023-08-21 | 更新 | 在 Hadoop 3.3.3 中添加了一个已知问题。 | 
| 2023-07-26 | 更新 | 新的操作系统版本标签 2.0.20230612.0 和 2.0.20230628.0。 | 
| 2022-09-06 | 部署完成 | Amazon EMR 6.8 已全面部署到所有[支持的区域](https://aws.amazon.com/about-aws/global-infrastructure/regional-product-services/) | 
| 2022-09-06 | 初次发布 | Amazon EMR 6.8 发布说明首次发布 | 
| 2022-08-31 | 初始版本 | Amazon EMR 6.8 面向部分商业区域发布 | 

# Amazon EMR 发行版 6.7.0
<a name="emr-670-release"></a>

## 6.7.0 应用程序版本
<a name="emr-670-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://iceberg.apache.org/](https://iceberg.apache.org/)、[https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://trino.io/](https://trino.io/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-6.7.0 | emr-6.6.0 | emr-6.5.0 | emr-6.4.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.12.170 | 1.12.170 | 1.12.31 | 1.12.31 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.12.15 | 2.12.10 | 2.12.10 | 2.12.10 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.14.2 | 1.14.2 | 1.14.0 | 1.13.1 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.4.4-amzn-3 | 2.4.4-amzn-2 | 2.4.4-amzn-1 | 2.4.4-amzn-0 | 
| HCatalog | 3.1.3-amzn-0 | 3.1.2-amzn-7 | 3.1.2-amzn-6 | 3.1.2-amzn-5 | 
| Hadoop | 3.2.1-amzn-7 | 3.2.1-amzn-6 | 3.2.1-amzn-5 | 3.2.1-amzn-4 | 
| Hive | 3.1.3-amzn-0 | 3.1.2-amzn-7 | 3.1.2-amzn-6 | 3.1.2-amzn-5 | 
| Hudi | 0.11.0-amzn-0 | 0.10.1-amzn-0 | 0.9.0-amzn-1 | 0.8.0-amzn-0 | 
| Hue | 4.10.0 | 4.10.0 | 4.9.0 | 4.9.0 | 
| Iceberg | 0.13.1-amzn-0 | 0.13.1 | 0.12.0 |  -  | 
| JupyterEnterpriseGateway | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 
| JupyterHub | 1.4.1 | 1.4.1 | 1.4.1 | 1.4.1 | 
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 
| MXNet | 1.8.0 | 1.8.0 | 1.8.0 | 1.8.0 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 
| Phoenix | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.272-amzn-0 | 0.267-amzn-0 | 0.261-amzn-0 | 0.254.1-amzn-0 | 
| Spark | 3.2.1-amzn-0 | 3.2.0-amzn-0 | 3.1.2-amzn-1 | 3.1.2-amzn-0 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.4.1 | 2.4.1 | 2.4.1 | 2.4.1 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) | 378-amzn-0 | 367-amzn-0 | 360 | 359 | 
| Zeppelin | 0.10.0 | 0.10.0 | 0.10.0 | 0.9.0 | 
| ZooKeeper | 3.5.7 | 3.5.7 | 3.5.7 | 3.5.7 | 

## 6.7.0 发布说明
<a name="emr-670-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 6.7.0 的信息。更改与 6.6.0 有关。

首次发布日期：2022 年 7 月 15 日

**新功能**
+ Amazon EMR 现在支持 Apache Spark 3.2.1、Apache Hive 3.1.3、HUDI 0.11、PrestoDB 0.272 和 Trino 0.378。
+ 通过 EMR 步骤（Spark、Hive）支持 EC2 集群上的 Amazon EMR 基于 IAM 角色和 Lake Formation 的访问控制。
+ 在启用 Apache Ranger 的集群上支持 Apache Spark 数据定义语句。现在，这包括支持 Trino 应用程序在启用 Apache Ranger 的集群上读取和写入 Apache Hive 元数据。有关更多信息，请参阅[在 Amazon EMR 上使用 Trino 和 Apache Ranger 启用联合治理](https://aws.amazon.com/blogs/big-data/enable-federated-governance-using-trino-and-apache-ranger-on-amazon-emr/)。
+ 当您使用 Amazon EMR 5.36 或更高版本、6.6 或更高版本或 7.0 或更高版本的*最新补丁版本*启动集群时，Amazon EMR 会使用最新的 Amazon Linux 2023 或 Amazon Linux 2 发行版作为默认 Amazon EMR AMI。如需更多信息，请参阅 [Using the default Amazon Linux AMI for Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html)。    
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_cn/emr/latest/ReleaseGuide/emr-670-release.html)

**已知问题**
+ 当 Amazon EMR 版本 6.5.0、6.6.0 或 6.7.0 通过 Apache Spark shell 读取 Apache Phoenix 表时，会出现 `NoSuchMethodError`，因为 Amazon EMR 使用了不正确的 `Hbase.compat.version`。Amazon EMR 发行版 6.8.0 修复了此问题。
+ 在 Amazon EMR 版本 6.6.0、6.7.0 和 6.8.0 上将 DynamoDB 连接器与 Spark 结合使用时，即使输入拆分引用了非空数据，表中的所有读取都会返回空结果。这是因为 Spark 3.2.0 将 `spark.hadoopRDD.ignoreEmptySplits` 默认设置为 `true`。解决方法是将 `spark.hadoopRDD.ignoreEmptySplits` 显式设置为 `false`。Amazon EMR 发行版 6.9.0 修复了此问题。
+ 当您将 Spark 与 Hive 分区位置格式化结合使用以读取 Amazon S3 中的数据，并在 Amazon EMR 版本 5.30.0 至 5.36.0 以及 6.2.0 至 6.9.0 上运行 Spark 时，可能会遇到导致集群无法正确读取数据的问题。如果您的分区具有以下所有特征，会发生这种情况：
  + 从同一个表扫描两个或多个分区。
  + 至少有一个分区目录路径是至少一个其他分区目录路径的前缀，例如，`s3://bucket/table/p=a` 是 `s3://bucket/table/p=a b` 的前缀。
  + 另一个分区目录中前缀后面的第一个字符的 UTF-8 值小于 `/` 字符 (U\$1002F)。例如，在 `s3://bucket/table/p=a b` 中，a 和 b 之间出现的空格字符 (U\$10020) 就属于此类。请注意，还有其他 14 个非控制字符：`!"#$%&‘()*+,-`。有关更多信息，请参阅 [UTF-8 encoding table and Unicode characters](https://www.utf8-chartable.de/)（UTF-8 编码表和 Unicode 字符）。

  解决方法是在 `spark-defaults` 分类中将 `spark.sql.sources.fastS3PartitionDiscovery.enabled` 配置设置为 `false`。
+ 在 Amazon EMR 发行版 5.36.0 和 6.6.0 到 6.9.0 中，`SecretAgent` 和 `RecordServer` 服务组件可能会因为 Log4j2 属性中的文件名模式配置不正确而出现日志数据丢失的情况。错误的配置导致组件每天只生成一个日志文件。当应用轮换策略时，它会重写现有文件，而不是按预期生成新的日志文件。应变方法是使用引导操作每小时生成一次日志文件，并在文件名中附加一个自动增量的整数来处理轮换。

  对于 Amazon EMR 发行版 6.6.0 到 6.9.0，启动集群时，请执行以下引导操作。

  ```
  ‑‑bootstrap‑actions "Path=s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/log-rotation-emr-6x/replace-puppet.sh,Args=[]"
  ```

  对于 Amazon EMR 发行版 5.36.0，启动集群时，请执行以下引导操作。

  ```
  ‑‑bootstrap‑actions "Path=s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/log-rotation-emr-5x/replace-puppet.sh,Args=[]"
  ```
+ 在 Amazon EMR 6.7 或更低版本上运行的集群不支持 `GetClusterSessionCredentials` API。
+ 以下 Hadoop 提交已向后移植。

  -[[HADOOP-16080]](https://issues.apache.org/jira/browse/HADOOP-16080) 修复了 `hadoop-aws` 无法使用 `hadoop-client-api` 的问题。

  - [[HADOOP-18237]](https://issues.apache.org/jira/browse/HADOOP-18237) 将 Apache Xerces Java 升级到 2.12.2。

  - [[YARN-11092]](https://issues.apache.org/jira/browse/YARN-11092) 将 jquery ui 升级到到 1.13.1。

  -[[YARN-10720]](https://issues.apache.org/jira/browse/YARN-10720) YARN WebAppProxyServlet 应支持连接超时以防止代理服务器挂起。

## 6.7.0 组件版本
<a name="emr-670-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.1 | 亚马逊 SageMaker Spark 软件开发工具包 | 
| emr-ddb | 4.16.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 3.2.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.5.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-notebook-env | 1.6.0 | 适用于 EMR Notebooks（可提供 jupyter 企业网关）的 Conda env | 
| emr-s3-dist-cp | 2.22.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 2.1.0 | EMR S3 Select 连接器 | 
| emrfs | 2.52.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.14.2 | Apache Flink 命令行客户端脚本和应用程序。 | 
| flink-jobmanager-config | 1.14.2 | 在 EMR 节点上管理 Apache Flink 的资源。 JobManager | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 3.2.1-amzn-7 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 3.2.1-amzn-7 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 3.2.1-amzn-7 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 3.2.1-amzn-7 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-hdfs-journalnode | 3.2.1-amzn-7 | 用于管理 HA 集群上的 Hadoop 文件系统日志的 HDFS 服务。 | 
| hadoop-httpfs-server | 3.2.1-amzn-7 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 3.2.1-amzn-7 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 3.2.1-amzn-7 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 3.2.1-amzn-7 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 3.2.1-amzn-7 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 3.2.1-amzn-7 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 2.4.4-amzn-3 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 2.4.4-amzn-3 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 2.4.4-amzn-3 | HBase 命令行客户端。 | 
| hbase-rest-server | 2.4.4-amzn-3 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 2.4.4-amzn-3 | 为其提供 Thrift 端点的 HBase服务。 | 
| hbase-operator-tools | 2.4.4-amzn-3 | 适用于 Apache HBase 集群的修复工具。 | 
| hcatalog-client | 3.1.3-amzn-0 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 3.1.3-amzn-0 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 3.1.3-amzn-0 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 3.1.3-amzn-0 | Hive 命令行客户端。 | 
| hive-hbase | 3.1.3-amzn-0 | Hive-hbase 客户端。 | 
| hive-metastore-server | 3.1.3-amzn-0 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 3.1.3-amzn-0 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hudi | 0.11.0-amzn-0 | 增量处理框架，以支持低延迟和高效率的数据管道。 | 
| hudi-presto | 0.11.0-amzn-0 | 用于运行 Presto 以及 Hudl 的捆绑库。 | 
| hudi-trino | 0.11.0-amzn-0 | 用于运行 Trino 以及 Hudi 的捆绑库。 | 
| hudi-spark | 0.11.0-amzn-0 | 用于运行 Spark 以及 Hudi 的捆绑库。 | 
| hue-server | 4.10.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| iceberg | 0.13.1-amzn-0 | Apache Iceberg 是一种适用于超大型分析数据集的开放表格式。 | 
| jupyterhub | 1.4.1 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.7.1-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mxnet | 1.8.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mariadb-server | 5.5.68\$1 | MariaDB 数据库服务器。 | 
| nvidia-cuda | 11.0.194 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.2.1 | Oozie 命令行客户端。 | 
| oozie-server | 5.2.1 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 4.5.0 | 开源计算机视觉库。 | 
| phoenix-library | 5.1.2 | 服务器和客户端的 phoenix 库 | 
| phoenix-connectors | 5.1.2 | Apache Phoenix-Connectors for Spark-3 | 
| phoenix-query-server | 5.1.2 | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.272-amzn-0 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.272-amzn-0 | 用于执行查询的各个部分的服务。 | 
| presto-client | 0.272-amzn-0 | Presto 命令行客户端，安装在 HA 集群的备用主节点（未启动 Presto 服务器）上。 | 
| trino-coordinator | 378-amzn-0 | 用于在 trino-worker 之中接受查询并管理查询的服务。 | 
| trino-worker | 378-amzn-0 | 用于执行查询的各个部分的服务。 | 
| trino-client | 378-amzn-0 | Trino 命令行客户端，安装在 HA 集群的备用主服务器（未启动 Trino 服务器）上。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 4.0.2 | 用于统计计算的 R 项目 | 
| ranger-kms-server | 2.0.0 | Apache Ranger 密钥管理系统 | 
| spark-client | 3.2.1-amzn-0 | Spark 命令行客户端。 | 
| spark-history-server | 3.2.1-amzn-0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 3.2.1-amzn-0 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 3.2.1-amzn-0 | YARN 从属项所需的 Apache Spark 库。 | 
| spark-rapids | 22.02.0-amzn-1 | Nvidia Spark RAPIDS 插件可以加速 Apache Spark GPUs | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 2.4.1 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.9.2 | tez YARN 应用程序和库。 | 
| webserver | 2.4.41\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.10.0 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.5.7 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.5.7 | ZooKeeper 命令行客户端。 | 

## 6.7.0 配置分类
<a name="emr-670-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。

为处于运行状态的集群中的实例组指定配置时，将发生重新配置操作。Amazon EMR 仅为您修改的分类启动重新配置操作。有关更多信息，请参阅 [在正在运行的集群中重新配置实例组](emr-configure-apps-running-cluster.md)。


**emr-6.7.0 分类**  

| 分类 | 说明 | 重新配置操作 | 
| --- | --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | Restarts the ResourceManager service. | 
| container-executor | 更改 Hadoop YARN 的 container-executor.cfg 文件中的值。 | Not available. | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | Not available. | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | 更改 docker 相关设置。 | Not available. | 
| emrfs-site | 更改 EMRFS 设置。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | 更改 flink-conf.yaml 设置。 | Restarts Flink history server. | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | Restarts Flink history server. | 
| flink-log4j-session | 更改会话的 Flink log4j-session.properties Kubernetes/Yarn  | Restarts Flink history server. | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | Restarts Flink history server. | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | Not available. | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | Not available. | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | 更改环境 HBase中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | Not available. | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | This classification should not be reconfigured. | 
| hdfs-env | 更改 HDFS 环境中的值。 | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | 更改环境 HCatalog中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | Restarts Hive WebHCat server. | 
| hive | 适用于 Apache Hive 的 Amazon EMR 辅助设置。 | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | Not available. | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | Not available. | 
| hive-env | 更改 Hive 环境中的值。 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | Not available. | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | Not available. | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | Not available. | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | Not available. | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | Restarts Hadoop Httpfs service. | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | Not available. | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | Not available. | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | 更改 Hudi 环境中的值。 | Not available. | 
| hudi-defaults | 更改 Hudi 的 hudi-defaults.conf 文件中的值。 | Not available. | 
| iceberg-defaults | 更改 Iceberg 的 iceberg-defaults.conf 文件中的值。 | Not available. | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | Not available. | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | Not available. | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | Not available. | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | Not available. | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | Restarts Livy Server. | 
| livy-env | 更改 Livy 环境中的值。 | Restarts Livy Server. | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | Restarts Livy Server. | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | 更改 Oozie 的环境中的值。 | Restarts Oozie. | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | Restarts Oozie. | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | Restarts Oozie. | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | Not available. | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | Not available. | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | Not available. | 
| pig-env | 更改 Pig 环境中的值。 | Not available. | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | Restarts Oozie. | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | Not available. | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | Not available. | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | Not available. | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | Not available. | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | Not available. | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | Not available. | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | Not available. | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | Not available. | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | Not available. | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | Not available. | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | Not available. | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | Not available. | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | Not available. | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | Not available. | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | Not available. | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | Not available. | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | Not available. | 
| trino-log | 更改 Trino 的 log.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-config | 更改 Trino 的 config.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-password-authenticator | 更改 Trino 的 password-authenticator.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-env | 更改 Trino 的 trino-env.sh 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-node | 更改 Trino 的 node.properties 文件中的值。 | Not available. | 
| trino-connector-blackhole | 更改 Trino 的 blackhole.properties 文件中的值。 | Not available. | 
| trino-connector-cassandra | 更改 Trino 的 cassandra.properties 文件中的值。 | Not available. | 
| trino-connector-hive | 更改 Trino 的 hive.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-connector-iceberg | 更改 Trino 的 iceberg.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-connector-jmx | 更改 Trino 的 jmx.properties 文件中的值。 | Not available. | 
| trino-connector-kafka | 更改 Trino 的 kafka.properties 文件中的值。 | Not available. | 
| trino-connector-localfile | 更改 Trino 的 localfile.properties 文件中的值。 | Not available. | 
| trino-connector-memory | 更改 Trino 的 memory.properties 文件中的值。 | Not available. | 
| trino-connector-mongodb | 更改 Trino 的 mongodb.properties 文件中的值。 | Not available. | 
| trino-connector-mysql | 更改 Trino 的 mysql.properties 文件中的值。 | Not available. | 
| trino-connector-postgresql | 更改 Trino 的 postgresql.properties 文件中的值。 | Not available. | 
| trino-connector-raptor | 更改 Trino 的 raptor.properties 文件中的值。 | Not available. | 
| trino-connector-redis | 更改 Trino 的 redis.properties 文件中的值。 | Not available. | 
| trino-connector-redshift | 更改 Trino 的 redshift.properties 文件中的值。 | Not available. | 
| trino-connector-tpch | 更改 Trino 的 tpch.properties 文件中的值。 | Not available. | 
| trino-connector-tpcds | 更改 Trino 的 tpcds.properties 文件中的值。 | Not available. | 
| ranger-kms-dbks-site | 更改 Ranger KMS 的 dbks-site.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-site | 更改 Ranger K ranger-kms-site MS 的.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-env | 更改 Ranger KMS 环境中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-log4j | 更改 Ranger KMS 的 kms-log4j.properties 文件中的值。 | Not available. | 
| ranger-kms-db-ca | 更改 S3 上用于与 Ranger KMS 进行 MySQL SSL 连接的 CA 文件的值。 | Not available. | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | This property modifies spark-defaults. See actions there. | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-env | 更改 Spark 环境中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | Not available. | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | Not available. | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | Not available. | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | Not available. | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | Restart Oozie and HiveServer2. | 
| yarn-env | 更改 YARN 环境中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | Restarts Zeppelin. | 
| zeppelin-site | 更改 zeppelin-site.xml 中的配置设置。 | Restarts Zeppelin. | 
| zookeeper-config | 更改 ZooKeeper的 zoo.cfg 文件中的值。 | Restarts Zookeeper server. | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | Restarts Zookeeper server. | 

# Amazon EMR 发行版 6.6.0
<a name="emr-660-release"></a>

## 6.6.0 应用程序版本
<a name="emr-660-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://iceberg.apache.org/](https://iceberg.apache.org/)、[https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://trino.io/](https://trino.io/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-6.6.0 | emr-6.5.0 | emr-6.4.0 | emr-6.3.1 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.12.170 | 1.12.31 | 1.12.31 | 1.11.977 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.12.10 | 2.12.10 | 2.12.10 | 2.12.10 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.14.2 | 1.14.0 | 1.13.1 | 1.12.1 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.4.4-amzn-2 | 2.4.4-amzn-1 | 2.4.4-amzn-0 | 2.2.6-amzn-1 | 
| HCatalog | 3.1.2-amzn-7 | 3.1.2-amzn-6 | 3.1.2-amzn-5 | 3.1.2-amzn-4 | 
| Hadoop | 3.2.1-amzn-6 | 3.2.1-amzn-5 | 3.2.1-amzn-4 | 3.2.1-amzn-3.1 | 
| Hive | 3.1.2-amzn-7 | 3.1.2-amzn-6 | 3.1.2-amzn-5 | 3.1.2-amzn-4 | 
| Hudi | 0.10.1-amzn-0 | 0.9.0-amzn-1 | 0.8.0-amzn-0 | 0.7.0-amzn-0 | 
| Hue | 4.10.0 | 4.9.0 | 4.9.0 | 4.9.0 | 
| Iceberg | 0.13.1 | 0.12.0 |  -  |  -  | 
| JupyterEnterpriseGateway | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 
| JupyterHub | 1.4.1 | 1.4.1 | 1.4.1 | 1.2.2 | 
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.0-incubating | 
| MXNet | 1.8.0 | 1.8.0 | 1.8.0 | 1.7.0 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 
| Phoenix | 5.1.2 | 5.1.2 | 5.1.2 | 5.0.0--2.0 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.267-amzn-0 | 0.261-amzn-0 | 0.254.1-amzn-0 | 0.245.1-amzn-0 | 
| Spark | 3.2.0-amzn-0 | 3.1.2-amzn-1 | 3.1.2-amzn-0 | 3.1.1-amzn-0.1 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.4.1 | 2.4.1 | 2.4.1 | 2.4.1 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) | 367-amzn-0 | 360 | 359 | 350 | 
| Zeppelin | 0.10.0 | 0.10.0 | 0.9.0 | 0.9.0 | 
| ZooKeeper | 3.5.7 | 3.5.7 | 3.5.7 | 3.4.14 | 

## 6.6.0 发布说明
<a name="emr-660-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 6.6.0 的信息。更改与 6.5.0 有关。

首次发布日期：2022 年 5 月 9 日

文档更新日期：2022 年 6 月 15 日

**新功能**
+ Amazon EMR 6.6 现在支持 Apache Spark 3.2、Apache Spark RAPIDS 22.02、CUDA 11、Apache Hudi 0.10.1、Apache Iceberg 0.13、Trino 0.367 和 PrestoDB 0.267。
+ 当您使用 Amazon EMR 5.36 或更高版本、6.6 或更高版本或 7.0 或更高版本的*最新补丁版本*启动集群时，Amazon EMR 会使用最新的 Amazon Linux 2023 或 Amazon Linux 2 发行版作为默认 Amazon EMR AMI。如需更多信息，请参阅 [Using the default Amazon Linux AMI for Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html)。    
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_cn/emr/latest/ReleaseGuide/emr-660-release.html)
+ 在 Amazon EMR 6.6 及更高版本中，使用 log4J 1.x 和 log4J 2.x 的应用程序将分别升级为使用 log4J 1.2.17（或更高版本）和 log4J 2.17.1（或更高版本），并且不需要使用提供的[引导操作](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-log4j-vulnerability.html)来缓解 CVE 问题。
+ **[托管式扩展] Spark 随机排序数据托管式扩展优化**：Amazon EMR 5.34.0 及更高版本和 Amazon EMR 6.4.0 及更高版本支持可感知 Spark 随机排序数据（Spark 在分区之间重新分配以执行特定操作的数据）的托管式扩展。有关随机排序操作的更多信息，请参阅《Amazon EMR 管理指南**》中的[在 Amazon EMR 中使用 EMR 托管横向缩减](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-managed-scaling.html)和 [Spark 编程指南](https://spark.apache.org/docs/latest/rdd-programming-guide.html#shuffle-operations)。
+ 从 Amazon EMR 5.32.0 和 6.5.0 开始，Apache Spark 动态执行程序定型功能会默认启用。要打开或关闭此功能，您可以使用 `spark.yarn.heterogeneousExecutors.enabled` 配置参数。

**更改、增强和解决的问题**
+ 对于使用 EMR 默认 AMI 选项且仅安装常用应用程序（如 Apache Hadoop、Apache Spark 和 Apache Hive）的集群，Amazon EMR 平均可将启动时间缩短 80 秒。

**已知问题**
+ 当 Amazon EMR 版本 6.5.0、6.6.0 或 6.7.0 通过 Apache Spark shell 读取 Apache Phoenix 表时，会出现 `NoSuchMethodError`，因为 Amazon EMR 使用了不正确的 `Hbase.compat.version`。Amazon EMR 发行版 6.8.0 修复了此问题。
+ 在 Amazon EMR 版本 6.6.0、6.7.0 和 6.8.0 上将 DynamoDB 连接器与 Spark 结合使用时，即使输入拆分引用了非空数据，表中的所有读取都会返回空结果。这是因为 Spark 3.2.0 将 `spark.hadoopRDD.ignoreEmptySplits` 默认设置为 `true`。解决方法是将 `spark.hadoopRDD.ignoreEmptySplits` 显式设置为 `false`。Amazon EMR 发行版 6.9.0 修复了此问题。
+ 在 Trino 长时间运行的集群上，Amazon EMR 6.6.0 在 Trino jvm.config 中启用了垃圾回收日志记录参数，以便从垃圾回收日志中获取更好的见解。此更改将许多垃圾收集日志附加到 launcher.log (/var/log/trino/launcher.log) 文件中。如果您在 Amazon EMR 6.6.0 中运行 Trino 集群，由于附加的日志，可能会在集群运行几天后出现节点磁盘空间不足的情况。

  这一问题的解决办法是在为 Amazon EMR 6.6.0 创建或克隆集群时，将以下脚本作为引导操作运行以禁用 jvm.config 中的垃圾回收日志记录参数。

  ```
  #!/bin/bash
    set -ex
    PRESTO_PUPPET_DIR='/var/aws/emr/bigtop-deploy/puppet/modules/trino'
    sudo bash -c "sed -i '/-Xlog/d' ${PRESTO_PUPPET_DIR}/templates/jvm.config"
  ```
+ 当您将 Spark 与 Hive 分区位置格式化结合使用以读取 Amazon S3 中的数据，并在 Amazon EMR 版本 5.30.0 至 5.36.0 以及 6.2.0 至 6.9.0 上运行 Spark 时，可能会遇到导致集群无法正确读取数据的问题。如果您的分区具有以下所有特征，会发生这种情况：
  + 从同一个表扫描两个或多个分区。
  + 至少有一个分区目录路径是至少一个其他分区目录路径的前缀，例如，`s3://bucket/table/p=a` 是 `s3://bucket/table/p=a b` 的前缀。
  + 另一个分区目录中前缀后面的第一个字符的 UTF-8 值小于 `/` 字符 (U\$1002F)。例如，在 `s3://bucket/table/p=a b` 中，a 和 b 之间出现的空格字符 (U\$10020) 就属于此类。请注意，还有其他 14 个非控制字符：`!"#$%&‘()*+,-`。有关更多信息，请参阅 [UTF-8 encoding table and Unicode characters](https://www.utf8-chartable.de/)（UTF-8 编码表和 Unicode 字符）。

  解决方法是在 `spark-defaults` 分类中将 `spark.sql.sources.fastS3PartitionDiscovery.enabled` 配置设置为 `false`。
+ 在 Amazon EMR 发行版 5.36.0 和 6.6.0 到 6.9.0 中，`SecretAgent` 和 `RecordServer` 服务组件可能会因为 Log4j2 属性中的文件名模式配置不正确而出现日志数据丢失的情况。错误的配置导致组件每天只生成一个日志文件。当应用轮换策略时，它会重写现有文件，而不是按预期生成新的日志文件。应变方法是使用引导操作每小时生成一次日志文件，并在文件名中附加一个自动增量的整数来处理轮换。

  对于 Amazon EMR 发行版 6.6.0 到 6.9.0，启动集群时，请执行以下引导操作。

  ```
  ‑‑bootstrap‑actions "Path=s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/log-rotation-emr-6x/replace-puppet.sh,Args=[]"
  ```

  对于 Amazon EMR 发行版 5.36.0，启动集群时，请执行以下引导操作。

  ```
  ‑‑bootstrap‑actions "Path=s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/log-rotation-emr-5x/replace-puppet.sh,Args=[]"
  ```

## 6.6.0 组件版本
<a name="emr-660-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.1 | 亚马逊 SageMaker Spark 软件开发工具包 | 
| emr-ddb | 4.16.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 3.2.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.5.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-notebook-env | 1.5.0 | 适用于 EMR Notebooks（可提供 jupyter 企业网关）的 Conda env | 
| emr-s3-dist-cp | 2.20.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 2.1.0 | EMR S3 Select 连接器 | 
| emrfs | 2.50.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.14.2 | Apache Flink 命令行客户端脚本和应用程序。 | 
| flink-jobmanager-config | 1.14.2 | 在 EMR 节点上管理 Apache Flink 的资源。 JobManager | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 3.2.1-amzn-6 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 3.2.1-amzn-6 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 3.2.1-amzn-6 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 3.2.1-amzn-6 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-hdfs-journalnode | 3.2.1-amzn-6 | 用于管理 HA 集群上的 Hadoop 文件系统日志的 HDFS 服务。 | 
| hadoop-httpfs-server | 3.2.1-amzn-6 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 3.2.1-amzn-6 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 3.2.1-amzn-6 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 3.2.1-amzn-6 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 3.2.1-amzn-6 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 3.2.1-amzn-6 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 2.4.4-amzn-2 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 2.4.4-amzn-2 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 2.4.4-amzn-2 | HBase 命令行客户端。 | 
| hbase-rest-server | 2.4.4-amzn-2 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 2.4.4-amzn-2 | 为其提供 Thrift 端点的 HBase服务。 | 
| hbase-operator-tools | 2.4.4-amzn-2 | 适用于 Apache HBase 集群的修复工具。 | 
| hcatalog-client | 3.1.2-amzn-7 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 3.1.2-amzn-7 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 3.1.2-amzn-7 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 3.1.2-amzn-7 | Hive 命令行客户端。 | 
| hive-hbase | 3.1.2-amzn-7 | Hive-hbase 客户端。 | 
| hive-metastore-server | 3.1.2-amzn-7 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 3.1.2-amzn-7 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hudi | 0.10.1-amzn-0 | 增量处理框架，以支持低延迟和高效率的数据管道。 | 
| hudi-presto | 0.10.1-amzn-0 | 用于运行 Presto 以及 Hudl 的捆绑库。 | 
| hudi-trino | 0.10.1-amzn-0 | 用于运行 Trino 以及 Hudi 的捆绑库。 | 
| hudi-spark | 0.10.1-amzn-0 | 用于运行 Spark 以及 Hudi 的捆绑库。 | 
| hue-server | 4.10.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| iceberg | 0.13.1 | Apache Iceberg 是一种适用于超大型分析数据集的开放表格式。 | 
| jupyterhub | 1.4.1 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.7.1-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mxnet | 1.8.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mariadb-server | 5.5.68\$1 | MariaDB 数据库服务器。 | 
| nvidia-cuda | 11.0.194 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.2.1 | Oozie 命令行客户端。 | 
| oozie-server | 5.2.1 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 4.5.0 | 开源计算机视觉库。 | 
| phoenix-library | 5.1.2 | 服务器和客户端的 phoenix 库 | 
| phoenix-connectors | 5.1.2 | Apache Phoenix-Connectors for Spark-3 | 
| phoenix-query-server | 5.1.2 | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.267-amzn-0 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.267-amzn-0 | 用于执行查询的各个部分的服务。 | 
| presto-client | 0.267-amzn-0 | Presto 命令行客户端，安装在 HA 集群的备用主节点（未启动 Presto 服务器）上。 | 
| trino-coordinator | 367-amzn-0 | 用于在 trino-worker 之中接受查询并管理查询的服务。 | 
| trino-worker | 367-amzn-0 | 用于执行查询的各个部分的服务。 | 
| trino-client | 367-amzn-0 | Trino 命令行客户端，安装在 HA 集群的备用主服务器（未启动 Trino 服务器）上。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 4.0.2 | 用于统计计算的 R 项目 | 
| ranger-kms-server | 2.0.0 | Apache Ranger 密钥管理系统 | 
| spark-client | 3.2.0-amzn-0 | Spark 命令行客户端。 | 
| spark-history-server | 3.2.0-amzn-0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 3.2.0-amzn-0 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 3.2.0-amzn-0 | YARN 从属项所需的 Apache Spark 库。 | 
| spark-rapids | 22.02.0-amzn-0 | Nvidia Spark RAPIDS 插件可以加速 Apache Spark GPUs | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 2.4.1 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.9.2 | tez YARN 应用程序和库。 | 
| webserver | 2.4.41\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.10.0 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.5.7 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.5.7 | ZooKeeper 命令行客户端。 | 

## 6.6.0 配置分类
<a name="emr-660-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。

为处于运行状态的集群中的实例组指定配置时，将发生重新配置操作。Amazon EMR 仅为您修改的分类启动重新配置操作。有关更多信息，请参阅 [在正在运行的集群中重新配置实例组](emr-configure-apps-running-cluster.md)。


**emr-6.6.0 分类**  

| 分类 | 说明 | 重新配置操作 | 
| --- | --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | Restarts the ResourceManager service. | 
| container-executor | 更改 Hadoop YARN 的 container-executor.cfg 文件中的值。 | Not available. | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | Not available. | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | 更改 docker 相关设置。 | Not available. | 
| emrfs-site | 更改 EMRFS 设置。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | 更改 flink-conf.yaml 设置。 | Restarts Flink history server. | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | Restarts Flink history server. | 
| flink-log4j-session | 更改会话的 Flink log4j-session.properties Kubernetes/Yarn  | Restarts Flink history server. | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | Restarts Flink history server. | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | Not available. | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | Not available. | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | 更改环境 HBase中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | Not available. | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | This classification should not be reconfigured. | 
| hdfs-env | 更改 HDFS 环境中的值。 | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | 更改环境 HCatalog中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | Restarts Hive WebHCat server. | 
| hive | 适用于 Apache Hive 的 Amazon EMR 辅助设置。 | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | Not available. | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | Not available. | 
| hive-env | 更改 Hive 环境中的值。 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | Not available. | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | Not available. | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | Not available. | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | Not available. | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | Restarts Hadoop Httpfs service. | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | Not available. | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | Not available. | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | 更改 Hudi 环境中的值。 | Not available. | 
| hudi-defaults | 更改 Hudi 的 hudi-defaults.conf 文件中的值。 | Not available. | 
| iceberg-defaults | 更改 Iceberg 的 iceberg-defaults.conf 文件中的值。 | Not available. | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | Not available. | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | Not available. | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | Not available. | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | Not available. | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | Restarts Livy Server. | 
| livy-env | 更改 Livy 环境中的值。 | Restarts Livy Server. | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | Restarts Livy Server. | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | 更改 Oozie 的环境中的值。 | Restarts Oozie. | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | Restarts Oozie. | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | Restarts Oozie. | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | Not available. | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | Not available. | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | Not available. | 
| pig-env | 更改 Pig 环境中的值。 | Not available. | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | Restarts Oozie. | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | Not available. | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | Not available. | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | Not available. | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | Not available. | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | Not available. | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | Not available. | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | Not available. | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | Not available. | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | Not available. | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | Not available. | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | Not available. | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | Not available. | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | Not available. | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | Not available. | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | Not available. | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | Not available. | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | Not available. | 
| trino-log | 更改 Trino 的 log.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-config | 更改 Trino 的 config.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-password-authenticator | 更改 Trino 的 password-authenticator.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-env | 更改 Trino 的 trino-env.sh 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-node | 更改 Trino 的 node.properties 文件中的值。 | Not available. | 
| trino-connector-blackhole | 更改 Trino 的 blackhole.properties 文件中的值。 | Not available. | 
| trino-connector-cassandra | 更改 Trino 的 cassandra.properties 文件中的值。 | Not available. | 
| trino-connector-hive | 更改 Trino 的 hive.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-connector-iceberg | 更改 Trino 的 iceberg.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-connector-jmx | 更改 Trino 的 jmx.properties 文件中的值。 | Not available. | 
| trino-connector-kafka | 更改 Trino 的 kafka.properties 文件中的值。 | Not available. | 
| trino-connector-localfile | 更改 Trino 的 localfile.properties 文件中的值。 | Not available. | 
| trino-connector-memory | 更改 Trino 的 memory.properties 文件中的值。 | Not available. | 
| trino-connector-mongodb | 更改 Trino 的 mongodb.properties 文件中的值。 | Not available. | 
| trino-connector-mysql | 更改 Trino 的 mysql.properties 文件中的值。 | Not available. | 
| trino-connector-postgresql | 更改 Trino 的 postgresql.properties 文件中的值。 | Not available. | 
| trino-connector-raptor | 更改 Trino 的 raptor.properties 文件中的值。 | Not available. | 
| trino-connector-redis | 更改 Trino 的 redis.properties 文件中的值。 | Not available. | 
| trino-connector-redshift | 更改 Trino 的 redshift.properties 文件中的值。 | Not available. | 
| trino-connector-tpch | 更改 Trino 的 tpch.properties 文件中的值。 | Not available. | 
| trino-connector-tpcds | 更改 Trino 的 tpcds.properties 文件中的值。 | Not available. | 
| ranger-kms-dbks-site | 更改 Ranger KMS 的 dbks-site.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-site | 更改 Ranger K ranger-kms-site MS 的.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-env | 更改 Ranger KMS 环境中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-log4j | 更改 Ranger KMS 的 kms-log4j.properties 文件中的值。 | Not available. | 
| ranger-kms-db-ca | 更改 S3 上用于与 Ranger KMS 进行 MySQL SSL 连接的 CA 文件的值。 | Not available. | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | This property modifies spark-defaults. See actions there. | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-env | 更改 Spark 环境中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | Not available. | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | Not available. | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | Not available. | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | Not available. | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | Restart Oozie and HiveServer2. | 
| yarn-env | 更改 YARN 环境中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | Restarts Zeppelin. | 
| zeppelin-site | 更改 zeppelin-site.xml 中的配置设置。 | Restarts Zeppelin. | 
| zookeeper-config | 更改 ZooKeeper的 zoo.cfg 文件中的值。 | Restarts Zookeeper server. | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | Restarts Zookeeper server. | 

# Amazon EMR 发行版 6.5.0
<a name="emr-650-release"></a>

## 6.5.0 应用程序版本
<a name="emr-650-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://iceberg.apache.org/](https://iceberg.apache.org/)、[https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://trino.io/](https://trino.io/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-6.5.0 | emr-6.4.0 | emr-6.3.1 | emr-6.3.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.12.31 | 1.12.31 | 1.11.977 | 1.11.977 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.12.10 | 2.12.10 | 2.12.10 | 2.12.10 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.14.0 | 1.13.1 | 1.12.1 | 1.12.1 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.4.4-amzn-1 | 2.4.4-amzn-0 | 2.2.6-amzn-1 | 2.2.6-amzn-1 | 
| HCatalog | 3.1.2-amzn-6 | 3.1.2-amzn-5 | 3.1.2-amzn-4 | 3.1.2-amzn-4 | 
| Hadoop | 3.2.1-amzn-5 | 3.2.1-amzn-4 | 3.2.1-amzn-3.1 | 3.2.1-amzn-3 | 
| Hive | 3.1.2-amzn-6 | 3.1.2-amzn-5 | 3.1.2-amzn-4 | 3.1.2-amzn-4 | 
| Hudi | 0.9.0-amzn-1 | 0.8.0-amzn-0 | 0.7.0-amzn-0 | 0.7.0-amzn-0 | 
| Hue | 4.9.0 | 4.9.0 | 4.9.0 | 4.9.0 | 
| Iceberg | 0.12.0 |  -  |  -  |  -  | 
| JupyterEnterpriseGateway | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 
| JupyterHub | 1.4.1 | 1.4.1 | 1.2.2 | 1.2.2 | 
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.0-incubating | 0.7.0-incubating | 
| MXNet | 1.8.0 | 1.8.0 | 1.7.0 | 1.7.0 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 
| Phoenix | 5.1.2 | 5.1.2 | 5.0.0--2.0 HBase | 5.0.0--2.0 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.261-amzn-0 | 0.254.1-amzn-0 | 0.245.1-amzn-0 | 0.245.1-amzn-0 | 
| Spark | 3.1.2-amzn-1 | 3.1.2-amzn-0 | 3.1.1-amzn-0.1 | 3.1.1-amzn-0 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.4.1 | 2.4.1 | 2.4.1 | 2.4.1 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) | 360 | 359 | 350 | 350 | 
| Zeppelin | 0.10.0 | 0.9.0 | 0.9.0 | 0.9.0 | 
| ZooKeeper | 3.5.7 | 3.5.7 | 3.4.14 | 3.4.14 | 

## 6.5.0 发布说明
<a name="emr-650-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 6.5.0 的信息。更改与 6.4.0 有关。

首次发布日期：2022 年 1 月 20 日

发布更新日期：2022 年 3 月 21 日

**新功能**
+ **[托管式扩展] Spark 随机排序数据托管式扩展优化**：Amazon EMR 5.34.0 及更高版本和 Amazon EMR 6.4.0 及更高版本支持可感知 Spark 随机排序数据（Spark 在分区之间重新分配以执行特定操作的数据）的托管式扩展。有关随机排序操作的更多信息，请参阅《Amazon EMR 管理指南**》中的[在 Amazon EMR 中使用 EMR 托管横向缩减](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-managed-scaling.html)和 [Spark 编程指南](https://spark.apache.org/docs/latest/rdd-programming-guide.html#shuffle-operations)。
+ 从 Amazon EMR 5.32.0 和 6.5.0 开始，Apache Spark 动态执行程序定型功能会默认启用。要打开或关闭此功能，您可以使用 `spark.yarn.heterogeneousExecutors.enabled` 配置参数。
+ 支持 Apache Iceberg 开放表格式，用于大型分析数据集。
+ 支持 ranger-trino-plugin 2.0.1-amzn-1
+ 支持 toree 0.5.0

**更改、增强和解决的问题**
+ Amazon EMR 6.5 发行版现在支持 Apache Iceberg 0.12.0，并通过适用于 Apache Spark 的 Amazon EMR 运行时、适用于 Presto 的 Amazon EMR 运行时和适用于 Apache Hive 的 Amazon EMR 运行时提供了运行时改进。
+ [Apache Iceberg](https://iceberg.apache.org/) 是 Amazon S3 中适用于大型数据集的开放表格式，可提供快速的大型表查询性能、原子提交、并发写入和 SQL 兼容表演进等功能。借助 EMR 6.5，您可以将 Apache Spark 3.1.2 与 Iceberg 表格式结合使用。
+ Apache Hudi 0.9 增加了对 Spark SQL DDL 和 DML 的支持。从而让您可以仅使用 SQL 语句创建 upsert Hudi 表。Apache Hudi 0.9 还包括查询端和写入器端的性能改进。
+ 适用于 Apache Hive 的 Amazon EMR 运行时取消了暂存操作期间的重命名操作，从而提高了 Apache Hive 在 Amazon S3 上的性能，此外还提高了用于修复表的元数据仓检查（MSCK）命令的性能。

**已知问题**
+ 当 Amazon EMR 版本 6.5.0、6.6.0 或 6.7.0 通过 Apache Spark shell 读取 Apache Phoenix 表时，会出现 `NoSuchMethodError`，因为 Amazon EMR 使用了不正确的 `Hbase.compat.version`。Amazon EMR 发行版 6.8.0 修复了此问题。
+ 高可用性（HA）的 Hbase 捆绑集群无法使用默认卷大小和实例类型进行预置。此问题的变通解决方法是增加根卷大小。
+ 要将 Spark 操作与 Apache Oozie 一起使用，必须将以下配置添加到 Oozie `workflow.xml` 文件中。否则，Oozie 启动的 Spark 执行器的类路径中将丢失几个诸如 Hadoop 和 EMRFS 之类的关键库。

  ```
  <spark-opts>--conf spark.yarn.populateHadoopClasspath=true</spark-opts>
  ```
+ 当您将 Spark 与 Hive 分区位置格式化结合使用以读取 Amazon S3 中的数据，并在 Amazon EMR 版本 5.30.0 至 5.36.0 以及 6.2.0 至 6.9.0 上运行 Spark 时，可能会遇到导致集群无法正确读取数据的问题。如果您的分区具有以下所有特征，会发生这种情况：
  + 从同一个表扫描两个或多个分区。
  + 至少有一个分区目录路径是至少一个其他分区目录路径的前缀，例如，`s3://bucket/table/p=a` 是 `s3://bucket/table/p=a b` 的前缀。
  + 另一个分区目录中前缀后面的第一个字符的 UTF-8 值小于 `/` 字符 (U\$1002F)。例如，在 `s3://bucket/table/p=a b` 中，a 和 b 之间出现的空格字符 (U\$10020) 就属于此类。请注意，还有其他 14 个非控制字符：`!"#$%&‘()*+,-`。有关更多信息，请参阅 [UTF-8 encoding table and Unicode characters](https://www.utf8-chartable.de/)（UTF-8 编码表和 Unicode 字符）。

  解决方法是在 `spark-defaults` 分类中将 `spark.sql.sources.fastS3PartitionDiscovery.enabled` 配置设置为 `false`。

## 6.5.0 组件版本
<a name="emr-650-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.1 | 亚马逊 SageMaker Spark 软件开发工具包 | 
| emr-ddb | 4.16.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 3.2.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.5.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-notebook-env | 1.4.0 | 适用于 EMR Notebooks（可提供 jupyter 企业网关）的 Conda env | 
| emr-s3-dist-cp | 2.19.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 2.1.0 | EMR S3 Select 连接器 | 
| emrfs | 2.48.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.14.0 | Apache Flink 命令行客户端脚本和应用程序。 | 
| flink-jobmanager-config | 1.14.0 | 在 EMR 节点上管理 Apache Flink 的资源。 JobManager | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 3.2.1-amzn-5 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 3.2.1-amzn-5 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 3.2.1-amzn-5 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 3.2.1-amzn-5 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-hdfs-journalnode | 3.2.1-amzn-5 | 用于管理 HA 集群上的 Hadoop 文件系统日志的 HDFS 服务。 | 
| hadoop-httpfs-server | 3.2.1-amzn-5 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 3.2.1-amzn-5 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 3.2.1-amzn-5 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 3.2.1-amzn-5 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 3.2.1-amzn-5 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 3.2.1-amzn-5 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 2.4.4-amzn-1 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 2.4.4-amzn-1 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 2.4.4-amzn-1 | HBase 命令行客户端。 | 
| hbase-rest-server | 2.4.4-amzn-1 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 2.4.4-amzn-1 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 3.1.2-amzn-6 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 3.1.2-amzn-6 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 3.1.2-amzn-6 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 3.1.2-amzn-6 | Hive 命令行客户端。 | 
| hive-hbase | 3.1.2-amzn-6 | Hive-hbase 客户端。 | 
| hive-metastore-server | 3.1.2-amzn-6 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 3.1.2-amzn-6 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hudi | 0.9.0-amzn-1 | 增量处理框架，以支持低延迟和高效率的数据管道。 | 
| hudi-presto | 0.9.0-amzn-1 | 用于运行 Presto 以及 Hudl 的捆绑库。 | 
| hudi-trino | 0.9.0-amzn-1 | 用于运行 Trino 以及 Hudi 的捆绑库。 | 
| hudi-spark | 0.9.0-amzn-1 | 用于运行 Spark 以及 Hudi 的捆绑库。 | 
| hue-server | 4.9.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| iceberg | 0.12.0 | Apache Iceberg 是一种适用于超大型分析数据集的开放表格式。 | 
| jupyterhub | 1.4.1 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.7.1-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mxnet | 1.8.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mariadb-server | 5.5.68\$1 | MariaDB 数据库服务器。 | 
| nvidia-cuda | 10.1.243 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.2.1 | Oozie 命令行客户端。 | 
| oozie-server | 5.2.1 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 4.5.0 | 开源计算机视觉库。 | 
| phoenix-library | 5.1.2 | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 5.1.2 | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.261-amzn-0 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.261-amzn-0 | 用于执行查询的各个部分的服务。 | 
| presto-client | 0.261-amzn-0 | Presto 命令行客户端，安装在 HA 集群的备用主节点（未启动 Presto 服务器）上。 | 
| trino-coordinator | 360 | 用于在 trino-worker 之中接受查询并管理查询的服务。 | 
| trino-worker | 360 | 用于执行查询的各个部分的服务。 | 
| trino-client | 360 | Trino 命令行客户端，安装在 HA 集群的备用主服务器（未启动 Trino 服务器）上。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 4.0.2 | 用于统计计算的 R 项目 | 
| ranger-kms-server | 2.0.0 | Apache Ranger 密钥管理系统 | 
| spark-client | 3.1.2-amzn-1 | Spark 命令行客户端。 | 
| spark-history-server | 3.1.2-amzn-1 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 3.1.2-amzn-1 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 3.1.2-amzn-1 | YARN 从属项所需的 Apache Spark 库。 | 
| spark-rapids | 0.4.1 | Nvidia Spark RAPIDS 插件可以加速 Apache Spark GPUs | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 2.4.1 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.9.2 | tez YARN 应用程序和库。 | 
| webserver | 2.4.41\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.10.0 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.5.7 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.5.7 | ZooKeeper 命令行客户端。 | 

## 6.5.0 配置分类
<a name="emr-650-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。

为处于运行状态的集群中的实例组指定配置时，将发生重新配置操作。Amazon EMR 仅为您修改的分类启动重新配置操作。有关更多信息，请参阅 [在正在运行的集群中重新配置实例组](emr-configure-apps-running-cluster.md)。


**emr-6.5.0 分类**  

| 分类 | 说明 | 重新配置操作 | 
| --- | --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | Restarts the ResourceManager service. | 
| container-executor | 更改 Hadoop YARN 的 container-executor.cfg 文件中的值。 | Not available. | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | Not available. | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | 更改 docker 相关设置。 | Not available. | 
| emrfs-site | 更改 EMRFS 设置。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | 更改 flink-conf.yaml 设置。 | Restarts Flink history server. | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | Restarts Flink history server. | 
| flink-log4j-session | 更改会话的 Flink log4j-session.properties Kubernetes/Yarn  | Restarts Flink history server. | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | Restarts Flink history server. | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | Not available. | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | Not available. | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | 更改环境 HBase中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | Not available. | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | This classification should not be reconfigured. | 
| hdfs-env | 更改 HDFS 环境中的值。 | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | 更改环境 HCatalog中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | Restarts Hive WebHCat server. | 
| hive | 适用于 Apache Hive 的 Amazon EMR 辅助设置。 | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | Not available. | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | Not available. | 
| hive-env | 更改 Hive 环境中的值。 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | Not available. | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | Not available. | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | Not available. | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | Not available. | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | Restarts Hadoop Httpfs service. | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | Not available. | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | Not available. | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | 更改 Hudi 环境中的值。 | Not available. | 
| hudi-defaults | 更改 Hudi 的 hudi-defaults.conf 文件中的值。 | Not available. | 
| iceberg-defaults | 更改 Iceberg 的 iceberg-defaults.conf 文件中的值。 | Not available. | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | Not available. | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | Not available. | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | Not available. | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | Not available. | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | Restarts Livy Server. | 
| livy-env | 更改 Livy 环境中的值。 | Restarts Livy Server. | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | Restarts Livy Server. | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | 更改 Oozie 的环境中的值。 | Restarts Oozie. | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | Restarts Oozie. | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | Restarts Oozie. | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | Not available. | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | Not available. | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | Not available. | 
| pig-env | 更改 Pig 环境中的值。 | Not available. | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | Restarts Oozie. | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | Not available. | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | Not available. | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | Not available. | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | Not available. | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | Not available. | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | Not available. | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | Not available. | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | Not available. | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | Not available. | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | Not available. | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | Not available. | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | Not available. | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | Not available. | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | Not available. | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | Not available. | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | Not available. | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | Not available. | 
| trino-log | 更改 Trino 的 log.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-config | 更改 Trino 的 config.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-password-authenticator | 更改 Trino 的 password-authenticator.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-env | 更改 Trino 的 trino-env.sh 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-node | 更改 Trino 的 node.properties 文件中的值。 | Not available. | 
| trino-connector-blackhole | 更改 Trino 的 blackhole.properties 文件中的值。 | Not available. | 
| trino-connector-cassandra | 更改 Trino 的 cassandra.properties 文件中的值。 | Not available. | 
| trino-connector-hive | 更改 Trino 的 hive.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-connector-jmx | 更改 Trino 的 jmx.properties 文件中的值。 | Not available. | 
| trino-connector-kafka | 更改 Trino 的 kafka.properties 文件中的值。 | Not available. | 
| trino-connector-localfile | 更改 Trino 的 localfile.properties 文件中的值。 | Not available. | 
| trino-connector-memory | 更改 Trino 的 memory.properties 文件中的值。 | Not available. | 
| trino-connector-mongodb | 更改 Trino 的 mongodb.properties 文件中的值。 | Not available. | 
| trino-connector-mysql | 更改 Trino 的 mysql.properties 文件中的值。 | Not available. | 
| trino-connector-postgresql | 更改 Trino 的 postgresql.properties 文件中的值。 | Not available. | 
| trino-connector-raptor | 更改 Trino 的 raptor.properties 文件中的值。 | Not available. | 
| trino-connector-redis | 更改 Trino 的 redis.properties 文件中的值。 | Not available. | 
| trino-connector-redshift | 更改 Trino 的 redshift.properties 文件中的值。 | Not available. | 
| trino-connector-tpch | 更改 Trino 的 tpch.properties 文件中的值。 | Not available. | 
| trino-connector-tpcds | 更改 Trino 的 tpcds.properties 文件中的值。 | Not available. | 
| ranger-kms-dbks-site | 更改 Ranger KMS 的 dbks-site.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-site | 更改 Ranger K ranger-kms-site MS 的.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-env | 更改 Ranger KMS 环境中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-log4j | 更改 Ranger KMS 的 kms-log4j.properties 文件中的值。 | Not available. | 
| ranger-kms-db-ca | 更改 S3 上用于与 Ranger KMS 进行 MySQL SSL 连接的 CA 文件的值。 | Not available. | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | This property modifies spark-defaults. See actions there. | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-env | 更改 Spark 环境中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | Not available. | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | Not available. | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | Not available. | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | Not available. | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | Restart Oozie and HiveServer2. | 
| yarn-env | 更改 YARN 环境中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | Restarts Zeppelin. | 
| zeppelin-site | 更改 zeppelin-site.xml 中的配置设置。 | Restarts Zeppelin. | 
| zookeeper-config | 更改 ZooKeeper的 zoo.cfg 文件中的值。 | Restarts Zookeeper server. | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | Restarts Zookeeper server. | 

# Amazon EMR 发行版 6.4.0
<a name="emr-640-release"></a>

## 6.4.0 应用程序版本
<a name="emr-640-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://trino.io/](https://trino.io/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-6.4.0 | emr-6.3.1 | emr-6.3.0 | emr-6.2.1 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.12.31 | 1.11.977 | 1.11.977 | 1.11.880 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.12.10 | 2.12.10 | 2.12.10 | 2.12.10 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.13.1 | 1.12.1 | 1.12.1 | 1.11.2 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.4.4-amzn-0 | 2.2.6-amzn-1 | 2.2.6-amzn-1 | 2.2.6-amzn-0 | 
| HCatalog | 3.1.2-amzn-5 | 3.1.2-amzn-4 | 3.1.2-amzn-4 | 3.1.2-amzn-3 | 
| Hadoop | 3.2.1-amzn-4 | 3.2.1-amzn-3.1 | 3.2.1-amzn-3 | 3.2.1-amzn-2.1 | 
| Hive | 3.1.2-amzn-5 | 3.1.2-amzn-4 | 3.1.2-amzn-4 | 3.1.2-amzn-3 | 
| Hudi | 0.8.0-amzn-0 | 0.7.0-amzn-0 | 0.7.0-amzn-0 | 0.6.0-amzn-1 | 
| Hue | 4.9.0 | 4.9.0 | 4.9.0 | 4.8.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 
| JupyterHub | 1.4.1 | 1.2.2 | 1.2.2 | 1.1.0 | 
| Livy | 0.7.1-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 
| MXNet | 1.8.0 | 1.7.0 | 1.7.0 | 1.7.0 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.0 | 
| Phoenix | 5.1.2 | 5.0.0--2.0 HBase | 5.0.0--2.0 HBase | 5.0.0--2.0 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.254.1-amzn-0 | 0.245.1-amzn-0 | 0.245.1-amzn-0 | 0.238.3-amzn-1 | 
| Spark | 3.1.2-amzn-0 | 3.1.1-amzn-0.1 | 3.1.1-amzn-0 | 3.0.1-amzn-0.1 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.4.1 | 2.4.1 | 2.4.1 | 2.3.1 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) | 359 | 350 | 350 | 343 | 
| Zeppelin | 0.9.0 | 0.9.0 | 0.9.0 | 0.9.0-preview1 | 
| ZooKeeper | 3.5.7 | 3.4.14 | 3.4.14 | 3.4.14 | 

## 6.4.0 发布说明
<a name="emr-640-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 6.4.0 的信息。更改与 6.3.0 有关。

首次发布日期：2021 年 9 月 20 日

发布更新日期：2022 年 3 月 21 日

**受支持的应用程序**
+ 适用于 Java 的 AWS SDK 版本 1.12.31
+ CloudWatch 水槽版本 2.2.0
+ DynamoDB 连接器 4.16.0
+ EMRFS 2.47.0
+ Amazon EMR Goodies 3.2.0
+ Amazon EMR Kinesis 连接器 3.5.0
+ Amazon EMR 记录服务器 2.1.0
+ Amazon EMR Scripts 2.5.0
+ Flink 1.13.1
+ Ganglia 3.7.2
+ AWS Glue Hive Metastore 客户端版本 3.3.0
+ Hadoop 3.2.1-amzn-4
+ HBase 版本 2.4.4-amzn-0
+ HBase-operator-tools 1.1.0
+ HCatalog 版本 3.1.2-amzn-5
+ Hive 3.1.2-amzn-5
+ Hudi 0.8.0-amzn-0
+ Hue 4.9.0
+ Java JDK Corretto-8.302.08.1（内部 1.8.0\$1302-b08）
+ JupyterHub 版本 1.4.1
+ Livy 0.7.1-incubating
+ MXNet 版本 1.8.0
+ Oozie 5.2.1
+ Phoenix 5.1.2
+ Pig 0.17.0
+ Presto 0.254.1-amzn-0
+ Trino 359
+ Apache Ranger KMS（多主节点透明加密）版本 2.0.0
+ ranger-plugins 2.0.1-amzn-0
+ ranger-s3-plugin 1.2.0
+ SageMaker Spark SDK 版本 1.4.1
+ Scala 2.12.10（OpenJDK 64 位服务器 VM，Java 1.8.0\$1282）
+ Spark 3.1.2-amzn-0
+ spark-rapids 0.4.1
+ Sqoop 1.4.7
+ TensorFlow 版本 2.4.1
+ tez 0.9.2
+ Zeppelin 0.9.0
+ Zookeeper 3.5.7
+ 连接器和驱动程序：DynamoDB 连接器 4.16.0

**新特征**
+ **[托管式扩展] Spark 随机排序数据托管式扩展优化**：Amazon EMR 5.34.0 及更高版本和 Amazon EMR 6.4.0 及更高版本支持可感知 Spark 随机排序数据（Spark 在分区之间重新分配以执行特定操作的数据）的托管式扩展。有关随机排序操作的更多信息，请参阅《**Amazon EMR 管理指南》中的[在 Amazon EMR 中使用 EMR 托管扩展](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-managed-scaling.html)和 [Spark 编程指南](https://spark.apache.org/docs/latest/rdd-programming-guide.html#shuffle-operations)。
+ 在 Apache Ranger 启用的 Amazon EMR 集群上，您可以使用 Apache Spark SQL 将数据插入到 Apache Hive 元数据存储表中或使用`INSERT INTO`、`INSERT OVERWRITE`和`ALTER TABLE`更新 Apache Hive 元数据存储表。将 ALTER TABLE 与 Spark SQL 结合使用时，分区位置必须是表位置的子目录。如果某个分区的分区位置与表位置不同，Amazon EMR 目前不支持将数据插入该分区。
+ PrestoSQL [已重命名为 Trino。](https://trino.io/blog/2020/12/27/announcing-trino.html)
+ Hive：在获取 LIMIT 子句中提到的记录数目后，通过立即停止查询执行可加快使用 LIMIT 子句执行简单 SELECT 查询的速度。简单 SELECT 查询是没有 GROUP BY/ORDER BY 子句的查询或没有减速阶段的查询。例如 `SELECT * from <TABLE> WHERE <Condition> LIMIT <Number>`。

**Hudi 并发控制**
+ Hudi 目前支持乐观并发控制 (OCC)，它可以与 UPSERT 和 INSERT 等写入操作一起利用，以允许从多个写入器更改为同一 Hudi 表。这是文件级 OCC，因此任何两个提交（或写入器）可以写入同一表内，前提是它们的更改不冲突。有关更多信息，请参阅 [Hadi 并发性控制](https://hudi.apache.org/docs/concurrency_control/)。
+ Amazon EMR 集群安装了 Zookeeper，可以利用它作为 OCC 的锁提供商。为了更便捷地使用此功能，Amazon EMR 集群预先配置了以下属性：

  ```
  hoodie.write.lock.provider=org.apache.hudi.client.transaction.lock.ZookeeperBasedLockProvider
  hoodie.write.lock.zookeeper.url=<EMR Zookeeper URL>
  hoodie.write.lock.zookeeper.port=<EMR Zookeeper Port>
  hoodie.write.lock.zookeeper.base_path=/hudi
  ```

  要启用 OCC，您需要使用 Hudi 任务选项或使用 Amazon EMR 配置 API 在集群级别配置以下属性：

  ```
  hoodie.write.concurrency.mode=optimistic_concurrency_control
  hoodie.cleaner.policy.failed.writes=LAZY (Performs cleaning of failed writes lazily instead of inline with every write)
  hoodie.write.lock.zookeeper.lock_key=<Key to uniquely identify the Hudi table> (Table Name is a good option)
  ```

**Hudi 监控：亚马逊 CloudWatch 集成以报告 Hudi 指标**
+ 亚马逊 EMR 支持向亚马逊发布 Hudi 指标。 CloudWatch通过设置以下所需配置来启用：

  ```
  hoodie.metrics.on=true
  hoodie.metrics.reporter.type=CLOUDWATCH
  ```
+ 以下是您可以更改的可选 Hudi 配置：    
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_cn/emr/latest/ReleaseGuide/emr-640-release.html)

**Amazon EMR Hudi 配置的支持和改进**
+ 客户目前可以利用 EMR 配置 API 和重新配置功能在集群级别配置 Hudi 配置。通过/etc/hudi/conf/hudi-defaults.conf 引入了一种新的基于文件的配置支持，类似于 Spark、Hive 等其他应用程序。EMR 配置了几个默认值以改善用户体验：

  —`hoodie.datasource.hive_sync.jdbcurl ` 已配置为集群 Hive 服务器 URL，无需指定。这在 Spark 集群模式下运行任务时十分有效，而您之前必须指定 Amazon EMR 主 IP。

  — HBase 特定配置，这对于在 Hudi 中使用 HBase 索引很有用。

  — Zookeeper 锁提供商的特定配置，如并发控制下所讨论的内容，这令乐观并发控制 (OCC) 的使用更加方便。
+ 还引入了其他更改，以减少需要通过的配置数量，并在可能的情况下自动推断：

  — 该`partitionBy `关键字可用于指定分区列。

  — 启用 Hive Sync 时，不再强制通过`HIVE_TABLE_OPT_KEY, HIVE_PARTITION_FIELDS_OPT_KEY, HIVE_PARTITION_EXTRACTOR_CLASS_OPT_KEY`。这些值可以根据 Hudi 表名称和分区字段推断出来。

  —`KEYGENERATOR_CLASS_OPT_KEY`不强制通过，可以从更简单的`SimpleKeyGenerator`和`ComplexKeyGenerator`情况下推断。

**Hudi 注意事项**
+ Hudi 不支持在 Hive 中用于读取时合并 (MoR) 和 Bootstrap 表格中的矢量化执行。例如，当`hive.vectorized.execution.enabled`设置为 true 时，Hudi 实时表的`count(*)`失败。作为解决方法，您可以通过将`hive.vectorized.execution.enabled`设置为`false`禁用矢量化读入。
+ 多写作器支持与 Hudi 引导启动功能不兼容。
+ Flink Streamer 和 Flink SQL 是此发行版中的实验性功能。建议不要在生产部署中使用这些功能。

**更改、增强功能和解决的问题**

此版本旨在修复 Amazon EMR Scaling 无法成功缩 up/scale 减集群规模或导致应用程序故障时出现的问题。
+ 以前，在多主节点集群上手动重启资源管理器会导致 Zookeeper znode 文件中的 Amazon EMR 集群进程守护程序（如 Zookeeper）重新加载以前停用或丢失的所有节点。在某些情况下，这会导致超出默认限制。Amazon EMR 现在会从 Zookeeper 文件中删除已停用或丢失超过一小时的节点记录，并且内部限制也有所提高。
+ 修复了当 Amazon EMR 集群上的进程守护程序正在进行运行状况检查活动（例如收集 YARN 节点状态和 HDFS 节点状态）时，针对高利用率的大型集群的扩展请求失败的问题。之所以发生这种情况，是因为集群上的进程守护程序无法将节点的运行状况数据传递给内部 Amazon EMR 组件。
+ 改进了 EMR 集群上的进程守护程序，以便在重用 IP 地址时正确跟踪节点状态，从而提高扩缩操作期间的可靠性。
+ [SPARK-29683](https://issues.apache.org/jira/browse/SPARK-29683)。修复了集群缩减期间出现任务失败的问题，因为 Spark 假定所有可用节点都被拒绝列出。
+ [YARN-9011](https://issues.apache.org/jira/browse/YARN-9011)。修复了集群尝试纵向扩展或缩减时，由于 YARN 停用中的争用条件导致任务失败的问题。
+ 通过确保 Amazon EMR 集群上的进程守护程序和 YARN/HDFS 之间的节点状态始终一致，解决了集群扩展期间步骤或任务失败的问题。
+ 修复了已启用 Kerberos 身份验证的 Amazon EMR 集群的诸如缩减和步骤提交等集群操作失败的问题。这是因为 Amazon EMR 集群守护程序没有续订 Kerberos 票证，而在主节点上运行时需要使用该票证才能安全地进行 HDFS/YARN 通信。
+ **配置集群以修复 Apache YARN 时间轴服务器 1 和 1.5 版的性能问题**

  Apache YARN 时间轴服务器版本 1 和 1.5 可能会对非常活跃的大型 EMR 集群造成性能问题，尤其是 `yarn.resourcemanager.system-metrics-publisher.enabled=true`，这是 Amazon EMR 中的默认设置。开源 YARN 时间轴服务器 v2 解决了与 YARN 时间轴服务器可扩展性相关的性能问题。

  此问题的其他解决方法包括：
  + 配置 yarn.resourceManager system-metrics-publisheryarn-site.xml 中的.enabled=false。
  + 如下所述，在创建群集时启用此问题的修复程序。

  以下 Amazon EMR 发行版包含针对此 YARN 时间线服务器性能问题的修复。

  EMR 5.30.2、5.31.1、5.32.1、5.33.1、5.34.x、6.0.1、6.1.1、6.2.1、6.3.1、6.4.x

  要对上述任何指定的 Amazon EMR 版本启用修复程序，请使用 [`aws emr create-cluster` 命令参数](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-configure-apps-create-cluster.html)：`--configurations file://./configurations.json` 在传入的配置 JSON 文件中将这些属性设置为 `true`。或者使用[重新配置控制台 UI](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-configure-apps-running-cluster.html) 启用修复程序。

  配置 .json 文件内容的示例：

  ```
  [
  {
  "Classification": "yarn-site",
  "Properties": {
  "yarn.resourcemanager.system-metrics-publisher.timeline-server-v1.enable-batch": "true",
  "yarn.resourcemanager.system-metrics-publisher.enabled": "true"
  },
  "Configurations": []
  }
  ]
  ```
+ 默认情况下禁用 WebHDFS 和 HTTFS 服务器。您可以使用 Hadoop 配置重新启用 WebHDFS，`dfs.webhdfs.enabled`。HTTPFS 服务器可以通过使用 `sudo systemctl start hadoop-httpfs` 启动。
+ 现在，默认情况下，已启用 Amazon Linux 存储库的 HTTPS。如果您使用 Amazon S3 VPCE 策略限制对特定存储桶的访问，则必须添加新的 Amazon Linux 存储桶 ARN`arn:aws:s3:::amazonlinux-2-repos-$region/*`到策略（将`$region`替换为终端节点所在的区域）。有关更多信息，请在 AWS 讨论论坛中查看此主题。[公告：Amazon Linux 2 目前支持在连接到软件包存储库时使用 HTTPS 的功能](https://forums.aws.amazon.com/ann.jspa?annID=8528)。
+ Hive：为最后任务，通过启用 HDFS 上的 scratch 目录，从而提高写入查询性能。最终任务的临时数据可写入 HDFS 而不是 Amazon S3，性能可以得到提高，因为数据从 HDFS 移动到最终表位置 (Amazon S3) 而不是在 Amazon S3 设备之间移动。
+ Hive：使用 Glue 元存储分区修剪，查询编译时间最多可缩短 2.5 倍。
+ 默认情况下，当 Hive 将内置 UDFs 内容传递给 Hive Metastore 服务器时，只有内置内容的子集会传递给 Glue Metastore，因 UDFs 为 Glue 仅支持有限的表达式运算符。如果您设置`hive.glue.partition.pruning.client=true`，则所有分区修剪发生在客户端。如果您设置`hive.glue.partition.pruning.server=true`，则所有分区修剪发生在服务器端。

**已知问题**
+ Hue 查询在 Amazon EMR 6.4.0 中不起作用，因为默认情况下 Apache Hadoop HTTPFS 服务器处于禁用状态。要在 Amazon EMR 6.4.0 上使用 Hue，请使用 `sudo systemctl start hadoop-httpfs` 在 Amazon EMR 主节点上手动启动 HTTPFS 服务器，或者[使用 Amazon EMR 步骤](https://docs.aws.amazon.com/emr/latest/ManagementGuide/add-step-cli.html)。
+ 与 Livy 用户模拟一起使用的 Amazon EMR Notebooks 功能不起作用，因为默认情况下，HTTPFS 处于禁用状态。在这种情况下，EMR Notebook 无法连接到启用了 Livy 模拟的集群。解决方法是在将 EMR Notebook 连接到集群之前使用 `sudo systemctl start hadoop-httpfs` 启动 HTTPFS 服务器。
+ 在 Amazon EMR 6.4.0 版本中，Phoenix 不支持 Phoenix 连接器组件。
+ 要将 Spark 操作与 Apache Oozie 一起使用，必须将以下配置添加到 Oozie `workflow.xml` 文件中。否则，Oozie 启动的 Spark 执行器的类路径中将丢失几个诸如 Hadoop 和 EMRFS 之类的关键库。

  ```
  <spark-opts>--conf spark.yarn.populateHadoopClasspath=true</spark-opts>
  ```
+ 当您将 Spark 与 Hive 分区位置格式化结合使用以读取 Amazon S3 中的数据，并在 Amazon EMR 版本 5.30.0 至 5.36.0 以及 6.2.0 至 6.9.0 上运行 Spark 时，可能会遇到导致集群无法正确读取数据的问题。如果您的分区具有以下所有特征，会发生这种情况：
  + 从同一个表扫描两个或多个分区。
  + 至少有一个分区目录路径是至少一个其他分区目录路径的前缀，例如，`s3://bucket/table/p=a` 是 `s3://bucket/table/p=a b` 的前缀。
  + 另一个分区目录中前缀后面的第一个字符的 UTF-8 值小于 `/` 字符 (U\$1002F)。例如，在 `s3://bucket/table/p=a b` 中，a 和 b 之间出现的空格字符 (U\$10020) 就属于此类。请注意，还有其他 14 个非控制字符：`!"#$%&‘()*+,-`。有关更多信息，请参阅 [UTF-8 encoding table and Unicode characters](https://www.utf8-chartable.de/)（UTF-8 编码表和 Unicode 字符）。

  解决方法是在 `spark-defaults` 分类中将 `spark.sql.sources.fastS3PartitionDiscovery.enabled` 配置设置为 `false`。

## 6.4.0 组件版本
<a name="emr-640-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.1 | 亚马逊 SageMaker Spark 软件开发工具包 | 
| emr-ddb | 4.16.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 3.2.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.5.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-notebook-env | 1.3.0 | 适用于 EMR Notebooks（可提供 jupyter 企业网关）的 Conda env | 
| emr-s3-dist-cp | 2.18.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 2.1.0 | EMR S3 Select 连接器 | 
| emrfs | 2.47.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.13.1 | Apache Flink 命令行客户端脚本和应用程序。 | 
| flink-jobmanager-config | 1.13.1 | 在 EMR 节点上管理 Apache Flink 的资源。 JobManager | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 3.2.1-amzn-4 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 3.2.1-amzn-4 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 3.2.1-amzn-4 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 3.2.1-amzn-4 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-hdfs-journalnode | 3.2.1-amzn-4 | 用于管理 HA 集群上的 Hadoop 文件系统日志的 HDFS 服务。 | 
| hadoop-httpfs-server | 3.2.1-amzn-4 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 3.2.1-amzn-4 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 3.2.1-amzn-4 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 3.2.1-amzn-4 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 3.2.1-amzn-4 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 3.2.1-amzn-4 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 2.4.4-amzn-0 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 2.4.4-amzn-0 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 2.4.4-amzn-0 | HBase 命令行客户端。 | 
| hbase-rest-server | 2.4.4-amzn-0 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 2.4.4-amzn-0 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 3.1.2-amzn-5 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 3.1.2-amzn-5 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 3.1.2-amzn-5 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 3.1.2-amzn-5 | Hive 命令行客户端。 | 
| hive-hbase | 3.1.2-amzn-5 | Hive-hbase 客户端。 | 
| hive-metastore-server | 3.1.2-amzn-5 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 3.1.2-amzn-5 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hudi | 0.8.0-amzn-0 | 增量处理框架，以支持低延迟和高效率的数据管道。 | 
| hudi-presto | 0.8.0-amzn-0 | 用于运行 Presto 以及 Hudl 的捆绑库。 | 
| hudi-trino | 0.8.0-amzn-0 | 用于运行 Trino 以及 Hudi 的捆绑库。 | 
| hudi-spark | 0.8.0-amzn-0 | 用于运行 Spark 以及 Hudi 的捆绑库。 | 
| hue-server | 4.9.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 1.4.1 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.7.1-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mxnet | 1.8.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mariadb-server | 5.5.68\$1 | MariaDB 数据库服务器。 | 
| nvidia-cuda | 10.1.243 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.2.1 | Oozie 命令行客户端。 | 
| oozie-server | 5.2.1 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 4.5.0 | 开源计算机视觉库。 | 
| phoenix-library | 5.1.2 | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 5.1.2 | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.254.1-amzn-0 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.254.1-amzn-0 | 用于执行查询的各个部分的服务。 | 
| presto-client | 0.254.1-amzn-0 | Presto 命令行客户端，安装在 HA 集群的备用主节点（未启动 Presto 服务器）上。 | 
| trino-coordinator | 359 | 用于在 trino-worker 之中接受查询并管理查询的服务。 | 
| trino-worker | 359 | 用于执行查询的各个部分的服务。 | 
| trino-client | 359 | Trino 命令行客户端，安装在 HA 集群的备用主服务器（未启动 Trino 服务器）上。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 4.0.2 | 用于统计计算的 R 项目 | 
| ranger-kms-server | 2.0.0 | Apache Ranger 密钥管理系统 | 
| spark-client | 3.1.2-amzn-0 | Spark 命令行客户端。 | 
| spark-history-server | 3.1.2-amzn-0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 3.1.2-amzn-0 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 3.1.2-amzn-0 | YARN 从属项所需的 Apache Spark 库。 | 
| spark-rapids | 0.4.1 | Nvidia Spark RAPIDS 插件可以加速 Apache Spark GPUs | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 2.4.1 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.9.2 | tez YARN 应用程序和库。 | 
| webserver | 2.4.41\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.9.0 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.5.7 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.5.7 | ZooKeeper 命令行客户端。 | 

## 6.4.0 配置分类
<a name="emr-640-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。

为处于运行状态的集群中的实例组指定配置时，将发生重新配置操作。Amazon EMR 仅为您修改的分类启动重新配置操作。有关更多信息，请参阅 [在正在运行的集群中重新配置实例组](emr-configure-apps-running-cluster.md)。


**emr-6.4.0 分类**  

| 分类 | 说明 | 重新配置操作 | 
| --- | --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | Restarts the ResourceManager service. | 
| container-executor | 更改 Hadoop YARN 的 container-executor.cfg 文件中的值。 | Not available. | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | Not available. | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | 更改 docker 相关设置。 | Not available. | 
| emrfs-site | 更改 EMRFS 设置。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | 更改 flink-conf.yaml 设置。 | Restarts Flink history server. | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | Restarts Flink history server. | 
| flink-log4j-session | 更改会话的 Flink log4j-session.properties Kubernetes/Yarn  | Restarts Flink history server. | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | Restarts Flink history server. | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | Not available. | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | Not available. | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | 更改环境 HBase中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | Not available. | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | This classification should not be reconfigured. | 
| hdfs-env | 更改 HDFS 环境中的值。 | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | 更改环境 HCatalog中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | Restarts Hive WebHCat server. | 
| hive | 适用于 Apache Hive 的 Amazon EMR 辅助设置。 | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | Not available. | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | Not available. | 
| hive-env | 更改 Hive 环境中的值。 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | Not available. | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | Not available. | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | Not available. | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | Not available. | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | Restarts Hadoop Httpfs service. | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | Not available. | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | Not available. | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | 更改 Hudi 环境中的值。 | Not available. | 
| hudi-defaults | 更改 Hudi 的 hudi-defaults.conf 文件中的值。 | Not available. | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | Not available. | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | Not available. | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | Not available. | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | Not available. | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | Restarts Livy Server. | 
| livy-env | 更改 Livy 环境中的值。 | Restarts Livy Server. | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | Restarts Livy Server. | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | 更改 Oozie 的环境中的值。 | Restarts Oozie. | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | Restarts Oozie. | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | Restarts Oozie. | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | Not available. | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | Not available. | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | Not available. | 
| pig-env | 更改 Pig 环境中的值。 | Not available. | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | Restarts Oozie. | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | Not available. | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | Not available. | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | Not available. | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | Not available. | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | Not available. | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | Not available. | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | Not available. | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | Not available. | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | Not available. | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | Not available. | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | Not available. | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | Not available. | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | Not available. | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | Not available. | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | Not available. | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | Not available. | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | Not available. | 
| trino-log | 更改 Trino 的 log.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-config | 更改 Trino 的 config.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-password-authenticator | 更改 Trino 的 password-authenticator.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-env | 更改 Trino 的 trino-env.sh 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-node | 更改 Trino 的 node.properties 文件中的值。 | Not available. | 
| trino-connector-blackhole | 更改 Trino 的 blackhole.properties 文件中的值。 | Not available. | 
| trino-connector-cassandra | 更改 Trino 的 cassandra.properties 文件中的值。 | Not available. | 
| trino-connector-hive | 更改 Trino 的 hive.properties 文件中的值。 | Restarts Trino-Server (for Trino) | 
| trino-connector-jmx | 更改 Trino 的 jmx.properties 文件中的值。 | Not available. | 
| trino-connector-kafka | 更改 Trino 的 kafka.properties 文件中的值。 | Not available. | 
| trino-connector-localfile | 更改 Trino 的 localfile.properties 文件中的值。 | Not available. | 
| trino-connector-memory | 更改 Trino 的 memory.properties 文件中的值。 | Not available. | 
| trino-connector-mongodb | 更改 Trino 的 mongodb.properties 文件中的值。 | Not available. | 
| trino-connector-mysql | 更改 Trino 的 mysql.properties 文件中的值。 | Not available. | 
| trino-connector-postgresql | 更改 Trino 的 postgresql.properties 文件中的值。 | Not available. | 
| trino-connector-raptor | 更改 Trino 的 raptor.properties 文件中的值。 | Not available. | 
| trino-connector-redis | 更改 Trino 的 redis.properties 文件中的值。 | Not available. | 
| trino-connector-redshift | 更改 Trino 的 redshift.properties 文件中的值。 | Not available. | 
| trino-connector-tpch | 更改 Trino 的 tpch.properties 文件中的值。 | Not available. | 
| trino-connector-tpcds | 更改 Trino 的 tpcds.properties 文件中的值。 | Not available. | 
| ranger-kms-dbks-site | 更改 Ranger KMS 的 dbks-site.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-site | 更改 Ranger K ranger-kms-site MS 的.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-env | 更改 Ranger KMS 环境中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-log4j | 更改 Ranger KMS 的 kms-log4j.properties 文件中的值。 | Not available. | 
| ranger-kms-db-ca | 更改 S3 上用于与 Ranger KMS 进行 MySQL SSL 连接的 CA 文件的值。 | Not available. | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | This property modifies spark-defaults. See actions there. | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-env | 更改 Spark 环境中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | Not available. | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | Not available. | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | Not available. | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | Not available. | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | Restart Oozie and HiveServer2. | 
| yarn-env | 更改 YARN 环境中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | Restarts Zeppelin. | 
| zeppelin-site | 更改 zeppelin-site.xml 中的配置设置。 | Restarts Zeppelin. | 
| zookeeper-config | 更改 ZooKeeper的 zoo.cfg 文件中的值。 | Restarts Zookeeper server. | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | Restarts Zookeeper server. | 

# Amazon EMR 发行版 6.3.1
<a name="emr-631-release"></a>

## 6.3.1 应用程序版本
<a name="emr-631-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://prestosql.io/](https://prestosql.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-6.3.1 | emr-6.3.0 | emr-6.2.1 | emr-6.2.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.977 | 1.11.977 | 1.11.880 | 1.11.880 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.12.10 | 2.12.10 | 2.12.10 | 2.12.10 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.12.1 | 1.12.1 | 1.11.2 | 1.11.2 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.2.6-amzn-1 | 2.2.6-amzn-1 | 2.2.6-amzn-0 | 2.2.6-amzn-0 | 
| HCatalog | 3.1.2-amzn-4 | 3.1.2-amzn-4 | 3.1.2-amzn-3 | 3.1.2-amzn-3 | 
| Hadoop | 3.2.1-amzn-3.1 | 3.2.1-amzn-3 | 3.2.1-amzn-2.1 | 3.2.1-amzn-2 | 
| Hive | 3.1.2-amzn-4 | 3.1.2-amzn-4 | 3.1.2-amzn-3 | 3.1.2-amzn-3 | 
| Hudi | 0.7.0-amzn-0 | 0.7.0-amzn-0 | 0.6.0-amzn-1 | 0.6.0-amzn-1 | 
| Hue | 4.9.0 | 4.9.0 | 4.8.0 | 4.8.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 
| JupyterHub | 1.2.2 | 1.2.2 | 1.1.0 | 1.1.0 | 
| Livy | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 
| MXNet | 1.7.0 | 1.7.0 | 1.7.0 | 1.7.0 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.0 | 5.2.0 | 
| Phoenix | 5.0.0--2.0 HBase | 5.0.0--2.0 HBase | 5.0.0--2.0 HBase | 5.0.0--2.0 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.245.1-amzn-0 | 0.245.1-amzn-0 | 0.238.3-amzn-1 | 0.238.3-amzn-1 | 
| Spark | 3.1.1-amzn-0.1 | 3.1.1-amzn-0 | 3.0.1-amzn-0.1 | 3.0.1-amzn-0 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.4.1 | 2.4.1 | 2.3.1 | 2.3.1 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) | 350 | 350 | 343 | 343 | 
| Zeppelin | 0.9.0 | 0.9.0 | 0.9.0-preview1 | 0.9.0-preview1 | 
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 

## 6.3.1 发布说明
<a name="emr-631-relnotes"></a>

此版本旨在修复 Amazon EMR Scaling 无法成功缩 up/scale 减集群规模或导致应用程序故障时出现的问题。

**更改、增强和解决的问题**
+ 修复了当 Amazon EMR 集群上的进程守护程序正在进行运行状况检查活动（例如收集 YARN 节点状态和 HDFS 节点状态）时，针对高利用率的大型集群的扩展请求失败的问题。之所以发生这种情况，是因为集群上的进程守护程序无法将节点的运行状况数据传递给内部 Amazon EMR 组件。
+ 改进了 EMR 集群上的进程守护程序，以便在重用 IP 地址时正确跟踪节点状态，从而提高扩缩操作期间的可靠性。
+ [SPARK-29683](https://issues.apache.org/jira/browse/SPARK-29683)。修复了集群缩减期间出现任务失败的问题，因为 Spark 假定所有可用节点都被拒绝列出。
+ [YARN-9011](https://issues.apache.org/jira/browse/YARN-9011)。修复了集群尝试纵向扩展或缩减时，由于 YARN 停用中的争用条件导致任务失败的问题。
+ 通过确保 Amazon EMR 集群上的进程守护程序和 YARN/HDFS 之间的节点状态始终一致，解决了集群扩展期间步骤或任务失败的问题。
+ 修复了已启用 Kerberos 身份验证的 Amazon EMR 集群的诸如缩减和步骤提交等集群操作失败的问题。这是因为 Amazon EMR 集群守护程序没有续订 Kerberos 票证，而在主节点上运行时需要使用该票证才能安全地进行 HDFS/YARN 通信。
+ 现在，默认情况下，已启用 Amazon Linux 存储库的 HTTPS。如果您使用 Amazon S3 VPCE 策略限制对特定存储桶的访问，则必须添加新的 Amazon Linux 存储桶 ARN`arn:aws:s3:::amazonlinux-2-repos-$region/*`到策略（将`$region`替换为终端节点所在的区域）。有关更多信息，请在 AWS 讨论论坛中查看此主题。[公告：Amazon Linux 2 目前支持在连接到软件包存储库时使用 HTTPS 的功能](https://forums.aws.amazon.com/ann.jspa?annID=8528)。

**已知问题**
+ 当您将 Spark 与 Hive 分区位置格式化结合使用以读取 Amazon S3 中的数据，并在 Amazon EMR 版本 5.30.0 至 5.36.0 以及 6.2.0 至 6.9.0 上运行 Spark 时，可能会遇到导致集群无法正确读取数据的问题。如果您的分区具有以下所有特征，会发生这种情况：
  + 从同一个表扫描两个或多个分区。
  + 至少有一个分区目录路径是至少一个其他分区目录路径的前缀，例如，`s3://bucket/table/p=a` 是 `s3://bucket/table/p=a b` 的前缀。
  + 另一个分区目录中前缀后面的第一个字符的 UTF-8 值小于 `/` 字符 (U\$1002F)。例如，在 `s3://bucket/table/p=a b` 中，a 和 b 之间出现的空格字符 (U\$10020) 就属于此类。请注意，还有其他 14 个非控制字符：`!"#$%&‘()*+,-`。有关更多信息，请参阅 [UTF-8 encoding table and Unicode characters](https://www.utf8-chartable.de/)（UTF-8 编码表和 Unicode 字符）。

  解决方法是在 `spark-defaults` 分类中将 `spark.sql.sources.fastS3PartitionDiscovery.enabled` 配置设置为 `false`。

## 6.3.1 组件版本
<a name="emr-631-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.1 | 亚马逊 SageMaker Spark 软件开发工具包 | 
| emr-ddb | 4.16.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 3.2.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.5.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-notebook-env | 1.2.0 | 适用于 EMR Notebooks（可提供 jupyter 企业网关）的 Conda env | 
| emr-s3-dist-cp | 2.18.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 2.1.0 | EMR S3 Select 连接器 | 
| emrfs | 2.46.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.12.1 | Apache Flink 命令行客户端脚本和应用程序。 | 
| flink-jobmanager-config | 1.12.1 | 在 EMR 节点上管理 Apache Flink 的资源。 JobManager | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 3.2.1-amzn-3.1 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 3.2.1-amzn-3.1 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 3.2.1-amzn-3.1 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 3.2.1-amzn-3.1 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-hdfs-journalnode | 3.2.1-amzn-3.1 | 用于管理 HA 集群上的 Hadoop 文件系统日志的 HDFS 服务。 | 
| hadoop-httpfs-server | 3.2.1-amzn-3.1 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 3.2.1-amzn-3.1 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 3.2.1-amzn-3.1 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 3.2.1-amzn-3.1 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 3.2.1-amzn-3.1 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 3.2.1-amzn-3.1 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 2.2.6-amzn-1 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 2.2.6-amzn-1 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 2.2.6-amzn-1 | HBase 命令行客户端。 | 
| hbase-rest-server | 2.2.6-amzn-1 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 2.2.6-amzn-1 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 3.1.2-amzn-4 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 3.1.2-amzn-4 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 3.1.2-amzn-4 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 3.1.2-amzn-4 | Hive 命令行客户端。 | 
| hive-hbase | 3.1.2-amzn-4 | Hive-hbase 客户端。 | 
| hive-metastore-server | 3.1.2-amzn-4 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 3.1.2-amzn-4 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hudi | 0.7.0-amzn-0 | 增量处理框架，以支持低延迟和高效率的数据管道。 | 
| hudi-presto | 0.7.0-amzn-0 | 用于运行 Presto 以及 Hudl 的捆绑库。 | 
| hudi-prestosql | 0.7.0-amzn-0 | 用于运行 PrestoSQL 以及 Hudi 的捆绑库。 | 
| hudi-spark | 0.7.0-amzn-0 | 用于运行 Spark 以及 Hudi 的捆绑库。 | 
| hue-server | 4.9.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 1.2.2 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.7.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mxnet | 1.7.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mariadb-server | 5.5.68\$1 | MariaDB 数据库服务器。 | 
| nvidia-cuda | 10.1.243 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.2.1 | Oozie 命令行客户端。 | 
| oozie-server | 5.2.1 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 4.5.0 | 开源计算机视觉库。 | 
| phoenix-library | 5.0.0--2.0 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 5.0.0--2.0 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.245.1-amzn-0 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.245.1-amzn-0 | 用于执行查询的各个部分的服务。 | 
| presto-client | 0.245.1-amzn-0 | Presto 命令行客户端，安装在 HA 集群的备用主节点（未启动 Presto 服务器）上。 | 
| prestosql-coordinator | 350 | 用于在 prestosql-worker 之中接受查询并管理查询执行的服务。 | 
| prestosql-worker | 350 | 用于执行查询的各个部分的服务。 | 
| prestosql-client | 350 | Presto 命令行客户端，安装在 HA 集群的备用主节点（未启动 Presto 服务器）上。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 4.0.2 | 用于统计计算的 R 项目 | 
| ranger-kms-server | 2.0.0 | Apache Ranger 密钥管理系统 | 
| spark-client | 3.1.1-amzn-0.1 | Spark 命令行客户端。 | 
| spark-history-server | 3.1.1-amzn-0.1 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 3.1.1-amzn-0.1 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 3.1.1-amzn-0.1 | YARN 从属项所需的 Apache Spark 库。 | 
| spark-rapids | 0.4.1 | Nvidia Spark RAPIDS 插件可以加速 Apache Spark GPUs | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 2.4.1 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.9.2 | tez YARN 应用程序和库。 | 
| webserver | 2.4.41\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.9.0 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.14 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.14 | ZooKeeper 命令行客户端。 | 

## 6.3.1 配置分类
<a name="emr-631-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。

为处于运行状态的集群中的实例组指定配置时，将发生重新配置操作。Amazon EMR 仅为您修改的分类启动重新配置操作。有关更多信息，请参阅 [在正在运行的集群中重新配置实例组](emr-configure-apps-running-cluster.md)。


**emr-6.3.1 分类**  

| 分类 | 说明 | 重新配置操作 | 
| --- | --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | Restarts the ResourceManager service. | 
| container-executor | 更改 Hadoop YARN 的 container-executor.cfg 文件中的值。 | Not available. | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | Not available. | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | 更改 docker 相关设置。 | Not available. | 
| emrfs-site | 更改 EMRFS 设置。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | 更改 flink-conf.yaml 设置。 | Restarts Flink history server. | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | Restarts Flink history server. | 
| flink-log4j-session | 更改会话的 Flink log4j-session.properties Kubernetes/Yarn  | Restarts Flink history server. | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | Restarts Flink history server. | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | Not available. | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | Not available. | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | 更改环境 HBase中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | Not available. | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | This classification should not be reconfigured. | 
| hdfs-env | 更改 HDFS 环境中的值。 | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | 更改环境 HCatalog中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | Restarts Hive WebHCat server. | 
| hive | 适用于 Apache Hive 的 Amazon EMR 辅助设置。 | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | Not available. | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | Not available. | 
| hive-env | 更改 Hive 环境中的值。 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | Not available. | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | Not available. | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | Not available. | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | Not available. | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | Restarts Hadoop Httpfs service. | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | Not available. | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | Not available. | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | 更改 Hudi 环境中的值。 | Not available. | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | Not available. | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | Not available. | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | Not available. | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | Not available. | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | Restarts Livy Server. | 
| livy-env | 更改 Livy 环境中的值。 | Restarts Livy Server. | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | Restarts Livy Server. | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | 更改 Oozie 的环境中的值。 | Restarts Oozie. | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | Restarts Oozie. | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | Restarts Oozie. | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | Not available. | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | Not available. | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | Not available. | 
| pig-env | 更改 Pig 环境中的值。 | Not available. | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | Restarts Oozie. | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | Not available. | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | Not available. | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | Not available. | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | Not available. | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | Not available. | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | Not available. | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | Not available. | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | Not available. | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | Not available. | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | Not available. | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | Not available. | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | Not available. | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | Not available. | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | Not available. | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | Not available. | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | Not available. | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | Not available. | 
| prestosql-log | 更改 Presto 的 log.properties 文件中的值。 | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-config | 更改 Presto 的 config.properties 文件中的值。 | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-env | 更改 Presto 的 presto-env.sh 文件中的值。 | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-node | 更改 PrestoSQL 的 node.properties 文件中的值。 | Not available. | 
| prestosql-connector-blackhole | 更改 PrestoSQL 的 blackhole.properties 文件中的值。 | Not available. | 
| prestosql-connector-cassandra | 更改 PrestoSQL 的 cassandra.properties 文件中的值。 | Not available. | 
| prestosql-connector-hive | 更改 PrestoSQL 的 hive.properties 文件中的值。 | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-connector-jmx | 更改 PrestoSQL 的 jmx.properties 文件中的值。 | Not available. | 
| prestosql-connector-kafka | 更改 PrestoSQL 的 kafka.properties 文件中的值。 | Not available. | 
| prestosql-connector-localfile | 更改 PrestoSQL 的 localfile.properties 文件中的值。 | Not available. | 
| prestosql-connector-memory | 更改 PrestoSQL 的 memory.properties 文件中的值。 | Not available. | 
| prestosql-connector-mongodb | 更改 PrestoSQL 的 mongodb.properties 文件中的值。 | Not available. | 
| prestosql-connector-mysql | 更改 PrestoSQL 的 mysql.properties 文件中的值。 | Not available. | 
| prestosql-connector-postgresql | 更改 PrestoSQL 的 postgresql.properties 文件中的值。 | Not available. | 
| prestosql-connector-raptor | 更改 PrestoSQL 的 raptor.properties 文件中的值。 | Not available. | 
| prestosql-connector-redis | 更改 PrestoSQL 的 redis.properties 文件中的值。 | Not available. | 
| prestosql-connector-redshift | 更改 PrestoSQL 的 redshift.properties 文件中的值。 | Not available. | 
| prestosql-connector-tpch | 更改 PrestoSQL 的 tpch.properties 文件中的值。 | Not available. | 
| prestosql-connector-tpcds | 更改 PrestoSQL 的 tpcds.properties 文件中的值。 | Not available. | 
| ranger-kms-dbks-site | 更改 Ranger KMS 的 dbks-site.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-site | 更改 Ranger K ranger-kms-site MS 的.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-env | 更改 Ranger KMS 环境中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-log4j | 更改 Ranger KMS 的 kms-log4j.properties 文件中的值。 | Not available. | 
| ranger-kms-db-ca | 更改 S3 上用于与 Ranger KMS 进行 MySQL SSL 连接的 CA 文件的值。 | Not available. | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | This property modifies spark-defaults. See actions there. | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-env | 更改 Spark 环境中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | Not available. | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | Not available. | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | Not available. | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | Not available. | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | Restart Oozie and HiveServer2. | 
| yarn-env | 更改 YARN 环境中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | Restarts Zeppelin. | 
| zeppelin-site | 更改 zeppelin-site.xml 中的配置设置。 | Restarts Zeppelin. | 
| zookeeper-config | 更改 ZooKeeper的 zoo.cfg 文件中的值。 | Restarts Zookeeper server. | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | Restarts Zookeeper server. | 

# Amazon EMR 发行版 6.3.0
<a name="emr-630-release"></a>

## 6.3.0 应用程序版本
<a name="emr-630-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://prestosql.io/](https://prestosql.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-6.3.0 | emr-6.2.1 | emr-6.2.0 | emr-6.1.1 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.977 | 1.11.880 | 1.11.880 | 1.11.828 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.12.10 | 2.12.10 | 2.12.10 | 2.12.10 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.12.1 | 1.11.2 | 1.11.2 | 1.11.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.2.6-amzn-1 | 2.2.6-amzn-0 | 2.2.6-amzn-0 | 2.2.5 | 
| HCatalog | 3.1.2-amzn-4 | 3.1.2-amzn-3 | 3.1.2-amzn-3 | 3.1.2-amzn-2 | 
| Hadoop | 3.2.1-amzn-3 | 3.2.1-amzn-2.1 | 3.2.1-amzn-2 | 3.2.1-amzn-1.1 | 
| Hive | 3.1.2-amzn-4 | 3.1.2-amzn-3 | 3.1.2-amzn-3 | 3.1.2-amzn-2 | 
| Hudi | 0.7.0-amzn-0 | 0.6.0-amzn-1 | 0.6.0-amzn-1 | 0.5.2-incubating-amzn-2 | 
| Hue | 4.9.0 | 4.8.0 | 4.8.0 | 4.7.1 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway | 2.1.0 | 2.1.0 | 2.1.0 |  -  | 
| JupyterHub | 1.2.2 | 1.1.0 | 1.1.0 | 1.1.0 | 
| Livy | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 
| MXNet | 1.7.0 | 1.7.0 | 1.7.0 | 1.6.0 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.0 | 5.2.0 | 5.2.0 | 
| Phoenix | 5.0.0--2.0 HBase | 5.0.0--2.0 HBase | 5.0.0--2.0 HBase | 5.0.0--2.0 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.245.1-amzn-0 | 0.238.3-amzn-1 | 0.238.3-amzn-1 | 0.232 | 
| Spark | 3.1.1-amzn-0 | 3.0.1-amzn-0.1 | 3.0.1-amzn-0 | 3.0.0-amzn-0.1 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.4.1 | 2.3.1 | 2.3.1 | 2.1.0 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) | 350 | 343 | 343 | 338 | 
| Zeppelin | 0.9.0 | 0.9.0-preview1 | 0.9.0-preview1 | 0.9.0-preview1 | 
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 

## 6.3.0 发布说明
<a name="emr-630-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 6.3.0 的信息。更改与 6.2.0 有关。

首次发布日期：2021 年 5 月 12 日

上次更新日期：2021 年 8 月 9 日

**受支持的应用程序**
+ 适用于 Java 的 AWS SDK 版本 1.11.977
+ CloudWatch Sink 版本 2.1.0
+ DynamoDB 连接器 4.16.0
+ EMRFS 2.46.0
+ Amazon EMR Goodies 3.2.0
+ Amazon EMR Kinesis 连接器 3.5.0 版
+ Amazon EMR 记录服务器版本 2.0.0
+ Amazon EMR Scripts 2.5.0
+ Flink 1.12.1
+ Ganglia 3.7.2
+ AWS Glue Hive Metastore 客户端版本 3.2.0
+ Hadoop 3.2.1-amzn-3
+ HBase 版本 2.2.6-amzn-1
+ HBase-operator-tools 1.0.0
+ HCatalog 版本 3.1.2-amzn-0
+ Hive 3.1.2-amzn-4
+ Hudi 0.7.0-amzn-0
+ Hue 4.9.0
+ Java JDK Corretto-8.282.08.1（内部1.8.0\$1282-b08）
+ JupyterHub 版本 1.2.0
+ Livy 0.7.0-incubating
+ MXNet 版本 1.7.0
+ Oozie 5.2.1
+ Phoenix 5.0.0
+ Pig 0.17.0
+ Presto 0.245.1-amzn-0
+ PrestoSQL 350
+ Apache Ranger KMS（多主节点透明加密）版本 2.0.0
+ ranger-plugins 2.0.1-amzn-0
+ ranger-s3-plugin 1.1.0
+ SageMaker Spark SDK 版本 1.4.1
+ Scala 2.12.10（OpenJDK 64 位服务器 VM，Java 1.8.0\$1282）
+ Spark 3.1.1-amzn-0
+ spark-rapids 0.4.1
+ Sqoop 1.4.7
+ TensorFlow 版本 2.4.1
+ tez 0.9.2
+ Zeppelin 0.9.0
+ Zookeeper 3.4.14
+ 连接器和驱动程序：DynamoDB 连接器 4.16.0

**新特征**
+ Amazon EMR 支持 Amazon S3 接入点，这是 Amazon S3 的一项功能，可让您轻松管理共享数据湖的访问。使用 Amazon S3 接入点别名，您可以在 Amazon EMR 上大规模简化数据访问。在所有提供 Amazon EMR 的 AWS 区域，您可以将 Amazon S3 接入点与所有版本的 Amazon EMR 配合使用，无需支付额外费用。要了解有关 Amazon S3 访问点和访问点别名的详细信息，请参阅[《Amazon S3 用户指南》](https://docs.aws.amazon.com/AmazonS3/latest/userguide/access-points-alias.html)中的*为接入点使用存储桶式别名*。
+ 新的 `DescribeReleaseLabel` 和 `ListReleaseLabel` API 参数提供 Amazon EMR 发行版标注详细信息。您可以以编程方式列出运行 API 请求的区域中提供的版本，并列出特定 Amazon EMR 发行版标注的可用应用程序。发行版标签参数还列出了支持指定应用程序（如 Spark）的 Amazon EMR 发行版。以编程方式启动 Amazon EMR 集群时会用到此信息。例如，您可以使用 `ListReleaseLabel` 结果中的最新发行版启动集群。有关更多信息，请参阅 *Amazon EMR API* 参考[ListReleaseLabels](https://docs.aws.amazon.com/emr/latest/APIReference/API_ListReleaseLabels.html)中的[DescribeReleaseLabel](https://docs.aws.amazon.com/emr/latest/APIReference/API_DescribeReleaseLabel.html)和。
+ 借助 Amazon EMR 6.3.0，您可以启动与 Apache Ranger 在本地集成的集群。Apache Ranger 是一个开源框架，可跨 Hadoop 平台启用、监控和管理全面的数据安全。有关更多信息，请参阅 [Apache Ranger](https://ranger.apache.org/)。通过本机集成，您可以自带 Apache Ranger，在 Amazon EMR 上强制实施精细数据访问控制。请参阅《Amazon EMR 管理指南》中的[将 Amazon EMR 与 Apache Ranger 集成](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-ranger.html)。
+ 限定范围的托管策略：为了与 AWS 最佳实践保持一致，Amazon EMR 引入了 v2 EMR 范围的默认托管策略，以取代即将弃用的策略。请参阅 [Amazon EMR 托管式策略](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-managed-iam-policies.html)。
+ 实例元数据服务 (IMDS) V2 支持状态：对于亚马逊 EMR 6.2 或更高版本，亚马逊 EMR 组件用于所有 IMDS 调用。 IMDSv2 对于应用程序代码中的 IMDS 调用，您可以同时使用 IMDSv1 和 IMDSv2，或者将 IMDS 配置 IMDSv2 为仅用于提高安全性。如果您 IMDSv1 在早期的 Amazon EMR 6.x 版本中禁用，则会导致集群启动失败。

**更改、增强功能和解决的问题**
+ 此版本旨在修复 Amazon EMR Scaling 无法成功缩 up/scale 减集群规模或导致应用程序故障时出现的问题。
+ 修复了当 Amazon EMR 集群上的进程守护程序正在进行运行状况检查活动（例如收集 YARN 节点状态和 HDFS 节点状态）时，针对高利用率的大型集群的扩展请求失败的问题。之所以发生这种情况，是因为集群上的进程守护程序无法将节点的运行状况数据传递给内部 Amazon EMR 组件。
+ 改进了 EMR 集群上的进程守护程序，以便在重用 IP 地址时正确跟踪节点状态，从而提高扩缩操作期间的可靠性。
+ [SPARK-29683](https://issues.apache.org/jira/browse/SPARK-29683)。修复了集群缩减期间出现任务失败的问题，因为 Spark 假定所有可用节点都被拒绝列出。
+ [YARN-9011](https://issues.apache.org/jira/browse/YARN-9011)。修复了集群尝试纵向扩展或缩减时，由于 YARN 停用中的争用条件导致任务失败的问题。
+ 通过确保 Amazon EMR 集群上的进程守护程序和 YARN/HDFS 之间的节点状态始终一致，解决了集群扩展期间步骤或任务失败的问题。
+ 修复了已启用 Kerberos 身份验证的 Amazon EMR 集群的诸如缩减和步骤提交等集群操作失败的问题。这是因为 Amazon EMR 集群守护程序没有续订 Kerberos 票证，而在主节点上运行时需要使用该票证才能安全地进行 HDFS/YARN 通信。
+ 较新的亚马逊 EMR 版本通过较低的 A AL2 mazon EMR 中较旧版本的 “最大打开文件数” 限制来解决这个问题。Amazon EMR 发行版 5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 及更高版本现在用更高的“最大打开文件数”设置永久修复了此问题。
+ Spark SQL UI 说明了如何在 [Spark 3.1](https://issues.apache.org/jira/browse/SPARK-31325) 中将默认模式从 `extended` 更改为 `formatted`。Amazon EMR 已将其恢复为 `extended`，以在 Spark SQL UI 中包含逻辑计划信息。可以通过将 `spark.sql.ui.explainMode` 设置为 `formatted` 进行还原。
+ 以下提交是从 Spark 主分支逆向移植的。

  ：[[SPARK-34752]](https://issues.apache.org/jira/browse/SPARK-34752)[BUILD] Bump Jetty 升级到 9.4.37，解决了 CVE-2020-27223 问题。

  -[[SPARK-34534]](https://issues.apache.org/jira/browse/SPARK-34534) 修复了用于 FetchShuffleBlocks 获取方块时的 BlocKids 顺序。

  ：[[SPARK-34681]](https://issues.apache.org/jira/browse/SPARK-34681) [SQL] 修复了在非同等条件下构建左侧时完整的外部混乱哈希连接的错误。

  ：[[SPARK-34497]](https://issues.apache.org/jira/browse/SPARK-34497) [SQL] 修复了内置 JDBC 连接提供程序，以恢复 JVM 安全上下文更改。
+ 为了提高与 Nvidia Spark RAPIDs 插件的互操作性，添加了解决方法以解决在禁用自适应查询执行的情况下使用 Nvidia Spark RAPIDs 时无法触发动态分区修剪的问题，请参阅 RAPIDS [问题 \$11378](https://github.com/NVIDIA/spark-rapids/issues/1378) 和 RAPIDS [问题 \$1 \$11386](https://github.com/NVIDIA/spark-rapids/issues/1386)。有关新配置的详细信息`spark.sql.optimizer.dynamicPartitionPruning.enforceBroadcastReuse`，请参阅 [RAPIDS 问题 \$1\$11386](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-spark-performance.html#emr-spark-performance-dynamic)。
+ 文件输出提交程序默认算法已在开源 Spark 3.1 中将 v2 算法更改为 v1 算法。有关更多信息，请参阅 [Amazon EMR 优化 Spark 性能：动态分区修剪](https://issues.apache.org/jira/browse/SPARK-33019)。
+ Amazon EMR 恢复为 v2 算法（早于 Amazon EMR 6.x 的发行版中使用默认算法），以防止性能下降。要恢复开源 Spark 3.1 行为，请将 `spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version` 设置为 `1`。开源 Spark 进行了此更改，因为文件输出提交程序算法 v2 中的任务提交不是原子操作，在某些情况下可能会导致输出数据正确性问题。不过，算法 v1 中的任务提交也不是原子操作。在某些情况下，任务提交会包括在重命名之前执行的删除。这可能会导致出现无提示的数据正确性问题。
+ 修复了早期 Amazon EMR 发行版中的托管扩展问题，并对托管扩展进行了改进，从而显著降低了应用程序故障率。
+ 已在每个新集群上安装了 AWS Java SDK 捆绑包。这是一个包含所有服务 SDKs 及其依赖关系的单个 jar，而不是单个组件 jar。有关更多信息，请参阅 [Java SDK Bundled Dependency](https://aws.amazon.com/blogs/developer/java-sdk-bundle/)。

**已知问题**
+ 对于 Amazon EMR 6.3.0 和 6.2.0 私有子网集群，您不能访问 Ganglia Web UI。您将收到“access denied (403)”错误。其他网络 UIs，例如 Spark、Hue JupyterHub、Zeppelin、Livy 和 Tez，都正常运行。公有子网集群上的 Ganglia Web UI 访问也正常工作。要解决该问题，请在具有 `sudo systemctl restart httpd` 的主节点上重新启动 httpd 服务。此问题已在 Amazon EMR 6.4.0 中得到修复。
+ 启用 AWS Glue 数据目录后，使用 Spark 访问带有空字符串位置 URI 的 AWS Glue 数据库可能会失败。早期发布的亚马逊 EMR 会发生这种情况，但是 SPARK-31709 (https://issues.apache。 org/jira/browse/SPARK-31709) 使其适用于更多案例。例如，在默认 AWS Glue DB 中创建位置 URI 为空字符串的表时，`spark.sql("CREATE TABLE mytest (key string) location '/table_path';")`会失败，并显示消息 “无法从空字符串创建路径”。要解决此问题，请手动设置 AWS Glue 数据库的位置 URI，然后使用 Spark 在这些数据库中创建表。
+ 在 Amazon EMR 6.3.0 中，PrestoSQL 已从版本 343 升级到版本 350。开源中有两个与安全相关的更改与此版本更改相关。未定义表、架构或会话属性规则时，基于文件的目录访问控制已从 `deny` 更改为 `allow`。此外，基于文件的系统访问控制已更改为支持目录规则未定义的文件。在这种情况下，允许完全访问目录。

  有关更多信息，请参阅[发行版 344（2020 年 10 月 9 日）](https://trino.io/docs/current/release/release-344.html#security)。
+ 请注意 Hadoop 用户目录 (/) home/hadoop) is readable by everyone. It has Unix 755 (drwxr-xr-x) directory permissions to allow read access by frameworks like Hive. You can put files in /home/hadoop 及其子目录，但要注意这些目录上保护敏感信息的权限。
+ **降低旧版本的 “最大打开文件数” 限制 AL2 [在新版本中已修复]。**亚马逊 EMR 版本：emr-5.30.x、emr-5.31.0、emr-5.32.0、emr-6.0.0、emr-6.1.0 和 emr-6.2.0 基于较旧版本的亚马逊 Linux 2 ()，当使用默认 AMI 创建亚马逊 EMR 集群时，“最大打开文件数” 的用户限制设置较低。AL2Amazon EMR 发行版 5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 及更高版本使用更高的“最大打开文件数”设置永久修复了此问题。如果使用打开文件数限制较低的发行版，会在提交 Spark 任务时导致“Too many open files”（打开的文件过多）错误。在受影响的发行版中，Amazon EMR 原定设置 AMI 的原定设置“最大打开文件数”ulimit 为 4096，而最新版 Amazon Linux 2 AMI 中的文件限制数为 65536。Spark 驱动程序和执行程序尝试打开超过 4096 个文件时，“打开的最大文件数”的较低 ulimit 设置会导致 Spark 任务失败。要修复此问题，Amazon EMR 使用一个引导操作（BA）脚本，用于在创建集群时调整 ulimit 设置。

  如果您使用没有永久修复此问题的较早版本的 Amazon EMR，则可以通过下面的解决方法，显式将实例控制器 ulimit 设置为最多 65536 个文件。

**从命令行显式设置 ulimit**

  1. 编辑 `/etc/systemd/system/instance-controller.service`，将以下参数添加到 Service (服务) 部分。

     `LimitNOFILE=65536`

     `LimitNPROC=65536`

  1. 重启 InstanceController

     `$ sudo systemctl daemon-reload`

     `$ sudo systemctl restart instance-controller`

  **使用引导操作 (BA) 设置 ulimit**

  您还可以在创建集群时使用引导操作（BA）脚本将实例控制器 ulimit 配置为 65536 个文件。

  ```
  #!/bin/bash
  for user in hadoop spark hive; do
  sudo tee /etc/security/limits.d/$user.conf << EOF
  $user - nofile 65536
  $user - nproc 65536
  EOF
  done
  for proc in instancecontroller logpusher; do
  sudo mkdir -p /etc/systemd/system/$proc.service.d/
  sudo tee /etc/systemd/system/$proc.service.d/override.conf << EOF
  [Service]
  LimitNOFILE=65536
  LimitNPROC=65536
  EOF
  pid=$(pgrep -f aws157.$proc.Main)
  sudo prlimit --pid $pid --nofile=65535:65535 --nproc=65535:65535
  done
  sudo systemctl daemon-reload
  ```
+ 
**重要**  
运行 Amazon Linux 或 Amazon Linux 2 亚马逊机器映像（AMI）的 EMR 集群使用默认的 Amazon Linux 行为，且不会自动下载和安装需要重新启动的重要关键内核更新。这与运行默认 Amazon Linux AMI 的其它 Amazon EC2 实例的行为相同。如果需要重新启动的新 Amazon Linux 软件更新（例如内核、NVIDIA 和 CUDA 更新）在 Amazon EMR 版本发布后可用，则运行默认 AMI 的 EMR 集群实例不会自动下载和安装这些更新。要获取内核更新，您可以[自定义 Amazon EMR AMI](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-custom-ami.html)，以[使用最新的 Amazon Linux AMI](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/finding-an-ami.html)。
+ 要将 Spark 操作与 Apache Oozie 一起使用，必须将以下配置添加到 Oozie `workflow.xml` 文件中。否则，Oozie 启动的 Spark 执行器的类路径中将丢失几个诸如 Hadoop 和 EMRFS 之类的关键库。

  ```
  <spark-opts>--conf spark.yarn.populateHadoopClasspath=true</spark-opts>
  ```
+ 当您将 Spark 与 Hive 分区位置格式化结合使用以读取 Amazon S3 中的数据，并在 Amazon EMR 版本 5.30.0 至 5.36.0 以及 6.2.0 至 6.9.0 上运行 Spark 时，可能会遇到导致集群无法正确读取数据的问题。如果您的分区具有以下所有特征，会发生这种情况：
  + 从同一个表扫描两个或多个分区。
  + 至少有一个分区目录路径是至少一个其他分区目录路径的前缀，例如，`s3://bucket/table/p=a` 是 `s3://bucket/table/p=a b` 的前缀。
  + 另一个分区目录中前缀后面的第一个字符的 UTF-8 值小于 `/` 字符 (U\$1002F)。例如，在 `s3://bucket/table/p=a b` 中，a 和 b 之间出现的空格字符 (U\$10020) 就属于此类。请注意，还有其他 14 个非控制字符：`!"#$%&‘()*+,-`。有关更多信息，请参阅 [UTF-8 encoding table and Unicode characters](https://www.utf8-chartable.de/)（UTF-8 编码表和 Unicode 字符）。

  解决方法是在 `spark-defaults` 分类中将 `spark.sql.sources.fastS3PartitionDiscovery.enabled` 配置设置为 `false`。

## 6.3.0 组件版本
<a name="emr-630-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.1 | 亚马逊 SageMaker Spark 软件开发工具包 | 
| emr-ddb | 4.16.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 3.2.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.5.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-notebook-env | 1.2.0 | 适用于 EMR Notebooks（可提供 jupyter 企业网关）的 Conda env | 
| emr-s3-dist-cp | 2.18.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 2.1.0 | EMR S3 Select 连接器 | 
| emrfs | 2.46.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.12.1 | Apache Flink 命令行客户端脚本和应用程序。 | 
| flink-jobmanager-config | 1.12.1 | 在 EMR 节点上管理 Apache Flink 的资源。 JobManager | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 3.2.1-amzn-3 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 3.2.1-amzn-3 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 3.2.1-amzn-3 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 3.2.1-amzn-3 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-hdfs-journalnode | 3.2.1-amzn-3 | 用于管理 HA 集群上的 Hadoop 文件系统日志的 HDFS 服务。 | 
| hadoop-httpfs-server | 3.2.1-amzn-3 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 3.2.1-amzn-3 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 3.2.1-amzn-3 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 3.2.1-amzn-3 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 3.2.1-amzn-3 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 3.2.1-amzn-3 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 2.2.6-amzn-1 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 2.2.6-amzn-1 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 2.2.6-amzn-1 | HBase 命令行客户端。 | 
| hbase-rest-server | 2.2.6-amzn-1 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 2.2.6-amzn-1 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 3.1.2-amzn-4 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 3.1.2-amzn-4 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 3.1.2-amzn-4 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 3.1.2-amzn-4 | Hive 命令行客户端。 | 
| hive-hbase | 3.1.2-amzn-4 | Hive-hbase 客户端。 | 
| hive-metastore-server | 3.1.2-amzn-4 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 3.1.2-amzn-4 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hudi | 0.7.0-amzn-0 | 增量处理框架，以支持低延迟和高效率的数据管道。 | 
| hudi-presto | 0.7.0-amzn-0 | 用于运行 Presto 以及 Hudl 的捆绑库。 | 
| hudi-prestosql | 0.7.0-amzn-0 | 用于运行 PrestoSQL 以及 Hudi 的捆绑库。 | 
| hudi-spark | 0.7.0-amzn-0 | 用于运行 Spark 以及 Hudi 的捆绑库。 | 
| hue-server | 4.9.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 1.2.2 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.7.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mxnet | 1.7.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mariadb-server | 5.5.68\$1 | MariaDB 数据库服务器。 | 
| nvidia-cuda | 10.1.243 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.2.1 | Oozie 命令行客户端。 | 
| oozie-server | 5.2.1 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 4.5.0 | 开源计算机视觉库。 | 
| phoenix-library | 5.0.0--2.0 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 5.0.0--2.0 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.245.1-amzn-0 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.245.1-amzn-0 | 用于执行查询的各个部分的服务。 | 
| presto-client | 0.245.1-amzn-0 | Presto 命令行客户端，安装在 HA 集群的备用主节点（未启动 Presto 服务器）上。 | 
| prestosql-coordinator | 350 | 用于在 prestosql-worker 之中接受查询并管理查询执行的服务。 | 
| prestosql-worker | 350 | 用于执行查询的各个部分的服务。 | 
| prestosql-client | 350 | Presto 命令行客户端，安装在 HA 集群的备用主节点（未启动 Presto 服务器）上。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 4.0.2 | 用于统计计算的 R 项目 | 
| ranger-kms-server | 2.0.0 | Apache Ranger 密钥管理系统 | 
| spark-client | 3.1.1-amzn-0 | Spark 命令行客户端。 | 
| spark-history-server | 3.1.1-amzn-0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 3.1.1-amzn-0 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 3.1.1-amzn-0 | YARN 从属项所需的 Apache Spark 库。 | 
| spark-rapids | 0.4.1 | Nvidia Spark RAPIDS 插件可以加速 Apache Spark GPUs | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 2.4.1 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.9.2 | tez YARN 应用程序和库。 | 
| webserver | 2.4.41\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.9.0 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.14 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.14 | ZooKeeper 命令行客户端。 | 

## 6.3.0 配置分类
<a name="emr-630-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。

为处于运行状态的集群中的实例组指定配置时，将发生重新配置操作。Amazon EMR 仅为您修改的分类启动重新配置操作。有关更多信息，请参阅 [在正在运行的集群中重新配置实例组](emr-configure-apps-running-cluster.md)。


**emr-6.3.0 分类**  

| 分类 | 说明 | 重新配置操作 | 
| --- | --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | Restarts the ResourceManager service. | 
| container-executor | 更改 Hadoop YARN 的 container-executor.cfg 文件中的值。 | Not available. | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | Not available. | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | 更改 docker 相关设置。 | Not available. | 
| emrfs-site | 更改 EMRFS 设置。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | 更改 flink-conf.yaml 设置。 | Restarts Flink history server. | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | Restarts Flink history server. | 
| flink-log4j-session | 更改会话的 Flink log4j-session.properties Kubernetes/Yarn  | Restarts Flink history server. | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | Restarts Flink history server. | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | Not available. | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | Not available. | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | 更改环境 HBase中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | Not available. | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | This classification should not be reconfigured. | 
| hdfs-env | 更改 HDFS 环境中的值。 | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | 更改环境 HCatalog中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | Restarts Hive WebHCat server. | 
| hive | 适用于 Apache Hive 的 Amazon EMR 辅助设置。 | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | Not available. | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | Not available. | 
| hive-env | 更改 Hive 环境中的值。 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | Not available. | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | Not available. | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | Not available. | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | Not available. | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | Restarts Hadoop Httpfs service. | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | Not available. | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | Not available. | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | 更改 Hudi 环境中的值。 | Not available. | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | Not available. | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | Not available. | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | Not available. | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | Not available. | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | Restarts Livy Server. | 
| livy-env | 更改 Livy 环境中的值。 | Restarts Livy Server. | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | Restarts Livy Server. | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | 更改 Oozie 的环境中的值。 | Restarts Oozie. | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | Restarts Oozie. | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | Restarts Oozie. | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | Not available. | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | Not available. | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | Not available. | 
| pig-env | 更改 Pig 环境中的值。 | Not available. | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | Restarts Oozie. | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | Not available. | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | Not available. | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | Not available. | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | Not available. | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | Not available. | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | Not available. | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | Not available. | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | Not available. | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | Not available. | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | Not available. | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | Not available. | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | Not available. | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | Not available. | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | Not available. | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | Not available. | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | Not available. | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | Not available. | 
| prestosql-log | 更改 Presto 的 log.properties 文件中的值。 | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-config | 更改 Presto 的 config.properties 文件中的值。 | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-env | 更改 Presto 的 presto-env.sh 文件中的值。 | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-node | 更改 PrestoSQL 的 node.properties 文件中的值。 | Not available. | 
| prestosql-connector-blackhole | 更改 PrestoSQL 的 blackhole.properties 文件中的值。 | Not available. | 
| prestosql-connector-cassandra | 更改 PrestoSQL 的 cassandra.properties 文件中的值。 | Not available. | 
| prestosql-connector-hive | 更改 PrestoSQL 的 hive.properties 文件中的值。 | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-connector-jmx | 更改 PrestoSQL 的 jmx.properties 文件中的值。 | Not available. | 
| prestosql-connector-kafka | 更改 PrestoSQL 的 kafka.properties 文件中的值。 | Not available. | 
| prestosql-connector-localfile | 更改 PrestoSQL 的 localfile.properties 文件中的值。 | Not available. | 
| prestosql-connector-memory | 更改 PrestoSQL 的 memory.properties 文件中的值。 | Not available. | 
| prestosql-connector-mongodb | 更改 PrestoSQL 的 mongodb.properties 文件中的值。 | Not available. | 
| prestosql-connector-mysql | 更改 PrestoSQL 的 mysql.properties 文件中的值。 | Not available. | 
| prestosql-connector-postgresql | 更改 PrestoSQL 的 postgresql.properties 文件中的值。 | Not available. | 
| prestosql-connector-raptor | 更改 PrestoSQL 的 raptor.properties 文件中的值。 | Not available. | 
| prestosql-connector-redis | 更改 PrestoSQL 的 redis.properties 文件中的值。 | Not available. | 
| prestosql-connector-redshift | 更改 PrestoSQL 的 redshift.properties 文件中的值。 | Not available. | 
| prestosql-connector-tpch | 更改 PrestoSQL 的 tpch.properties 文件中的值。 | Not available. | 
| prestosql-connector-tpcds | 更改 PrestoSQL 的 tpcds.properties 文件中的值。 | Not available. | 
| ranger-kms-dbks-site | 更改 Ranger KMS 的 dbks-site.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-site | 更改 Ranger K ranger-kms-site MS 的.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-env | 更改 Ranger KMS 环境中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-log4j | 更改 Ranger KMS 的 kms-log4j.properties 文件中的值。 | Not available. | 
| ranger-kms-db-ca | 更改 S3 上用于与 Ranger KMS 进行 MySQL SSL 连接的 CA 文件的值。 | Not available. | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | This property modifies spark-defaults. See actions there. | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-env | 更改 Spark 环境中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | Not available. | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | Not available. | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | Not available. | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | Not available. | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | Restart Oozie and HiveServer2. | 
| yarn-env | 更改 YARN 环境中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | Restarts Zeppelin. | 
| zeppelin-site | 更改 zeppelin-site.xml 中的配置设置。 | Restarts Zeppelin. | 
| zookeeper-config | 更改 ZooKeeper的 zoo.cfg 文件中的值。 | Restarts Zookeeper server. | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | Restarts Zookeeper server. | 

# Amazon EMR 发行版 6.2.1
<a name="emr-621-release"></a>

## 6.2.1 应用程序版本
<a name="emr-621-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://prestosql.io/](https://prestosql.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-6.2.1 | emr-6.2.0 | emr-6.1.1 | emr-6.1.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.880 | 1.11.880 | 1.11.828 | 1.11.828 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.12.10 | 2.12.10 | 2.12.10 | 2.12.10 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.11.2 | 1.11.2 | 1.11.0 | 1.11.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.2.6-amzn-0 | 2.2.6-amzn-0 | 2.2.5 | 2.2.5 | 
| HCatalog | 3.1.2-amzn-3 | 3.1.2-amzn-3 | 3.1.2-amzn-2 | 3.1.2-amzn-2 | 
| Hadoop | 3.2.1-amzn-2.1 | 3.2.1-amzn-2 | 3.2.1-amzn-1.1 | 3.2.1-amzn-1 | 
| Hive | 3.1.2-amzn-3 | 3.1.2-amzn-3 | 3.1.2-amzn-2 | 3.1.2-amzn-2 | 
| Hudi | 0.6.0-amzn-1 | 0.6.0-amzn-1 | 0.5.2-incubating-amzn-2 | 0.5.2-incubating-amzn-2 | 
| Hue | 4.8.0 | 4.8.0 | 4.7.1 | 4.7.1 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway | 2.1.0 | 2.1.0 |  -  |  -  | 
| JupyterHub | 1.1.0 | 1.1.0 | 1.1.0 | 1.1.0 | 
| Livy | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 
| MXNet | 1.7.0 | 1.7.0 | 1.6.0 | 1.6.0 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.0 | 5.2.0 | 5.2.0 | 5.2.0 | 
| Phoenix | 5.0.0--2.0 HBase | 5.0.0--2.0 HBase | 5.0.0--2.0 HBase | 5.0.0--2.0 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.238.3-amzn-1 | 0.238.3-amzn-1 | 0.232 | 0.232 | 
| Spark | 3.0.1-amzn-0.1 | 3.0.1-amzn-0 | 3.0.0-amzn-0.1 | 3.0.0-amzn-0 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.3.1 | 2.3.1 | 2.1.0 | 2.1.0 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) | 343 | 343 | 338 | 338 | 
| Zeppelin | 0.9.0-preview1 | 0.9.0-preview1 | 0.9.0-preview1 | 0.9.0-preview1 | 
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 

## 6.2.1 发布说明
<a name="emr-621-relnotes"></a>

此版本旨在修复 Amazon EMR Scaling 无法成功缩 up/scale 减集群规模或导致应用程序故障时出现的问题。

**更改、增强和解决的问题**
+ 修复了当 Amazon EMR 集群上的进程守护程序正在进行运行状况检查活动（例如收集 YARN 节点状态和 HDFS 节点状态）时，针对高利用率的大型集群的扩展请求失败的问题。之所以发生这种情况，是因为集群上的进程守护程序无法将节点的运行状况数据传递给内部 Amazon EMR 组件。
+ 改进了 EMR 集群上的进程守护程序，以便在重用 IP 地址时正确跟踪节点状态，从而提高扩缩操作期间的可靠性。
+ [SPARK-29683](https://issues.apache.org/jira/browse/SPARK-29683)。修复了集群缩减期间出现任务失败的问题，因为 Spark 假定所有可用节点都被拒绝列出。
+ [YARN-9011](https://issues.apache.org/jira/browse/YARN-9011)。修复了集群尝试纵向扩展或缩减时，由于 YARN 停用中的争用条件导致任务失败的问题。
+ 通过确保 Amazon EMR 集群上的进程守护程序和 YARN/HDFS 之间的节点状态始终一致，解决了集群扩展期间步骤或任务失败的问题。
+ 修复了已启用 Kerberos 身份验证的 Amazon EMR 集群的诸如缩减和步骤提交等集群操作失败的问题。这是因为 Amazon EMR 集群守护程序没有续订 Kerberos 票证，而在主节点上运行时需要使用该票证才能安全地进行 HDFS/YARN 通信。
+ 较新的亚马逊 EMR 版本通过较低的 A AL2 mazon EMR 中较旧版本的 “最大打开文件数” 限制来解决这个问题。Amazon EMR 发行版 5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 及更高版本现在用更高的“最大打开文件数”设置永久修复了此问题。
+ 现在，默认情况下，已启用 Amazon Linux 存储库的 HTTPS。如果您使用 Amazon S3 VPCE 策略限制对特定存储桶的访问，则必须添加新的 Amazon Linux 存储桶 ARN`arn:aws:s3:::amazonlinux-2-repos-$region/*`到策略（将`$region`替换为终端节点所在的区域）。有关更多信息，请在 AWS 讨论论坛中查看此主题。[公告：Amazon Linux 2 目前支持在连接到软件包存储库时使用 HTTPS 的功能](https://forums.aws.amazon.com/ann.jspa?annID=8528)。

**已知问题**
+ 当您将 Spark 与 Hive 分区位置格式化结合使用以读取 Amazon S3 中的数据，并在 Amazon EMR 版本 5.30.0 至 5.36.0 以及 6.2.0 至 6.9.0 上运行 Spark 时，可能会遇到导致集群无法正确读取数据的问题。如果您的分区具有以下所有特征，会发生这种情况：
  + 从同一个表扫描两个或多个分区。
  + 至少有一个分区目录路径是至少一个其他分区目录路径的前缀，例如，`s3://bucket/table/p=a` 是 `s3://bucket/table/p=a b` 的前缀。
  + 另一个分区目录中前缀后面的第一个字符的 UTF-8 值小于 `/` 字符 (U\$1002F)。例如，在 `s3://bucket/table/p=a b` 中，a 和 b 之间出现的空格字符 (U\$10020) 就属于此类。请注意，还有其他 14 个非控制字符：`!"#$%&‘()*+,-`。有关更多信息，请参阅 [UTF-8 encoding table and Unicode characters](https://www.utf8-chartable.de/)（UTF-8 编码表和 Unicode 字符）。

  解决方法是在 `spark-defaults` 分类中将 `spark.sql.sources.fastS3PartitionDiscovery.enabled` 配置设置为 `false`。

## 6.2.1 组件版本
<a name="emr-621-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.1 | 亚马逊 SageMaker Spark 软件开发工具包 | 
| emr-ddb | 4.16.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 3.1.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.5.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-notebook-env | 1.0.0 | 适用于 EMR Notebooks（可提供 jupyter 企业网关）的 Conda env | 
| emr-s3-dist-cp | 2.16.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 2.0.0 | EMR S3 Select 连接器 | 
| emrfs | 2.44.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.11.2 | Apache Flink 命令行客户端脚本和应用程序。 | 
| flink-jobmanager-config | 1.11.2 | 在 EMR 节点上管理 Apache Flink 的资源。 JobManager | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 3.2.1-amzn-2.1 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 3.2.1-amzn-2.1 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 3.2.1-amzn-2.1 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 3.2.1-amzn-2.1 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-hdfs-journalnode | 3.2.1-amzn-2.1 | 用于管理 HA 集群上的 Hadoop 文件系统日志的 HDFS 服务。 | 
| hadoop-httpfs-server | 3.2.1-amzn-2.1 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 3.2.1-amzn-2.1 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 3.2.1-amzn-2.1 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 3.2.1-amzn-2.1 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 3.2.1-amzn-2.1 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 3.2.1-amzn-2.1 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 2.2.6-amzn-0 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 2.2.6-amzn-0 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 2.2.6-amzn-0 | HBase 命令行客户端。 | 
| hbase-rest-server | 2.2.6-amzn-0 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 2.2.6-amzn-0 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 3.1.2-amzn-3 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 3.1.2-amzn-3 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 3.1.2-amzn-3 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 3.1.2-amzn-3 | Hive 命令行客户端。 | 
| hive-hbase | 3.1.2-amzn-3 | Hive-hbase 客户端。 | 
| hive-metastore-server | 3.1.2-amzn-3 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 3.1.2-amzn-3 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hudi | 0.6.0-amzn-1 | 增量处理框架，以支持低延迟和高效率的数据管道。 | 
| hudi-presto | 0.6.0-amzn-1 | 用于运行 Presto 以及 Hudl 的捆绑库。 | 
| hudi-prestosql | 0.6.0-amzn-1 | 用于运行 PrestoSQL 以及 Hudi 的捆绑库。 | 
| hudi-spark | 0.6.0-amzn-1 | 用于运行 Spark 以及 Hudi 的捆绑库。 | 
| hue-server | 4.8.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 1.1.0 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.7.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mxnet | 1.7.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mariadb-server | 5.5.64\$1 | MariaDB 数据库服务器。 | 
| nvidia-cuda | 10.1.243 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.2.0 | Oozie 命令行客户端。 | 
| oozie-server | 5.2.0 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 4.4.0 | 开源计算机视觉库。 | 
| phoenix-library | 5.0.0--2.0 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 5.0.0--2.0 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.238.3-amzn-1 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.238.3-amzn-1 | 用于执行查询的各个部分的服务。 | 
| presto-client | 0.238.3-amzn-1 | Presto 命令行客户端，安装在 HA 集群的备用主节点（未启动 Presto 服务器）上。 | 
| prestosql-coordinator | 343 | 用于在 prestosql-worker 之中接受查询并管理查询执行的服务。 | 
| prestosql-worker | 343 | 用于执行查询的各个部分的服务。 | 
| prestosql-client | 343 | Presto 命令行客户端，安装在 HA 集群的备用主节点（未启动 Presto 服务器）上。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 3.4.3 | 用于统计计算的 R 项目 | 
| ranger-kms-server | 2.0.0 | Apache Ranger 密钥管理系统 | 
| spark-client | 3.0.1-amzn-0.1 | Spark 命令行客户端。 | 
| spark-history-server | 3.0.1-amzn-0.1 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 3.0.1-amzn-0.1 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 3.0.1-amzn-0.1 | YARN 从属项所需的 Apache Spark 库。 | 
| spark-rapids | 0.2.0 | Nvidia Spark RAPIDS 插件可以加速 Apache Spark GPUs | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 2.3.1 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.9.2 | tez YARN 应用程序和库。 | 
| webserver | 2.4.41\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.9.0-preview1 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.14 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.14 | ZooKeeper 命令行客户端。 | 

## 6.2.1 配置分类
<a name="emr-621-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。

为处于运行状态的集群中的实例组指定配置时，将发生重新配置操作。Amazon EMR 仅为您修改的分类启动重新配置操作。有关更多信息，请参阅 [在正在运行的集群中重新配置实例组](emr-configure-apps-running-cluster.md)。


**emr-6.2.1 分类**  

| 分类 | 说明 | 重新配置操作 | 
| --- | --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | Restarts the ResourceManager service. | 
| container-executor | 更改 Hadoop YARN 的 container-executor.cfg 文件中的值。 | Not available. | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | Not available. | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | 更改 docker 相关设置。 | Not available. | 
| emrfs-site | 更改 EMRFS 设置。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | 更改 flink-conf.yaml 设置。 | Not available. | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | Not available. | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | Not available. | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | Not available. | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | Not available. | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | Not available. | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | 更改环境 HBase中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | Not available. | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | This classification should not be reconfigured. | 
| hdfs-env | 更改 HDFS 环境中的值。 | Restarts Hadoop HDFS ZKFC. | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | 更改环境 HCatalog中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | Restarts Hive WebHCat server. | 
| hive | 适用于 Apache Hive 的 Amazon EMR 辅助设置。 | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | Not available. | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | Not available. | 
| hive-env | 更改 Hive 环境中的值。 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | Not available. | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | Not available. | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | Not available. | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | Not available. | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | Restarts Hadoop Httpfs service. | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | Not available. | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | Not available. | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | 更改 Hudi 环境中的值。 | Not available. | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | Not available. | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | Not available. | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | Not available. | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | Not available. | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | Restarts Livy Server. | 
| livy-env | 更改 Livy 环境中的值。 | Restarts Livy Server. | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | Restarts Livy Server. | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | 更改 Oozie 的环境中的值。 | Restarts Oozie. | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | Restarts Oozie. | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | Restarts Oozie. | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | Not available. | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | Not available. | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | Not available. | 
| pig-env | 更改 Pig 环境中的值。 | Not available. | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | Restarts Oozie. | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | Not available. | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | Not available. | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | Not available. | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | Not available. | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | Not available. | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | Not available. | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | Not available. | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | Not available. | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | Not available. | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | Not available. | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | Not available. | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | Not available. | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | Not available. | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | Not available. | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | Not available. | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | Not available. | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | Not available. | 
| prestosql-log | 更改 Presto 的 log.properties 文件中的值。 | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-config | 更改 Presto 的 config.properties 文件中的值。 | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-env | 更改 Presto 的 presto-env.sh 文件中的值。 | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-node | 更改 PrestoSQL 的 node.properties 文件中的值。 | Not available. | 
| prestosql-connector-blackhole | 更改 PrestoSQL 的 blackhole.properties 文件中的值。 | Not available. | 
| prestosql-connector-cassandra | 更改 PrestoSQL 的 cassandra.properties 文件中的值。 | Not available. | 
| prestosql-connector-hive | 更改 PrestoSQL 的 hive.properties 文件中的值。 | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-connector-jmx | 更改 PrestoSQL 的 jmx.properties 文件中的值。 | Not available. | 
| prestosql-connector-kafka | 更改 PrestoSQL 的 kafka.properties 文件中的值。 | Not available. | 
| prestosql-connector-localfile | 更改 PrestoSQL 的 localfile.properties 文件中的值。 | Not available. | 
| prestosql-connector-memory | 更改 PrestoSQL 的 memory.properties 文件中的值。 | Not available. | 
| prestosql-connector-mongodb | 更改 PrestoSQL 的 mongodb.properties 文件中的值。 | Not available. | 
| prestosql-connector-mysql | 更改 PrestoSQL 的 mysql.properties 文件中的值。 | Not available. | 
| prestosql-connector-postgresql | 更改 PrestoSQL 的 postgresql.properties 文件中的值。 | Not available. | 
| prestosql-connector-raptor | 更改 PrestoSQL 的 raptor.properties 文件中的值。 | Not available. | 
| prestosql-connector-redis | 更改 PrestoSQL 的 redis.properties 文件中的值。 | Not available. | 
| prestosql-connector-redshift | 更改 PrestoSQL 的 redshift.properties 文件中的值。 | Not available. | 
| prestosql-connector-tpch | 更改 PrestoSQL 的 tpch.properties 文件中的值。 | Not available. | 
| prestosql-connector-tpcds | 更改 PrestoSQL 的 tpcds.properties 文件中的值。 | Not available. | 
| ranger-kms-dbks-site | 更改 Ranger KMS 的 dbks-site.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-site | 更改 Ranger K ranger-kms-site MS 的.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-env | 更改 Ranger KMS 环境中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-log4j | 更改 Ranger KMS 的 kms-log4j.properties 文件中的值。 | Not available. | 
| ranger-kms-db-ca | 更改 S3 上用于与 Ranger KMS 进行 MySQL SSL 连接的 CA 文件的值。 | Not available. | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | This property modifies spark-defaults. See actions there. | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-env | 更改 Spark 环境中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | Not available. | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | Not available. | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | Not available. | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | Not available. | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | Restart Oozie. | 
| yarn-env | 更改 YARN 环境中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | Restarts Zeppelin. | 
| zookeeper-config | 更改 ZooKeeper的 zoo.cfg 文件中的值。 | Restarts Zookeeper server. | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | Restarts Zookeeper server. | 

# Amazon EMR 发行版 6.2.0
<a name="emr-620-release"></a>

## 6.2.0 应用程序版本
<a name="emr-620-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://prestosql.io/](https://prestosql.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-6.2.0 | emr-6.1.1 | emr-6.1.0 | emr-6.0.1 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.880 | 1.11.828 | 1.11.828 | 1.11.711 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.12.10 | 2.12.10 | 2.12.10 | 2.12.10 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.11.2 | 1.11.0 | 1.11.0 |  -  | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.2.6-amzn-0 | 2.2.5 | 2.2.5 | 2.2.3 | 
| HCatalog | 3.1.2-amzn-3 | 3.1.2-amzn-2 | 3.1.2-amzn-2 | 3.1.2-amzn-0 | 
| Hadoop | 3.2.1-amzn-2 | 3.2.1-amzn-1.1 | 3.2.1-amzn-1 | 3.2.1-amzn-0.1 | 
| Hive | 3.1.2-amzn-3 | 3.1.2-amzn-2 | 3.1.2-amzn-2 | 3.1.2-amzn-0 | 
| Hudi | 0.6.0-amzn-1 | 0.5.2-incubating-amzn-2 | 0.5.2-incubating-amzn-2 | 0.5.0-incubating-amzn-1 | 
| Hue | 4.8.0 | 4.7.1 | 4.7.1 | 4.4.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway | 2.1.0 |  -  |  -  |  -  | 
| JupyterHub | 1.1.0 | 1.1.0 | 1.1.0 | 1.0.0 | 
| Livy | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.6.0-incubating | 
| MXNet | 1.7.0 | 1.6.0 | 1.6.0 | 1.5.1 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.0 | 5.2.0 | 5.2.0 | 5.1.0 | 
| Phoenix | 5.0.0--2.0 HBase | 5.0.0--2.0 HBase | 5.0.0--2.0 HBase | 5.0.0--2.0 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 |  -  | 
| Presto | 0.238.3-amzn-1 | 0.232 | 0.232 | 0.230 | 
| Spark | 3.0.1-amzn-0 | 3.0.0-amzn-0.1 | 3.0.0-amzn-0 | 2.4.4 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 |  -  | 
| TensorFlow | 2.3.1 | 2.1.0 | 2.1.0 | 1.14.0 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) | 343 | 338 | 338 |  -  | 
| Zeppelin | 0.9.0-preview1 | 0.9.0-preview1 | 0.9.0-preview1 | 0.9.0-SNAPSHOT | 
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 

## 6.2.0 发布说明
<a name="emr-620-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 6.2.0 的信息。更改与 6.1.0 有关。

首次发布日期：2020 年 12 月 9 日

上次更新日期：2021 年 10 月 4 日

**受支持的应用程序**
+ 适用于 Java 的 AWS SDK 版本 1.11.828
+ emr-record-server 版本 1.7.0
+ Flink 1.11.2
+ Ganglia 3.7.2
+ Hadoop 3.2.1-amzn-1
+ HBase 版本 2.2.6-amzn-0
+ HBase-operator-tools 1.0.0
+ HCatalog 版本 3.1.2-amzn-0
+ Hive 3.1.2-amzn-3
+ Hudi 0.6.0-amzn-1
+ Hue 4.8.0
+ JupyterHub 版本 1.1.0
+ Livy 0.7.0
+ MXNet 版本 1.7.0
+ Oozie 5.2.0
+ Phoenix 5.0.0
+ Pig 0.17.0
+ Presto 0.238.3-amzn-1
+ PrestoSQL 343
+ Spark 3.0.1-amzn-0
+ spark-rapids 0.2.0
+ TensorFlow 版本 2.3.1
+ Zeppelin 0.9.0-preview1
+ Zookeeper 3.4.14
+ 连接器和驱动程序：DynamoDB 连接器 4.16.0

**新特征**
+ HBase: 删除了提交阶段的重命名并添加了持续 HFile 跟踪。请参阅 *Amazon EMR 发布*指南中的[持续 HFile 跟踪](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hbase-s3.html#emr-hbase-s3-hfile-tracking)。
+ HBase: 向后移植[创建一个在压缩时强制缓存块的配置](https://issues.apache.org/jira/browse/HBASE-23066)。
+ PrestoDB：改进了动态分区修剪。基于规则的连接重新排序对未分区数据运行。
+ 限定范围的托管策略：为了与 AWS 最佳实践保持一致，Amazon EMR 引入了 v2 EMR 范围的默认托管策略，以取代即将弃用的策略。请参阅 [Amazon EMR 托管式策略](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-managed-iam-policies.html)。
+ 实例元数据服务 (IMDS) V2 支持状态：对于亚马逊 EMR 6.2 或更高版本，亚马逊 EMR 组件用于所有 IMDS 调用。 IMDSv2 对于应用程序代码中的 IMDS 调用，您可以同时使用 IMDSv1 和 IMDSv2，或者将 IMDS 配置 IMDSv2 为仅用于提高安全性。如果您 IMDSv1 在早期的 Amazon EMR 6.x 版本中禁用，则会导致集群启动失败。

**更改、增强功能和解决的问题**
+ 此版本旨在修复 Amazon EMR Scaling 无法成功缩 up/scale 减集群规模或导致应用程序故障时出现的问题。
+ 修复了当 Amazon EMR 集群上的进程守护程序正在进行运行状况检查活动（例如收集 YARN 节点状态和 HDFS 节点状态）时，针对高利用率的大型集群的扩展请求失败的问题。之所以发生这种情况，是因为集群上的进程守护程序无法将节点的运行状况数据传递给内部 Amazon EMR 组件。
+ 改进了 EMR 集群上的进程守护程序，以便在重用 IP 地址时正确跟踪节点状态，从而提高扩缩操作期间的可靠性。
+ [SPARK-29683](https://issues.apache.org/jira/browse/SPARK-29683)。修复了集群缩减期间出现任务失败的问题，因为 Spark 假定所有可用节点都被拒绝列出。
+ [YARN-9011](https://issues.apache.org/jira/browse/YARN-9011)。修复了集群尝试纵向扩展或缩减时，由于 YARN 停用中的争用条件导致任务失败的问题。
+ 通过确保 Amazon EMR 集群上的进程守护程序和 YARN/HDFS 之间的节点状态始终一致，解决了集群扩展期间步骤或任务失败的问题。
+ 修复了已启用 Kerberos 身份验证的 Amazon EMR 集群的诸如缩减和步骤提交等集群操作失败的问题。这是因为 Amazon EMR 集群守护程序没有续订 Kerberos 票证，而在主节点上运行时需要使用该票证才能安全地进行 HDFS/YARN 通信。
+ 较新的亚马逊 EMR 版本通过较低的 A AL2 mazon EMR 中较旧版本的 “最大打开文件数” 限制来解决这个问题。Amazon EMR 发行版 5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 及更高版本现在用更高的“最大打开文件数”设置永久修复了此问题。
+ Spark：改进了 Spark 运行时的性能。

**已知问题**
+ Amazon EMR 6.2 对/ etc/cron.d/libinstance-controller-java file in EMR 6.2.0. Permissions on the file are 645 (-rw-r--r-x), when they should be 644 (-rw-r--r--). As a result, Amazon EMR version 6.2 does not log instance-state logs, and the /emr/instance-logs目录的权限设置不正确，该目录为空。此问题已在 Amazon EMR 6.3.0 及更高版本中得到修复。

  要解决此问题，请在集群启动时将以下脚本作为引导操作运行。

  ```
  #!/bin/bash
  sudo chmod 644 /etc/cron.d/libinstance-controller-java
  ```
+ 对于 Amazon EMR 6.2.0 和 6.3.0 私有子网集群，您不能访问 Ganglia Web UI。您将收到“access denied (403)”错误。其他网络 UIs，例如 Spark、Hue JupyterHub、Zeppelin、Livy 和 Tez，都正常运行。公有子网集群上的 Ganglia Web UI 访问也正常工作。要解决该问题，请在具有 `sudo systemctl restart httpd` 的主节点上重新启动 httpd 服务。此问题已在 Amazon EMR 6.4.0 中得到修复。
+ Amazon EMR 6.2.0 中存在一个问题：httpd 持续失败，导致 Ganglia 不可用。您会收到“cannot connect to the server（无法连接到服务器）”错误。要修复已在运行期间出现此问题的集群，请使用 SSH 连接到集群主节点并将行 `Listen 80` 添加到位于 `/etc/httpd/conf/httpd.conf` 的文件 `httpd.conf` 中。此问题已在 Amazon EMR 6.3.0 中得到修复。
+ 使用安全配置时，HTTPD 在 EMR 6.2.0 集群会上失败。因此，Ganglia Web 应用程序用户界面不可用。要访问 Ganglia Web 应用程序用户界面，请将 `Listen 80` 添加到集群主节点上的 `/etc/httpd/conf/httpd.conf` 文件中。有关连接集群的更多信息，请参阅[使用 SSH 连接到主节点](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-connect-master-node-ssh.html)。

  使用安全配置时，EMR Notebooks 也无法建立与 EMR 6.2.0 集群的连接。Notebook 将无法列出内核和提交 Spark 任务。我们建议您改为将 EMR Notebooks 与其它版本的 Amazon EMR 结合使用。
+ **降低旧版本的 “最大打开文件数” 限制 AL2 [在新版本中已修复]。**亚马逊 EMR 版本：emr-5.30.x、emr-5.31.0、emr-5.32.0、emr-6.0.0、emr-6.1.0 和 emr-6.2.0 基于较旧版本的亚马逊 Linux 2 ()，当使用默认 AMI 创建亚马逊 EMR 集群时，“最大打开文件数” 的用户限制设置较低。AL2Amazon EMR 发行版 5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 及更高版本使用更高的“最大打开文件数”设置永久修复了此问题。如果使用打开文件数限制较低的发行版，会在提交 Spark 任务时导致“Too many open files”（打开的文件过多）错误。在受影响的发行版中，Amazon EMR 原定设置 AMI 的原定设置“最大打开文件数”ulimit 为 4096，而最新版 Amazon Linux 2 AMI 中的文件限制数为 65536。Spark 驱动程序和执行程序尝试打开超过 4096 个文件时，“打开的最大文件数”的较低 ulimit 设置会导致 Spark 任务失败。要修复此问题，Amazon EMR 使用一个引导操作（BA）脚本，用于在创建集群时调整 ulimit 设置。

  如果您使用没有永久修复此问题的较早版本的 Amazon EMR，则可以通过下面的解决方法，显式将实例控制器 ulimit 设置为最多 65536 个文件。

**从命令行显式设置 ulimit**

  1. 编辑 `/etc/systemd/system/instance-controller.service`，将以下参数添加到 Service (服务) 部分。

     `LimitNOFILE=65536`

     `LimitNPROC=65536`

  1. 重启 InstanceController

     `$ sudo systemctl daemon-reload`

     `$ sudo systemctl restart instance-controller`

  **使用引导操作 (BA) 设置 ulimit**

  您还可以在创建集群时使用引导操作（BA）脚本将实例控制器 ulimit 配置为 65536 个文件。

  ```
  #!/bin/bash
  for user in hadoop spark hive; do
  sudo tee /etc/security/limits.d/$user.conf << EOF
  $user - nofile 65536
  $user - nproc 65536
  EOF
  done
  for proc in instancecontroller logpusher; do
  sudo mkdir -p /etc/systemd/system/$proc.service.d/
  sudo tee /etc/systemd/system/$proc.service.d/override.conf << EOF
  [Service]
  LimitNOFILE=65536
  LimitNPROC=65536
  EOF
  pid=$(pgrep -f aws157.$proc.Main)
  sudo prlimit --pid $pid --nofile=65535:65535 --nproc=65535:65535
  done
  sudo systemctl daemon-reload
  ```
+ 
**重要**  
Amazon EMR 6.1.0 和 6.2.0 包含可能严重影响所有 Hudi 插入、更新插入和删除操作的性能问题。如果您计划在亚马逊 EMR 6.1.0 或 6.2.0 中使用 Hudi，则应 AWS 联系支持人员以获取已修补的 Hudi RPM。
+ 
**重要**  
运行 Amazon Linux 或 Amazon Linux 2 亚马逊机器映像（AMI）的 EMR 集群使用默认的 Amazon Linux 行为，且不会自动下载和安装需要重新启动的重要关键内核更新。这与运行默认 Amazon Linux AMI 的其它 Amazon EC2 实例的行为相同。如果需要重新启动的新 Amazon Linux 软件更新（例如内核、NVIDIA 和 CUDA 更新）在 Amazon EMR 版本发布后可用，则运行默认 AMI 的 EMR 集群实例不会自动下载和安装这些更新。要获取内核更新，您可以[自定义 Amazon EMR AMI](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-custom-ami.html)，以[使用最新的 Amazon Linux AMI](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/finding-an-ami.html)。
+ Amazon EMR 6.2.0 Maven 构件尚未发布。它们将随 Amazon EMR 未来版本一起发布。
+ 使用 HBase storefile 系统表进行持续 HFile 跟踪不支持 HBase 区域复制功能。有关 HBase 区域复制的更多信息，请参阅[时间轴一致的高可用读取](http://hbase.apache.org/book.html#arch.timelineconsistent.reads)。
+ Amazon EMR 6.x 和 EMR 5.x Hive 分桶版本差异

  EMR 5.x 使用 OOS Apache Hive 2，而 EMR 6.x 使用 OOS Apache Hive 3。开源 Hive2 使用分桶版本 1，而开源 Hive3 使用分桶版本 2。Hive 2（EMR 5.x）和 Hive 3（EMR 6.x）之间的这一分桶版本差异将导致 Hive 分桶哈希函数不同。请参见以下示例。

  下表分别是在 EMR 6.x 和 EMR 5.x 中创建的示例。

  ```
  -- Using following LOCATION in EMR 6.x
  CREATE TABLE test_bucketing (id INT, desc STRING)
  PARTITIONED BY (day STRING)
  CLUSTERED BY(id) INTO 128 BUCKETS
  LOCATION 's3://your-own-s3-bucket/emr-6-bucketing/';
  
  -- Using following LOCATION in EMR 5.x 
  LOCATION 's3://your-own-s3-bucket/emr-5-bucketing/';
  ```

  在 EMR 6.x 和 EMR 5.x 中插入相同的数据。

  ```
  INSERT INTO test_bucketing PARTITION (day='01') VALUES(66, 'some_data');
  INSERT INTO test_bucketing PARTITION (day='01') VALUES(200, 'some_data');
  ```

  检查 S3 位置，显示分桶文件名不同，这是因为 EMR 6.x（Hive 3）和 EMR 5.x（Hive 2）之间的哈希函数不同。

  ```
  [hadoop@ip-10-0-0-122 ~]$ aws s3 ls s3://your-own-s3-bucket/emr-6-bucketing/day=01/
  2020-10-21 20:35:16         13 000025_0
  2020-10-21 20:35:22         14 000121_0
  [hadoop@ip-10-0-0-122 ~]$ aws s3 ls s3://your-own-s3-bucket/emr-5-bucketing/day=01/
  2020-10-21 20:32:07         13 000066_0
  2020-10-21 20:32:51         14 000072_0
  ```

  您还可以通过以下方式查看版本之间的差异：在 EMR 6.x 的 Hive CLI 中运行以下命令。请注意，它将返回分桶版本 2。

  ```
  hive> DESCRIBE FORMATTED test_bucketing;
  ...
  Table Parameters:
      bucketing_version       2
  ...
  ```
+ 具有多个主节点的集群和 Kerberos 身份验证中的已知问题

  如果在 Amazon EMR 版本 5.20.0 及更高版本中运行具有多个主节点的集群和 Kerberos 身份验证，则在集群运行一段时间后，您可能在执行集群操作（如缩减或步骤提交）时遇到问题。具体时间段取决于您定义的 Kerberos 票证有效期。缩减问题会影响您提交的自动缩减和显式缩减请求。其它集群操作也可能会受到影响。

  解决办法：
  + 以 `hadoop` 用户身份通过 SSH 连接到具有多个主节点的 EMR 集群的 lead 主节点。
  +  运行以下命令，为 `hadoop` 用户续订 Kerberos 票证。

    ```
    kinit -kt <keytab_file> <principal>
    ```

    通常情况下，keytab 文件位于 `/etc/hadoop.keytab`，而 principal 为 `hadoop/<hostname>@<REALM>` 格式。
**注意**  
此解决方法将在 Kerberos 票证有效期内生效。默认情况下，此持续时间为 10 个小时，但可以通过 Kerberos 设置进行配置。Kerberos 票证过期后，您必须重新运行上述命令。
+ 当您将 Spark 与 Hive 分区位置格式化结合使用以读取 Amazon S3 中的数据，并在 Amazon EMR 版本 5.30.0 至 5.36.0 以及 6.2.0 至 6.9.0 上运行 Spark 时，可能会遇到导致集群无法正确读取数据的问题。如果您的分区具有以下所有特征，会发生这种情况：
  + 从同一个表扫描两个或多个分区。
  + 至少有一个分区目录路径是至少一个其他分区目录路径的前缀，例如，`s3://bucket/table/p=a` 是 `s3://bucket/table/p=a b` 的前缀。
  + 另一个分区目录中前缀后面的第一个字符的 UTF-8 值小于 `/` 字符 (U\$1002F)。例如，在 `s3://bucket/table/p=a b` 中，a 和 b 之间出现的空格字符 (U\$10020) 就属于此类。请注意，还有其他 14 个非控制字符：`!"#$%&‘()*+,-`。有关更多信息，请参阅 [UTF-8 encoding table and Unicode characters](https://www.utf8-chartable.de/)（UTF-8 编码表和 Unicode 字符）。

  解决方法是在 `spark-defaults` 分类中将 `spark.sql.sources.fastS3PartitionDiscovery.enabled` 配置设置为 `false`。

## 6.2.0 组件版本
<a name="emr-620-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.1 | 亚马逊 SageMaker Spark 软件开发工具包 | 
| emr-ddb | 4.16.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 3.1.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.5.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-notebook-env | 1.0.0 | 适用于 EMR Notebooks（可提供 jupyter 企业网关）的 Conda env | 
| emr-s3-dist-cp | 2.16.0 | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 2.0.0 | EMR S3 Select 连接器 | 
| emrfs | 2.44.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.11.2 | Apache Flink 命令行客户端脚本和应用程序。 | 
| flink-jobmanager-config | 1.11.2 | 在 EMR 节点上管理 Apache Flink 的资源。 JobManager | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 3.2.1-amzn-2 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 3.2.1-amzn-2 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 3.2.1-amzn-2 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 3.2.1-amzn-2 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-hdfs-journalnode | 3.2.1-amzn-2 | 用于管理 HA 集群上的 Hadoop 文件系统日志的 HDFS 服务。 | 
| hadoop-httpfs-server | 3.2.1-amzn-2 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 3.2.1-amzn-2 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 3.2.1-amzn-2 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 3.2.1-amzn-2 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 3.2.1-amzn-2 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 3.2.1-amzn-2 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 2.2.6-amzn-0 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 2.2.6-amzn-0 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 2.2.6-amzn-0 | HBase 命令行客户端。 | 
| hbase-rest-server | 2.2.6-amzn-0 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 2.2.6-amzn-0 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 3.1.2-amzn-3 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 3.1.2-amzn-3 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 3.1.2-amzn-3 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 3.1.2-amzn-3 | Hive 命令行客户端。 | 
| hive-hbase | 3.1.2-amzn-3 | Hive-hbase 客户端。 | 
| hive-metastore-server | 3.1.2-amzn-3 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 3.1.2-amzn-3 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hudi | 0.6.0-amzn-1 | 增量处理框架，以支持低延迟和高效率的数据管道。 | 
| hudi-presto | 0.6.0-amzn-1 | 用于运行 Presto 以及 Hudl 的捆绑库。 | 
| hudi-prestosql | 0.6.0-amzn-1 | 用于运行 PrestoSQL 以及 Hudi 的捆绑库。 | 
| hudi-spark | 0.6.0-amzn-1 | 用于运行 Spark 以及 Hudi 的捆绑库。 | 
| hue-server | 4.8.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 1.1.0 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.7.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mxnet | 1.7.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mariadb-server | 5.5.64\$1 | MariaDB 数据库服务器。 | 
| nvidia-cuda | 10.1.243 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.2.0 | Oozie 命令行客户端。 | 
| oozie-server | 5.2.0 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 4.4.0 | 开源计算机视觉库。 | 
| phoenix-library | 5.0.0--2.0 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 5.0.0--2.0 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.238.3-amzn-1 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.238.3-amzn-1 | 用于执行查询的各个部分的服务。 | 
| presto-client | 0.238.3-amzn-1 | Presto 命令行客户端，安装在 HA 集群的备用主节点（未启动 Presto 服务器）上。 | 
| prestosql-coordinator | 343 | 用于在 prestosql-worker 之中接受查询并管理查询执行的服务。 | 
| prestosql-worker | 343 | 用于执行查询的各个部分的服务。 | 
| prestosql-client | 343 | Presto 命令行客户端，安装在 HA 集群的备用主节点（未启动 Presto 服务器）上。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 3.4.3 | 用于统计计算的 R 项目 | 
| ranger-kms-server | 2.0.0 | Apache Ranger 密钥管理系统 | 
| spark-client | 3.0.1-amzn-0 | Spark 命令行客户端。 | 
| spark-history-server | 3.0.1-amzn-0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 3.0.1-amzn-0 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 3.0.1-amzn-0 | YARN 从属项所需的 Apache Spark 库。 | 
| spark-rapids | 0.2.0 | Nvidia Spark RAPIDS 插件可以加速 Apache Spark GPUs | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 2.3.1 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.9.2 | tez YARN 应用程序和库。 | 
| webserver | 2.4.41\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.9.0-preview1 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.14 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.14 | ZooKeeper 命令行客户端。 | 

## 6.2.0 配置分类
<a name="emr-620-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。

为处于运行状态的集群中的实例组指定配置时，将发生重新配置操作。Amazon EMR 仅为您修改的分类启动重新配置操作。有关更多信息，请参阅 [在正在运行的集群中重新配置实例组](emr-configure-apps-running-cluster.md)。


**emr-6.2.0 分类**  

| 分类 | 说明 | 重新配置操作 | 
| --- | --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | Restarts the ResourceManager service. | 
| container-executor | 更改 Hadoop YARN 的 container-executor.cfg 文件中的值。 | Not available. | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | Not available. | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | 更改 docker 相关设置。 | Not available. | 
| emrfs-site | 更改 EMRFS 设置。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | 更改 flink-conf.yaml 设置。 | Not available. | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | Not available. | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | Not available. | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | Not available. | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | Not available. | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | Not available. | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | 更改环境 HBase中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | Not available. | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | This classification should not be reconfigured. | 
| hdfs-env | 更改 HDFS 环境中的值。 | Restarts Hadoop HDFS ZKFC. | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | 更改环境 HCatalog中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | Restarts Hive WebHCat server. | 
| hive | 适用于 Apache Hive 的 Amazon EMR 辅助设置。 | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | Not available. | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | Not available. | 
| hive-env | 更改 Hive 环境中的值。 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | Not available. | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | Not available. | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | Not available. | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | Not available. | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | Restarts Hadoop Httpfs service. | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | Not available. | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | Not available. | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | 更改 Hudi 环境中的值。 | Not available. | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | Not available. | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | Not available. | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | Not available. | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | Not available. | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | Restarts Livy Server. | 
| livy-env | 更改 Livy 环境中的值。 | Restarts Livy Server. | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | Restarts Livy Server. | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | 更改 Oozie 的环境中的值。 | Restarts Oozie. | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | Restarts Oozie. | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | Restarts Oozie. | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | Not available. | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | Not available. | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | Not available. | 
| pig-env | 更改 Pig 环境中的值。 | Not available. | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | Restarts Oozie. | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | Not available. | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | Not available. | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | Not available. | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | Not available. | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | Not available. | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | Not available. | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | Not available. | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | Not available. | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | Not available. | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | Not available. | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | Not available. | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | Not available. | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | Not available. | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | Not available. | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | Not available. | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | Not available. | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | Not available. | 
| prestosql-log | 更改 Presto 的 log.properties 文件中的值。 | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-config | 更改 Presto 的 config.properties 文件中的值。 | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-env | 更改 Presto 的 presto-env.sh 文件中的值。 | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-node | 更改 PrestoSQL 的 node.properties 文件中的值。 | Not available. | 
| prestosql-connector-blackhole | 更改 PrestoSQL 的 blackhole.properties 文件中的值。 | Not available. | 
| prestosql-connector-cassandra | 更改 PrestoSQL 的 cassandra.properties 文件中的值。 | Not available. | 
| prestosql-connector-hive | 更改 PrestoSQL 的 hive.properties 文件中的值。 | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-connector-jmx | 更改 PrestoSQL 的 jmx.properties 文件中的值。 | Not available. | 
| prestosql-connector-kafka | 更改 PrestoSQL 的 kafka.properties 文件中的值。 | Not available. | 
| prestosql-connector-localfile | 更改 PrestoSQL 的 localfile.properties 文件中的值。 | Not available. | 
| prestosql-connector-memory | 更改 PrestoSQL 的 memory.properties 文件中的值。 | Not available. | 
| prestosql-connector-mongodb | 更改 PrestoSQL 的 mongodb.properties 文件中的值。 | Not available. | 
| prestosql-connector-mysql | 更改 PrestoSQL 的 mysql.properties 文件中的值。 | Not available. | 
| prestosql-connector-postgresql | 更改 PrestoSQL 的 postgresql.properties 文件中的值。 | Not available. | 
| prestosql-connector-raptor | 更改 PrestoSQL 的 raptor.properties 文件中的值。 | Not available. | 
| prestosql-connector-redis | 更改 PrestoSQL 的 redis.properties 文件中的值。 | Not available. | 
| prestosql-connector-redshift | 更改 PrestoSQL 的 redshift.properties 文件中的值。 | Not available. | 
| prestosql-connector-tpch | 更改 PrestoSQL 的 tpch.properties 文件中的值。 | Not available. | 
| prestosql-connector-tpcds | 更改 PrestoSQL 的 tpcds.properties 文件中的值。 | Not available. | 
| ranger-kms-dbks-site | 更改 Ranger KMS 的 dbks-site.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-site | 更改 Ranger K ranger-kms-site MS 的.xml 文件中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-env | 更改 Ranger KMS 环境中的值。 | Restarts Ranger KMS Server. | 
| ranger-kms-log4j | 更改 Ranger KMS 的 kms-log4j.properties 文件中的值。 | Not available. | 
| ranger-kms-db-ca | 更改 S3 上用于与 Ranger KMS 进行 MySQL SSL 连接的 CA 文件的值。 | Not available. | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | This property modifies spark-defaults. See actions there. | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-env | 更改 Spark 环境中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | Not available. | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | Not available. | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | Not available. | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | Not available. | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | Restart Oozie. | 
| yarn-env | 更改 YARN 环境中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | Restarts Zeppelin. | 
| zookeeper-config | 更改 ZooKeeper的 zoo.cfg 文件中的值。 | Restarts Zookeeper server. | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | Restarts Zookeeper server. | 

# Amazon EMR 发行版 6.1.1
<a name="emr-611-release"></a>

## 6.1.1 应用程序版本
<a name="emr-611-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://prestosql.io/](https://prestosql.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-6.1.1 | emr-6.1.0 | emr-6.0.1 | emr-6.0.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.828 | 1.11.828 | 1.11.711 | 1.11.711 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.12.10 | 2.12.10 | 2.12.10 | 2.11.12 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.11.0 | 1.11.0 |  -  |  -  | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.2.5 | 2.2.5 | 2.2.3 | 2.2.3 | 
| HCatalog | 3.1.2-amzn-2 | 3.1.2-amzn-2 | 3.1.2-amzn-0 | 3.1.2-amzn-0 | 
| Hadoop | 3.2.1-amzn-1.1 | 3.2.1-amzn-1 | 3.2.1-amzn-0.1 | 3.2.1-amzn-0 | 
| Hive | 3.1.2-amzn-2 | 3.1.2-amzn-2 | 3.1.2-amzn-0 | 3.1.2-amzn-0 | 
| Hudi | 0.5.2-incubating-amzn-2 | 0.5.2-incubating-amzn-2 | 0.5.0-incubating-amzn-1 | 0.5.0-incubating-amzn-1 | 
| Hue | 4.7.1 | 4.7.1 | 4.4.0 | 4.4.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub | 1.1.0 | 1.1.0 | 1.0.0 | 1.0.0 | 
| Livy | 0.7.0-incubating | 0.7.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 
| MXNet | 1.6.0 | 1.6.0 | 1.5.1 | 1.5.1 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.0 | 5.2.0 | 5.1.0 | 5.1.0 | 
| Phoenix | 5.0.0--2.0 HBase | 5.0.0--2.0 HBase | 5.0.0--2.0 HBase | 5.0.0--2.0 HBase | 
| Pig | 0.17.0 | 0.17.0 |  -  |  -  | 
| Presto | 0.232 | 0.232 | 0.230 | 0.230 | 
| Spark | 3.0.0-amzn-0.1 | 3.0.0-amzn-0 | 2.4.4 | 2.4.4 | 
| Sqoop | 1.4.7 | 1.4.7 |  -  |  -  | 
| TensorFlow | 2.1.0 | 2.1.0 | 1.14.0 | 1.14.0 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) | 338 | 338 |  -  |  -  | 
| Zeppelin | 0.9.0-preview1 | 0.9.0-preview1 | 0.9.0-SNAPSHOT | 0.9.0-SNAPSHOT | 
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 

## 6.1.1 发布说明
<a name="emr-611-relnotes"></a>

此版本旨在修复 Amazon EMR Scaling 无法成功缩 up/scale 减集群规模或导致应用程序故障时出现的问题。

**更改、增强和解决的问题**
+ 修复了当 Amazon EMR 集群上的进程守护程序正在进行运行状况检查活动（例如收集 YARN 节点状态和 HDFS 节点状态）时，针对高利用率的大型集群的扩展请求失败的问题。之所以发生这种情况，是因为集群上的进程守护程序无法将节点的运行状况数据传递给内部 Amazon EMR 组件。
+ 改进了 EMR 集群上的进程守护程序，以便在重用 IP 地址时正确跟踪节点状态，从而提高扩缩操作期间的可靠性。
+ [SPARK-29683](https://issues.apache.org/jira/browse/SPARK-29683)。修复了集群缩减期间出现任务失败的问题，因为 Spark 假定所有可用节点都被拒绝列出。
+ [YARN-9011](https://issues.apache.org/jira/browse/YARN-9011)。修复了集群尝试纵向扩展或缩减时，由于 YARN 停用中的争用条件导致任务失败的问题。
+ 通过确保 Amazon EMR 集群上的进程守护程序和 YARN/HDFS 之间的节点状态始终一致，解决了集群扩展期间步骤或任务失败的问题。
+ 修复了已启用 Kerberos 身份验证的 Amazon EMR 集群的诸如缩减和步骤提交等集群操作失败的问题。这是因为 Amazon EMR 集群守护程序没有续订 Kerberos 票证，而在主节点上运行时需要使用该票证才能安全地进行 HDFS/YARN 通信。
+ 较新的亚马逊 EMR 版本通过较低的 A AL2 mazon EMR 中较旧版本的 “最大打开文件数” 限制来解决这个问题。Amazon EMR 发行版 5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 及更高版本现在用更高的“最大打开文件数”设置永久修复了此问题。
+ 现在，默认情况下，已启用 Amazon Linux 存储库的 HTTPS。如果您使用 Amazon S3 VPCE 策略限制对特定存储桶的访问，则必须添加新的 Amazon Linux 存储桶 ARN`arn:aws:s3:::amazonlinux-2-repos-$region/*`到策略（将`$region`替换为终端节点所在的区域）。有关更多信息，请在 AWS 讨论论坛中查看此主题。[公告：Amazon Linux 2 目前支持在连接到软件包存储库时使用 HTTPS 的功能](https://forums.aws.amazon.com/ann.jspa?annID=8528)。

## 6.1.1 组件版本
<a name="emr-611-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.3.0 | 亚马逊 SageMaker Spark 软件开发工具包 | 
| emr-ddb | 4.14.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 3.1.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.5.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | emrfs | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 2.0.0 | EMR S3 Select 连接器 | 
| emrfs | 2.42.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.11.0 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 3.2.1-amzn-1.1 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 3.2.1-amzn-1.1 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 3.2.1-amzn-1.1 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 3.2.1-amzn-1.1 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-hdfs-journalnode | 3.2.1-amzn-1.1 | 用于管理 HA 集群上的 Hadoop 文件系统日志的 HDFS 服务。 | 
| hadoop-httpfs-server | 3.2.1-amzn-1.1 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 3.2.1-amzn-1.1 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 3.2.1-amzn-1.1 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 3.2.1-amzn-1.1 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 3.2.1-amzn-1.1 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 3.2.1-amzn-1.1 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 2.2.5 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 2.2.5 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 2.2.5 | HBase 命令行客户端。 | 
| hbase-rest-server | 2.2.5 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 2.2.5 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 3.1.2-amzn-2 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 3.1.2-amzn-2 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 3.1.2-amzn-2 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 3.1.2-amzn-2 | Hive 命令行客户端。 | 
| hive-hbase | 3.1.2-amzn-2 | Hive-hbase 客户端。 | 
| hive-metastore-server | 3.1.2-amzn-2 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 3.1.2-amzn-2 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hudi | 0.5.2-incubating-amzn-2 | 增量处理框架，以支持低延迟和高效率的数据管道。 | 
| hudi-presto | 0.5.2-incubating-amzn-2 | 用于运行 Presto 以及 Hudl 的捆绑库。 | 
| hudi-prestosql | 0.5.2-incubating-amzn-2 | 用于运行 PrestoSQL 以及 Hudi 的捆绑库。 | 
| hudi-spark | 0.5.2-incubating-amzn-2 | 用于运行 Spark 以及 Hudi 的捆绑库。 | 
| hue-server | 4.7.1 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 1.1.0 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.7.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mxnet | 1.6.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mariadb-server | 5.5.64\$1 | MariaDB 数据库服务器。 | 
| nvidia-cuda | 9.2.88 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.2.0 | Oozie 命令行客户端。 | 
| oozie-server | 5.2.0 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 4.3.0 | 开源计算机视觉库。 | 
| phoenix-library | 5.0.0--2.0 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 5.0.0--2.0 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.232 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.232 | 用于执行查询的各个部分的服务。 | 
| presto-client | 0.232 | Presto 命令行客户端，安装在 HA 集群的备用主节点（未启动 Presto 服务器）上。 | 
| prestosql-coordinator | 338 | 用于在 prestosql-worker 之中接受查询并管理查询执行的服务。 | 
| prestosql-worker | 338 | 用于执行查询的各个部分的服务。 | 
| prestosql-client | 338 | Presto 命令行客户端，安装在 HA 集群的备用主节点（未启动 Presto 服务器）上。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 3.4.3 | 用于统计计算的 R 项目 | 
| ranger-kms-server | 2.0.0 | Apache Ranger 密钥管理系统 | 
| spark-client | 3.0.0-amzn-0.1 | Spark 命令行客户端。 | 
| spark-history-server | 3.0.0-amzn-0.1 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 3.0.0-amzn-0.1 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 3.0.0-amzn-0.1 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 2.1.0 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.9.2 | tez YARN 应用程序和库。 | 
| webserver | 2.4.41\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.9.0-preview1 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.14 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.14 | ZooKeeper 命令行客户端。 | 

## 6.1.1 配置分类
<a name="emr-611-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅 [配置应用程序](emr-configure-apps.md)。


**emr-6.1.1 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| container-executor | 更改 Hadoop YARN 的 container-executor.cfg 文件中的值。 | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-env | 更改 HDFS 环境中的值。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive | 适用于 Apache Hive 的 Amazon EMR 辅助设置。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| hudi-env | 更改 Hudi 环境中的值。 | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-env | 更改 Pig 环境中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | 
| prestosql-log | 更改 Presto 的 log.properties 文件中的值。 | 
| prestosql-config | 更改 Presto 的 config.properties 文件中的值。 | 
| prestosql-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | 
| prestosql-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| prestosql-node | 更改 PrestoSQL 的 node.properties 文件中的值。 | 
| prestosql-connector-blackhole | 更改 PrestoSQL 的 blackhole.properties 文件中的值。 | 
| prestosql-connector-cassandra | 更改 PrestoSQL 的 cassandra.properties 文件中的值。 | 
| prestosql-connector-hive | 更改 PrestoSQL 的 hive.properties 文件中的值。 | 
| prestosql-connector-jmx | 更改 PrestoSQL 的 jmx.properties 文件中的值。 | 
| prestosql-connector-kafka | 更改 PrestoSQL 的 kafka.properties 文件中的值。 | 
| prestosql-connector-localfile | 更改 PrestoSQL 的 localfile.properties 文件中的值。 | 
| prestosql-connector-memory | 更改 PrestoSQL 的 memory.properties 文件中的值。 | 
| prestosql-connector-mongodb | 更改 PrestoSQL 的 mongodb.properties 文件中的值。 | 
| prestosql-connector-mysql | 更改 PrestoSQL 的 mysql.properties 文件中的值。 | 
| prestosql-connector-postgresql | 更改 PrestoSQL 的 postgresql.properties 文件中的值。 | 
| prestosql-connector-raptor | 更改 PrestoSQL 的 raptor.properties 文件中的值。 | 
| prestosql-connector-redis | 更改 PrestoSQL 的 redis.properties 文件中的值。 | 
| prestosql-connector-redshift | 更改 PrestoSQL 的 redshift.properties 文件中的值。 | 
| prestosql-connector-tpch | 更改 PrestoSQL 的 tpch.properties 文件中的值。 | 
| prestosql-connector-tpcds | 更改 PrestoSQL 的 tpcds.properties 文件中的值。 | 
| ranger-kms-dbks-site | 更改 Ranger KMS 的 dbks-site.xml 文件中的值。 | 
| ranger-kms-site | 更改 Ranger K ranger-kms-site MS 的.xml 文件中的值。 | 
| ranger-kms-env | 更改 Ranger KMS 环境中的值。 | 
| ranger-kms-log4j | 更改 Ranger KMS 的 kms-log4j.properties 文件中的值。 | 
| ranger-kms-db-ca | 更改 S3 上用于与 Ranger KMS 进行 MySQL SSL 连接的 CA 文件的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 ZooKeeper的 zoo.cfg 文件中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 6.1.0
<a name="emr-610-release"></a>

## 6.1.0 应用程序版本
<a name="emr-610-app-versions"></a>

此版本包括以下应用程序：[https://flink.apache.org/](https://flink.apache.org/)、[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[http://pig.apache.org/](http://pig.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://prestosql.io/](https://prestosql.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[http://sqoop.apache.org/](http://sqoop.apache.org/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-6.1.1 | emr-6.1.0 | emr-6.0.1 | emr-6.0.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.828 | 1.11.828 | 1.11.711 | 1.11.711 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.12.10 | 2.12.10 | 2.12.10 | 2.11.12 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.11.0 | 1.11.0 |  -  |  -  | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.2.5 | 2.2.5 | 2.2.3 | 2.2.3 | 
| HCatalog | 3.1.2-amzn-2 | 3.1.2-amzn-2 | 3.1.2-amzn-0 | 3.1.2-amzn-0 | 
| Hadoop | 3.2.1-amzn-1.1 | 3.2.1-amzn-1 | 3.2.1-amzn-0.1 | 3.2.1-amzn-0 | 
| Hive | 3.1.2-amzn-2 | 3.1.2-amzn-2 | 3.1.2-amzn-0 | 3.1.2-amzn-0 | 
| Hudi | 0.5.2-incubating-amzn-2 | 0.5.2-incubating-amzn-2 | 0.5.0-incubating-amzn-1 | 0.5.0-incubating-amzn-1 | 
| Hue | 4.7.1 | 4.7.1 | 4.4.0 | 4.4.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub | 1.1.0 | 1.1.0 | 1.0.0 | 1.0.0 | 
| Livy | 0.7.0-incubating | 0.7.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 
| MXNet | 1.6.0 | 1.6.0 | 1.5.1 | 1.5.1 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.0 | 5.2.0 | 5.1.0 | 5.1.0 | 
| Phoenix | 5.0.0--2.0 HBase | 5.0.0--2.0 HBase | 5.0.0--2.0 HBase | 5.0.0--2.0 HBase | 
| Pig | 0.17.0 | 0.17.0 |  -  |  -  | 
| Presto | 0.232 | 0.232 | 0.230 | 0.230 | 
| Spark | 3.0.0-amzn-0.1 | 3.0.0-amzn-0 | 2.4.4 | 2.4.4 | 
| Sqoop | 1.4.7 | 1.4.7 |  -  |  -  | 
| TensorFlow | 2.1.0 | 2.1.0 | 1.14.0 | 1.14.0 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) | 338 | 338 |  -  |  -  | 
| Zeppelin | 0.9.0-preview1 | 0.9.0-preview1 | 0.9.0-SNAPSHOT | 0.9.0-SNAPSHOT | 
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 

## 6.1.0 发布说明
<a name="emr-610-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 6.1.0 的信息。更改与 6.0.0 有关。

首次发布日期：2020 年 9 月 4 日

上次更新日期：2020 年 10 月 15 日

**受支持的应用程序**
+ 适用于 Java 的 AWS SDK 版本 1.11.828
+ Flink 1.11.0
+ Ganglia 3.7.2
+ Hadoop 3.2.1-amzn-1
+ HBase 版本 2.2.5
+ HBase-operator-tools 1.0.0
+ HCatalog 版本 3.1.2-amzn-0
+ Hive 3.1.2-amzn-1
+ Hudi 0.5.2-incubating
+ Hue 4.7.1
+ JupyterHub 版本 1.1.0
+ Livy 0.7.0
+ MXNet 版本 1.6.0
+ Oozie 5.2.0
+ Phoenix 5.0.0
+ Presto 0.232
+ PrestoSQL 338
+ Spark 3.0.0-amzn-0
+ TensorFlow 版本 2.1.0
+ Zeppelin 0.9.0-preview1
+ Zookeeper 3.4.14
+ 连接器和驱动程序：DynamoDB 连接器 4.14.0

**新特征**
+ 从 Amazon EMR 5.30.0 和 Amazon EMR 6.1.0 开始，支持 ARM 实例类型。
+ 从 Amazon EMR 6.1.0 和 5.30.0.开始，支持 M6g 通用型实例类型。有关更多信息，请参阅《Amazon EMR 管理指南》**中的[支持的实例类型](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-supported-instance-types.html)。
+ 从 Amazon EMR 5.23.0 开始支持 EC2 置放群组功能，该功能可作为多主节点集群选项。目前，置放群组功能仅支持主节点类型，并会将 `SPREAD` 策略应用于这些主节点。`SPREAD` 策略将一小组实例放置在单独的基础硬件上，以防止发生硬件故障时出现多个主节点丢失的问题。有关更多信息，请参阅《Amazon EMR 管理指南》**中的 [EMR 与 EC2 置放群组的集成](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-ha-placementgroup.html)。
+ 托管扩展：使用 Amazon EMR 版本 6.1.0 时，您可以启用 Amazon EMR 托管式自动扩缩功能，以根据工作负载自动增加或减少集群中实例或单位的数量。Amazon EMR 会持续评估集群指标，以便做出扩展决策，从而优化集群的成本和速度。Amazon EMR 5.30.0 及更高版本（但 6.0.0 除外）也提供了托管扩展。有关更多信息，请参阅《Amazon EMR 管理指南》**中的[扩缩集群资源](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-scale-on-demand.html)。
+ EMR 6.1.0 支持 PrestoSQL 338。有关更多信息，请参阅 [Presto](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-presto.html)。
  + 仅在 EMR 6.1.0 及更高版本上支持 PrestoSQL，而 EMR 6.0.0 或 EMR 5.x 则不支持。
  + 可以继续使用应用程序名称 `Presto` 在集群上安装 PrestoDB。要在集群上安装 PrestoSQL，请使用应用程序名称 `PrestoSQL`。
  + 您可以安装 PrestoDB 或 PrestoSQL，但不能在同一个集群上同时安装两者。如果在尝试创建集群时同时指定了 PrestoDB 和 PrestoSQL，则会发生验证错误，而且集群创建请求失败。
  + 单主节点集群和多主节点集群均支持 PrestoSQL。在多主节点集群上，需要外部 Hive 元存储才能运行 PrestoSQL 或 PrestoDB。请参阅 [Supported applications in an EMR cluster with multiple primary nodes](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-ha-applications.html#emr-plan-ha-applications-list)。
+ 支持在 Apache Hadoop 和 Apache Spark 上使用 Docker 对 ECR 进行自动身份验证：Spark 用户可以使用 Docker Hub 中的 Docker 镜像和 Amazon Elastic Container Registry（Amazon ECR）来定义环境和库依赖项。

  [配置 Docker](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-docker.html) 和[使用 Amazon EMR 6.x 通过 Docker 运行 Spark 应用程序](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-spark-docker.html)。
+ EMR 支持 Apache Hive ACID 事务：Amazon EMR 6.1.0 增加了对 Hive ACID 事务的支持，使其符合数据库的 ACID 属性。借助此功能，您可以使用 Amazon Simple Storage Service（Amazon S3）中的数据在 Hive 托管表中运行`INSERT, UPDATE, DELETE,`和`MERGE`操作。这是流式提取、数据重述、使用 MERGE 批量更新等使用案例的一项关键功能，并会缓慢更改维度。有关包括配置示例和使用案例在内的更多信息，请参阅 [Amazon EMR 支持 Apache Hive ACID 事务](https://aws.amazon.com/blogs/big-data/amazon-emr-supports-apache-hive-acid-transactions)。

**更改、增强功能和解决的问题**
+ 此版本旨在修复 Amazon EMR Scaling 无法成功缩 up/scale 减集群规模或导致应用程序故障时出现的问题。
+ 修复了当 Amazon EMR 集群上的进程守护程序正在进行运行状况检查活动（例如收集 YARN 节点状态和 HDFS 节点状态）时，针对高利用率的大型集群的扩展请求失败的问题。之所以发生这种情况，是因为集群上的进程守护程序无法将节点的运行状况数据传递给内部 Amazon EMR 组件。
+ 改进了 EMR 集群上的进程守护程序，以便在重用 IP 地址时正确跟踪节点状态，从而提高扩缩操作期间的可靠性。
+ [SPARK-29683](https://issues.apache.org/jira/browse/SPARK-29683)。修复了集群缩减期间出现任务失败的问题，因为 Spark 假定所有可用节点都被拒绝列出。
+ [YARN-9011](https://issues.apache.org/jira/browse/YARN-9011)。修复了集群尝试纵向扩展或缩减时，由于 YARN 停用中的争用条件导致任务失败的问题。
+ 通过确保 Amazon EMR 集群上的进程守护程序和 YARN/HDFS 之间的节点状态始终一致，解决了集群扩展期间步骤或任务失败的问题。
+ 修复了已启用 Kerberos 身份验证的 Amazon EMR 集群的诸如缩减和步骤提交等集群操作失败的问题。这是因为 Amazon EMR 集群守护程序没有续订 Kerberos 票证，而在主节点上运行时需要使用该票证才能安全地进行 HDFS/YARN 通信。
+ 较新的亚马逊 EMR 版本通过较低的 A AL2 mazon EMR 中较旧版本的 “最大打开文件数” 限制来解决这个问题。Amazon EMR 发行版 5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 及更高版本现在用更高的“最大打开文件数”设置永久修复了此问题。
+ EMR 6.0.0 上不支持 Apache Fink，但集成了 Flink 1.11.0 的 EMR 6.1.0 可以支持 Apache Fink。这是首个正式支持 Hadoop 3 的 Fink 版本。请参阅 [Apache Flink 1.11.0 发布公告](https://flink.apache.org/news/2020/07/06/release-1.11.0.html)。
+ 默认 EMR 6.1.0 捆绑包中已经删除了 Ganglia。

**已知问题**
+ **降低旧版本的 “最大打开文件数” 限制 AL2 [在新版本中已修复]。**亚马逊 EMR 版本：emr-5.30.x、emr-5.31.0、emr-5.32.0、emr-6.0.0、emr-6.1.0 和 emr-6.2.0 基于较旧版本的亚马逊 Linux 2 ()，当使用默认 AMI 创建亚马逊 EMR 集群时，“最大打开文件数” 的用户限制设置较低。AL2Amazon EMR 发行版 5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 及更高版本使用更高的“最大打开文件数”设置永久修复了此问题。如果使用打开文件数限制较低的发行版，会在提交 Spark 任务时导致“Too many open files”（打开的文件过多）错误。在受影响的发行版中，Amazon EMR 原定设置 AMI 的原定设置“最大打开文件数”ulimit 为 4096，而最新版 Amazon Linux 2 AMI 中的文件限制数为 65536。Spark 驱动程序和执行程序尝试打开超过 4096 个文件时，“打开的最大文件数”的较低 ulimit 设置会导致 Spark 任务失败。要修复此问题，Amazon EMR 使用一个引导操作（BA）脚本，用于在创建集群时调整 ulimit 设置。

  如果您使用没有永久修复此问题的较早版本的 Amazon EMR，则可以通过下面的解决方法，显式将实例控制器 ulimit 设置为最多 65536 个文件。

**从命令行显式设置 ulimit**

  1. 编辑 `/etc/systemd/system/instance-controller.service`，将以下参数添加到 Service (服务) 部分。

     `LimitNOFILE=65536`

     `LimitNPROC=65536`

  1. 重启 InstanceController

     `$ sudo systemctl daemon-reload`

     `$ sudo systemctl restart instance-controller`

  **使用引导操作 (BA) 设置 ulimit**

  您还可以在创建集群时使用引导操作（BA）脚本将实例控制器 ulimit 配置为 65536 个文件。

  ```
  #!/bin/bash
  for user in hadoop spark hive; do
  sudo tee /etc/security/limits.d/$user.conf << EOF
  $user - nofile 65536
  $user - nproc 65536
  EOF
  done
  for proc in instancecontroller logpusher; do
  sudo mkdir -p /etc/systemd/system/$proc.service.d/
  sudo tee /etc/systemd/system/$proc.service.d/override.conf << EOF
  [Service]
  LimitNOFILE=65536
  LimitNPROC=65536
  EOF
  pid=$(pgrep -f aws157.$proc.Main)
  sudo prlimit --pid $pid --nofile=65535:65535 --nproc=65535:65535
  done
  sudo systemctl daemon-reload
  ```
+ 
**重要**  
Amazon EMR 6.1.0 和 6.2.0 包含可能严重影响所有 Hudi 插入、更新插入和删除操作的性能问题。如果您计划在亚马逊 EMR 6.1.0 或 6.2.0 中使用 Hudi，则应 AWS 联系支持人员以获取已修补的 Hudi RPM。
+ 如果您使用`spark.driver.extraJavaOptions`和设置自定义垃圾收集配置`spark.executor.extraJavaOptions`，则由于垃圾收集配置冲突，将导致 EMR 6.1 driver/executor 启动失败。使用 EMR 发行版 6.1.0 时，您应该使用属性 `spark.driver.defaultJavaOptions` 和 `spark.executor.defaultJavaOptions` 为驱动程序和执行程序指定自定义 Spark 垃圾回收配置。如要了解更多信息，请参阅 [Apache Spark 运行时环境](https://spark.apache.org/docs/latest/configuration.html#runtime-environment)和[在 Amazon EMR 6.1.0 上配置 Spark 垃圾回收](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-spark-configure.html#spark-gc-config)。
+ 在 Oozie 中使用 Pig（以及在 Hue 中，因为 Hue 使用 Oozie 操作来运行 Pig 脚本）会生成一个错误，即无法加载 native-lzo 库。此错误消息是信息性的，不会阻止 Pig 运行。
+ Hudi 并发支持：目前 Hudi 不支持并发写入单个 Hudi 表。此外，Hudi 会回滚处于运行状态的写入器所做的所有更改后再允许新写入器启动。并发写入可能会干扰此机制并引入竞争条件，这会导致数据损坏。您应确保作为数据处理工作流程的一部分，任何时候都只有一个 Hudi 写入器对 Hudi 表进行操作。Hudi 支持多个并发读取器对同一 Hudi 表进行操作。
+ 具有多个主节点的集群和 Kerberos 身份验证中的已知问题

  如果在 Amazon EMR 版本 5.20.0 及更高版本中运行具有多个主节点的集群和 Kerberos 身份验证，则在集群运行一段时间后，您可能在执行集群操作（如缩减或步骤提交）时遇到问题。具体时间段取决于您定义的 Kerberos 票证有效期。缩减问题会影响您提交的自动缩减和显式缩减请求。其它集群操作也可能会受到影响。

  解决办法：
  + 以 `hadoop` 用户身份通过 SSH 连接到具有多个主节点的 EMR 集群的 lead 主节点。
  +  运行以下命令，为 `hadoop` 用户续订 Kerberos 票证。

    ```
    kinit -kt <keytab_file> <principal>
    ```

    通常情况下，keytab 文件位于 `/etc/hadoop.keytab`，而 principal 为 `hadoop/<hostname>@<REALM>` 格式。
**注意**  
此解决方法将在 Kerberos 票证有效期内生效。默认情况下，此持续时间为 10 个小时，但可以通过 Kerberos 设置进行配置。Kerberos 票证过期后，您必须重新运行上述命令。
+ Amazon EMR 6.1.0 中存在一个问题，会影响运行 Presto 的集群。在较长时间（天）后，集群可能会引发错误，例如“su: failed to execute /bin/bash: Resource temporarily unavailable”或“shell request failed on channel 0”。此问题是由内部 Amazon EMR 进程 (InstanceController) 引起的，该进程生成了太多的轻量级进程 (LWP)，最终导致 Hadoop 用户超出其 nproc 限制。这可以阻止用户打开其它进程。此问题的解决方案是：升级到 EMR 6.2.0。

## 6.1.0 组件版本
<a name="emr-610-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.3.0 | 亚马逊 SageMaker Spark 软件开发工具包 | 
| emr-ddb | 4.14.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 3.1.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.5.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | emrfs | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 2.0.0 | EMR S3 Select 连接器 | 
| emrfs | 2.42.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| flink-client | 1.11.0 | Apache Flink 命令行客户端脚本和应用程序。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 3.2.1-amzn-1 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 3.2.1-amzn-1 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 3.2.1-amzn-1 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 3.2.1-amzn-1 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-hdfs-journalnode | 3.2.1-amzn-1 | 用于管理 HA 集群上的 Hadoop 文件系统日志的 HDFS 服务。 | 
| hadoop-httpfs-server | 3.2.1-amzn-1 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 3.2.1-amzn-1 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 3.2.1-amzn-1 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 3.2.1-amzn-1 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 3.2.1-amzn-1 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 3.2.1-amzn-1 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 2.2.5 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 2.2.5 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 2.2.5 | HBase 命令行客户端。 | 
| hbase-rest-server | 2.2.5 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 2.2.5 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 3.1.2-amzn-2 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 3.1.2-amzn-2 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 3.1.2-amzn-2 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 3.1.2-amzn-2 | Hive 命令行客户端。 | 
| hive-hbase | 3.1.2-amzn-2 | Hive-hbase 客户端。 | 
| hive-metastore-server | 3.1.2-amzn-2 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 3.1.2-amzn-2 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hudi | 0.5.2-incubating-amzn-2 | 增量处理框架，以支持低延迟和高效率的数据管道。 | 
| hudi-presto | 0.5.2-incubating-amzn-2 | 用于运行 Presto 以及 Hudl 的捆绑库。 | 
| hudi-prestosql | 0.5.2-incubating-amzn-2 | 用于运行 PrestoSQL 以及 Hudi 的捆绑库。 | 
| hudi-spark | 0.5.2-incubating-amzn-2 | 用于运行 Spark 以及 Hudi 的捆绑库。 | 
| hue-server | 4.7.1 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 1.1.0 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.7.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mxnet | 1.6.0 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mariadb-server | 5.5.64\$1 | MariaDB 数据库服务器。 | 
| nvidia-cuda | 9.2.88 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.2.0 | Oozie 命令行客户端。 | 
| oozie-server | 5.2.0 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 4.3.0 | 开源计算机视觉库。 | 
| phoenix-library | 5.0.0--2.0 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 5.0.0--2.0 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.232 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.232 | 用于执行查询的各个部分的服务。 | 
| presto-client | 0.232 | Presto 命令行客户端，安装在 HA 集群的备用主节点（未启动 Presto 服务器）上。 | 
| prestosql-coordinator | 338 | 用于在 prestosql-worker 之中接受查询并管理查询执行的服务。 | 
| prestosql-worker | 338 | 用于执行查询的各个部分的服务。 | 
| prestosql-client | 338 | Presto 命令行客户端，安装在 HA 集群的备用主节点（未启动 Presto 服务器）上。 | 
| pig-client | 0.17.0 | Pig 命令行客户端。 | 
| r | 3.4.3 | 用于统计计算的 R 项目 | 
| ranger-kms-server | 2.0.0 | Apache Ranger 密钥管理系统 | 
| spark-client | 3.0.0-amzn-0 | Spark 命令行客户端。 | 
| spark-history-server | 3.0.0-amzn-0 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 3.0.0-amzn-0 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 3.0.0-amzn-0 | YARN 从属项所需的 Apache Spark 库。 | 
| sqoop-client | 1.4.7 | Apache Sqoop 命令行客户端。 | 
| tensorflow | 2.1.0 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.9.2 | tez YARN 应用程序和库。 | 
| webserver | 2.4.41\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.9.0-preview1 | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.14 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.14 | ZooKeeper 命令行客户端。 | 

## 6.1.0 配置分类
<a name="emr-610-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-6.1.0 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| container-executor | 更改 Hadoop YARN 的 container-executor.cfg 文件中的值。 | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| flink-conf | 更改 flink-conf.yaml 设置。 | 
| flink-log4j | 更改 Flink log4j.properties 设置。 | 
| flink-log4j-yarn-session | 更改 Flink log4 j-yarn-session .properties 设置。 | 
| flink-log4j-cli | 更改 Flink log4j-cli.properties 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-env | 更改 HDFS 环境中的值。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive | 适用于 Apache Hive 的 Amazon EMR 辅助设置。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| hudi-env | 更改 Hudi 环境中的值。 | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| pig-env | 更改 Pig 环境中的值。 | 
| pig-properties | 更改 Pig 的 pig.properties 文件中的值。 | 
| pig-log4j | 更改 Pig 的 log4j.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | 
| prestosql-log | 更改 Presto 的 log.properties 文件中的值。 | 
| prestosql-config | 更改 Presto 的 config.properties 文件中的值。 | 
| prestosql-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | 
| prestosql-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| prestosql-node | 更改 PrestoSQL 的 node.properties 文件中的值。 | 
| prestosql-connector-blackhole | 更改 PrestoSQL 的 blackhole.properties 文件中的值。 | 
| prestosql-connector-cassandra | 更改 PrestoSQL 的 cassandra.properties 文件中的值。 | 
| prestosql-connector-hive | 更改 PrestoSQL 的 hive.properties 文件中的值。 | 
| prestosql-connector-jmx | 更改 PrestoSQL 的 jmx.properties 文件中的值。 | 
| prestosql-connector-kafka | 更改 PrestoSQL 的 kafka.properties 文件中的值。 | 
| prestosql-connector-localfile | 更改 PrestoSQL 的 localfile.properties 文件中的值。 | 
| prestosql-connector-memory | 更改 PrestoSQL 的 memory.properties 文件中的值。 | 
| prestosql-connector-mongodb | 更改 PrestoSQL 的 mongodb.properties 文件中的值。 | 
| prestosql-connector-mysql | 更改 PrestoSQL 的 mysql.properties 文件中的值。 | 
| prestosql-connector-postgresql | 更改 PrestoSQL 的 postgresql.properties 文件中的值。 | 
| prestosql-connector-raptor | 更改 PrestoSQL 的 raptor.properties 文件中的值。 | 
| prestosql-connector-redis | 更改 PrestoSQL 的 redis.properties 文件中的值。 | 
| prestosql-connector-redshift | 更改 PrestoSQL 的 redshift.properties 文件中的值。 | 
| prestosql-connector-tpch | 更改 PrestoSQL 的 tpch.properties 文件中的值。 | 
| prestosql-connector-tpcds | 更改 PrestoSQL 的 tpcds.properties 文件中的值。 | 
| ranger-kms-dbks-site | 更改 Ranger KMS 的 dbks-site.xml 文件中的值。 | 
| ranger-kms-site | 更改 Ranger K ranger-kms-site MS 的.xml 文件中的值。 | 
| ranger-kms-env | 更改 Ranger KMS 环境中的值。 | 
| ranger-kms-log4j | 更改 Ranger KMS 的 kms-log4j.properties 文件中的值。 | 
| ranger-kms-db-ca | 更改 S3 上用于与 Ranger KMS 进行 MySQL SSL 连接的 CA 文件的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| sqoop-env | 更改 Sqoop 的环境中的值。 | 
| sqoop-oraoop-site | 更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。 | 
| sqoop-site | 更改 Sqoop 的 sqoop-site.xml 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 ZooKeeper的 zoo.cfg 文件中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 6.0.1
<a name="emr-601-release"></a>

## 6.0.1 应用程序版本
<a name="emr-601-app-versions"></a>

此版本包括以下应用程序：[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-6.1.1 | emr-6.1.0 | emr-6.0.1 | emr-6.0.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.828 | 1.11.828 | 1.11.711 | 1.11.711 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.12.10 | 2.12.10 | 2.12.10 | 2.11.12 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.11.0 | 1.11.0 |  -  |  -  | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.2.5 | 2.2.5 | 2.2.3 | 2.2.3 | 
| HCatalog | 3.1.2-amzn-2 | 3.1.2-amzn-2 | 3.1.2-amzn-0 | 3.1.2-amzn-0 | 
| Hadoop | 3.2.1-amzn-1.1 | 3.2.1-amzn-1 | 3.2.1-amzn-0.1 | 3.2.1-amzn-0 | 
| Hive | 3.1.2-amzn-2 | 3.1.2-amzn-2 | 3.1.2-amzn-0 | 3.1.2-amzn-0 | 
| Hudi | 0.5.2-incubating-amzn-2 | 0.5.2-incubating-amzn-2 | 0.5.0-incubating-amzn-1 | 0.5.0-incubating-amzn-1 | 
| Hue | 4.7.1 | 4.7.1 | 4.4.0 | 4.4.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub | 1.1.0 | 1.1.0 | 1.0.0 | 1.0.0 | 
| Livy | 0.7.0-incubating | 0.7.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 
| MXNet | 1.6.0 | 1.6.0 | 1.5.1 | 1.5.1 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.0 | 5.2.0 | 5.1.0 | 5.1.0 | 
| Phoenix | 5.0.0--2.0 HBase | 5.0.0--2.0 HBase | 5.0.0--2.0 HBase | 5.0.0--2.0 HBase | 
| Pig | 0.17.0 | 0.17.0 |  -  |  -  | 
| Presto | 0.232 | 0.232 | 0.230 | 0.230 | 
| Spark | 3.0.0-amzn-0.1 | 3.0.0-amzn-0 | 2.4.4 | 2.4.4 | 
| Sqoop | 1.4.7 | 1.4.7 |  -  |  -  | 
| TensorFlow | 2.1.0 | 2.1.0 | 1.14.0 | 1.14.0 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) | 338 | 338 |  -  |  -  | 
| Zeppelin | 0.9.0-preview1 | 0.9.0-preview1 | 0.9.0-SNAPSHOT | 0.9.0-SNAPSHOT | 
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 

## 6.0.1 发布说明
<a name="emr-601-relnotes"></a>

此版本旨在修复 Amazon EMR Scaling 无法成功缩 up/scale 减集群规模或导致应用程序故障时出现的问题。

**更改、增强和解决的问题**
+ 修复了当 Amazon EMR 集群上的进程守护程序正在进行运行状况检查活动（例如收集 YARN 节点状态和 HDFS 节点状态）时，针对高利用率的大型集群的扩展请求失败的问题。之所以发生这种情况，是因为集群上的进程守护程序无法将节点的运行状况数据传递给内部 Amazon EMR 组件。
+ 改进了 EMR 集群上的进程守护程序，以便在重用 IP 地址时正确跟踪节点状态，从而提高扩缩操作期间的可靠性。
+ [SPARK-29683](https://issues.apache.org/jira/browse/SPARK-29683)。修复了集群缩减期间出现任务失败的问题，因为 Spark 假定所有可用节点都被拒绝列出。
+ [YARN-9011](https://issues.apache.org/jira/browse/YARN-9011)。修复了集群尝试纵向扩展或缩减时，由于 YARN 停用中的争用条件导致任务失败的问题。
+ 通过确保 Amazon EMR 集群上的进程守护程序和 YARN/HDFS 之间的节点状态始终一致，解决了集群扩展期间步骤或任务失败的问题。
+ 修复了已启用 Kerberos 身份验证的 Amazon EMR 集群的诸如缩减和步骤提交等集群操作失败的问题。这是因为 Amazon EMR 集群守护程序没有续订 Kerberos 票证，而在主节点上运行时需要使用该票证才能安全地进行 HDFS/YARN 通信。
+ 较新的亚马逊 EMR 版本通过较低的 A AL2 mazon EMR 中较旧版本的 “最大打开文件数” 限制来解决这个问题。Amazon EMR 发行版 5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 及更高版本现在用更高的“最大打开文件数”设置永久修复了此问题。
+ 现在，默认情况下，已启用 Amazon Linux 存储库的 HTTPS。如果您使用 Amazon S3 VPCE 策略限制对特定存储桶的访问，则必须添加新的 Amazon Linux 存储桶 ARN`arn:aws:s3:::amazonlinux-2-repos-$region/*`到策略（将`$region`替换为终端节点所在的区域）。有关更多信息，请在 AWS 讨论论坛中查看此主题。[公告：Amazon Linux 2 目前支持在连接到软件包存储库时使用 HTTPS 的功能](https://forums.aws.amazon.com/ann.jspa?annID=8528)。

## 6.0.1 组件版本
<a name="emr-601-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.2.6 | 亚马逊 SageMaker Spark 软件开发工具包 | 
| emr-ddb | 4.14.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 3.0.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.5.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | emrfs | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 1.5.0 | EMR S3 Select 连接器 | 
| emrfs | 2.39.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 3.2.1-amzn-0.1 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 3.2.1-amzn-0.1 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 3.2.1-amzn-0.1 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 3.2.1-amzn-0.1 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-hdfs-journalnode | 3.2.1-amzn-0.1 | 用于管理 HA 集群上的 Hadoop 文件系统日志的 HDFS 服务。 | 
| hadoop-httpfs-server | 3.2.1-amzn-0.1 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 3.2.1-amzn-0.1 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 3.2.1-amzn-0.1 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 3.2.1-amzn-0.1 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 3.2.1-amzn-0.1 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 3.2.1-amzn-0.1 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 2.2.3 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 2.2.3 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 2.2.3 | HBase 命令行客户端。 | 
| hbase-rest-server | 2.2.3 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 2.2.3 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 3.1.2-amzn-0 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 3.1.2-amzn-0 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 3.1.2-amzn-0 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 3.1.2-amzn-0 | Hive 命令行客户端。 | 
| hive-hbase | 3.1.2-amzn-0 | Hive-hbase 客户端。 | 
| hive-metastore-server | 3.1.2-amzn-0 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 3.1.2-amzn-0 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hudi | 0.5.0-incubating-amzn-1 | 增量处理框架，以支持低延迟和高效率的数据管道。 | 
| hudi-presto | 0.5.0-incubating-amzn-1 | 用于运行 Presto 以及 Hudl 的捆绑库。 | 
| hue-server | 4.4.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 1.0.0 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.6.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mxnet | 1.5.1 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mariadb-server | 5.5.64\$1 | MariaDB 数据库服务器。 | 
| nvidia-cuda | 9.2.88 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.1.0 | Oozie 命令行客户端。 | 
| oozie-server | 5.1.0 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 3.4.0 | 开源计算机视觉库。 | 
| phoenix-library | 5.0.0--2.0 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 5.0.0--2.0 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.230 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.230 | 用于执行查询的各个部分的服务。 | 
| presto-client | 0.230 | Presto 命令行客户端，安装在 HA 集群的备用主服务器（未启动 Presto 服务器）上。 | 
| r | 3.4.3 | 用于统计计算的 R 项目 | 
| spark-client | 2.4.4 | Spark 命令行客户端。 | 
| spark-history-server | 2.4.4 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.4.4 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.4.4 | YARN 从属项所需的 Apache Spark 库。 | 
| tensorflow | 1.14.0 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.9.2 | tez YARN 应用程序和库。 | 
| webserver | 2.4.41\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.9.0-SNAPSHOT | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.14 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.14 | ZooKeeper 命令行客户端。 | 

## 6.0.1 配置分类
<a name="emr-601-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅 [配置应用程序](emr-configure-apps.md)。


**emr-6.0.1 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| container-executor | 更改 Hadoop YARN 的 container-executor.cfg 文件中的值。 | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-env | 更改 HDFS 环境中的值。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive | 适用于 Apache Hive 的 Amazon EMR 辅助设置。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | 
| ranger-kms-dbks-site | 更改 Ranger KMS 的 dbks-site.xml 文件中的值。 | 
| ranger-kms-site | 更改 Ranger K ranger-kms-site MS 的.xml 文件中的值。 | 
| ranger-kms-env | 更改 Ranger KMS 环境中的值。 | 
| ranger-kms-log4j | 更改 Ranger KMS 的 kms-log4j.properties 文件中的值。 | 
| ranger-kms-db-ca | 更改 S3 上用于与 Ranger KMS 进行 MySQL SSL 连接的 CA 文件的值。 | 
| recordserver-env | 在 EMR RecordServer 环境中更改值。 | 
| recordserver-conf | 更改 EMR 的 server.proper RecordServer ties 文件中的值。 | 
| recordserver-log4j | 更改 EMR 的 log4j.propertie RecordServer s 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 ZooKeeper的 zoo.cfg 文件中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 | 

# Amazon EMR 发行版 6.0.0
<a name="emr-600-release"></a>

## 6.0.0 应用程序版本
<a name="emr-600-app-versions"></a>

此版本包括以下应用程序：[http://ganglia.info](http://ganglia.info)、[http://hbase.apache.org/](http://hbase.apache.org/)、[https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog)、[http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/)、[http://hive.apache.org/](http://hive.apache.org/)、[https://hudi.apache.org](https://hudi.apache.org)、[http://gethue.com/](http://gethue.com/)、[https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#)、[https://livy.incubator.apache.org/](https://livy.incubator.apache.org/)、[https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/)、[http://oozie.apache.org/](http://oozie.apache.org/)、[https://phoenix.apache.org/](https://phoenix.apache.org/)、[https://prestodb.io/](https://prestodb.io/)、[https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/)、[https://www.tensorflow.org/](https://www.tensorflow.org/)、[https://tez.apache.org/](https://tez.apache.org/)、[https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) 和 [https://zookeeper.apache.org](https://zookeeper.apache.org)。

下表列出了此版本的 Amazon EMR 中提供的应用程序版本以及前三个 Amazon EMR 发行版中的应用程序版本（若适用）。

有关每个发行版的 Amazon EMR 的应用程序版本的全面历史记录，请参见以下主题：
+ [Amazon EMR 7.x 发行版中的应用程序版本](emr-release-app-versions-7.x.md)
+ [Amazon EMR 6.x 发行版中的应用程序版本](emr-release-app-versions-6.x.md)
+ [Amazon EMR 5.x 发行版中的应用程序版本](emr-release-app-versions-5.x.md)
+ [Amazon EMR 4.x 发行版中的应用程序版本](emr-release-app-versions-4.x.md)


**应用程序版本信息**  

|  | emr-6.1.1 | emr-6.1.0 | emr-6.0.1 | emr-6.0.0 | 
| --- | --- | --- | --- | --- | 
| AWS 适用于 Java 的 SDK | 1.11.828 | 1.11.828 | 1.11.711 | 1.11.711 | 
| Python | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 2.7、3.7 | 
| Scala | 2.12.10 | 2.12.10 | 2.12.10 | 2.11.12 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.11.0 | 1.11.0 |  -  |  -  | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.2.5 | 2.2.5 | 2.2.3 | 2.2.3 | 
| HCatalog | 3.1.2-amzn-2 | 3.1.2-amzn-2 | 3.1.2-amzn-0 | 3.1.2-amzn-0 | 
| Hadoop | 3.2.1-amzn-1.1 | 3.2.1-amzn-1 | 3.2.1-amzn-0.1 | 3.2.1-amzn-0 | 
| Hive | 3.1.2-amzn-2 | 3.1.2-amzn-2 | 3.1.2-amzn-0 | 3.1.2-amzn-0 | 
| Hudi | 0.5.2-incubating-amzn-2 | 0.5.2-incubating-amzn-2 | 0.5.0-incubating-amzn-1 | 0.5.0-incubating-amzn-1 | 
| Hue | 4.7.1 | 4.7.1 | 4.4.0 | 4.4.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub | 1.1.0 | 1.1.0 | 1.0.0 | 1.0.0 | 
| Livy | 0.7.0-incubating | 0.7.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 
| MXNet | 1.6.0 | 1.6.0 | 1.5.1 | 1.5.1 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.0 | 5.2.0 | 5.1.0 | 5.1.0 | 
| Phoenix | 5.0.0--2.0 HBase | 5.0.0--2.0 HBase | 5.0.0--2.0 HBase | 5.0.0--2.0 HBase | 
| Pig | 0.17.0 | 0.17.0 |  -  |  -  | 
| Presto | 0.232 | 0.232 | 0.230 | 0.230 | 
| Spark | 3.0.0-amzn-0.1 | 3.0.0-amzn-0 | 2.4.4 | 2.4.4 | 
| Sqoop | 1.4.7 | 1.4.7 |  -  |  -  | 
| TensorFlow | 2.1.0 | 2.1.0 | 1.14.0 | 1.14.0 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) | 338 | 338 |  -  |  -  | 
| Zeppelin | 0.9.0-preview1 | 0.9.0-preview1 | 0.9.0-SNAPSHOT | 0.9.0-SNAPSHOT | 
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 

## 6.0.0 发布说明
<a name="emr-600-relnotes"></a>

以下发布说明包括有关 Amazon EMR 发行版 6.0.0 的信息。

首次发布日期：2020 年 3 月 10 日

**受支持的应用程序**
+ 适用于 Java 的 AWS SDK 版本 1.11.711
+ Ganglia 3.7.2
+ Hadoop 3.2.1
+ HBase 版本 2.2.3
+ HCatalog 版本 3.1.2
+ Hive 3.1.2
+ Hudi 0.5.0-incubating
+ Hue 4.4.0
+ JupyterHub 版本 1.0.0
+ Livy 0.6.0
+ MXNet 版本 1.5.1
+ Oozie 5.1.0
+ Phoenix 5.0.0
+ Presto 0.230
+ Spark 2.4.4
+ TensorFlow 版本 1.14.0
+ Zeppelin 0.9.0-SNAPSHOT
+ Zookeeper 3.4.14
+ 连接器和驱动程序：DynamoDB 连接器 4.14.0

**注意**  
Flink、Sqoop、Pig 和 Mahout 在 Amazon EMR 6.0.0 中不可用。

**新特征**
+ YARN Docker 运行时支持 - YARN 应用程序（例如 Spark 作业）现在可以在 Docker 容器的上下文中运行。这可让您轻松定义 Docker 镜像中的依赖项，而无需在 Amazon EMR 集群上安装自定义库。有关更多信息，请参阅[配置 Docker 集成](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-docker.html)和[使用 Amazon EMR 6.0.0 通过 Docker 运行 Spark 应用程序](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-spark-docker.html)。
+ Hive LLAP 支持 - Hive 现在支持 LLAP 执行模式以提高查询性能。有关更多信息，请参阅[使用 Hive LLAP](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hive-llap.html)。

**更改、增强功能和解决的问题**
+ 此版本旨在修复 Amazon EMR Scaling 无法成功缩 up/scale 减集群规模或导致应用程序故障时出现的问题。
+ 修复了当 Amazon EMR 集群上的进程守护程序正在进行运行状况检查活动（例如收集 YARN 节点状态和 HDFS 节点状态）时，针对高利用率的大型集群的扩展请求失败的问题。之所以发生这种情况，是因为集群上的进程守护程序无法将节点的运行状况数据传递给内部 Amazon EMR 组件。
+ 改进了 EMR 集群上的进程守护程序，以便在重用 IP 地址时正确跟踪节点状态，从而提高扩缩操作期间的可靠性。
+ [SPARK-29683](https://issues.apache.org/jira/browse/SPARK-29683)。修复了集群缩减期间出现任务失败的问题，因为 Spark 假定所有可用节点都被拒绝列出。
+ [YARN-9011](https://issues.apache.org/jira/browse/YARN-9011)。修复了集群尝试纵向扩展或缩减时，由于 YARN 停用中的争用条件导致任务失败的问题。
+ 通过确保 Amazon EMR 集群上的进程守护程序和 YARN/HDFS 之间的节点状态始终一致，解决了集群扩展期间步骤或任务失败的问题。
+ 修复了已启用 Kerberos 身份验证的 Amazon EMR 集群的诸如缩减和步骤提交等集群操作失败的问题。这是因为 Amazon EMR 集群守护程序没有续订 Kerberos 票证，而在主节点上运行时需要使用该票证才能安全地进行 HDFS/YARN 通信。
+ 较新的亚马逊 EMR 版本通过较低的 A AL2 mazon EMR 中较旧版本的 “最大打开文件数” 限制来解决这个问题。Amazon EMR 发行版 5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 及更高版本现在用更高的“最大打开文件数”设置永久修复了此问题。
+ Amazon Linux
  + Amazon Linux 2 是 EMR 6.x 发布版本系列的操作系统。
  + 使用 `systemd` 进行服务管理，而 Amazon Linux 1 中使用的是 `upstart`。
+ Java 开发工具包 (JDK)
  + Coretto JDK 8 是 EMR 6.x 版本系列的默认 JDK。
+ Scala
  + Scala 2.12 与 Apache Spark 和 Apache Livy 一起使用。
+ Python 3
  + Python 3 现在是 EMR 中的默认 Python 版本。
+ YARN 节点标注
  + 从 Amazon EMR 6.x 发行版系列开始，默认情况下禁用 YARN 节点标注功能。默认情况下，应用程序主进程可以在核心节点和任务节点上运行。您可以通过配置以下属性来启用 YARN 节点标注功能：`yarn.node-labels.enabled` 和 `yarn.node-labels.am.default-node-label-expression`。有关更多信息，请参阅[了解主节点、核心节点和任务节点](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-master-core-task-nodes.html)。

**已知问题**
+ **降低旧版本的 “最大打开文件数” 限制 AL2 [在新版本中已修复]。**亚马逊 EMR 版本：emr-5.30.x、emr-5.31.0、emr-5.32.0、emr-6.0.0、emr-6.1.0 和 emr-6.2.0 基于较旧版本的亚马逊 Linux 2 ()，当使用默认 AMI 创建亚马逊 EMR 集群时，“最大打开文件数” 的用户限制设置较低。AL2Amazon EMR 发行版 5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 及更高版本使用更高的“最大打开文件数”设置永久修复了此问题。如果使用打开文件数限制较低的发行版，会在提交 Spark 任务时导致“Too many open files”（打开的文件过多）错误。在受影响的发行版中，Amazon EMR 原定设置 AMI 的原定设置“最大打开文件数”ulimit 为 4096，而最新版 Amazon Linux 2 AMI 中的文件限制数为 65536。Spark 驱动程序和执行程序尝试打开超过 4096 个文件时，“打开的最大文件数”的较低 ulimit 设置会导致 Spark 任务失败。要修复此问题，Amazon EMR 使用一个引导操作（BA）脚本，用于在创建集群时调整 ulimit 设置。

  如果您使用没有永久修复此问题的较早版本的 Amazon EMR，则可以通过下面的解决方法，显式将实例控制器 ulimit 设置为最多 65536 个文件。

**从命令行显式设置 ulimit**

  1. 编辑 `/etc/systemd/system/instance-controller.service`，将以下参数添加到 Service (服务) 部分。

     `LimitNOFILE=65536`

     `LimitNPROC=65536`

  1. 重启 InstanceController

     `$ sudo systemctl daemon-reload`

     `$ sudo systemctl restart instance-controller`

  **使用引导操作 (BA) 设置 ulimit**

  您还可以在创建集群时使用引导操作（BA）脚本将实例控制器 ulimit 配置为 65536 个文件。

  ```
  #!/bin/bash
  for user in hadoop spark hive; do
  sudo tee /etc/security/limits.d/$user.conf << EOF
  $user - nofile 65536
  $user - nproc 65536
  EOF
  done
  for proc in instancecontroller logpusher; do
  sudo mkdir -p /etc/systemd/system/$proc.service.d/
  sudo tee /etc/systemd/system/$proc.service.d/override.conf << EOF
  [Service]
  LimitNOFILE=65536
  LimitNPROC=65536
  EOF
  pid=$(pgrep -f aws157.$proc.Main)
  sudo prlimit --pid $pid --nofile=65535:65535 --nproc=65535:65535
  done
  sudo systemctl daemon-reload
  ```
+ Spark 交互式外壳 PySpark，包括 SparkR 和 spark-shell，不支持将 Docker 与其他库一起使用。
+ 要在 Amazon EMR 6.0.0 中使用 Python 3，您必须在 `yarn.nodemanager.env-whitelist` 中添加 `PATH`。
+ 当您使用 AWS Glue 数据目录作为 Hive 的元存储时，不支持 Live Long and Process (LLAP) 功能。
+ 将 Amazon EMR 6.0.0 与 Spark 和 Docker 集成使用时，您需要使用同一实例类型和相同数量的 EBS 卷配置集群中的实例，以避免在使用 Docker 运行时提交 Spark 任务时出现故障。
+ [在亚马逊 EMR 6.0.0 中，亚马逊 HBase S3 上的存储模式受到 HBASE-24286 问题的影响。](https://issues.apache.org/jira/browse/HBASE-24286) HBase 使用现有 S3 数据创建集群时，master 无法初始化。
+ 具有多个主节点的集群和 Kerberos 身份验证中的已知问题

  如果在 Amazon EMR 版本 5.20.0 及更高版本中运行具有多个主节点的集群和 Kerberos 身份验证，则在集群运行一段时间后，您可能在执行集群操作（如缩减或步骤提交）时遇到问题。具体时间段取决于您定义的 Kerberos 票证有效期。缩减问题会影响您提交的自动缩减和显式缩减请求。其它集群操作也可能会受到影响。

  解决办法：
  + 以 `hadoop` 用户身份通过 SSH 连接到具有多个主节点的 EMR 集群的 lead 主节点。
  +  运行以下命令，为 `hadoop` 用户续订 Kerberos 票证。

    ```
    kinit -kt <keytab_file> <principal>
    ```

    通常情况下，keytab 文件位于 `/etc/hadoop.keytab`，而 principal 为 `hadoop/<hostname>@<REALM>` 格式。
**注意**  
此解决方法将在 Kerberos 票证有效期内生效。默认情况下，此持续时间为 10 个小时，但可以通过 Kerberos 设置进行配置。Kerberos 票证过期后，您必须重新运行上述命令。

## 6.0.0 组件版本
<a name="emr-600-components"></a>

下面列出了 Amazon EMR 随此发行版一起安装的组件。一些组件作为大数据应用程序包的一部分安装。其它组件是 Amazon EMR 独有的，并且已为系统流程和功能安装这些组件。它们通常以 `emr` 或 `aws` 开头。最新的 Amazon EMR 发行版中的大数据应用程序包通常是在社区中找到的最新版本。我们会尽快在 Amazon EMR 中提供社区发行版。

Amazon EMR 中的某些组件与社区版本不同。这些组件具有以下形式的 `CommunityVersion-amzn-EmrVersion` 的发行版标注。`EmrVersion` 从 0 开始。例如，假设已对名为 `myapp-component` 的版本 2.2 的开源社区组件进行三次修改，以包含在不同的 Amazon EMR 发行版中，则其发行版将为 `2.2-amzn-2`。


| 组件 | 版本 | 说明 | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.2.6 | 亚马逊 SageMaker Spark 软件开发工具包 | 
| emr-ddb | 4.14.0 | 适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。 | 
| emr-goodies | 3.0.0 | 适用于 Hadoop 生态系统的方便易用的库。 | 
| emr-kinesis | 3.5.0 | 适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。 | 
| emr-s3-dist-cp | emrfs | 针对 Amazon S3 优化的分布式复制应用程序。 | 
| emr-s3-select | 1.5.0 | EMR S3 Select 连接器 | 
| emrfs | 2.39.0 | 适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。 | 
| ganglia-monitor | 3.7.2 | 适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。 | 
| ganglia-metadata-collector | 3.7.2 | 用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。 | 
| ganglia-web | 3.7.1 | 用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。 | 
| hadoop-client | 3.2.1-amzn-0 | Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。 | 
| hadoop-hdfs-datanode | 3.2.1-amzn-0 | 用于存储数据块的 HDFS 节点级服务。 | 
| hadoop-hdfs-library | 3.2.1-amzn-0 | HDFS 命令行客户端和库 | 
| hadoop-hdfs-namenode | 3.2.1-amzn-0 | 用于跟踪文件名和数据块位置的 HDFS 服务。 | 
| hadoop-hdfs-journalnode | 3.2.1-amzn-0 | 用于管理 HA 集群上的 Hadoop 文件系统日志的 HDFS 服务。 | 
| hadoop-httpfs-server | 3.2.1-amzn-0 | 用于 HDFS 操作的 HTTP 终端节点。 | 
| hadoop-kms-server | 3.2.1-amzn-0 | 基于 Hadoop 的 API 的加密密钥管理服务器。 KeyProvider  | 
| hadoop-mapred | 3.2.1-amzn-0 | MapReduce 用于运行 MapReduce 应用程序的执行引擎库。 | 
| hadoop-yarn-nodemanager | 3.2.1-amzn-0 | 用于管理单个节点上的容器的 YARN 服务。 | 
| hadoop-yarn-resourcemanager | 3.2.1-amzn-0 | 用于分配和管理集群资源与分布式应用程序的 YARN 服务。 | 
| hadoop-yarn-timeline-server | 3.2.1-amzn-0 | 用于检索 YARN 应用程序的当前信息和历史信息的服务。 | 
| hbase-hmaster | 2.2.3 | 为负责协调区域和执行管理命令的 HBase 集群提供服务。 | 
| hbase-region-server | 2.2.3 | 为一个或多个 HBase 地区提供服务的服务。 | 
| hbase-client | 2.2.3 | HBase 命令行客户端。 | 
| hbase-rest-server | 2.2.3 | 为其提供 RESTful HTTP 端点的服务 HBase。 | 
| hbase-thrift-server | 2.2.3 | 为其提供 Thrift 端点的 HBase服务。 | 
| hcatalog-client | 3.1.2-amzn-0 | 用于操作 hcatalog-server 的“hcat”命令行客户端。 | 
| hcatalog-server | 3.1.2-amzn-0 | 提供服务 HCatalog，为分布式应用程序提供表和存储管理层。 | 
| hcatalog-webhcat-server | 3.1.2-amzn-0 | 为其提供 REST 接口的 HTTP 端点 HCatalog。 | 
| hive-client | 3.1.2-amzn-0 | Hive 命令行客户端。 | 
| hive-hbase | 3.1.2-amzn-0 | Hive-hbase 客户端。 | 
| hive-metastore-server | 3.1.2-amzn-0 | 用于访问 Hive 元存储 (一个用于存储 Hadoop 操作中的 SQL 的元数据的语义存储库) 的服务。 | 
| hive-server2 | 3.1.2-amzn-0 | 用于将 Hive 查询作为 Web 请求接受的服务。 | 
| hudi | 0.5.0-incubating-amzn-1 | 增量处理框架，以支持低延迟和高效率的数据管道。 | 
| hudi-presto | 0.5.0-incubating-amzn-1 | 用于运行 Presto 以及 Hudl 的捆绑库。 | 
| hue-server | 4.4.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序 | 
| jupyterhub | 1.0.0 | Jupyter Notebook 的多用户服务器 | 
| livy-server | 0.6.0-incubating | 用于与 Apache Spark 交互的 REST 接口 | 
| nginx | 1.12.1 | nginx [引擎 x] 是 HTTP 和反向代理服务器 | 
| mxnet | 1.5.1 | 用于深度学习的灵活的、可扩展且高效的库。 | 
| mariadb-server | 5.5.64\$1 | MariaDB 数据库服务器。 | 
| nvidia-cuda | 9.2.88 | Nvidia 驱动程序和 Cuda 工具包 | 
| oozie-client | 5.1.0 | Oozie 命令行客户端。 | 
| oozie-server | 5.1.0 | 用于接受 Oozie 工作流请求的服务。 | 
| opencv | 3.4.0 | 开源计算机视觉库。 | 
| phoenix-library | 5.0.0--2.0 HBase | 服务器和客户端的 phoenix 库 | 
| phoenix-query-server | 5.0.0--2.0 HBase | 向 Avatica API 提供 JDBC 访问权限以及协议缓冲区和 JSON 格式访问权限的轻量级服务器  | 
| presto-coordinator | 0.230 | 用于在 presto-worker 之中接受查询并管理查询的服务。 | 
| presto-worker | 0.230 | 用于执行查询的各个部分的服务。 | 
| presto-client | 0.230 | Presto 命令行客户端，安装在 HA 集群的备用主服务器（未启动 Presto 服务器）上。 | 
| r | 3.4.3 | 用于统计计算的 R 项目 | 
| spark-client | 2.4.4 | Spark 命令行客户端。 | 
| spark-history-server | 2.4.4 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 | 
| spark-on-yarn | 2.4.4 | 适用于 YARN 的内存中执行引擎。 | 
| spark-yarn-slave | 2.4.4 | YARN 从属项所需的 Apache Spark 库。 | 
| tensorflow | 1.14.0 | TensorFlow 用于高性能数值计算的开源软件库。 | 
| tez-on-yarn | 0.9.2 | tez YARN 应用程序和库。 | 
| webserver | 2.4.41\$1 | Apache HTTP 服务器。 | 
| zeppelin-server | 0.9.0-SNAPSHOT | 支持交互式数据分析的基于 Web 的 Notebook。 | 
| zookeeper-server | 3.4.14 | 用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。 | 
| zookeeper-client | 3.4.14 | ZooKeeper 命令行客户端。 | 

## 6.0.0 配置分类
<a name="emr-600-class"></a>

配置分类允许您自定义应用程序。这些通常与应用程序的配置 XML 文件（例如 `hive-site.xml`）相对应。有关更多信息，请参阅[配置应用程序](emr-configure-apps.md)。


**emr-6.0.0 分类**  

| 分类 | 说明 | 
| --- | --- | 
| capacity-scheduler | 更改 Hadoop 的 capacity-scheduler.xml 文件中的值。 | 
| container-executor | 更改 Hadoop YARN 的 container-executor.cfg 文件中的值。 | 
| container-log4j | 更改 Hadoop YARN 的 container-log4j.properties 文件中的值。 | 
| core-site | 更改 Hadoop 的 core-site.xml 文件中的值。 | 
| emrfs-site | 更改 EMRFS 设置。 | 
| hadoop-env | 更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。 | 
| hadoop-log4j | 更改 Hadoop 的 log4j.properties 文件中的值。 | 
| hadoop-ssl-server | 更改 hadoop ssl 服务器配置 | 
| hadoop-ssl-client | 更改 hadoop ssl 客户端配置 | 
| hbase | 亚马逊 EMR 精心策划的 Apache 设置。 HBase | 
| hbase-env | 更改环境 HBase中的值。 | 
| hbase-log4j | 更改 hbase- HBase log4j.properties 文件中的值。 | 
| hbase-metrics | 更改 hadoop-metrics2-h HBase base.properties 文件中的值。 | 
| hbase-policy | 更改 HBase的 hbase-policy.xml 文件中的值。 | 
| hbase-site | 更改 HBase的 hbase-site.xml 文件中的值。 | 
| hdfs-encryption-zones | 配置 HDFS 加密区域。 | 
| hdfs-env | 更改 HDFS 环境中的值。 | 
| hdfs-site | 更改 HDFS 的 hdfs-site.xml 中的值。 | 
| hcatalog-env | 更改环境 HCatalog中的值。 | 
| hcatalog-server-jndi | 更改 HCatalog的 jndi.properties 中的值。 | 
| hcatalog-server-proto-hive-site | 更改 proto-hive-site .x HCatalog ml 中的值。 | 
| hcatalog-webhcat-env | 更改 HCatalog Web 环境HCat中的值。 | 
| hcatalog-webhcat-log4j2 | 更改 HCatalog Web HCat 的 log4j2.properties 中的值。 | 
| hcatalog-webhcat-site | 更改 HCatalog Web HCat 的 webhcat-site.xml 文件中的值。 | 
| hive | 适用于 Apache Hive 的 Amazon EMR 辅助设置。 | 
| hive-beeline-log4j2 | 更改 Hive 的 beeline-log4j2.properties 文件中的值。 | 
| hive-parquet-logging | 更改 Hive parquet-logging.properties 文件中的值。 | 
| hive-env | 更改 Hive 环境中的值。 | 
| hive-exec-log4j2 | 更改 Hive 的 hive-exec-log 4j2.properties 文件中的值。 | 
| hive-llap-daemon-log4j2 | 更改 Hive 的 llap-daemon-log 4j2.properties 文件中的值。 | 
| hive-log4j2 | 更改 Hive 的 hive-log4j2.properties 文件中的值。 | 
| hive-site | 更改 Hive 的 hive-site.xml 文件中的值 | 
| hiveserver2-site | 更改 Hive Server2 的 hiveserver2-site.xml 文件中的值 | 
| hue-ini | 更改 Hue 的 ini 文件中的值 | 
| httpfs-env | 更改 HTTPFS 环境中的值。 | 
| httpfs-site | 更改 Hadoop 的 httpfs-site.xml 文件中的值。 | 
| hadoop-kms-acls | 更改 Hadoop 的 kms-acls.xml 文件中的值。 | 
| hadoop-kms-env | 更改 Hadoop KMS 环境中的值。 | 
| hadoop-kms-log4j | 更改 Hadoop 的 kms-log4j.properties 文件中的值。 | 
| hadoop-kms-site | 更改 Hadoop 的 kms-site.xml 文件中的值。 | 
| jupyter-notebook-conf | 更改 Jupyter Notebook 的 jupyter\$1notebook\$1config.py 文件中的值。 | 
| jupyter-hub-conf | 更改 JupyterHubs的 jupyterhub\$1config.py 文件中的值。 | 
| jupyter-s3-conf | 配置 Jupyter Notebook S3 持久性。 | 
| jupyter-sparkmagic-conf | 更改 Sparkmagic 的 config.json 文件中的值。 | 
| livy-conf | 更改 Livy 的 livy.conf 文件中的值。 | 
| livy-env | 更改 Livy 环境中的值。 | 
| livy-log4j | 更改 Livy log4j.properties 设置。 | 
| mapred-env | 更改 MapReduce 应用程序环境中的值。 | 
| mapred-site | 更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。 | 
| oozie-env | 更改 Oozie 的环境中的值。 | 
| oozie-log4j | 更改 Oozie 的 oozie-log4j.properties 文件中的值。 | 
| oozie-site | 更改 Oozie 的 oozie-site.xml 文件中的值。 | 
| phoenix-hbase-metrics | 更改 Phoenix 的 hadoop-metrics2-hbase.properties 文件中的值。 | 
| phoenix-hbase-site | 更改 Phoenix 的 hbase-site.xml 文件中的值。 | 
| phoenix-log4j | 更改 Phoenix 的 log4j.properties 文件中的值。 | 
| phoenix-metrics | 更改 Phoenix 的 hadoop-metrics2-phoenix.properties 文件中的值。 | 
| presto-log | 更改 Presto 的 log.properties 文件中的值。 | 
| presto-config | 更改 Presto 的 config.properties 文件中的值。 | 
| presto-password-authenticator | 更改 Presto 的 password-authenticator.properties 文件中的值。 | 
| presto-env | 更改 Presto 的 presto-env.sh 文件中的值。 | 
| presto-node | 更改 Presto 的 node.properties 文件中的值。 | 
| presto-connector-blackhole | 更改 Presto 的 blackhole.properties 文件中的值。 | 
| presto-connector-cassandra | 更改 Presto 的 cassandra.properties 文件中的值。 | 
| presto-connector-hive | 更改 Presto 的 hive.properties 文件中的值。 | 
| presto-connector-jmx | 更改 Presto 的 jmx.properties 文件中的值。 | 
| presto-connector-kafka | 更改 Presto 的 kafka.properties 文件中的值。 | 
| presto-connector-localfile | 更改 Presto 的 localfile.properties 文件中的值。 | 
| presto-connector-memory | 更改 Presto 的 memory.properties 文件中的值。 | 
| presto-connector-mongodb | 更改 Presto 的 mongodb.properties 文件中的值。 | 
| presto-connector-mysql | 更改 Presto 的 mysql.properties 文件中的值。 | 
| presto-connector-postgresql | 更改 Presto 的 postgresql.properties 文件中的值。 | 
| presto-connector-raptor | 更改 Presto 的 raptor.properties 文件中的值。 | 
| presto-connector-redis | 更改 Presto 的 redis.properties 文件中的值。 | 
| presto-connector-redshift | 更改 Presto 的 redshift.properties 文件中的值。 | 
| presto-connector-tpch | 更改 Presto 的 tpch.properties 文件中的值。 | 
| presto-connector-tpcds | 更改 Presto 的 tpcds.properties 文件中的值。 | 
| ranger-kms-dbks-site | 更改 Ranger KMS 的 dbks-site.xml 文件中的值。 | 
| ranger-kms-site | 更改 Ranger K ranger-kms-site MS 的.xml 文件中的值。 | 
| ranger-kms-env | 更改 Ranger KMS 环境中的值。 | 
| ranger-kms-log4j | 更改 Ranger KMS 的 kms-log4j.properties 文件中的值。 | 
| ranger-kms-db-ca | 更改 S3 上用于与 Ranger KMS 进行 MySQL SSL 连接的 CA 文件的值。 | 
| recordserver-env | 在 EMR RecordServer 环境中更改值。 | 
| recordserver-conf | 更改 EMR 的 server.proper RecordServer ties 文件中的值。 | 
| recordserver-log4j | 更改 EMR 的 log4j.propertie RecordServer s 文件中的值。 | 
| spark | 适用于 Apache Spark 的 Amazon EMR 辅助设置。 | 
| spark-defaults | 更改 Spark 的 spark-defaults.conf 文件中的值。 | 
| spark-env | 更改 Spark 环境中的值。 | 
| spark-hive-site | 更改 Spark 的 hive-site.xml 文件中的值 | 
| spark-log4j | 更改 Spark 的 log4j.properties 文件中的值。 | 
| spark-metrics | 更改 Spark 的 metrics.properties 文件中的值。 | 
| tez-site | 更改 Tez 的 tez-site.xml 文件中的值。 | 
| yarn-env | 更改 YARN 环境中的值。 | 
| yarn-site | 更改 YARN 的 yarn-site.xml 文件中的值。 | 
| zeppelin-env | 更改 Zeppelin 环境中的值。 | 
| zookeeper-config | 更改 ZooKeeper的 zoo.cfg 文件中的值。 | 
| zookeeper-log4j | 更改 ZooKeeper的 log4j.properties 文件中的值。 |