As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

# Versões de lançamento 6.x do Amazon EMR
<a name="emr-release-6x"></a>

Esta seção contém versões de aplicações, notas da versão, versões de componentes e classificações de configuração disponíveis em cada versão de lançamento 6.x do Amazon EMR.

Ao executar um cluster, você pode escolher entre várias versões do Amazon EMR. Isso permite que você teste e use versões de aplicações que atendem aos seus requisitos de compatibilidade. Você especifica o número da versão com o *rótulo da versão*. Os rótulos de versão estão no formato `emr-x.x.x`. Por exemplo, .`emr-7.12.0`

Novas versões do Amazon EMR são disponibilizadas em diferentes regiões durante um período de vários anos, começando com a primeira região na data da versão inicial. A versão mais recente pode não estar disponível em sua região durante esse período.

Para obter uma tabela abrangente das versões de aplicações em cada versão 6.x do Amazon EMR, consulte [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md).

**Topics**
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versão 6.15.0 do Amazon EMR](emr-6150-release.md)
+ [Versão 6.14.0 do Amazon EMR](emr-6140-release.md)
+ [Versão 6.13.0 do Amazon EMR](emr-6130-release.md)
+ [Versão 6.12.0 do Amazon EMR](emr-6120-release.md)
+ [Versão 6.11.1 do Amazon EMR](emr-6111-release.md)
+ [Versão 6.11.0 do Amazon EMR](emr-6110-release.md)
+ [Versão 6.10.1 do Amazon EMR](emr-6101-release.md)
+ [Versão 6.10.0 do Amazon EMR](emr-6100-release.md)
+ [Versão 6.9.1 do Amazon EMR](emr-691-release.md)
+ [Versão 6.9.0 do Amazon EMR](emr-690-release.md)
+ [Versão 6.8.1 do Amazon EMR](emr-681-release.md)
+ [Versão 6.8.0 do Amazon EMR](emr-680-release.md)
+ [Versão 6.7.0 do Amazon EMR](emr-670-release.md)
+ [Versão 6.6.0 do Amazon EMR](emr-660-release.md)
+ [Versão 6.5.0 do Amazon EMR](emr-650-release.md)
+ [Versão 6.4.0 do Amazon EMR](emr-640-release.md)
+ [Versão 6.3.1 do Amazon EMR](emr-631-release.md)
+ [Versão 6.3.0 do Amazon EMR](emr-630-release.md)
+ [Versão 6.2.1 do Amazon EMR](emr-621-release.md)
+ [Versão 6.2.0 do Amazon EMR](emr-620-release.md)
+ [Versão 6.1.1 do Amazon EMR](emr-611-release.md)
+ [Versão 6.1.0 do Amazon EMR](emr-610-release.md)
+ [Versão 6.0.1 do Amazon EMR](emr-601-release.md)
+ [Versão 6.0.0 do Amazon EMR](emr-600-release.md)

# Versões de aplicações nas versões 6.x do Amazon EMR
<a name="emr-release-app-versions-6.x"></a>

A tabela a seguir lista as versões das aplicações que estão disponíveis em cada versão 6.x do Amazon EMR.


**Informações da versão da aplicação**  

|  | emr-6.15.0 | emr-6.14.0 | emr-6.13.0 | emr-6.12.0 | emr-6.11.1 | emr-6.11.0 | emr-6.10.1 | emr-6.10.0 | emr-6.9.1 | emr-6.9.0 | emr-6.8.1 | emr-6.8.0 | emr-6.7.0 | emr-6.6.0 | emr-6.5.0 | emr-6.4.0 | emr-6.3.1 | emr-6.3.0 | emr-6.2.1 | emr-6.2.0 | emr-6.1.1 | emr-6.1.0 | emr-6.0.1 | emr-6.0.0 | 
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | 
| AWS SDK for Java | 2.20.160-amzn-0, 1.12.569 | 1.12.543 | 1.12.513 | 1.12.490 | 1.12.446 | 1.12.446 | 1.12.397 | 1.12.397 | 1.12.170 | 1.12.170 | 1.12.170 | 1.12.170 | 1.12.170 | 1.12.170 | 1.12.31 | 1.12.31 | 1.11.977 | 1.11.977 | 1.11.880 | 1.11.880 | 1.11.828 | 1.11.828 | 1.11.711 | 1.11.711 | 
| Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 
| Scala | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.10 | 2.12.10 | 2.12.10 | 2.12.10 | 2.12.10 | 2.12.10 | 2.12.10 | 2.12.10 | 2.12.10 | 2.12.10 | 2.11.12 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  | 
| Delta | 2.4.0 | 2.4.0 | 2.4.0 | 2.4.0 | 2.2.0 | 2.2.0 | 2.2.0 | 2.2.0 | 2.1.0 | 2.1.0 |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  | 
| Flink | 1.17.1-amzn-1 | 1.17.1-amzn-0 | 1.17.0 | 1.17.0 | 1.16.0 | 1.16.0 | 1.16.0 | 1.16.0 | 1.15.2 | 1.15.2 | 1.15.1 | 1.15.1 | 1.14.2 | 1.14.2 | 1.14.0 | 1.13.1 | 1.12.1 | 1.12.1 | 1.11.2 | 1.11.2 | 1.11.0 | 1.11.0 |  -  |  -  | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.4.17-amzn-3 | 2.4.17-amzn-2 | 2.4.17-amzn-1 | 2.4.17-amzn-0 | 2.4.15-amzn-1.1 | 2.4.15-amzn-1 | 2.4.15-amzn-0.1 | 2.4.15-amzn-0 | 2.4.13-amzn-0.1 | 2.4.13-amzn-0 | 2.4.12-amzn-0.1 | 2.4.12-amzn-0 | 2.4.4-amzn-3 | 2.4.4-amzn-2 | 2.4.4-amzn-1 | 2.4.4-amzn-0 | 2.2.6-amzn-1 | 2.2.6-amzn-1 | 2.2.6-amzn-0 | 2.2.6-amzn-0 | 2.2.5 | 2.2.5 | 2.2.3 | 2.2.3 | 
| HCatalog | 3.1.3-amzn-8 | 3.1.3-amzn-7 | 3.1.3-amzn-6 | 3.1.3-amzn-5 | 3.1.3-amzn-4.1 | 3.1.3-amzn-4 | 3.1.3-amzn-3.1 | 3.1.3-amzn-3 | 3.1.3-amzn-2.1 | 3.1.3-amzn-2 | 3.1.3-amzn-1.1 | 3.1.3-amzn-1 | 3.1.3-amzn-0 | 3.1.2-amzn-7 | 3.1.2-amzn-6 | 3.1.2-amzn-5 | 3.1.2-amzn-4 | 3.1.2-amzn-4 | 3.1.2-amzn-3 | 3.1.2-amzn-3 | 3.1.2-amzn-2 | 3.1.2-amzn-2 | 3.1.2-amzn-0 | 3.1.2-amzn-0 | 
| Hadoop | 3.3.6-amzn-1 | 3.3.3-amzn-6 | 3.3.3-amzn-5 | 3.3.3-amzn-4 | 3.3.3-amzn-3.1 | 3.3.3-amzn-3 | 3.3.3-amzn-2.1 | 3.3.3-amzn-2 | 3.3.3-amzn-1.1 | 3.3.3-amzn-1 | 3.2.1-amzn-8.1 | 3.2.1-amzn-8 | 3.2.1-amzn-7 | 3.2.1-amzn-6 | 3.2.1-amzn-5 | 3.2.1-amzn-4 | 3.2.1-amzn-3.1 | 3.2.1-amzn-3 | 3.2.1-amzn-2.1 | 3.2.1-amzn-2 | 3.2.1-amzn-1.1 | 3.2.1-amzn-1 | 3.2.1-amzn-0.1 | 3.2.1-amzn-0 | 
| Hive | 3.1.3-amzn-8 | 3.1.3-amzn-7 | 3.1.3-amzn-6 | 3.1.3-amzn-5 | 3.1.3-amzn-4.1 | 3.1.3-amzn-4 | 3.1.3-amzn-3.1 | 3.1.3-amzn-3 | 3.1.3-amzn-2.1 | 3.1.3-amzn-2 | 3.1.3-amzn-1.1 | 3.1.3-amzn-1 | 3.1.3-amzn-0 | 3.1.2-amzn-7 | 3.1.2-amzn-6 | 3.1.2-amzn-5 | 3.1.2-amzn-4 | 3.1.2-amzn-4 | 3.1.2-amzn-3 | 3.1.2-amzn-3 | 3.1.2-amzn-2 | 3.1.2-amzn-2 | 3.1.2-amzn-0 | 3.1.2-amzn-0 | 
| Hudi | 0.14.0-amzn-0 | 0.13.1-amzn-2 | 0.13.1-amzn-1 | 0.13.1-amzn-0 | 0.13.0-amzn-0 | 0.13.0-amzn-0 | 0.12.2-amzn-0 | 0.12.2-amzn-0 | 0.12.1-amzn-0 | 0.12.1-amzn-0 | 0.11.1-amzn-0 | 0.11.1-amzn-0 | 0.11.0-amzn-0 | 0.10.1-amzn-0 | 0.9.0-amzn-1 | 0.8.0-amzn-0 | 0.7.0-amzn-0 | 0.7.0-amzn-0 | 0.6.0-amzn-1 | 0.6.0-amzn-1 | 0.5.2-incubating-amzn-2 | 0.5.2-incubating-amzn-2 | 0.5.0-incubating-amzn-1 | 0.5.0-incubating-amzn-1 | 
| Hue | 4.11.0 | 4.11.0 | 4.11.0 | 4.11.0 | 4.11.0 | 4.11.0 | 4.10.0 | 4.10.0 | 4.10.0 | 4.10.0 | 4.10.0 | 4.10.0 | 4.10.0 | 4.10.0 | 4.9.0 | 4.9.0 | 4.9.0 | 4.9.0 | 4.8.0 | 4.8.0 | 4.7.1 | 4.7.1 | 4.4.0 | 4.4.0 | 
| Iceberg | 1.4.0-amzn-0 | 1.3.1-amzn-0 | 1.3.0-amzn-1 | 1.3.0-amzn-0 | 1.2.0-amzn-0 | 1.2.0-amzn-0 | 1.1.0-amzn-0 | 1.1.0-amzn-0 | 0.14.1-amzn-0 | 0.14.1-amzn-0 | 0.14.0-amzn-0 | 0.14.0-amzn-0 | 0.13.1-amzn-0 | 0.13.1 | 0.12.0 |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway | 2.6.0 | 2.6.0 | 2.6.0 | 2.6.0 | 2.6.0 | 2.6.0 | 2.6.0 | 2.6.0 | 2.6.0 | 2.6.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 |  -  |  -  |  -  |  -  | 
| JupyterHub | 1.5.0 | 1.5.0 | 1.5.0 | 1.4.1 | 1.4.1 | 1.4.1 | 1.5.0 | 1.5.0 | 1.4.1 | 1.4.1 | 1.4.1 | 1.4.1 | 1.4.1 | 1.4.1 | 1.4.1 | 1.4.1 | 1.2.2 | 1.2.2 | 1.1.0 | 1.1.0 | 1.1.0 | 1.1.0 | 1.0.0 | 1.0.0 | 
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 
| MXNet | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 1.8.0 | 1.8.0 | 1.8.0 | 1.8.0 | 1.7.0 | 1.7.0 | 1.7.0 | 1.7.0 | 1.6.0 | 1.6.0 | 1.5.1 | 1.5.1 | 
| Mahout |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.0 | 5.2.0 | 5.2.0 | 5.2.0 | 5.1.0 | 5.1.0 | 
| Phoenix | 5.1.3 | 5.1.3 | 5.1.3 | 5.1.3 | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 5.0.0- HBase -2,0 | 5.0.0- HBase -2,0 | 5.0.0- HBase -2,0 | 5.0.0- HBase -2,0 | 5.0.0- HBase -2,0 | 5.0.0- HBase -2,0 | 5.0.0- HBase -2,0 | 5.0.0- HBase -2,0 | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |  -  |  -  | 
| Presto | 0.283-amzn-0 | 0.281-amzn-2 | 0.281-amzn-1 | 0.281-amzn-0 | 0.279-amzn-0 | 0.279-amzn-0 | 0.278.1-amzn-0 | 0.278.1-amzn-0 | 0.276-amzn-0 | 0.276-amzn-0 | 0.273.3-amzn-0 | 0.273.3-amzn-0 | 0.272-amzn-0 | 0.267-amzn-0 | 0.261-amzn-0 | 0.254.1-amzn-0 | 0.245.1-amzn-0 | 0.245.1-amzn-0 | 0.238.3-amzn-1 | 0.238.3-amzn-1 | 0.232 | 0.232 | 0.230 | 0.230 | 
| Spark | 3.4.1-amzn-2 | 3.4.1-amzn-1 | 3.4.1-amzn-0 | 3.4.0-amzn-0 | 3.3.2-amzn-0.1 | 3.3.2-amzn-0 | 3.3.1-amzn-0.1 | 3.3.1-amzn-0 | 3.3.0-amzn-1.1 | 3.3.0-amzn-1 | 3.3.0-amzn-0.1 | 3.3.0-amzn-0 | 3.2.1-amzn-0 | 3.2.0-amzn-0 | 3.1.2-amzn-1 | 3.1.2-amzn-0 | 3.1.1-amzn-0.1 | 3.1.1-amzn-0 | 3.0.1-amzn-0.1 | 3.0.1-amzn-0 | 3.0.0-amzn-0.1 | 3.0.0-amzn-0 | 2.4.4 | 2.4.4 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |  -  |  -  | 
| TensorFlow | 2.11.0 | 2.11.0 | 2.11.0 | 2.11.0 | 2.11.0 | 2.11.0 | 2.11.0 | 2.11.0 | 2.10.0 | 2.10.0 | 2.9.1 | 2.9.1 | 2.4.1 | 2.4.1 | 2.4.1 | 2.4.1 | 2.4.1 | 2.4.1 | 2.3.1 | 2.3.1 | 2.1.0 | 2.1.0 | 1.14.0 | 1.14.0 | 
| Tez | 0.10.2-amzn-6 | 0.10.2-amzn-5 | 0.10.2-amzn-4 | 0.10.2-amzn-3 | 0.10.2-amzn-2.1 | 0.10.2-amzn-2 | 0.10.2-amzn-1.1 | 0.10.2-amzn-1 | 0.10.2-amzn-0.1 | 0.10.2-amzn-0 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) | 426-amzn-0 | 422-amzn-0 | 414-amzn-1 | 414-amzn-0 | 410-amzn-0 | 410-amzn-0 | 403-amzn-0 | 403-amzn-0 | 398-amzn-0 | 398-amzn-0 | 388-amzn-0 | 388-amzn-0 | 378-amzn-0 | 367-amzn-0 | 360 | 359 | 350 | 350 | 343 | 343 | 338 | 338 |  -  |  -  | 
| Zeppelin | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.0 | 0.10.0 | 0.10.0 | 0.9.0 | 0.9.0 | 0.9.0 | 0.9.0-preview1 | 0.9.0-preview1 | 0.9.0-preview1 | 0.9.0-preview1 | 0.9.0-SNAPSHOT | 0.9.0-SNAPSHOT | 
| ZooKeeper | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.7 | 3.5.7 | 3.5.7 | 3.5.7 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 

# Versão 6.15.0 do Amazon EMR
<a name="emr-6150-release"></a>

## Versões 6.15.0 da aplicação
<a name="emr-6150-app-versions"></a>

Esta versão inclui as seguintes aplicações: [https://delta.io/](https://delta.io/), [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://iceberg.apache.org/](https://iceberg.apache.org/), [https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://trino.io/](https://trino.io/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).

A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).

Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)


**Informações da versão da aplicação**  

|  | emr-6.15.0 | emr-6.14.0 | emr-6.13.0 | emr-6.12.0 | 
| --- | --- | --- | --- | --- | 
| AWS SDK for Java | 2.20.160-amzn-0, 1.12.569 | 1.12.543 | 1.12.513 | 1.12.490 | 
| Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 
| Scala | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta | 2.4.0 | 2.4.0 | 2.4.0 | 2.4.0 | 
| Flink | 1.17.1-amzn-1 | 1.17.1-amzn-0 | 1.17.0 | 1.17.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.4.17-amzn-3 | 2.4.17-amzn-2 | 2.4.17-amzn-1 | 2.4.17-amzn-0 | 
| HCatalog | 3.1.3-amzn-8 | 3.1.3-amzn-7 | 3.1.3-amzn-6 | 3.1.3-amzn-5 | 
| Hadoop | 3.3.6-amzn-1 | 3.3.3-amzn-6 | 3.3.3-amzn-5 | 3.3.3-amzn-4 | 
| Hive | 3.1.3-amzn-8 | 3.1.3-amzn-7 | 3.1.3-amzn-6 | 3.1.3-amzn-5 | 
| Hudi | 0.14.0-amzn-0 | 0.13.1-amzn-2 | 0.13.1-amzn-1 | 0.13.1-amzn-0 | 
| Hue | 4.11.0 | 4.11.0 | 4.11.0 | 4.11.0 | 
| Iceberg | 1.4.0-amzn-0 | 1.3.1-amzn-0 | 1.3.0-amzn-1 | 1.3.0-amzn-0 | 
| JupyterEnterpriseGateway | 2.6.0 | 2.6.0 | 2.6.0 | 2.6.0 | 
| JupyterHub | 1.5.0 | 1.5.0 | 1.5.0 | 1.4.1 | 
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 
| MXNet | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 
| Phoenix | 5.1.3 | 5.1.3 | 5.1.3 | 5.1.3 | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.283-amzn-0 | 0.281-amzn-2 | 0.281-amzn-1 | 0.281-amzn-0 | 
| Spark | 3.4.1-amzn-2 | 3.4.1-amzn-1 | 3.4.1-amzn-0 | 3.4.0-amzn-0 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.11.0 | 2.11.0 | 2.11.0 | 2.11.0 | 
| Tez | 0.10.2-amzn-6 | 0.10.2-amzn-5 | 0.10.2-amzn-4 | 0.10.2-amzn-3 | 
| Trino (PrestoSQL) | 426-amzn-0 | 422-amzn-0 | 414-amzn-1 | 414-amzn-0 | 
| Zeppelin | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 
| ZooKeeper | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 

## Notas da versão 6.15.0
<a name="emr-6150-relnotes"></a>

As notas da versão a seguir incluem informações sobre a versão 6.15.0 do Amazon EMR. As alterações são referentes à versão 6.14.0. Para obter informações sobre o cronograma da versão, consulte o [Log de alterações 6.15.0](#6150-changelog).

**Novos recursos**
+ **Atualizações da aplicação**: Amazon EMR 6.15.0 application upgrades include Apache Hadoop 3.3.6, Apache Hudi 0.14.0-amzn-0, Iceberg 1.4.0-amzn-0, and Trino 426.
+ **[Lançamentos mais rápidos para clusters do EMR executados no EC2](https://aws.amazon.com/about-aws/whats-new/2023/11/amazon-emr-ec2-clusters-5-minutes-less/)**: agora é até 35% mais rápido lançar um cluster do Amazon EMR no EC2. Com essa melhoria, a maioria dos clientes pode lançar seus clusters em cinco minutos ou menos.
+ **[CodeWhisperer para o EMR Studio](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-studio-codewhisperer.html)** — Agora você pode usar a Amazon com o CodeWhisperer Amazon EMR Studio para obter recomendações em tempo real à medida que você escreve código. JupyterLab CodeWhisperer pode concluir seus comentários, concluir linhas únicas de código, fazer line-by-line recomendações e gerar funções totalmente formadas.
+ **[Tempos de reinicialização de trabalhos mais rápidos com o Flink](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/flink-restart.html)**: com o Amazon EMR 6.15.0 e superior, vários novos mecanismos estão disponíveis para o Apache Flink a fim de melhorar o tempo de reinicialização de trabalhos durante as operações de recuperação ou escalabilidade de tarefas. Isso otimiza a velocidade de recuperação e reinicialização dos gráficos de execução para melhorar a estabilidade do trabalho.
+ **[Controle de acesso detalhado e em nível de tabela para formatos de tabela aberta — Com o Amazon EMR 6.15.0 e superior, quando você executa trabalhos do Spark no Amazon EMR em clusters EC2 que acessam dados no Glue Data Catalog, você AWS Lake Formation pode usar para aplicar permissões em AWS nível de tabela, linha, coluna e célula em tabelas baseadas em Hudi, Iceberg ou Delta](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-lf-enable.html)** Lake.
+ **Atualização do Hadoop**: o Amazon EMR 6.15.0 inclui uma atualização do Apache Hadoop para a versão 3.3.6. O Hadoop 3.3.6 era a versão mais recente na época da implantação do Amazon EMR 6.15, lançada pela Apache em junho de 2023. Versões anteriores do Amazon EMR (6.9.0 até 6.14.x) usavam o Hadoop 3.3.3.

  A atualização inclui centenas de melhorias e correções, além de recursos com parâmetros de nós de dados reconfiguráveis, a opção `DFSAdmin` para iniciar operações de reconfiguração em massa em todos os nós de dados ativos e uma API vetorizada que permite aos leitores exigentes especificar vários intervalos de leitura. O Hadoop 3.3.6 também adiciona suporte ao HDFS APIs e semântica ao seu registro de gravação antecipada (WAL), para que ele possa ser executado em outras implementações de sistemas de armazenamento. HBase Para obter mais informações, consulte os logs de alterações das versões [3.3.4](https://hadoop.apache.org/docs/r3.3.4/hadoop-project-dist/hadoop-common/release/3.3.4/CHANGELOG.3.3.4.html), [3.3.5](https://hadoop.apache.org/docs/r3.3.5/hadoop-project-dist/hadoop-common/release/3.3.5/CHANGELOG.3.3.5.html) e [3.3.6](https://hadoop.apache.org/docs/r3.3.6/hadoop-project-dist/hadoop-common/release/3.3.6/CHANGELOG.3.3.6.html) na *documentação do Apache Hadoop*.
+ **Suporte ao AWS SDK for Java, versão** [2 - Os aplicativos Amazon EMR 6.15.0 podem usar o SDK for AWS Java nas [versões](https://github.com/aws/aws-sdk-java/tree/1.12.569) 1.12.569 ou 2.20.160 se o aplicativo suportar a versão 2.](https://github.com/aws/aws-sdk-java-v2/tree/2.20.160) O AWS SDK for Java 2.x é uma grande reescrita da base de código da versão 1.x. Ele foi criado com base no Java 8\$1 e adiciona vários recursos frequentemente solicitados. Entre eles, suporte para E/S sem bloqueio e capacidade de conectar uma implementação HTTP diferente no runtime. Para obter mais informações, incluindo um **Guia de migração do SDK para Java da v1 à v2**, consulte o guia [AWS SDK para Java, versão 2](https://docs.aws.amazon.com/sdk-for-java).

**Problemas conhecidos**
+ Um script de estado de instância no cluster que monitora a integridade da instância pode consumir recursos excessivos de CPU e memória quando há um grande número de threads and/or abertos e manipuladores de arquivos no nó.

**Alterações, melhorias e problemas resolvidos**
+  *A partir do Spark 3.3.1 (com suporte nas versões 6.10 e posteriores do EMR), todos os executores em um host de descomissionamento são configurados para um novo `ExecutorState`, chamado de estado DECOMMISSIONING*. Os executores que estão sendo desativados não podem ser usados pelo Yarn para alocar tarefas e, portanto, ele solicitará novos executores, se necessário, para as tarefas que estão sendo executadas. Portanto, se você desativar o Spark DRA enquanto estiver usando o EMR Managed Scaling, o EMR Auto Scaling ou qualquer mecanismo de ajuste de escala personalizado em clusters EMR-EC2, o Yarn poderá solicitar o número máximo permitido de executores para cada trabalho. Para evitar esse problema, deixe a propriedade `spark.dynamicAllocation.enabled` definida como `TRUE` (que é o padrão) ao usar a combinação de recursos acima. Além disso, você também pode definir restrições mínimas e máximas para executores, definindo valores para as propriedades `spark.dynamicAllocation.maxExecutors` e `spark.dynamicAllocation.minExecutors` para seus trabalhos Spark, a fim de restringir o número de executores alocados durante a execução do trabalho. 
+ Para melhorar seus clusters de alta disponibilidade do EMR, essa versão permite a conectividade com daemons do Amazon EMR em um host local que usa endpoints IPv6.
+ Esta versão habilita o TLS 1.2 para comunicação com ZooKeeper provisionados em todos os nós primários do seu cluster de alta disponibilidade.
+ Esta versão melhora o gerenciamento dos arquivos de log de ZooKeeper transações que são mantidos nos nós primários para minimizar os cenários em que os arquivos de log ultrapassam os limites e interrompem as operações do cluster.
+ Essa versão torna a comunicação entre nós mais resiliente para clusters de alta disponibilidade do EMR. Essa melhoria reduz a chance de falhas na ação de bootstrap ou na inicialização do cluster.
+ O Tez no Amazon EMR 6.15.0 introduz configurações que você pode especificar para abrir de forma assíncrona as divisões de entrada em uma divisão agrupada do Tez. Isso resulta em uma performance mais rápida das consultas de leitura quando há um grande número de divisões de entrada em uma única divisão agrupada do Tez. Para obter mais informações, consulte a [Abertura assíncrona da divisão do Tez](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/tez-configure.html#tez-configure-async).
+ Quando você inicia um cluster com a *versão de patch mais recente* do Amazon EMR 5.36 ou superior, 6.6 ou superior ou 7.0 ou superior, o Amazon EMR usa a versão mais recente do Amazon Linux 2023 ou do Amazon Linux 2 para a AMI padrão do Amazon EMR. Para obter mais informações, consulte [Como usar a AMI padrão do Amazon Linux para Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html).    
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/emr/latest/ReleaseGuide/emr-6150-release.html)

## Versões padrão do Java 6.15.0
<a name="emr-6150-jdk"></a>

As versões 6.12.0 e superiores do Amazon EMR são compatíveis com todas as aplicações que têm o Amazon Corretto 8 por padrão, exceto o Trino. Para Trino, o Amazon EMR é compatível com o Amazon Corretto 17 por padrão, desde a versão 6.9.0 do Amazon EMR. O Amazon EMR também é compatível com algumas aplicações com o Amazon Corretto 11 e 17. Essas aplicações estão listadas na tabela a seguir. Se você quiser alterar a JVM padrão no cluster, siga as instruções em [Configurar aplicações para usar uma Máquina Virtual Java específica](configuring-java8.md) para cada aplicação executada no cluster. Você só pode usar uma versão de runtime do Java para um cluster. O Amazon EMR não é compatível com a execução de diferentes nós ou aplicações em diferentes versões de runtime no mesmo cluster.

Embora o Amazon EMR seja compatível com o Amazon Corretto 11 e 17 no Apache Spark, no Apache Hadoop e no Apache Hive, a performance de algumas workloads pode diminuir quando você usa estas versões do Corretto. Recomendamos que você teste suas workloads antes de alterar os padrões.

A seguinte tabela mostra as versões padrão do Java para aplicações no Amazon EMR 6.15.0:


| Aplicação | Versão Java/Amazon Corretto (o padrão é negrito) | 
| --- | --- | 
| Delta | 17, 11, 8 | 
| Flink | 11, 8 | 
| Ganglia | 8 | 
| HBase | 11, 8 | 
| HCatalog | 17, 11, 8 | 
| Hadoop | 17, 11, 8 | 
| Hive | 17, 11, 8 | 
| Hudi | 17, 11, 8 | 
| Iceberg | 17, 11, 8 | 
| Livy | 17, 11, 8 | 
| Oozie | 17, 11, 8 | 
| Phoenix | 8 | 
| PrestoDB | 8 | 
| Spark | 17, 11, 8 | 
| Spark RAPIDS | 17, 11, 8 | 
| Sqoop | 8 | 
| Tez | 17, 11, 8 | 
| Trino | 17 | 
| Zeppelin | 8 | 
| Pig | 8 | 
| Zookeeper | 8 | 

## Versões do componente 6.15.0
<a name="emr-6150-components"></a>

Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.

Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.


| Componente | Versão | Description | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.2 | SDK do Amazon SageMaker Spark | 
| delta | 2.4.0 | O Delta Lake é um formato de tabela aberto para grandes conjuntos de dados analíticos | 
| delta-standalone-connectors | 0.6.0 | Os conectores do Delta oferecem runtimes diferentes para integrar o Delta Lake a mecanismos, como Flink, Hive e Presto. | 
| emr-ddb | 5.2.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. | 
| emr-goodies | 3.8.0 | Bibliotecas convenientes para o ecossistema do Hadoop. | 
| emr-kinesis | 3.12.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. | 
| emr-notebook-env | 1.7.0 | Ambiente Conda para bloco de anotações do emr, que inclui o jupyter enterprise gateway | 
| emr-s3-dist-cp | 2.29.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. | 
| emr-s3-select | 2.8.0 | EMR S3Select Connector | 
| emr-wal-cli | 1.2.0 | Cli usada para lista/exclusão de emrwal. | 
| emrfs | 2.60,0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. | 
| flink-client | 1.17.1-amzn-1 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. | 
| flink-jobmanager-config | 1.17.1-amzn-1 | Gerenciando recursos nos nós do EMR para o Apache Flink. JobManager | 
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. | 
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. | 
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. | 
| hadoop-client | 3.3.6-amzn-1 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. | 
| hadoop-hdfs-datanode | 3.3.6-amzn-1 | O serviço de nível de nó do HDFS para armazenamento de blocos. | 
| hadoop-hdfs-library | 3.3.6-amzn-1 | O cliente de linha de comando e biblioteca do HDFS | 
| hadoop-hdfs-namenode | 3.3.6-amzn-1 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. | 
| hadoop-hdfs-journalnode | 3.3.6-amzn-1 | O serviço do HDFS para gerenciar o lançamento de arquivos do Hadoop em clusters de HA. | 
| hadoop-httpfs-server | 3.3.6-amzn-1 | O endpoint de HTTP para as operações do HDFS. | 
| hadoop-kms-server | 3.3.6-amzn-1 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider  | 
| hadoop-mapred | 3.3.6-amzn-1 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. | 
| hadoop-yarn-nodemanager | 3.3.6-amzn-1 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. | 
| hadoop-yarn-resourcemanager | 3.3.6-amzn-1 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. | 
| hadoop-yarn-timeline-server | 3.3.6-amzn-1 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. | 
| hbase-hmaster | 2.4.17-amzn-3 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. | 
| hbase-region-server | 2.4.17-amzn-3 | Serviço para atender a uma ou mais HBase regiões. | 
| hbase-client | 2.4.17-amzn-3 | HBase cliente de linha de comando. | 
| hbase-rest-server | 2.4.17-amzn-3 | Serviço que fornece um endpoint RESTful HTTP para HBase. | 
| hbase-thrift-server | 2.4.17-amzn-3 | Serviço que fornece um endpoint Thrift para. HBase | 
| hbase-operator-tools | 2.4.17-amzn-3 | Ferramenta de reparo para HBase clusters Apache. | 
| hcatalog-client | 3.1.3-amzn-8 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. | 
| hcatalog-server | 3.1.3-amzn-8 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. | 
| hcatalog-webhcat-server | 3.1.3-amzn-8 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. | 
| hive-client | 3.1.3-amzn-8 | O cliente da linha de comando do Hive. | 
| hive-hbase | 3.1.3-amzn-8 | Cliente do Hive-hbase. | 
| hive-metastore-server | 3.1.3-amzn-8 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. | 
| hive-server2 | 3.1.3-amzn-8 | O serviço que aceita as consultas do Hive como solicitações da web. | 
| hudi | 0.14.0-amzn-0 | Estrutura de processamento incremental para alimentar o pipeline de dados com baixa latência e alta eficiência. | 
| hudi-presto | 0.14.0-amzn-0 | Biblioteca de pacotes para executar o Presto com o Hudi. | 
| hudi-trino | 0.14.0-amzn-0 | Biblioteca de pacotes para execução do Presto com o Hudi. | 
| hudi-spark | 0.14.0-amzn-0 | Biblioteca de pacotes para executar o Spark com o Hudi. | 
| hue-server | 4.11.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop | 
| iceberg | 1.4.0-amzn-0 | Apache Iceberg é um formato de tabela aberta para conjuntos de dados analíticos imensos | 
| jupyterhub | 1.5.0 | Servidor de vários usuários para blocos de anotações Jupyter | 
| livy-server | 0.7.1-incubating | Interface REST para interagir com o Apache Spark | 
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP | 
| mxnet | 1.9.1 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. | 
| mariadb-server | 5.5.68\$1 | Servidor de banco de dados MariaDB. | 
| nvidia-cuda | 11.8.0 | Drivers NVIDIA e toolkit CUDA | 
| oozie-client | 5.2.1 | O cliente da linha de comando do Oozie. | 
| oozie-server | 5.2.1 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. | 
| opencv | 4.7.0 | Biblioteca de Visão Computacional de Código Aberto. | 
| phoenix-library | 5.1.3 | As bibliotecas do phoenix para servidor e cliente | 
| phoenix-connectors | 5.1.3 | Conectores do Apache Phoenix para Spark-3 | 
| phoenix-query-server | 6.0.0 | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica  | 
| presto-coordinator | 0.283-amzn-0 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. | 
| presto-worker | 0.283-amzn-0 | O serviço que executa partes de uma consulta. | 
| presto-client | 0.283-amzn-0 | Cliente de linha de comando do Presto instalado em mestres de espera de um cluster de alta disponibilidade em que o servidor do Presto não é iniciado. | 
| trino-coordinator | 426-amzn-0 | Serviço que aceita consultas e gerencia a execução de consultas entre trino-workers. | 
| trino-worker | 426-amzn-0 | O serviço que executa partes de uma consulta. | 
| trino-client | 426-amzn-0 | Cliente de linha de comando do Trino instalado em mestres de espera de um cluster de alta disponibilidade (HA) em que o servidor do Trino não é iniciado. | 
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. | 
| r | 4.0.2 | O projeto R para computação estatística | 
| ranger-kms-server | 2.0.0 | Sistema de gerenciamento de chaves Apache Ranger | 
| spark-client | 3.4.1-amzn-2 | Os clientes da linha de comando do Spark. | 
| spark-history-server | 3.4.1-amzn-2 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. | 
| spark-on-yarn | 3.4.1-amzn-2 | O mecanismo de execução em memória para o YARN. | 
| spark-yarn-slave | 3.4.1-amzn-2 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. | 
| spark-rapids | 23.08.1-amzn-0 | Plugin Nvidia Spark RAPIDS que acelera o Apache Spark com o. GPUs | 
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. | 
| tensorflow | 2.11.0 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. | 
| tez-on-yarn | 0.10.2-amzn-6 | O aplicativo e as bibliotecas do YARN para Tez. | 
| tez-on-worker | 0.10.2-amzn-6 | A aplicação e as bibliotecas do YARN nós de processamento. | 
| webserver | 2.4.41\$1 | O servidor Apache HTTP. | 
| zeppelin-server | 0.10.1 | O notebook baseado na web que permite um data analytics interativo. | 
| zookeeper-server | 3.5.10 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. | 
| zookeeper-client | 3.5.10 | ZooKeeper cliente de linha de comando. | 

## Classificações da configuração 6.15.0
<a name="emr-6150-class"></a>

As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).

Ocorrem ações de reconfiguração quando você especifica uma configuração para grupos de instâncias em um cluster em execução. O Amazon EMR só inicia ações de reconfiguração para as classificações que você modifica. Para obter mais informações, consulte [Reconfigurar um grupo de instâncias de um cluster em execução](emr-configure-apps-running-cluster.md).


**Classificações do emr-6.15.0**  

| Classificações | Description | Ações de reconfiguração | 
| --- | --- | --- | 
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. | Restarts the ResourceManager service. | 
| container-executor | Alterar os valores no arquivo container-executor.cfg do YARN do Hadoop. | Not available. | 
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. | Not available. | 
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | Alterar as configurações relacionadas ao docker. | Not available. | 
| emrfs-site | Alterar as configurações do EMRFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | Alterar as configurações do flink-conf.yaml. | Restarts Flink history server. | 
| flink-log4j | Alterar as configurações de log4j.properties no Flink. | Restarts Flink history server. | 
| flink-log4j-session | Altere as configurações do Flink log4j-session.properties para a sessão. Kubernetes/Yarn  | Restarts Flink history server. | 
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. | Restarts Flink history server. | 
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop | Not available. | 
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop | Not available. | 
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | Mude os valores no HBase ambiente. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. | Not available. | 
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. | This classification should not be reconfigured. | 
| hdfs-env | Alterar os valores no ambiente do HDFS. | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | Mude os valores no HCatalog ambiente. | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. | Restarts Hive WebHCat server. | 
| hive | As configurações administradas pelo Amazon EMR para o Apache Hive. | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. | Not available. | 
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. | Not available. | 
| hive-env | Alterar os valores no ambiente do Hive. | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. | Not available. | 
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. | Not available. | 
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. | Not available. | 
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. | Not available. | 
| hue-ini | Alterar os valores no arquivo ini do Hue | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | Alterar os valores no ambiente do HTTPFS. | Restarts Hadoop Httpfs service. | 
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. | Not available. | 
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. | Restarts Hadoop-KMS service. | 
| hadoop-kms-java-home | Alterar a página inicial do KMS do Hadoop | Not available. | 
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. | Not available. | 
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | Altere os valores no ambiente do Hudi. | Not available. | 
| hudi-defaults | Alterar os valores no arquivo hudi-defaults.conf do Hudi. | Not available. | 
| iceberg-defaults | Alterar os valores no arquivo iceberg-defaults.conf do Iceberg. | Not available. | 
| delta-defaults | Alterar os valores no arquivo delta-defaults.conf do Delta. | Not available. | 
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. | Not available. | 
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. | Not available. | 
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. | Not available. | 
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. | Not available. | 
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. | Restarts Livy Server. | 
| livy-env | Alterar os valores no ambiente do Livy. | Restarts Livy Server. | 
| livy-log4j2 | Alterar as configurações de log4j2.properties do Livy. | Restarts Livy Server. | 
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | Alterar os valores no ambiente do Oozie. | Restarts Oozie. | 
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. | Restarts Oozie. | 
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. | Restarts Oozie. | 
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. | Not available. | 
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. | Not available. | 
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. | Not available. | 
| pig-env | Alterar os valores no ambiente do Pig. | Not available. | 
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. | Restarts Oozie. | 
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. | Not available. | 
| presto-log | Alterar os valores no arquivo log.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-config | Alterar os valores no arquivo config.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. | Not available. | 
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-node | Altere os valores no arquivo node.properties do Presto. | Not available. | 
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. | Not available. | 
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. | Not available. | 
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. | Not available. | 
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. | Not available. | 
| presto-connector-lakeformation | Alterar os valores no arquivo lakeformation.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. | Not available. | 
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. | Not available. | 
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. | Not available. | 
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. | Not available. | 
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. | Not available. | 
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. | Not available. | 
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. | Not available. | 
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. | Not available. | 
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. | Not available. | 
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. | Not available. | 
| trino-log | Alterar os valores no arquivo log.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-config | Alterar os valores no arquivo config.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-password-authenticator | Alterar os valores no arquivo password-authenticator.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-env | Alterar os valores no arquivo trino-env.sh do Trino. | Restarts Trino-Server (for Trino) | 
| trino-node | Alterar os valores no arquivo node.properties do Trino. | Not available. | 
| trino-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Trino. | Not available. | 
| trino-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Trino. | Not available. | 
| trino-connector-delta | Alterar os valores no arquivo delta.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-connector-hive | Alterar os valores no arquivo hive.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-exchange-manager | Alterar os valores no arquivo exchange-manager.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-connector-iceberg | Alterar os valores no arquivo iceberg.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-connector-hudi | Alterar os valores no arquivo hudi.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-connector-jmx | Alterar os valores no arquivo jmx.properties do Trino. | Not available. | 
| trino-connector-kafka | Alterar os valores no arquivo kafka.properties do Trino. | Not available. | 
| trino-connector-localfile | Alterar os valores no arquivo localfile.properties do Trino. | Not available. | 
| trino-connector-memory | Alterar os valores no arquivo memory.properties do Trino. | Not available. | 
| trino-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Trino. | Not available. | 
| trino-connector-mysql | Alterar os valores no arquivo mysql.properties do Trino. | Not available. | 
| trino-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Trino. | Not available. | 
| trino-connector-raptor | Alterar os valores no arquivo raptor.properties do Trino. | Not available. | 
| trino-connector-redis | Alterar os valores no arquivo redis.properties do Trino. | Not available. | 
| trino-connector-redshift | Alterar os valores no arquivo redshift.properties do Trino. | Not available. | 
| trino-connector-tpch | Alterar os valores no arquivo tpch.properties do Trino. | Not available. | 
| trino-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Trino. | Not available. | 
| ranger-kms-dbks-site | Altere os valores no arquivo dbks-site.xml do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-site | Altere os valores no ranger-kms-site arquivo.xml do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-env | Altere os valores no ambiente do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-logback | Alterar os valores no arquivo kms-logback.xml do Ranger KMS. | Not available. | 
| ranger-kms-db-ca | Altere os valores do arquivo CA no S3 para conexão SSL do MySQL com o Ranger KMS. | Not available. | 
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. | This property modifies spark-defaults. See actions there. | 
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-env | Alterar os valores no ambiente do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. | Not available. | 
| spark-log4j2 | Alterar os valores no arquivo log4j2.properties do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | Alterar os valores no ambiente do Sqoop. | Not available. | 
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. | Not available. | 
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. | Not available. | 
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. | Restart Oozie and HiveServer2. | 
| yarn-env | Alterar os valores no ambiente do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. | Restarts Zeppelin. | 
| zeppelin-site | Alterar as definições da configuração em zeppelin-site.xml. | Restarts Zeppelin. | 
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. | Restarts Zookeeper server. | 
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. | Restarts Zookeeper server. | 

## Log de alterações 6.15.0
<a name="6150-changelog"></a>


**Log de alterações da versão 6.15.0 e das notas da versão**  

| Data | Event | Description | 
| --- | --- | --- | 
| 2025-09-03 | Revisão de documentos | Notas de versão do Amazon EMR 6.15.0 adicionaram problema conhecido | 
| 2023-11-17 | Publicação de documentos | Notas da versão 6.15.0 do Amazon EMR publicadas pela primeira vez | 
| 2023-11-17 | Implantação concluída | Amazon EMR 6.15.0 totalmente implantado em todas as [regiões compatíveis](https://aws.amazon.com/about-aws/global-infrastructure/regional-product-services/) | 
| 2023-11-13 | Lançamento inicial | A versão 6.15.0 do Amazon EMR foi implantada pela primeira vez em regiões comerciais iniciais | 

# Versão 6.14.0 do Amazon EMR
<a name="emr-6140-release"></a>

## Versões da aplicação 6.14.0
<a name="emr-6140-app-versions"></a>

Esta versão inclui as seguintes aplicações: [https://delta.io/](https://delta.io/), [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://iceberg.apache.org/](https://iceberg.apache.org/), [https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://trino.io/](https://trino.io/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).

A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).

Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)


**Informações da versão da aplicação**  

|  | emr-6.14.0 | emr-6.13.0 | emr-6.12.0 | emr-6.11.1 | 
| --- | --- | --- | --- | --- | 
| AWS SDK for Java | 1.12.543 | 1.12.513 | 1.12.490 | 1.12.446 | 
| Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 
| Scala | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta | 2.4.0 | 2.4.0 | 2.4.0 | 2.2.0 | 
| Flink | 1.17.1-amzn-0 | 1.17.0 | 1.17.0 | 1.16.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.4.17-amzn-2 | 2.4.17-amzn-1 | 2.4.17-amzn-0 | 2.4.15-amzn-1.1 | 
| HCatalog | 3.1.3-amzn-7 | 3.1.3-amzn-6 | 3.1.3-amzn-5 | 3.1.3-amzn-4.1 | 
| Hadoop | 3.3.3-amzn-6 | 3.3.3-amzn-5 | 3.3.3-amzn-4 | 3.3.3-amzn-3.1 | 
| Hive | 3.1.3-amzn-7 | 3.1.3-amzn-6 | 3.1.3-amzn-5 | 3.1.3-amzn-4.1 | 
| Hudi | 0.13.1-amzn-2 | 0.13.1-amzn-1 | 0.13.1-amzn-0 | 0.13.0-amzn-0 | 
| Hue | 4.11.0 | 4.11.0 | 4.11.0 | 4.11.0 | 
| Iceberg | 1.3.1-amzn-0 | 1.3.0-amzn-1 | 1.3.0-amzn-0 | 1.2.0-amzn-0 | 
| JupyterEnterpriseGateway | 2.6.0 | 2.6.0 | 2.6.0 | 2.6.0 | 
| JupyterHub | 1.5.0 | 1.5.0 | 1.4.1 | 1.4.1 | 
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 
| MXNet | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 
| Phoenix | 5.1.3 | 5.1.3 | 5.1.3 | 5.1.2 | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.281-amzn-2 | 0.281-amzn-1 | 0.281-amzn-0 | 0.279-amzn-0 | 
| Spark | 3.4.1-amzn-1 | 3.4.1-amzn-0 | 3.4.0-amzn-0 | 3.3.2-amzn-0.1 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.11.0 | 2.11.0 | 2.11.0 | 2.11.0 | 
| Tez | 0.10.2-amzn-5 | 0.10.2-amzn-4 | 0.10.2-amzn-3 | 0.10.2-amzn-2.1 | 
| Trino (PrestoSQL) | 422-amzn-0 | 414-amzn-1 | 414-amzn-0 | 410-amzn-0 | 
| Zeppelin | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 
| ZooKeeper | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 

## Notas da versão 6.14.0
<a name="emr-6140-relnotes"></a>

As notas da versão a seguir incluem informações para a versão 6.14.0 do Amazon EMR. As alterações são referentes à versão 6.13.0. Para obter informações sobre o cronograma da versão, consulte o [Log de alterações 6.14.0](#6140-changelog).

**Novos recursos**
+ Amazon EMR 6.14.0 supports Apache Spark 3.4.1, Apache Spark RAPIDS 23.06.0-amzn-2, Flink 1.17.1, Iceberg 1.3.1, and Trino 422.
+ O [Ajuste de Escala Gerenciado do Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-managed-scaling.html) agora está disponível na região `ap-southeast-3` Ásia-Pacífico (Jacarta) para clusters criados com o Amazon EMR 6.14.0 e superior.

**Problemas conhecidos**
+ Um script de estado de instância no cluster que monitora a integridade da instância pode consumir recursos excessivos de CPU e memória quando há um grande número de threads and/or abertos e manipuladores de arquivos no nó.

**Alterações, melhorias e problemas resolvidos**
+  *A partir do Spark 3.3.1 (com suporte nas versões 6.10 e posteriores do EMR), todos os executores em um host de descomissionamento são configurados para um novo `ExecutorState`, chamado de estado DECOMMISSIONING*. Os executores que estão sendo desativados não podem ser usados pelo Yarn para alocar tarefas e, portanto, ele solicitará novos executores, se necessário, para as tarefas que estão sendo executadas. Portanto, se você desativar o Spark DRA enquanto estiver usando o EMR Managed Scaling, o EMR Auto Scaling ou qualquer mecanismo de ajuste de escala personalizado em clusters EMR-EC2, o Yarn poderá solicitar o número máximo permitido de executores para cada trabalho. Para evitar esse problema, deixe a propriedade `spark.dynamicAllocation.enabled` definida como `TRUE` (que é o padrão) ao usar a combinação de recursos acima. Além disso, você também pode definir restrições mínimas e máximas para executores, definindo valores para as propriedades `spark.dynamicAllocation.maxExecutors` e `spark.dynamicAllocation.minExecutors` para seus trabalhos Spark, a fim de restringir o número de executores alocados durante a execução do trabalho. 
+ A versão 6.14.0 otimiza o gerenciamento de logs com o Amazon EMR em execução no Amazon EC2. Como resultado, é possível ver uma pequena redução nos custos de armazenamento dos logs do cluster.
+ A versão 6.14.0 melhora o fluxo de trabalho de ajuste de escala para considerar diferentes instâncias principais que têm variação substancial no tamanho dos volumes do Amazon EBS. Essa melhoria se aplica somente aos nós centrais; as operações de redução dos nós de tarefas não são afetadas.
+ A versão 6.14.0 melhora a forma como o Amazon EMR interage com aplicações de código aberto, como. Apache Hadoop YARN ResourceManager and HDFS NameNode Essa melhoria reduz o risco de atrasos operacionais com o escalonamento do cluster e atenua as falhas de inicialização que ocorrem devido a problemas de conectividade com os aplicações de código aberto.
+ A versão 6.14.0 otimiza a instalação da aplicação na inicialização do cluster. Isso melhora os tempos de inicialização do cluster para determinadas combinações de aplicações do Amazon EMR.
+ A versão 6.14.0 corrige um problema em que as operações de redução de escala do cluster podem parar quando um cluster executado em uma VPC com um domínio personalizado é reiniciado no nó central ou da tarefa.
+ Quando você inicia um cluster com a *versão de patch mais recente* do Amazon EMR 5.36 ou superior, 6.6 ou superior ou 7.0 ou superior, o Amazon EMR usa a versão mais recente do Amazon Linux 2023 ou do Amazon Linux 2 para a AMI padrão do Amazon EMR. Para obter mais informações, consulte [Como usar a AMI padrão do Amazon Linux para Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html).    
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/emr/latest/ReleaseGuide/emr-6140-release.html)

## Versões padrão do Java 6.14.0
<a name="emr-6140-jdk"></a>

As versões 6.12.0 e superiores do Amazon EMR são compatíveis com todas as aplicações que têm o Amazon Corretto 8 por padrão, exceto o Trino. Para Trino, o Amazon EMR é compatível com o Amazon Corretto 17 por padrão, desde a versão 6.9.0 do Amazon EMR. O Amazon EMR também é compatível com algumas aplicações com o Amazon Corretto 11 e 17. Essas aplicações estão listadas na tabela a seguir. Se você quiser alterar a JVM padrão no cluster, siga as instruções em [Configurar aplicações para usar uma Máquina Virtual Java específica](configuring-java8.md) para cada aplicação executada no cluster. Você só pode usar uma versão de runtime do Java para um cluster. O Amazon EMR não é compatível com a execução de diferentes nós ou aplicações em diferentes versões de runtime no mesmo cluster.

Embora o Amazon EMR seja compatível com o Amazon Corretto 11 e 17 no Apache Spark, no Apache Hadoop e no Apache Hive, a performance de algumas workloads pode diminuir quando você usa estas versões do Corretto. Recomendamos que você teste suas workloads antes de alterar os padrões.

A seguinte tabela mostra as versões padrão do Java para aplicações no Amazon EMR 6.14.0:


| Aplicação | Versão Java/Amazon Corretto (o padrão é negrito) | 
| --- | --- | 
| Delta | 17, 11, 8 | 
| Flink | 11, 8 | 
| Ganglia | 8 | 
| HBase | 11, 8 | 
| HCatalog | 17, 11, 8 | 
| Hadoop | 17, 11, 8 | 
| Hive | 17, 11, 8 | 
| Hudi | 17, 11, 8 | 
| Iceberg | 17, 11, 8 | 
| Livy | 17, 11, 8 | 
| Oozie | 17, 11, 8 | 
| Phoenix | 8 | 
| PrestoDB | 8 | 
| Spark | 17, 11, 8 | 
| Spark RAPIDS | 17, 11, 8 | 
| Sqoop | 8 | 
| Tez | 17, 11, 8 | 
| Trino | 17 | 
| Zeppelin | 8 | 
| Pig | 8 | 
| Zookeeper | 8 | 

## Versões do componente 6.14.0
<a name="emr-6140-components"></a>

Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.

Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.


| Componente | Versão | Description | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.2 | SDK do Amazon SageMaker Spark | 
| delta | 2.4.0 | O Delta Lake é um formato de tabela aberto para grandes conjuntos de dados analíticos | 
| delta-standalone-connectors | 0.6.0 | Os conectores do Delta oferecem runtimes diferentes para integrar o Delta Lake a mecanismos, como Flink, Hive e Presto. | 
| emr-ddb | 5.1.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. | 
| emr-goodies | 3.7.0 | Bibliotecas convenientes para o ecossistema do Hadoop. | 
| emr-kinesis | 3.11.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. | 
| emr-notebook-env | 1.7.0 | Ambiente Conda para bloco de anotações do emr, que inclui o jupyter enterprise gateway | 
| emr-s3-dist-cp | 2.28.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. | 
| emr-s3-select | 2.7.0 | EMR S3Select Connector | 
| emr-wal-cli | 1.1.0 | Cli usada para lista/exclusão de emrwal. | 
| emrfs | 2.59.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. | 
| flink-client | 1.17.1-amzn-0 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. | 
| flink-jobmanager-config | 1.17.1-amzn-0 | Gerenciando recursos nos nós do EMR para o Apache Flink. JobManager | 
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. | 
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. | 
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. | 
| hadoop-client | 3.3.3-amzn-6 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. | 
| hadoop-hdfs-datanode | 3.3.3-amzn-6 | O serviço de nível de nó do HDFS para armazenamento de blocos. | 
| hadoop-hdfs-library | 3.3.3-amzn-6 | O cliente de linha de comando e biblioteca do HDFS | 
| hadoop-hdfs-namenode | 3.3.3-amzn-6 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. | 
| hadoop-hdfs-journalnode | 3.3.3-amzn-6 | O serviço do HDFS para gerenciar o lançamento de arquivos do Hadoop em clusters de HA. | 
| hadoop-httpfs-server | 3.3.3-amzn-6 | O endpoint de HTTP para as operações do HDFS. | 
| hadoop-kms-server | 3.3.3-amzn-6 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider  | 
| hadoop-mapred | 3.3.3-amzn-6 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. | 
| hadoop-yarn-nodemanager | 3.3.3-amzn-6 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. | 
| hadoop-yarn-resourcemanager | 3.3.3-amzn-6 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. | 
| hadoop-yarn-timeline-server | 3.3.3-amzn-6 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. | 
| hbase-hmaster | 2.4.17-amzn-2 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. | 
| hbase-region-server | 2.4.17-amzn-2 | Serviço para atender a uma ou mais HBase regiões. | 
| hbase-client | 2.4.17-amzn-2 | HBase cliente de linha de comando. | 
| hbase-rest-server | 2.4.17-amzn-2 | Serviço que fornece um endpoint RESTful HTTP para HBase. | 
| hbase-thrift-server | 2.4.17-amzn-2 | Serviço que fornece um endpoint Thrift para. HBase | 
| hbase-operator-tools | 2.4.17-amzn-2 | Ferramenta de reparo para HBase clusters Apache. | 
| hcatalog-client | 3.1.3-amzn-7 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. | 
| hcatalog-server | 3.1.3-amzn-7 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. | 
| hcatalog-webhcat-server | 3.1.3-amzn-7 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. | 
| hive-client | 3.1.3-amzn-7 | O cliente da linha de comando do Hive. | 
| hive-hbase | 3.1.3-amzn-7 | Cliente do Hive-hbase. | 
| hive-metastore-server | 3.1.3-amzn-7 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. | 
| hive-server2 | 3.1.3-amzn-7 | O serviço que aceita as consultas do Hive como solicitações da web. | 
| hudi | 0.13.1-amzn-2 | Estrutura de processamento incremental para alimentar o pipeline de dados com baixa latência e alta eficiência. | 
| hudi-presto | 0.13.1-amzn-2 | Biblioteca de pacotes para executar o Presto com o Hudi. | 
| hudi-trino | 0.13.1-amzn-2 | Biblioteca de pacotes para execução do Presto com o Hudi. | 
| hudi-spark | 0.13.1-amzn-2 | Biblioteca de pacotes para executar o Spark com o Hudi. | 
| hue-server | 4.11.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop | 
| iceberg | 1.3.1-amzn-0 | Apache Iceberg é um formato de tabela aberta para conjuntos de dados analíticos imensos | 
| jupyterhub | 1.5.0 | Servidor de vários usuários para blocos de anotações Jupyter | 
| livy-server | 0.7.1-incubating | Interface REST para interagir com o Apache Spark | 
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP | 
| mxnet | 1.9.1 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. | 
| mariadb-server | 5.5.68\$1 | Servidor de banco de dados MariaDB. | 
| nvidia-cuda | 11.8.0 | Drivers NVIDIA e toolkit CUDA | 
| oozie-client | 5.2.1 | O cliente da linha de comando do Oozie. | 
| oozie-server | 5.2.1 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. | 
| opencv | 4.7.0 | Biblioteca de Visão Computacional de Código Aberto. | 
| phoenix-library | 5.1.3 | As bibliotecas do phoenix para servidor e cliente | 
| phoenix-connectors | 5.1.3 | Conectores do Apache Phoenix para Spark-3 | 
| phoenix-query-server | 6.0.0 | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica  | 
| presto-coordinator | 0.281-amzn-2 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. | 
| presto-worker | 0.281-amzn-2 | O serviço que executa partes de uma consulta. | 
| presto-client | 0.281-amzn-2 | Cliente de linha de comando do Presto instalado em mestres de espera de um cluster de alta disponibilidade em que o servidor do Presto não é iniciado. | 
| trino-coordinator | 422-amzn-0 | Serviço que aceita consultas e gerencia a execução de consultas entre trino-workers. | 
| trino-worker | 422-amzn-0 | O serviço que executa partes de uma consulta. | 
| trino-client | 422-amzn-0 | Cliente de linha de comando do Trino instalado em mestres de espera de um cluster de alta disponibilidade (HA) em que o servidor do Trino não é iniciado. | 
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. | 
| r | 4.0.2 | O projeto R para computação estatística | 
| ranger-kms-server | 2.0.0 | Sistema de gerenciamento de chaves Apache Ranger | 
| spark-client | 3.4.1-amzn-1 | Os clientes da linha de comando do Spark. | 
| spark-history-server | 3.4.1-amzn-1 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. | 
| spark-on-yarn | 3.4.1-amzn-1 | O mecanismo de execução em memória para o YARN. | 
| spark-yarn-slave | 3.4.1-amzn-1 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. | 
| spark-rapids | 23.06.0-amzn-2 | Plugin Nvidia Spark RAPIDS que acelera o Apache Spark com o. GPUs | 
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. | 
| tensorflow | 2.11.0 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. | 
| tez-on-yarn | 0.10.2-amzn-5 | O aplicativo e as bibliotecas do YARN para Tez. | 
| tez-on-worker | 0.10.2-amzn-5 | A aplicação e as bibliotecas do YARN nós de processamento. | 
| webserver | 2.4.41\$1 | O servidor Apache HTTP. | 
| zeppelin-server | 0.10.1 | O notebook baseado na web que permite um data analytics interativo. | 
| zookeeper-server | 3.5.10 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. | 
| zookeeper-client | 3.5.10 | ZooKeeper cliente de linha de comando. | 

## Classificações de configuração 6.14.0
<a name="emr-6140-class"></a>

As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).

Ocorrem ações de reconfiguração quando você especifica uma configuração para grupos de instâncias em um cluster em execução. O Amazon EMR só inicia ações de reconfiguração para as classificações que você modifica. Para obter mais informações, consulte [Reconfigurar um grupo de instâncias de um cluster em execução](emr-configure-apps-running-cluster.md).


**Classificações do emr-6.14.0**  

| Classificações | Description | Ações de reconfiguração | 
| --- | --- | --- | 
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. | Restarts the ResourceManager service. | 
| container-executor | Alterar os valores no arquivo container-executor.cfg do YARN do Hadoop. | Not available. | 
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. | Not available. | 
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | Alterar as configurações relacionadas ao docker. | Not available. | 
| emrfs-site | Alterar as configurações do EMRFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | Alterar as configurações do flink-conf.yaml. | Restarts Flink history server. | 
| flink-log4j | Alterar as configurações de log4j.properties no Flink. | Restarts Flink history server. | 
| flink-log4j-session | Altere as configurações do Flink log4j-session.properties para a sessão. Kubernetes/Yarn  | Restarts Flink history server. | 
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. | Restarts Flink history server. | 
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop | Not available. | 
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop | Not available. | 
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | Mude os valores no HBase ambiente. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. | Not available. | 
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. | This classification should not be reconfigured. | 
| hdfs-env | Alterar os valores no ambiente do HDFS. | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | Mude os valores no HCatalog ambiente. | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. | Restarts Hive WebHCat server. | 
| hive | As configurações administradas pelo Amazon EMR para o Apache Hive. | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. | Not available. | 
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. | Not available. | 
| hive-env | Alterar os valores no ambiente do Hive. | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. | Not available. | 
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. | Not available. | 
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. | Not available. | 
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. | Not available. | 
| hue-ini | Alterar os valores no arquivo ini do Hue | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | Alterar os valores no ambiente do HTTPFS. | Restarts Hadoop Httpfs service. | 
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. | Not available. | 
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. | Restarts Hadoop-KMS service. | 
| hadoop-kms-java-home | Alterar a página inicial do KMS do Hadoop | Not available. | 
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. | Not available. | 
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | Altere os valores no ambiente do Hudi. | Not available. | 
| hudi-defaults | Alterar os valores no arquivo hudi-defaults.conf do Hudi. | Not available. | 
| iceberg-defaults | Alterar os valores no arquivo iceberg-defaults.conf do Iceberg. | Not available. | 
| delta-defaults | Alterar os valores no arquivo delta-defaults.conf do Delta. | Not available. | 
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. | Not available. | 
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. | Not available. | 
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. | Not available. | 
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. | Not available. | 
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. | Restarts Livy Server. | 
| livy-env | Alterar os valores no ambiente do Livy. | Restarts Livy Server. | 
| livy-log4j2 | Alterar as configurações de log4j2.properties do Livy. | Restarts Livy Server. | 
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | Alterar os valores no ambiente do Oozie. | Restarts Oozie. | 
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. | Restarts Oozie. | 
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. | Restarts Oozie. | 
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. | Not available. | 
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. | Not available. | 
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. | Not available. | 
| pig-env | Alterar os valores no ambiente do Pig. | Not available. | 
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. | Restarts Oozie. | 
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. | Not available. | 
| presto-log | Alterar os valores no arquivo log.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-config | Alterar os valores no arquivo config.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. | Not available. | 
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-node | Altere os valores no arquivo node.properties do Presto. | Not available. | 
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. | Not available. | 
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. | Not available. | 
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. | Not available. | 
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. | Not available. | 
| presto-connector-lakeformation | Alterar os valores no arquivo lakeformation.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. | Not available. | 
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. | Not available. | 
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. | Not available. | 
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. | Not available. | 
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. | Not available. | 
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. | Not available. | 
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. | Not available. | 
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. | Not available. | 
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. | Not available. | 
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. | Not available. | 
| trino-log | Alterar os valores no arquivo log.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-config | Alterar os valores no arquivo config.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-password-authenticator | Alterar os valores no arquivo password-authenticator.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-env | Alterar os valores no arquivo trino-env.sh do Trino. | Restarts Trino-Server (for Trino) | 
| trino-node | Alterar os valores no arquivo node.properties do Trino. | Not available. | 
| trino-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Trino. | Not available. | 
| trino-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Trino. | Not available. | 
| trino-connector-delta | Alterar os valores no arquivo delta.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-connector-hive | Alterar os valores no arquivo hive.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-exchange-manager | Alterar os valores no arquivo exchange-manager.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-connector-iceberg | Alterar os valores no arquivo iceberg.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-connector-hudi | Alterar os valores no arquivo hudi.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-connector-jmx | Alterar os valores no arquivo jmx.properties do Trino. | Not available. | 
| trino-connector-kafka | Alterar os valores no arquivo kafka.properties do Trino. | Not available. | 
| trino-connector-localfile | Alterar os valores no arquivo localfile.properties do Trino. | Not available. | 
| trino-connector-memory | Alterar os valores no arquivo memory.properties do Trino. | Not available. | 
| trino-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Trino. | Not available. | 
| trino-connector-mysql | Alterar os valores no arquivo mysql.properties do Trino. | Not available. | 
| trino-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Trino. | Not available. | 
| trino-connector-raptor | Alterar os valores no arquivo raptor.properties do Trino. | Not available. | 
| trino-connector-redis | Alterar os valores no arquivo redis.properties do Trino. | Not available. | 
| trino-connector-redshift | Alterar os valores no arquivo redshift.properties do Trino. | Not available. | 
| trino-connector-tpch | Alterar os valores no arquivo tpch.properties do Trino. | Not available. | 
| trino-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Trino. | Not available. | 
| ranger-kms-dbks-site | Altere os valores no arquivo dbks-site.xml do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-site | Altere os valores no ranger-kms-site arquivo.xml do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-env | Altere os valores no ambiente do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-logback | Alterar os valores no arquivo kms-logback.xml do Ranger KMS. | Not available. | 
| ranger-kms-db-ca | Altere os valores do arquivo CA no S3 para conexão SSL do MySQL com o Ranger KMS. | Not available. | 
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. | This property modifies spark-defaults. See actions there. | 
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-env | Alterar os valores no ambiente do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. | Not available. | 
| spark-log4j2 | Alterar os valores no arquivo log4j2.properties do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | Alterar os valores no ambiente do Sqoop. | Not available. | 
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. | Not available. | 
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. | Not available. | 
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. | Restart Oozie and HiveServer2. | 
| yarn-env | Alterar os valores no ambiente do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. | Restarts Zeppelin. | 
| zeppelin-site | Alterar as definições da configuração em zeppelin-site.xml. | Restarts Zeppelin. | 
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. | Restarts Zookeeper server. | 
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. | Restarts Zookeeper server. | 

## Log de alterações 6.14.0
<a name="6140-changelog"></a>


**Log de alterações da versão 6.14.0 e das notas da versão**  

| Data | Event | Description | 
| --- | --- | --- | 
| 2025-09-03 | Revisão de documentos | Notas de versão do Amazon EMR 6.14.0 adicionaram problema conhecido | 
| *2023-11-02* | Implantação concluída | Amazon EMR 6.14.0 totalmente implantado em todas as [regiões compatíveis](https://aws.amazon.com/about-aws/global-infrastructure/regional-product-services/) | 
| 2023-10-10 | Publicação de documentos | Notas da versão 6.14.0 do Amazon EMR publicadas pela primeira vez | 
| 2023-10-04 | Lançamento inicial | A versão 6.14.0 do Amazon EMR foi implantada pela primeira vez em regiões comerciais iniciais | 

# Versão 6.13.0 do Amazon EMR
<a name="emr-6130-release"></a>

## Versões da aplicação 6.13.0
<a name="emr-6130-app-versions"></a>

Esta versão inclui as seguintes aplicações: [https://delta.io/](https://delta.io/), [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://iceberg.apache.org/](https://iceberg.apache.org/), [https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://trino.io/](https://trino.io/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).

A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).

Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)


**Informações da versão da aplicação**  

|  | emr-6.13.0 | emr-6.12.0 | emr-6.11.1 | emr-6.11.0 | 
| --- | --- | --- | --- | --- | 
| AWS SDK for Java | 1.12.513 | 1.12.490 | 1.12.446 | 1.12.446 | 
| Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 
| Scala | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta | 2.4.0 | 2.4.0 | 2.2.0 | 2.2.0 | 
| Flink | 1.17.0 | 1.17.0 | 1.16.0 | 1.16.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.4.17-amzn-1 | 2.4.17-amzn-0 | 2.4.15-amzn-1.1 | 2.4.15-amzn-1 | 
| HCatalog | 3.1.3-amzn-6 | 3.1.3-amzn-5 | 3.1.3-amzn-4.1 | 3.1.3-amzn-4 | 
| Hadoop | 3.3.3-amzn-5 | 3.3.3-amzn-4 | 3.3.3-amzn-3.1 | 3.3.3-amzn-3 | 
| Hive | 3.1.3-amzn-6 | 3.1.3-amzn-5 | 3.1.3-amzn-4.1 | 3.1.3-amzn-4 | 
| Hudi | 0.13.1-amzn-1 | 0.13.1-amzn-0 | 0.13.0-amzn-0 | 0.13.0-amzn-0 | 
| Hue | 4.11.0 | 4.11.0 | 4.11.0 | 4.11.0 | 
| Iceberg | 1.3.0-amzn-1 | 1.3.0-amzn-0 | 1.2.0-amzn-0 | 1.2.0-amzn-0 | 
| JupyterEnterpriseGateway | 2.6.0 | 2.6.0 | 2.6.0 | 2.6.0 | 
| JupyterHub | 1.5.0 | 1.4.1 | 1.4.1 | 1.4.1 | 
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 
| MXNet | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 
| Phoenix | 5.1.3 | 5.1.3 | 5.1.2 | 5.1.2 | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.281-amzn-1 | 0.281-amzn-0 | 0.279-amzn-0 | 0.279-amzn-0 | 
| Spark | 3.4.1-amzn-0 | 3.4.0-amzn-0 | 3.3.2-amzn-0.1 | 3.3.2-amzn-0 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.11.0 | 2.11.0 | 2.11.0 | 2.11.0 | 
| Tez | 0.10.2-amzn-4 | 0.10.2-amzn-3 | 0.10.2-amzn-2.1 | 0.10.2-amzn-2 | 
| Trino (PrestoSQL) | 414-amzn-1 | 414-amzn-0 | 410-amzn-0 | 410-amzn-0 | 
| Zeppelin | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 
| ZooKeeper | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 

## Notas da versão 6.13.0
<a name="emr-6130-relnotes"></a>

As notas da versão a seguir incluem informações para a versão 6.13.0 do Amazon EMR. As alterações são referentes à versão 6.12.0. Para obter informações sobre o cronograma da versão, consulte o [Log de alterações 6.13.0](#6130-changelog).

**Novos recursos**
+ Amazon EMR 6.13.0 supports Apache Spark 3.4.1, Apache Spark RAPIDS 23.06.0-amzn-1, CUDA Toolkit 11.8.0, and JupyterHub 1.5.0.

**Problemas conhecidos**
+ Um script de estado de instância no cluster que monitora a integridade da instância pode consumir recursos excessivos de CPU e memória quando há um grande número de threads and/or abertos e manipuladores de arquivos no nó.

**Alterações, melhorias e problemas resolvidos**
+  *A partir do Spark 3.3.1 (com suporte nas versões 6.10 e posteriores do EMR), todos os executores em um host de descomissionamento são configurados para um novo `ExecutorState`, chamado de estado DECOMMISSIONING*. Os executores que estão sendo desativados não podem ser usados pelo Yarn para alocar tarefas e, portanto, ele solicitará novos executores, se necessário, para as tarefas que estão sendo executadas. Portanto, se você desativar o Spark DRA enquanto estiver usando o EMR Managed Scaling, o EMR Auto Scaling ou qualquer mecanismo de ajuste de escala personalizado em clusters EMR-EC2, o Yarn poderá solicitar o número máximo permitido de executores para cada trabalho. Para evitar esse problema, deixe a propriedade `spark.dynamicAllocation.enabled` definida como `TRUE` (que é o padrão) ao usar a combinação de recursos acima. Além disso, você também pode definir restrições mínimas e máximas para executores, definindo valores para as propriedades `spark.dynamicAllocation.maxExecutors` e `spark.dynamicAllocation.minExecutors` para seus trabalhos Spark, a fim de restringir o número de executores alocados durante a execução do trabalho. 
+ A versão 6.13.0 aprimora o daemon de gerenciamento de logs do Amazon EMR para garantir que todos os logs sejam carregados regularmente para o Amazon S3 quando um comando de encerramento de cluster é emitido. Isso facilita o encerramento mais rápido do cluster.
+ A versão 6.13.0 aprimora os recursos de gerenciamento de logs do Amazon EMR para garantir o carregamento consistente e oportuno de todos os arquivos de log para o Amazon S3. Isso beneficia especialmente os clusters do EMR de execução prolongada.
+ Quando você inicia um cluster com a *versão de patch mais recente* do Amazon EMR 5.36 ou superior, 6.6 ou superior ou 7.0 ou superior, o Amazon EMR usa a versão mais recente do Amazon Linux 2023 ou do Amazon Linux 2 para a AMI padrão do Amazon EMR. Para obter mais informações, consulte [Como usar a AMI padrão do Amazon Linux para Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html).    
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/emr/latest/ReleaseGuide/emr-6130-release.html)

## Versões padrão do Java 6.13.0
<a name="emr-6130-jdk"></a>

As versões 6.12.0 e superiores do Amazon EMR são compatíveis com todas as aplicações que têm o Amazon Corretto 8 por padrão, exceto o Trino. Para Trino, o Amazon EMR é compatível com o Amazon Corretto 17 por padrão, desde a versão 6.9.0 do Amazon EMR. O Amazon EMR também é compatível com algumas aplicações com o Amazon Corretto 11 e 17. Essas aplicações estão listadas na tabela a seguir. Se você quiser alterar a JVM padrão no cluster, siga as instruções em [Configurar aplicações para usar uma Máquina Virtual Java específica](configuring-java8.md) para cada aplicação executada no cluster. Você só pode usar uma versão de runtime do Java para um cluster. O Amazon EMR não é compatível com a execução de diferentes nós ou aplicações em diferentes versões de runtime no mesmo cluster.

Embora o Amazon EMR seja compatível com o Amazon Corretto 11 e 17 no Apache Spark, no Apache Hadoop e no Apache Hive, a performance de algumas workloads pode diminuir quando você usa estas versões do Corretto. Recomendamos que você teste suas workloads antes de alterar os padrões.

A seguinte tabela mostra as versões padrão do Java para aplicações no Amazon EMR 6.13.0:


| Aplicação | Versão Java/Amazon Corretto (o padrão é negrito) | 
| --- | --- | 
| Delta | 17, 11, 8 | 
| Flink | 11, 8 | 
| Ganglia | 8 | 
| HBase | 11, 8 | 
| HCatalog | 17, 11, 8 | 
| Hadoop | 17, 11, 8 | 
| Hive | 17, 11, 8 | 
| Hudi | 17, 11, 8 | 
| Iceberg | 17, 11, 8 | 
| Livy | 17, 11, 8 | 
| Oozie | 17, 11, 8 | 
| Phoenix | 8 | 
| PrestoDB | 8 | 
| Spark | 17, 11, 8 | 
| Spark RAPIDS | 17, 11, 8 | 
| Sqoop | 8 | 
| Tez | 17, 11, 8 | 
| Trino | 17 | 
| Zeppelin | 8 | 
| Pig | 8 | 
| Zookeeper | 8 | 

## Versões do componente 6.13.0
<a name="emr-6130-components"></a>

Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.

Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.


| Componente | Versão | Description | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.2 | SDK do Amazon SageMaker Spark | 
| delta | 2.4.0 | O Delta Lake é um formato de tabela aberto para grandes conjuntos de dados analíticos | 
| delta-standalone-connectors | 0.6.0 | Os conectores do Delta oferecem runtimes diferentes para integrar o Delta Lake a mecanismos, como Flink, Hive e Presto. | 
| emr-ddb | 5.1.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. | 
| emr-goodies | 3.6.0 | Bibliotecas convenientes para o ecossistema do Hadoop. | 
| emr-kinesis | 3.10.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. | 
| emr-notebook-env | 1.7.0 | Ambiente Conda para bloco de anotações do emr, que inclui o jupyter enterprise gateway | 
| emr-s3-dist-cp | 2.27.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. | 
| emr-s3-select | 2.6.0 | EMR S3Select Connector | 
| emr-wal-cli | 1.1.0 | Cli usada para lista/exclusão de emrwal. | 
| emrfs | 2.58.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. | 
| flink-client | 1.17.0 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. | 
| flink-jobmanager-config | 1.17.0 | Gerenciando recursos nos nós do EMR para o Apache Flink. JobManager | 
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. | 
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. | 
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. | 
| hadoop-client | 3.3.3-amzn-5 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. | 
| hadoop-hdfs-datanode | 3.3.3-amzn-5 | O serviço de nível de nó do HDFS para armazenamento de blocos. | 
| hadoop-hdfs-library | 3.3.3-amzn-5 | O cliente de linha de comando e biblioteca do HDFS | 
| hadoop-hdfs-namenode | 3.3.3-amzn-5 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. | 
| hadoop-hdfs-journalnode | 3.3.3-amzn-5 | O serviço do HDFS para gerenciar o lançamento de arquivos do Hadoop em clusters de HA. | 
| hadoop-httpfs-server | 3.3.3-amzn-5 | O endpoint de HTTP para as operações do HDFS. | 
| hadoop-kms-server | 3.3.3-amzn-5 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider  | 
| hadoop-mapred | 3.3.3-amzn-5 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. | 
| hadoop-yarn-nodemanager | 3.3.3-amzn-5 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. | 
| hadoop-yarn-resourcemanager | 3.3.3-amzn-5 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. | 
| hadoop-yarn-timeline-server | 3.3.3-amzn-5 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. | 
| hbase-hmaster | 2.4.17-amzn-1 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. | 
| hbase-region-server | 2.4.17-amzn-1 | Serviço para atender a uma ou mais HBase regiões. | 
| hbase-client | 2.4.17-amzn-1 | HBase cliente de linha de comando. | 
| hbase-rest-server | 2.4.17-amzn-1 | Serviço que fornece um endpoint RESTful HTTP para HBase. | 
| hbase-thrift-server | 2.4.17-amzn-1 | Serviço que fornece um endpoint Thrift para. HBase | 
| hbase-operator-tools | 2.4.17-amzn-1 | Ferramenta de reparo para HBase clusters Apache. | 
| hcatalog-client | 3.1.3-amzn-6 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. | 
| hcatalog-server | 3.1.3-amzn-6 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. | 
| hcatalog-webhcat-server | 3.1.3-amzn-6 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. | 
| hive-client | 3.1.3-amzn-6 | O cliente da linha de comando do Hive. | 
| hive-hbase | 3.1.3-amzn-6 | Cliente do Hive-hbase. | 
| hive-metastore-server | 3.1.3-amzn-6 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. | 
| hive-server2 | 3.1.3-amzn-6 | O serviço que aceita as consultas do Hive como solicitações da web. | 
| hudi | 0.13.1-amzn-1 | Estrutura de processamento incremental para alimentar o pipeline de dados com baixa latência e alta eficiência. | 
| hudi-presto | 0.13.1-amzn-1 | Biblioteca de pacotes para executar o Presto com o Hudi. | 
| hudi-trino | 0.13.1-amzn-1 | Biblioteca de pacotes para execução do Presto com o Hudi. | 
| hudi-spark | 0.13.1-amzn-1 | Biblioteca de pacotes para executar o Spark com o Hudi. | 
| hue-server | 4.11.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop | 
| iceberg | 1.3.0-amzn-1 | Apache Iceberg é um formato de tabela aberta para conjuntos de dados analíticos imensos | 
| jupyterhub | 1.5.0 | Servidor de vários usuários para blocos de anotações Jupyter | 
| livy-server | 0.7.1-incubating | Interface REST para interagir com o Apache Spark | 
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP | 
| mxnet | 1.9.1 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. | 
| mariadb-server | 5.5.68\$1 | Servidor de banco de dados MariaDB. | 
| nvidia-cuda | 11.8.0 | Drivers NVIDIA e toolkit CUDA | 
| oozie-client | 5.2.1 | O cliente da linha de comando do Oozie. | 
| oozie-server | 5.2.1 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. | 
| opencv | 4.7.0 | Biblioteca de Visão Computacional de Código Aberto. | 
| phoenix-library | 5.1.3 | As bibliotecas do phoenix para servidor e cliente | 
| phoenix-connectors | 5.1.3 | Conectores do Apache Phoenix para Spark-3 | 
| phoenix-query-server | 6.0.0 | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica  | 
| presto-coordinator | 0.281-amzn-1 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. | 
| presto-worker | 0.281-amzn-1 | O serviço que executa partes de uma consulta. | 
| presto-client | 0.281-amzn-1 | Cliente de linha de comando do Presto instalado em mestres de espera de um cluster de alta disponibilidade em que o servidor do Presto não é iniciado. | 
| trino-coordinator | 414-amzn-1 | Serviço que aceita consultas e gerencia a execução de consultas entre trino-workers. | 
| trino-worker | 414-amzn-1 | O serviço que executa partes de uma consulta. | 
| trino-client | 414-amzn-1 | Cliente de linha de comando do Trino instalado em mestres de espera de um cluster de alta disponibilidade (HA) em que o servidor do Trino não é iniciado. | 
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. | 
| r | 4.0.2 | O projeto R para computação estatística | 
| ranger-kms-server | 2.0.0 | Sistema de gerenciamento de chaves Apache Ranger | 
| spark-client | 3.4.1-amzn-0 | Os clientes da linha de comando do Spark. | 
| spark-history-server | 3.4.1-amzn-0 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. | 
| spark-on-yarn | 3.4.1-amzn-0 | O mecanismo de execução em memória para o YARN. | 
| spark-yarn-slave | 3.4.1-amzn-0 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. | 
| spark-rapids | 23.06.0-amzn-1 | Plugin Nvidia Spark RAPIDS que acelera o Apache Spark com o. GPUs | 
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. | 
| tensorflow | 2.11.0 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. | 
| tez-on-yarn | 0.10.2-amzn-4 | O aplicativo e as bibliotecas do YARN para Tez. | 
| tez-on-worker | 0.10.2-amzn-4 | A aplicação e as bibliotecas do YARN nós de processamento. | 
| webserver | 2.4.41\$1 | O servidor Apache HTTP. | 
| zeppelin-server | 0.10.1 | O notebook baseado na web que permite um data analytics interativo. | 
| zookeeper-server | 3.5.10 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. | 
| zookeeper-client | 3.5.10 | ZooKeeper cliente de linha de comando. | 

## Classificações de configuração 6.13.0
<a name="emr-6130-class"></a>

As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).

Ocorrem ações de reconfiguração quando você especifica uma configuração para grupos de instâncias em um cluster em execução. O Amazon EMR só inicia ações de reconfiguração para as classificações que você modifica. Para obter mais informações, consulte [Reconfigurar um grupo de instâncias de um cluster em execução](emr-configure-apps-running-cluster.md).


**Classificações do emr-6.13.0**  

| Classificações | Description | Ações de reconfiguração | 
| --- | --- | --- | 
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. | Restarts the ResourceManager service. | 
| container-executor | Alterar os valores no arquivo container-executor.cfg do YARN do Hadoop. | Not available. | 
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. | Not available. | 
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | Alterar as configurações relacionadas ao docker. | Not available. | 
| emrfs-site | Alterar as configurações do EMRFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | Alterar as configurações do flink-conf.yaml. | Restarts Flink history server. | 
| flink-log4j | Alterar as configurações de log4j.properties no Flink. | Restarts Flink history server. | 
| flink-log4j-session | Altere as configurações do Flink log4j-session.properties para a sessão. Kubernetes/Yarn  | Restarts Flink history server. | 
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. | Restarts Flink history server. | 
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop | Not available. | 
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop | Not available. | 
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | Mude os valores no HBase ambiente. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. | Not available. | 
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. | This classification should not be reconfigured. | 
| hdfs-env | Alterar os valores no ambiente do HDFS. | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | Mude os valores no HCatalog ambiente. | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. | Restarts Hive WebHCat server. | 
| hive | As configurações administradas pelo Amazon EMR para o Apache Hive. | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. | Not available. | 
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. | Not available. | 
| hive-env | Alterar os valores no ambiente do Hive. | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. | Not available. | 
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. | Not available. | 
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. | Not available. | 
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. | Not available. | 
| hue-ini | Alterar os valores no arquivo ini do Hue | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | Alterar os valores no ambiente do HTTPFS. | Restarts Hadoop Httpfs service. | 
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. | Not available. | 
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. | Restarts Hadoop-KMS service. | 
| hadoop-kms-java-home | Alterar a página inicial do KMS do Hadoop | Not available. | 
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. | Not available. | 
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | Altere os valores no ambiente do Hudi. | Not available. | 
| hudi-defaults | Alterar os valores no arquivo hudi-defaults.conf do Hudi. | Not available. | 
| iceberg-defaults | Alterar os valores no arquivo iceberg-defaults.conf do Iceberg. | Not available. | 
| delta-defaults | Alterar os valores no arquivo delta-defaults.conf do Delta. | Not available. | 
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. | Not available. | 
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. | Not available. | 
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. | Not available. | 
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. | Not available. | 
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. | Restarts Livy Server. | 
| livy-env | Alterar os valores no ambiente do Livy. | Restarts Livy Server. | 
| livy-log4j2 | Alterar as configurações de log4j2.properties do Livy. | Restarts Livy Server. | 
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | Alterar os valores no ambiente do Oozie. | Restarts Oozie. | 
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. | Restarts Oozie. | 
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. | Restarts Oozie. | 
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. | Not available. | 
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. | Not available. | 
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. | Not available. | 
| pig-env | Alterar os valores no ambiente do Pig. | Not available. | 
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. | Restarts Oozie. | 
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. | Not available. | 
| presto-log | Alterar os valores no arquivo log.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-config | Alterar os valores no arquivo config.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. | Not available. | 
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-node | Altere os valores no arquivo node.properties do Presto. | Not available. | 
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. | Not available. | 
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. | Not available. | 
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. | Not available. | 
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. | Not available. | 
| presto-connector-lakeformation | Alterar os valores no arquivo lakeformation.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. | Not available. | 
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. | Not available. | 
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. | Not available. | 
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. | Not available. | 
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. | Not available. | 
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. | Not available. | 
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. | Not available. | 
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. | Not available. | 
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. | Not available. | 
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. | Not available. | 
| trino-log | Alterar os valores no arquivo log.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-config | Alterar os valores no arquivo config.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-password-authenticator | Alterar os valores no arquivo password-authenticator.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-env | Alterar os valores no arquivo trino-env.sh do Trino. | Restarts Trino-Server (for Trino) | 
| trino-node | Alterar os valores no arquivo node.properties do Trino. | Not available. | 
| trino-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Trino. | Not available. | 
| trino-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Trino. | Not available. | 
| trino-connector-delta | Alterar os valores no arquivo delta.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-connector-hive | Alterar os valores no arquivo hive.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-exchange-manager | Alterar os valores no arquivo exchange-manager.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-connector-iceberg | Alterar os valores no arquivo iceberg.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-connector-hudi | Alterar os valores no arquivo hudi.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-connector-jmx | Alterar os valores no arquivo jmx.properties do Trino. | Not available. | 
| trino-connector-kafka | Alterar os valores no arquivo kafka.properties do Trino. | Not available. | 
| trino-connector-localfile | Alterar os valores no arquivo localfile.properties do Trino. | Not available. | 
| trino-connector-memory | Alterar os valores no arquivo memory.properties do Trino. | Not available. | 
| trino-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Trino. | Not available. | 
| trino-connector-mysql | Alterar os valores no arquivo mysql.properties do Trino. | Not available. | 
| trino-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Trino. | Not available. | 
| trino-connector-raptor | Alterar os valores no arquivo raptor.properties do Trino. | Not available. | 
| trino-connector-redis | Alterar os valores no arquivo redis.properties do Trino. | Not available. | 
| trino-connector-redshift | Alterar os valores no arquivo redshift.properties do Trino. | Not available. | 
| trino-connector-tpch | Alterar os valores no arquivo tpch.properties do Trino. | Not available. | 
| trino-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Trino. | Not available. | 
| ranger-kms-dbks-site | Altere os valores no arquivo dbks-site.xml do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-site | Altere os valores no ranger-kms-site arquivo.xml do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-env | Altere os valores no ambiente do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-logback | Alterar os valores no arquivo kms-logback.xml do Ranger KMS. | Not available. | 
| ranger-kms-db-ca | Altere os valores do arquivo CA no S3 para conexão SSL do MySQL com o Ranger KMS. | Not available. | 
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. | This property modifies spark-defaults. See actions there. | 
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-env | Alterar os valores no ambiente do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. | Not available. | 
| spark-log4j2 | Alterar os valores no arquivo log4j2.properties do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | Alterar os valores no ambiente do Sqoop. | Not available. | 
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. | Not available. | 
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. | Not available. | 
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. | Restart Oozie and HiveServer2. | 
| yarn-env | Alterar os valores no ambiente do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. | Restarts Zeppelin. | 
| zeppelin-site | Alterar as definições da configuração em zeppelin-site.xml. | Restarts Zeppelin. | 
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. | Restarts Zookeeper server. | 
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. | Restarts Zookeeper server. | 

## Log de alterações 6.13.0
<a name="6130-changelog"></a>


**Log de alterações da versão 6.13.0 e das notas da versão**  

| Data | Event | Description | 
| --- | --- | --- | 
| 2025-09-03 | Revisão de documentos | Notas de versão do Amazon EMR 6.13.0 adicionaram problema conhecido | 
| *2023-09-23* | Implantação concluída | Amazon EMR 6.13.0 totalmente implantado em todas as [regiões compatíveis](https://aws.amazon.com/about-aws/global-infrastructure/regional-product-services/) | 
| 2023-09-12 | Publicação de documentos | Notas da versão 6.13.0 do Amazon EMR publicadas pela primeira vez | 
| 2023-09-01 | Lançamento inicial | A versão 6.13.0 do Amazon EMR foi implantada pela primeira vez em regiões comerciais iniciais | 

# Versão 6.12.0 do Amazon EMR
<a name="emr-6120-release"></a>

## Versões da aplicação 6.12.0
<a name="emr-6120-app-versions"></a>

Esta versão inclui as seguintes aplicações: [https://delta.io/](https://delta.io/), [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://iceberg.apache.org/](https://iceberg.apache.org/), [https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://trino.io/](https://trino.io/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).

A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).

Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)


**Informações da versão da aplicação**  

|  | emr-6.12.0 | emr-6.11.1 | emr-6.11.0 | emr-6.10.1 | 
| --- | --- | --- | --- | --- | 
| AWS SDK for Java | 1.12.490 | 1.12.446 | 1.12.446 | 1.12.397 | 
| Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 
| Scala | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta | 2.4.0 | 2.2.0 | 2.2.0 | 2.2.0 | 
| Flink | 1.17.0 | 1.16.0 | 1.16.0 | 1.16.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.4.17-amzn-0 | 2.4.15-amzn-1.1 | 2.4.15-amzn-1 | 2.4.15-amzn-0.1 | 
| HCatalog | 3.1.3-amzn-5 | 3.1.3-amzn-4.1 | 3.1.3-amzn-4 | 3.1.3-amzn-3.1 | 
| Hadoop | 3.3.3-amzn-4 | 3.3.3-amzn-3.1 | 3.3.3-amzn-3 | 3.3.3-amzn-2.1 | 
| Hive | 3.1.3-amzn-5 | 3.1.3-amzn-4.1 | 3.1.3-amzn-4 | 3.1.3-amzn-3.1 | 
| Hudi | 0.13.1-amzn-0 | 0.13.0-amzn-0 | 0.13.0-amzn-0 | 0.12.2-amzn-0 | 
| Hue | 4.11.0 | 4.11.0 | 4.11.0 | 4.10.0 | 
| Iceberg | 1.3.0-amzn-0 | 1.2.0-amzn-0 | 1.2.0-amzn-0 | 1.1.0-amzn-0 | 
| JupyterEnterpriseGateway | 2.6.0 | 2.6.0 | 2.6.0 | 2.6.0 | 
| JupyterHub | 1.4.1 | 1.4.1 | 1.4.1 | 1.5.0 | 
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 
| MXNet | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 
| Phoenix | 5.1.3 | 5.1.2 | 5.1.2 | 5.1.2 | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.281-amzn-0 | 0.279-amzn-0 | 0.279-amzn-0 | 0.278.1-amzn-0 | 
| Spark | 3.4.0-amzn-0 | 3.3.2-amzn-0.1 | 3.3.2-amzn-0 | 3.3.1-amzn-0.1 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.11.0 | 2.11.0 | 2.11.0 | 2.11.0 | 
| Tez | 0.10.2-amzn-3 | 0.10.2-amzn-2.1 | 0.10.2-amzn-2 | 0.10.2-amzn-1.1 | 
| Trino (PrestoSQL) | 414-amzn-0 | 410-amzn-0 | 410-amzn-0 | 403-amzn-0 | 
| Zeppelin | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 
| ZooKeeper | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 

## Notas da versão 6.12.0
<a name="emr-6120-relnotes"></a>

As notas da versão a seguir incluem informações para a versão 6.12.0 do Amazon EMR. As alterações são referentes à versão 6.11.0. Para obter informações sobre o cronograma da versão, consulte o [Log de alterações 6.12.0](#6120-changelog).

**Novos recursos**
+ Amazon EMR 6.12.0 supports Apache Spark 3.4.0, Apache Spark RAPIDS 23.06.0-amzn-0, CUDA 11.8.0, Apache Hudi 0.13.1-amzn-0, Apache Iceberg 1.3.0-amzn-0, Trino 414, and PrestoDB 0.281.
+ As versões 6.12.0 e superiores do Amazon EMR oferecem suporte à integração LDAP com Apache Livy, Apache Hive through HiveServer 2 (), Trino, Presto e Hue. HS2 Você também pode instalar o Apache Spark e o Apache Hadoop em um cluster do EMR que use a versão 6.12.0 ou superior e configurá-los para usar LDAP. Para obter mais informações, consulte [Usar servidores do Active Directory ou LDAP para autenticação com o Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/ldap.html).

**Problemas conhecidos**
+ Um script de estado de instância no cluster que monitora a integridade da instância pode consumir recursos excessivos de CPU e memória quando há um grande número de threads and/or abertos e manipuladores de arquivos no nó.

**Alterações, melhorias e problemas resolvidos**
+  *A partir do Spark 3.3.1 (com suporte nas versões 6.10 e posteriores do EMR), todos os executores em um host de descomissionamento são configurados para um novo `ExecutorState`, chamado de estado DECOMMISSIONING*. Os executores que estão sendo desativados não podem ser usados pelo Yarn para alocar tarefas e, portanto, ele solicitará novos executores, se necessário, para as tarefas que estão sendo executadas. Portanto, se você desativar o Spark DRA enquanto estiver usando o EMR Managed Scaling, o EMR Auto Scaling ou qualquer mecanismo de ajuste de escala personalizado em clusters EMR-EC2, o Yarn poderá solicitar o número máximo permitido de executores para cada trabalho. Para evitar esse problema, deixe a propriedade `spark.dynamicAllocation.enabled` definida como `TRUE` (que é o padrão) ao usar a combinação de recursos acima. Além disso, você também pode definir restrições mínimas e máximas para executores, definindo valores para as propriedades `spark.dynamicAllocation.maxExecutors` e `spark.dynamicAllocation.minExecutors` para seus trabalhos Spark, a fim de restringir o número de executores alocados durante a execução do trabalho. 
+ As versões 6.12.0 e superiores do Amazon EMR oferecem suporte ao runtime do Java 11 para o Flink. Para obter mais informações, consulte [Configurar o Flink para ser executado com o Java 11](flink-configure.md#flink-configure-java11).
+ A versão 6.12.0 adiciona um mecanismo de nova tentativa ao fluxo de trabalho de escalabilidade de clusters para os clusters do EMR que executam Presto ou Trino. Essa melhoria reduz o risco de que o redimensionamento do cluster fique paralisado indefinidamente devido a uma única falha na operação de redimensionamento. Ela também aprimora a utilização dos clusters, porque seu cluster aumenta e reduz a escala verticalmente com mais rapidez.
+ A versão 6.12.0 corrige um problema em que as operações de redução da escala verticalmente do cluster podem ficar paralisadas quando um nó central que está passando por uma desativação tranquila se torna não íntegro por qualquer motivo antes de ser totalmente desativado.
+ A versão 6.12.0 melhora a lógica de redução da escala verticalmente do cluster para que o cluster não tente reduzir a escala verticalmente dos nós centrais abaixo da configuração do fator de replicação do HDFS para o cluster. Isso se alinha aos seus requisitos de redundância de dados e reduz a probabilidade de uma operação de escalabilidade paralisar.
+ A versão 6.12.0 aprimora a performance e a eficiência do serviço de monitoramento de integridade do Amazon EMR, ao aumentar a velocidade com que ele registra em log as mudanças de estado das instâncias. Essa melhoria reduz a probabilidade de degradação do desempenho dos nós do cluster que estão executando várias ferramentas de cliente ou aplicações de terceiros personalizadas.
+ A versão 6.12.0 melhora a performance do daemon de gerenciamento de logs no cluster para o Amazon EMR. Como resultado, existe uma menor probabilidade de degradação da performance com clusters do EMR que executam etapas com alta simultaneidade.
+ Com a versão 6.12.0 do Amazon EMR, o daemon de gerenciamento de logs foi atualizado para identificar todos os logs que estão em uso ativo com identificadores de arquivos abertos no armazenamento da instância local e nos processos associados. Essa atualização garante que o Amazon EMR exclua adequadamente os arquivos e recupere o espaço de armazenamento depois que os logs são arquivados no Amazon S3.
+ A versão 6.12.0 inclui um aprimoramento do daemon de gerenciamento de logs que exclui diretórios de etapas vazios e não utilizados no sistema de arquivos de cluster local. Um número excessivamente grande de diretórios vazios pode degradar a performance dos daemons do Amazon EMR e resultar na utilização excessiva do disco.
+ A versão 6.12.0 permite a alternância de logs do servidor de linha do tempo do YARN. Isso minimiza os cenários de utilização excessiva do disco, especialmente para clusters de execução prolongada.
+ O tamanho padrão do volume raiz aumentou para 15 GB nas versões 6.10.0 e superiores do Amazon EMR. O tamanho padrão do volume raiz das versões anteriores é de 10 GB.
+ Quando você inicia um cluster com a *versão de patch mais recente* do Amazon EMR 5.36 ou superior, 6.6 ou superior ou 7.0 ou superior, o Amazon EMR usa a versão mais recente do Amazon Linux 2023 ou do Amazon Linux 2 para a AMI padrão do Amazon EMR. Para obter mais informações, consulte [Como usar a AMI padrão do Amazon Linux para Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html).    
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/emr/latest/ReleaseGuide/emr-6120-release.html)

## Versões padrão do Java 6.12.0
<a name="emr-6120-jdk"></a>

As versões 6.12.0 e superiores do Amazon EMR são compatíveis com todas as aplicações que têm o Amazon Corretto 8 por padrão, exceto o Trino. Para Trino, o Amazon EMR é compatível com o Amazon Corretto 17 por padrão, desde a versão 6.9.0 do Amazon EMR. O Amazon EMR também é compatível com algumas aplicações com o Amazon Corretto 11 e 17. Essas aplicações estão listadas na tabela a seguir. Se você quiser alterar a JVM padrão no cluster, siga as instruções em [Configurar aplicações para usar uma Máquina Virtual Java específica](configuring-java8.md) para cada aplicação executada no cluster. Você só pode usar uma versão de runtime do Java para um cluster. O Amazon EMR não é compatível com a execução de diferentes nós ou aplicações em diferentes versões de runtime no mesmo cluster.

Embora o Amazon EMR seja compatível com o Amazon Corretto 11 e 17 no Apache Spark, no Apache Hadoop e no Apache Hive, a performance de algumas workloads pode diminuir quando você usa estas versões do Corretto. Recomendamos que você teste suas workloads antes de alterar os padrões.

A seguinte tabela mostra as versões padrão do Java para aplicações no Amazon EMR 6.12.0:


| Aplicação | Versão Java/Amazon Corretto (o padrão é negrito) | 
| --- | --- | 
| Delta | 17, 11, 8 | 
| Flink | 11, 8 | 
| Ganglia | 8 | 
| HBase | 11, 8 | 
| HCatalog | 17, 11, 8 | 
| Hadoop | 17, 11, 8 | 
| Hive | 17, 11, 8 | 
| Hudi | 17, 11, 8 | 
| Iceberg | 17, 11, 8 | 
| Livy | 17, 11, 8 | 
| Oozie | 17, 11, 8 | 
| Phoenix | 8 | 
| PrestoDB | 8 | 
| Spark | 17, 11, 8 | 
| Spark RAPIDS | 17, 11, 8 | 
| Sqoop | 8 | 
| Tez | 17, 11, 8 | 
| Trino | 17 | 
| Zeppelin | 8 | 
| Pig | 8 | 
| Zookeeper | 8 | 

## Versões de componente 6.12.0
<a name="emr-6120-components"></a>

Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.

Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.


| Componente | Versão | Description | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.2 | SDK do Amazon SageMaker Spark | 
| delta | 2.4.0 | O Delta Lake é um formato de tabela aberto para grandes conjuntos de dados analíticos | 
| delta-standalone-connectors | 0.6.0 | Os conectores do Delta oferecem runtimes diferentes para integrar o Delta Lake a mecanismos, como Flink, Hive e Presto. | 
| emr-ddb | 5.1.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. | 
| emr-goodies | 3.5.0 | Bibliotecas convenientes para o ecossistema do Hadoop. | 
| emr-kinesis | 3.9.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. | 
| emr-notebook-env | 1.7.0 | Ambiente Conda para bloco de anotações do emr, que inclui o jupyter enterprise gateway | 
| emr-s3-dist-cp | 2.26.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. | 
| emr-s3-select | 2.5.0 | EMR S3Select Connector | 
| emr-wal-cli | 1.1.0 | Cli usada para lista/exclusão de emrwal. | 
| emrfs | 2.57.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. | 
| flink-client | 1.17.0 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. | 
| flink-jobmanager-config | 1.17.0 | Gerenciando recursos nos nós do EMR para o Apache Flink. JobManager | 
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. | 
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. | 
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. | 
| hadoop-client | 3.3.3-amzn-4 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. | 
| hadoop-hdfs-datanode | 3.3.3-amzn-4 | O serviço de nível de nó do HDFS para armazenamento de blocos. | 
| hadoop-hdfs-library | 3.3.3-amzn-4 | O cliente de linha de comando e biblioteca do HDFS | 
| hadoop-hdfs-namenode | 3.3.3-amzn-4 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. | 
| hadoop-hdfs-journalnode | 3.3.3-amzn-4 | O serviço do HDFS para gerenciar o lançamento de arquivos do Hadoop em clusters de HA. | 
| hadoop-httpfs-server | 3.3.3-amzn-4 | O endpoint de HTTP para as operações do HDFS. | 
| hadoop-kms-server | 3.3.3-amzn-4 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider  | 
| hadoop-mapred | 3.3.3-amzn-4 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. | 
| hadoop-yarn-nodemanager | 3.3.3-amzn-4 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. | 
| hadoop-yarn-resourcemanager | 3.3.3-amzn-4 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. | 
| hadoop-yarn-timeline-server | 3.3.3-amzn-4 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. | 
| hbase-hmaster | 2.4.17-amzn-0 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. | 
| hbase-region-server | 2.4.17-amzn-0 | Serviço para atender a uma ou mais HBase regiões. | 
| hbase-client | 2.4.17-amzn-0 | HBase cliente de linha de comando. | 
| hbase-rest-server | 2.4.17-amzn-0 | Serviço que fornece um endpoint RESTful HTTP para HBase. | 
| hbase-thrift-server | 2.4.17-amzn-0 | Serviço que fornece um endpoint Thrift para. HBase | 
| hbase-operator-tools | 2.4.17-amzn-0 | Ferramenta de reparo para HBase clusters Apache. | 
| hcatalog-client | 3.1.3-amzn-5 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. | 
| hcatalog-server | 3.1.3-amzn-5 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. | 
| hcatalog-webhcat-server | 3.1.3-amzn-5 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. | 
| hive-client | 3.1.3-amzn-5 | O cliente da linha de comando do Hive. | 
| hive-hbase | 3.1.3-amzn-5 | Cliente do Hive-hbase. | 
| hive-metastore-server | 3.1.3-amzn-5 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. | 
| hive-server2 | 3.1.3-amzn-5 | O serviço que aceita as consultas do Hive como solicitações da web. | 
| hudi | 0.13.1-amzn-0 | Estrutura de processamento incremental para alimentar o pipeline de dados com baixa latência e alta eficiência. | 
| hudi-presto | 0.13.1-amzn-0 | Biblioteca de pacotes para executar o Presto com o Hudi. | 
| hudi-trino | 0.13.1-amzn-0 | Biblioteca de pacotes para execução do Presto com o Hudi. | 
| hudi-spark | 0.13.1-amzn-0 | Biblioteca de pacotes para executar o Spark com o Hudi. | 
| hue-server | 4.11.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop | 
| iceberg | 1.3.0-amzn-0 | Apache Iceberg é um formato de tabela aberta para conjuntos de dados analíticos imensos | 
| jupyterhub | 1.4.1 | Servidor de vários usuários para blocos de anotações Jupyter | 
| livy-server | 0.7.1-incubating | Interface REST para interagir com o Apache Spark | 
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP | 
| mxnet | 1.9.1 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. | 
| mariadb-server | 5.5.68\$1 | Servidor de banco de dados MariaDB. | 
| nvidia-cuda | 11.8.0 | Drivers NVIDIA e toolkit CUDA | 
| oozie-client | 5.2.1 | O cliente da linha de comando do Oozie. | 
| oozie-server | 5.2.1 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. | 
| opencv | 4.7.0 | Biblioteca de Visão Computacional de Código Aberto. | 
| phoenix-library | 5.1.3 | As bibliotecas do phoenix para servidor e cliente | 
| phoenix-connectors | 5.1.3 | Conectores do Apache Phoenix para Spark-3 | 
| phoenix-query-server | 6.0.0 | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica  | 
| presto-coordinator | 0.281-amzn-0 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. | 
| presto-worker | 0.281-amzn-0 | O serviço que executa partes de uma consulta. | 
| presto-client | 0.281-amzn-0 | Cliente de linha de comando do Presto instalado em mestres de espera de um cluster de alta disponibilidade em que o servidor do Presto não é iniciado. | 
| trino-coordinator | 414-amzn-0 | Serviço que aceita consultas e gerencia a execução de consultas entre trino-workers. | 
| trino-worker | 414-amzn-0 | O serviço que executa partes de uma consulta. | 
| trino-client | 414-amzn-0 | Cliente de linha de comando do Trino instalado em mestres de espera de um cluster de alta disponibilidade (HA) em que o servidor do Trino não é iniciado. | 
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. | 
| r | 4.0.2 | O projeto R para computação estatística | 
| ranger-kms-server | 2.0.0 | Sistema de gerenciamento de chaves Apache Ranger | 
| spark-client | 3.4.0-amzn-0 | Os clientes da linha de comando do Spark. | 
| spark-history-server | 3.4.0-amzn-0 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. | 
| spark-on-yarn | 3.4.0-amzn-0 | O mecanismo de execução em memória para o YARN. | 
| spark-yarn-slave | 3.4.0-amzn-0 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. | 
| spark-rapids | 23.06.0-amzn-0 | Plugin Nvidia Spark RAPIDS que acelera o Apache Spark com o. GPUs | 
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. | 
| tensorflow | 2.11.0 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. | 
| tez-on-yarn | 0.10.2-amzn-3 | O aplicativo e as bibliotecas do YARN para Tez. | 
| tez-on-worker | 0.10.2-amzn-3 | A aplicação e as bibliotecas do YARN nós de processamento. | 
| webserver | 2.4.41\$1 | O servidor Apache HTTP. | 
| zeppelin-server | 0.10.1 | O notebook baseado na web que permite um data analytics interativo. | 
| zookeeper-server | 3.5.10 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. | 
| zookeeper-client | 3.5.10 | ZooKeeper cliente de linha de comando. | 

## Classificações de configuração 6.12.0
<a name="emr-6120-class"></a>

As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).

Ocorrem ações de reconfiguração quando você especifica uma configuração para grupos de instâncias em um cluster em execução. O Amazon EMR só inicia ações de reconfiguração para as classificações que você modifica. Para obter mais informações, consulte [Reconfigurar um grupo de instâncias de um cluster em execução](emr-configure-apps-running-cluster.md).


**Classificações do emr-6.12.0**  

| Classificações | Description | Ações de reconfiguração | 
| --- | --- | --- | 
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. | Restarts the ResourceManager service. | 
| container-executor | Alterar os valores no arquivo container-executor.cfg do YARN do Hadoop. | Not available. | 
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. | Not available. | 
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | Alterar as configurações relacionadas ao docker. | Not available. | 
| emrfs-site | Alterar as configurações do EMRFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | Alterar as configurações do flink-conf.yaml. | Restarts Flink history server. | 
| flink-log4j | Alterar as configurações de log4j.properties no Flink. | Restarts Flink history server. | 
| flink-log4j-session | Altere as configurações do Flink log4j-session.properties para a sessão. Kubernetes/Yarn  | Restarts Flink history server. | 
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. | Restarts Flink history server. | 
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop | Not available. | 
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop | Not available. | 
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | Mude os valores no HBase ambiente. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. | Not available. | 
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. | This classification should not be reconfigured. | 
| hdfs-env | Alterar os valores no ambiente do HDFS. | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | Mude os valores no HCatalog ambiente. | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. | Restarts Hive WebHCat server. | 
| hive | As configurações administradas pelo Amazon EMR para o Apache Hive. | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. | Not available. | 
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. | Not available. | 
| hive-env | Alterar os valores no ambiente do Hive. | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. | Not available. | 
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. | Not available. | 
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. | Not available. | 
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. | Not available. | 
| hue-ini | Alterar os valores no arquivo ini do Hue | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | Alterar os valores no ambiente do HTTPFS. | Restarts Hadoop Httpfs service. | 
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. | Not available. | 
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. | Restarts Hadoop-KMS service. | 
| hadoop-kms-java-home | Alterar a página inicial do KMS do Hadoop | Not available. | 
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. | Not available. | 
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | Altere os valores no ambiente do Hudi. | Not available. | 
| hudi-defaults | Alterar os valores no arquivo hudi-defaults.conf do Hudi. | Not available. | 
| iceberg-defaults | Alterar os valores no arquivo iceberg-defaults.conf do Iceberg. | Not available. | 
| delta-defaults | Alterar os valores no arquivo delta-defaults.conf do Delta. | Not available. | 
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. | Not available. | 
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. | Not available. | 
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. | Not available. | 
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. | Not available. | 
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. | Restarts Livy Server. | 
| livy-env | Alterar os valores no ambiente do Livy. | Restarts Livy Server. | 
| livy-log4j2 | Alterar as configurações de log4j2.properties do Livy. | Restarts Livy Server. | 
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | Alterar os valores no ambiente do Oozie. | Restarts Oozie. | 
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. | Restarts Oozie. | 
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. | Restarts Oozie. | 
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. | Not available. | 
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. | Not available. | 
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. | Not available. | 
| pig-env | Alterar os valores no ambiente do Pig. | Not available. | 
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. | Restarts Oozie. | 
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. | Not available. | 
| presto-log | Alterar os valores no arquivo log.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-config | Alterar os valores no arquivo config.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. | Not available. | 
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-node | Altere os valores no arquivo node.properties do Presto. | Not available. | 
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. | Not available. | 
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. | Not available. | 
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. | Not available. | 
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. | Not available. | 
| presto-connector-lakeformation | Alterar os valores no arquivo lakeformation.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. | Not available. | 
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. | Not available. | 
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. | Not available. | 
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. | Not available. | 
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. | Not available. | 
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. | Not available. | 
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. | Not available. | 
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. | Not available. | 
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. | Not available. | 
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. | Not available. | 
| trino-log | Alterar os valores no arquivo log.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-config | Alterar os valores no arquivo config.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-password-authenticator | Alterar os valores no arquivo password-authenticator.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-env | Alterar os valores no arquivo trino-env.sh do Trino. | Restarts Trino-Server (for Trino) | 
| trino-node | Alterar os valores no arquivo node.properties do Trino. | Not available. | 
| trino-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Trino. | Not available. | 
| trino-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Trino. | Not available. | 
| trino-connector-delta | Alterar os valores no arquivo delta.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-connector-hive | Alterar os valores no arquivo hive.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-exchange-manager | Alterar os valores no arquivo exchange-manager.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-connector-iceberg | Alterar os valores no arquivo iceberg.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-connector-hudi | Alterar os valores no arquivo hudi.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-connector-jmx | Alterar os valores no arquivo jmx.properties do Trino. | Not available. | 
| trino-connector-kafka | Alterar os valores no arquivo kafka.properties do Trino. | Not available. | 
| trino-connector-localfile | Alterar os valores no arquivo localfile.properties do Trino. | Not available. | 
| trino-connector-memory | Alterar os valores no arquivo memory.properties do Trino. | Not available. | 
| trino-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Trino. | Not available. | 
| trino-connector-mysql | Alterar os valores no arquivo mysql.properties do Trino. | Not available. | 
| trino-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Trino. | Not available. | 
| trino-connector-raptor | Alterar os valores no arquivo raptor.properties do Trino. | Not available. | 
| trino-connector-redis | Alterar os valores no arquivo redis.properties do Trino. | Not available. | 
| trino-connector-redshift | Alterar os valores no arquivo redshift.properties do Trino. | Not available. | 
| trino-connector-tpch | Alterar os valores no arquivo tpch.properties do Trino. | Not available. | 
| trino-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Trino. | Not available. | 
| ranger-kms-dbks-site | Altere os valores no arquivo dbks-site.xml do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-site | Altere os valores no ranger-kms-site arquivo.xml do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-env | Altere os valores no ambiente do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-logback | Alterar os valores no arquivo kms-logback.xml do Ranger KMS. | Not available. | 
| ranger-kms-db-ca | Altere os valores do arquivo CA no S3 para conexão SSL do MySQL com o Ranger KMS. | Not available. | 
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. | This property modifies spark-defaults. See actions there. | 
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-env | Alterar os valores no ambiente do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. | Not available. | 
| spark-log4j2 | Alterar os valores no arquivo log4j2.properties do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | Alterar os valores no ambiente do Sqoop. | Not available. | 
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. | Not available. | 
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. | Not available. | 
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. | Restart Oozie and HiveServer2. | 
| yarn-env | Alterar os valores no ambiente do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. | Restarts Zeppelin. | 
| zeppelin-site | Alterar as definições da configuração em zeppelin-site.xml. | Restarts Zeppelin. | 
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. | Restarts Zookeeper server. | 
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. | Restarts Zookeeper server. | 

## Log de alterações 6.12.0
<a name="6120-changelog"></a>


**Log de alterações da versão 6.12.0 e das notas da versão**  

| Data | Event | Description | 
| --- | --- | --- | 
| 2025-09-03 | Revisão de documentos | Notas de versão do Amazon EMR 6.12.0 adicionaram problema conhecido | 
| 2023-07-27 | Atualizar a documentação | Atualizar as opções Java para 6.12 e adicionar o tutorial do Oozie para atualizar a JVM | 
| 2023-07-21 | Implantação concluída | Amazon EMR 6.12.0 totalmente implantado em todas as [regiões compatíveis](https://aws.amazon.com/about-aws/global-infrastructure/regional-product-services/) | 
| 2023-07-21 | Publicação de documentos | Notas da versão 6.12.0 do Amazon EMR publicadas pela primeira vez | 
| 2023-07-12 | Lançamento inicial | A versão 6.12.0 do Amazon EMR foi implantada pela primeira vez em regiões comerciais iniciais | 

# Versão 6.11.1 do Amazon EMR
<a name="emr-6111-release"></a>

## Versões 6.11.1 da aplicação
<a name="emr-6111-app-versions"></a>

Esta versão inclui as seguintes aplicações: [https://delta.io/](https://delta.io/), [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://iceberg.apache.org/](https://iceberg.apache.org/), [https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://trino.io/](https://trino.io/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).

A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).

Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)


**Informações da versão da aplicação**  

|  | emr-6.11.1 | emr-6.11.0 | emr-6.10.1 | emr-6.10.0 | 
| --- | --- | --- | --- | --- | 
| AWS SDK for Java | 1.12.446 | 1.12.446 | 1.12.397 | 1.12.397 | 
| Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 
| Scala | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta | 2.2.0 | 2.2.0 | 2.2.0 | 2.2.0 | 
| Flink | 1.16.0 | 1.16.0 | 1.16.0 | 1.16.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.4.15-amzn-1.1 | 2.4.15-amzn-1 | 2.4.15-amzn-0.1 | 2.4.15-amzn-0 | 
| HCatalog | 3.1.3-amzn-4.1 | 3.1.3-amzn-4 | 3.1.3-amzn-3.1 | 3.1.3-amzn-3 | 
| Hadoop | 3.3.3-amzn-3.1 | 3.3.3-amzn-3 | 3.3.3-amzn-2.1 | 3.3.3-amzn-2 | 
| Hive | 3.1.3-amzn-4.1 | 3.1.3-amzn-4 | 3.1.3-amzn-3.1 | 3.1.3-amzn-3 | 
| Hudi | 0.13.0-amzn-0 | 0.13.0-amzn-0 | 0.12.2-amzn-0 | 0.12.2-amzn-0 | 
| Hue | 4.11.0 | 4.11.0 | 4.10.0 | 4.10.0 | 
| Iceberg | 1.2.0-amzn-0 | 1.2.0-amzn-0 | 1.1.0-amzn-0 | 1.1.0-amzn-0 | 
| JupyterEnterpriseGateway | 2.6.0 | 2.6.0 | 2.6.0 | 2.6.0 | 
| JupyterHub | 1.4.1 | 1.4.1 | 1.5.0 | 1.5.0 | 
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 
| MXNet | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 
| Phoenix | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.279-amzn-0 | 0.279-amzn-0 | 0.278.1-amzn-0 | 0.278.1-amzn-0 | 
| Spark | 3.3.2-amzn-0.1 | 3.3.2-amzn-0 | 3.3.1-amzn-0.1 | 3.3.1-amzn-0 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.11.0 | 2.11.0 | 2.11.0 | 2.11.0 | 
| Tez | 0.10.2-amzn-2.1 | 0.10.2-amzn-2 | 0.10.2-amzn-1.1 | 0.10.2-amzn-1 | 
| Trino (PrestoSQL) | 410-amzn-0 | 410-amzn-0 | 403-amzn-0 | 403-amzn-0 | 
| Zeppelin | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 
| ZooKeeper | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 

## Notas da versão 6.11.1
<a name="emr-6111-relnotes"></a>

As notas da versão a seguir incluem informações para a versão 6.11.1 do Amazon EMR. As alterações são referentes à versão 6.11.0. Para obter informações sobre o cronograma da versão, consulte o [Log de alterações 6.11.1](#6111-changelog).

**Alterações, melhorias e problemas resolvidos**
+  *A partir do Spark 3.3.1 (com suporte nas versões 6.10 e posteriores do EMR), todos os executores em um host de descomissionamento são configurados para um novo `ExecutorState`, chamado de estado DECOMMISSIONING*. Os executores que estão sendo desativados não podem ser usados pelo Yarn para alocar tarefas e, portanto, ele solicitará novos executores, se necessário, para as tarefas que estão sendo executadas. Portanto, se você desativar o Spark DRA enquanto estiver usando o EMR Managed Scaling, o EMR Auto Scaling ou qualquer mecanismo de ajuste de escala personalizado em clusters EMR-EC2, o Yarn poderá solicitar o número máximo permitido de executores para cada trabalho. Para evitar esse problema, deixe a propriedade `spark.dynamicAllocation.enabled` definida como `TRUE` (que é o padrão) ao usar a combinação de recursos acima. Além disso, você também pode definir restrições mínimas e máximas para executores, definindo valores para as propriedades `spark.dynamicAllocation.maxExecutors` e `spark.dynamicAllocation.minExecutors` para seus trabalhos Spark, a fim de restringir o número de executores alocados durante a execução do trabalho. 
+ Devido à contenção de bloqueio, um nó pode entrar em um deadlock se for adicionado ou removido ao mesmo tempo em que tenta ser desativado. Como resultado, o Hadoop Resource Manager (YARN) deixa de responder e afeta todos os contêineres de entrada e em execução no momento.
+ Esta versão inclui uma alteração que permite que clusters de alta disponibilidade se recuperem de um estado de falha após a reinicialização.
+ Esta versão inclui correções de segurança para Hue e. HBase
+ Esta versão corrige um problema em que clusters que estão executando workloads no Spark com o Amazon EMR podem receber silenciosamente resultados incorretos com `contains`, `startsWith`, `endsWith` e `like`. Esse problema ocorre quando você usa as expressões em campos particionados que têm metadados no Hive3 Metastore Server (HMS) no Amazon EMR.
+ Esta versão corrige um problema com controle de utilização no lado do Glue quando não há funções definidas pelo usuário (UDF).
+ Esta versão corrige um problema que exclui logs de contêineres pelo serviço de agregação de logs de nó antes que o pusher de logs possa enviá-los para o S3 em caso de desativação do YARN.
+ Esta versão corrige um problema com as métricas do FairShare Scheduler quando o Node Label está habilitado para o Hadoop.
+ Esta versão corrige um problema que afetou a performance do Spark quando você definiu um valor de `true` padrão para a configuração `spark.yarn.heterogeneousExecutors.enabled` no `spark-defaults.conf`.
+ Esta versão corrige um problema com a falha do Reduce Task em ler dados embaralhados. O problema causou falhas na consulta do Hive com um erro de memória corrompida.
+ Esta versão adiciona um mecanismo de nova tentativa ao fluxo de trabalho de escalabilidade de clusters para clusters do EMR que executam o Presto ou o Trino. Essa melhoria reduz o risco de que o redimensionamento do cluster fique paralisado indefinidamente devido a uma única falha na operação de redimensionamento. Ela também aprimora a utilização dos clusters, porque seu cluster aumenta e reduz a escala verticalmente com mais rapidez.
+ Esta versão melhora a lógica de redução da escala verticalmente do cluster para que o cluster não tente reduzir a escala verticalmente dos nós centrais abaixo da configuração do fator de replicação do HDFS para o cluster. Isso se alinha aos seus requisitos de redundância de dados e reduz a probabilidade de uma operação de escalabilidade paralisar.
+ O daemon de gerenciamento de logs foi atualizado para identificar todos os logs que estão em uso ativo com identificadores de arquivos abertos no armazenamento da instância local e nos processos associados. Essa atualização garante que o Amazon EMR exclua adequadamente os arquivos e recupere o espaço de armazenamento depois que os logs são arquivados no Amazon S3.
+ Esta versão inclui um aprimoramento do daemon de gerenciamento de logs que exclui diretórios de etapas vazios e não utilizados no sistema de arquivos de cluster local. Um número excessivamente grande de diretórios vazios pode degradar a performance dos daemons do Amazon EMR e resultar na utilização excessiva do disco.
+ Quando você inicia um cluster com a *versão de patch mais recente* do Amazon EMR 5.36 ou superior, 6.6 ou superior ou 7.0 ou superior, o Amazon EMR usa a versão mais recente do Amazon Linux 2023 ou do Amazon Linux 2 para a AMI padrão do Amazon EMR. Para obter mais informações, consulte [Como usar a AMI padrão do Amazon Linux para Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html).    
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/emr/latest/ReleaseGuide/emr-6111-release.html)

## Versões de componente 6.11.1
<a name="emr-6111-components"></a>

Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.

Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.


| Componente | Versão | Description | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.2 | SDK do Amazon SageMaker Spark | 
| delta | 2.2.0 | O Delta Lake é um formato de tabela aberto para grandes conjuntos de dados analíticos | 
| delta-standalone-connectors | 0.6.0 | Os conectores do Delta oferecem runtimes diferentes para integrar o Delta Lake a mecanismos, como Flink, Hive e Presto. | 
| emr-ddb | 5.1.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. | 
| emr-goodies | 3.4.0 | Bibliotecas convenientes para o ecossistema do Hadoop. | 
| emr-kinesis | 3.8.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. | 
| emr-notebook-env | 1.7.0 | Ambiente Conda para bloco de anotações do emr, que inclui o jupyter enterprise gateway | 
| emr-s3-dist-cp | 2.25.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. | 
| emr-s3-select | 2.4.0 | EMR S3Select Connector | 
| emr-wal-cli | 1.1.0 | Cli usada para lista/exclusão de emrwal. | 
| emrfs | 2.56.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. | 
| flink-client | 1.16.0 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. | 
| flink-jobmanager-config | 1.16.0 | Gerenciando recursos nos nós do EMR para o Apache Flink. JobManager | 
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. | 
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. | 
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. | 
| hadoop-client | 3.3.3-amzn-3.1 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. | 
| hadoop-hdfs-datanode | 3.3.3-amzn-3.1 | O serviço de nível de nó do HDFS para armazenamento de blocos. | 
| hadoop-hdfs-library | 3.3.3-amzn-3.1 | O cliente de linha de comando e biblioteca do HDFS | 
| hadoop-hdfs-namenode | 3.3.3-amzn-3.1 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. | 
| hadoop-hdfs-journalnode | 3.3.3-amzn-3.1 | O serviço do HDFS para gerenciar o lançamento de arquivos do Hadoop em clusters de HA. | 
| hadoop-httpfs-server | 3.3.3-amzn-3.1 | O endpoint de HTTP para as operações do HDFS. | 
| hadoop-kms-server | 3.3.3-amzn-3.1 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider  | 
| hadoop-mapred | 3.3.3-amzn-3.1 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. | 
| hadoop-yarn-nodemanager | 3.3.3-amzn-3.1 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. | 
| hadoop-yarn-resourcemanager | 3.3.3-amzn-3.1 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. | 
| hadoop-yarn-timeline-server | 3.3.3-amzn-3.1 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. | 
| hbase-hmaster | 2.4.15-amzn-1.1 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. | 
| hbase-region-server | 2.4.15-amzn-1.1 | Serviço para atender uma ou mais HBase regiões. | 
| hbase-client | 2.4.15-amzn-1.1 | HBase cliente de linha de comando. | 
| hbase-rest-server | 2.4.15-amzn-1.1 | Serviço que fornece um endpoint RESTful HTTP para HBase. | 
| hbase-thrift-server | 2.4.15-amzn-1.1 | Serviço que fornece um endpoint Thrift para. HBase | 
| hbase-operator-tools | 2.4.15-amzn-1.1 | Ferramenta de reparo para HBase clusters Apache. | 
| hcatalog-client | 3.1.3-amzn-4.1 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. | 
| hcatalog-server | 3.1.3-amzn-4.1 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. | 
| hcatalog-webhcat-server | 3.1.3-amzn-4.1 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. | 
| hive-client | 3.1.3-amzn-4.1 | O cliente da linha de comando do Hive. | 
| hive-hbase | 3.1.3-amzn-4.1 | Cliente do Hive-hbase. | 
| hive-metastore-server | 3.1.3-amzn-4.1 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. | 
| hive-server2 | 3.1.3-amzn-4.1 | O serviço que aceita as consultas do Hive como solicitações da web. | 
| hudi | 0.13.0-amzn-0 | Estrutura de processamento incremental para alimentar o pipeline de dados com baixa latência e alta eficiência. | 
| hudi-presto | 0.13.0-amzn-0 | Biblioteca de pacotes para executar o Presto com o Hudi. | 
| hudi-trino | 0.13.0-amzn-0 | Biblioteca de pacotes para execução do Presto com o Hudi. | 
| hudi-spark | 0.13.0-amzn-0 | Biblioteca de pacotes para executar o Spark com o Hudi. | 
| hue-server | 4.11.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop | 
| iceberg | 1.2.0-amzn-0 | Apache Iceberg é um formato de tabela aberta para conjuntos de dados analíticos imensos | 
| jupyterhub | 1.4.1 | Servidor de vários usuários para blocos de anotações Jupyter | 
| livy-server | 0.7.1-incubating | Interface REST para interagir com o Apache Spark | 
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP | 
| mxnet | 1.9.1 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. | 
| mariadb-server | 5.5.68\$1 | Servidor de banco de dados MariaDB. | 
| nvidia-cuda | 11.8.0 | Drivers NVIDIA e toolkit CUDA | 
| oozie-client | 5.2.1 | O cliente da linha de comando do Oozie. | 
| oozie-server | 5.2.1 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. | 
| opencv | 4.5.0 | Biblioteca de Visão Computacional de Código Aberto. | 
| phoenix-library | 5.1.2 | As bibliotecas do phoenix para servidor e cliente | 
| phoenix-connectors | 5.1.2 | Conectores do Apache Phoenix para Spark-3 | 
| phoenix-query-server | 6.0.0 | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica  | 
| presto-coordinator | 0.279-amzn-0 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. | 
| presto-worker | 0.279-amzn-0 | O serviço que executa partes de uma consulta. | 
| presto-client | 0.279-amzn-0 | Cliente de linha de comando do Presto instalado em mestres de espera de um cluster de alta disponibilidade em que o servidor do Presto não é iniciado. | 
| trino-coordinator | 410-amzn-0 | Serviço que aceita consultas e gerencia a execução de consultas entre trino-workers. | 
| trino-worker | 410-amzn-0 | O serviço que executa partes de uma consulta. | 
| trino-client | 410-amzn-0 | Cliente de linha de comando do Trino instalado em mestres de espera de um cluster de alta disponibilidade (HA) em que o servidor do Trino não é iniciado. | 
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. | 
| r | 4.0.2 | O projeto R para computação estatística | 
| ranger-kms-server | 2.0.0 | Sistema de gerenciamento de chaves Apache Ranger | 
| spark-client | 3.3.2-amzn-0.1 | Os clientes da linha de comando do Spark. | 
| spark-history-server | 3.3.2-amzn-0.1 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. | 
| spark-on-yarn | 3.3.2-amzn-0.1 | O mecanismo de execução em memória para o YARN. | 
| spark-yarn-slave | 3.3.2-amzn-0.1 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. | 
| spark-rapids | 23.02.0-amzn-0 | Plugin Nvidia Spark RAPIDS que acelera o Apache Spark com o. GPUs | 
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. | 
| tensorflow | 2.11.0 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. | 
| tez-on-yarn | 0.10.2-amzn-2.1 | O aplicativo e as bibliotecas do YARN para Tez. | 
| tez-on-worker | 0.10.2-amzn-2.1 | A aplicação e as bibliotecas do YARN nós de processamento. | 
| webserver | 2.4.41\$1 | O servidor Apache HTTP. | 
| zeppelin-server | 0.10.1 | O notebook baseado na web que permite um data analytics interativo. | 
| zookeeper-server | 3.5.10 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. | 
| zookeeper-client | 3.5.10 | ZooKeeper cliente de linha de comando. | 

## Classificações de configuração 6.11.1
<a name="emr-6111-class"></a>

As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).

Ocorrem ações de reconfiguração quando você especifica uma configuração para grupos de instâncias em um cluster em execução. O Amazon EMR só inicia ações de reconfiguração para as classificações que você modifica. Para obter mais informações, consulte [Reconfigurar um grupo de instâncias de um cluster em execução](emr-configure-apps-running-cluster.md).


**Classificações do emr-6.11.1**  

| Classificações | Description | Ações de reconfiguração | 
| --- | --- | --- | 
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. | Restarts the ResourceManager service. | 
| container-executor | Alterar os valores no arquivo container-executor.cfg do YARN do Hadoop. | Not available. | 
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. | Not available. | 
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | Alterar as configurações relacionadas ao docker. | Not available. | 
| emrfs-site | Alterar as configurações do EMRFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | Alterar as configurações do flink-conf.yaml. | Restarts Flink history server. | 
| flink-log4j | Alterar as configurações de log4j.properties no Flink. | Restarts Flink history server. | 
| flink-log4j-session | Altere as configurações do Flink log4j-session.properties para a sessão. Kubernetes/Yarn  | Restarts Flink history server. | 
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. | Restarts Flink history server. | 
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop | Not available. | 
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop | Not available. | 
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | Mude os valores no HBase ambiente. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. | Not available. | 
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. | This classification should not be reconfigured. | 
| hdfs-env | Alterar os valores no ambiente do HDFS. | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | Mude os valores no HCatalog ambiente. | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. | Restarts Hive WebHCat server. | 
| hive | As configurações administradas pelo Amazon EMR para o Apache Hive. | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. | Not available. | 
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. | Not available. | 
| hive-env | Alterar os valores no ambiente do Hive. | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. | Not available. | 
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. | Not available. | 
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. | Not available. | 
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. | Not available. | 
| hue-ini | Alterar os valores no arquivo ini do Hue | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | Alterar os valores no ambiente do HTTPFS. | Restarts Hadoop Httpfs service. | 
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. | Not available. | 
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. | Not available. | 
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | Altere os valores no ambiente do Hudi. | Not available. | 
| hudi-defaults | Alterar os valores no arquivo hudi-defaults.conf do Hudi. | Not available. | 
| iceberg-defaults | Alterar os valores no arquivo iceberg-defaults.conf do Iceberg. | Not available. | 
| delta-defaults | Alterar os valores no arquivo delta-defaults.conf do Delta. | Not available. | 
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. | Not available. | 
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. | Not available. | 
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. | Not available. | 
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. | Not available. | 
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. | Restarts Livy Server. | 
| livy-env | Alterar os valores no ambiente do Livy. | Restarts Livy Server. | 
| livy-log4j2 | Alterar as configurações de log4j2.properties do Livy. | Restarts Livy Server. | 
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | Alterar os valores no ambiente do Oozie. | Restarts Oozie. | 
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. | Restarts Oozie. | 
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. | Restarts Oozie. | 
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. | Not available. | 
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. | Not available. | 
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. | Not available. | 
| pig-env | Alterar os valores no ambiente do Pig. | Not available. | 
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. | Restarts Oozie. | 
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. | Not available. | 
| presto-log | Alterar os valores no arquivo log.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-config | Alterar os valores no arquivo config.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. | Not available. | 
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-node | Altere os valores no arquivo node.properties do Presto. | Not available. | 
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. | Not available. | 
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. | Not available. | 
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. | Not available. | 
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. | Not available. | 
| presto-connector-lakeformation | Alterar os valores no arquivo lakeformation.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. | Not available. | 
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. | Not available. | 
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. | Not available. | 
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. | Not available. | 
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. | Not available. | 
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. | Not available. | 
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. | Not available. | 
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. | Not available. | 
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. | Not available. | 
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. | Not available. | 
| trino-log | Alterar os valores no arquivo log.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-config | Alterar os valores no arquivo config.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-password-authenticator | Alterar os valores no arquivo password-authenticator.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-env | Alterar os valores no arquivo trino-env.sh do Trino. | Restarts Trino-Server (for Trino) | 
| trino-node | Alterar os valores no arquivo node.properties do Trino. | Not available. | 
| trino-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Trino. | Not available. | 
| trino-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Trino. | Not available. | 
| trino-connector-delta | Alterar os valores no arquivo delta.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-connector-hive | Alterar os valores no arquivo hive.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-exchange-manager | Alterar os valores no arquivo exchange-manager.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-connector-iceberg | Alterar os valores no arquivo iceberg.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-connector-hudi | Alterar os valores no arquivo hudi.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-connector-jmx | Alterar os valores no arquivo jmx.properties do Trino. | Not available. | 
| trino-connector-kafka | Alterar os valores no arquivo kafka.properties do Trino. | Not available. | 
| trino-connector-localfile | Alterar os valores no arquivo localfile.properties do Trino. | Not available. | 
| trino-connector-memory | Alterar os valores no arquivo memory.properties do Trino. | Not available. | 
| trino-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Trino. | Not available. | 
| trino-connector-mysql | Alterar os valores no arquivo mysql.properties do Trino. | Not available. | 
| trino-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Trino. | Not available. | 
| trino-connector-raptor | Alterar os valores no arquivo raptor.properties do Trino. | Not available. | 
| trino-connector-redis | Alterar os valores no arquivo redis.properties do Trino. | Not available. | 
| trino-connector-redshift | Alterar os valores no arquivo redshift.properties do Trino. | Not available. | 
| trino-connector-tpch | Alterar os valores no arquivo tpch.properties do Trino. | Not available. | 
| trino-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Trino. | Not available. | 
| ranger-kms-dbks-site | Altere os valores no arquivo dbks-site.xml do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-site | Altere os valores no ranger-kms-site arquivo.xml do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-env | Altere os valores no ambiente do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-logback | Alterar os valores no arquivo kms-logback.xml do Ranger KMS. | Not available. | 
| ranger-kms-db-ca | Altere os valores do arquivo CA no S3 para conexão SSL do MySQL com o Ranger KMS. | Not available. | 
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. | This property modifies spark-defaults. See actions there. | 
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-env | Alterar os valores no ambiente do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. | Not available. | 
| spark-log4j2 | Alterar os valores no arquivo log4j2.properties do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | Alterar os valores no ambiente do Sqoop. | Not available. | 
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. | Not available. | 
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. | Not available. | 
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. | Restart Oozie and HiveServer2. | 
| yarn-env | Alterar os valores no ambiente do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. | Restarts Zeppelin. | 
| zeppelin-site | Alterar as definições da configuração em zeppelin-site.xml. | Restarts Zeppelin. | 
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. | Restarts Zookeeper server. | 
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. | Restarts Zookeeper server. | 

## Log de alterações 6.11.1
<a name="6111-changelog"></a>


**Log de alterações da versão 6.11.1 e das notas da versão**  

| Data | Event | Description | 
| --- | --- | --- | 
| 2023-08-30 | Atualizar notas da versão | Adicionadas várias correções relacionadas ao ambiente de gerenciamento às notas da versão | 
| 2023-08-21 | Publicação de documentos | Notas da versão 6.11.1 do Amazon EMR publicadas pela primeira vez | 
| 2023-08-16 | Implantação concluída | Amazon EMR 6.11.1 totalmente implantado em todas as [regiões compatíveis](https://aws.amazon.com/about-aws/global-infrastructure/regional-product-services/) | 
| 2023-08-04 | Lançamento inicial | A versão 6.11.1 do Amazon EMR foi implantada pela primeira vez em regiões comerciais limitadas | 

# Versão 6.11.0 do Amazon EMR
<a name="emr-6110-release"></a>

## Versões da aplicação 6.11.0
<a name="emr-6110-app-versions"></a>

Esta versão inclui as seguintes aplicações: [https://delta.io/](https://delta.io/), [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://iceberg.apache.org/](https://iceberg.apache.org/), [https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://trino.io/](https://trino.io/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).

A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).

Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)


**Informações da versão da aplicação**  

|  | emr-6.11.0 | emr-6.10.1 | emr-6.10.0 | emr-6.9.1 | 
| --- | --- | --- | --- | --- | 
| AWS SDK for Java | 1.12.446 | 1.12.397 | 1.12.397 | 1.12.170 | 
| Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 
| Scala | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta | 2.2.0 | 2.2.0 | 2.2.0 | 2.1.0 | 
| Flink | 1.16.0 | 1.16.0 | 1.16.0 | 1.15.2 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.4.15-amzn-1 | 2.4.15-amzn-0.1 | 2.4.15-amzn-0 | 2.4.13-amzn-0.1 | 
| HCatalog | 3.1.3-amzn-4 | 3.1.3-amzn-3.1 | 3.1.3-amzn-3 | 3.1.3-amzn-2.1 | 
| Hadoop | 3.3.3-amzn-3 | 3.3.3-amzn-2.1 | 3.3.3-amzn-2 | 3.3.3-amzn-1.1 | 
| Hive | 3.1.3-amzn-4 | 3.1.3-amzn-3.1 | 3.1.3-amzn-3 | 3.1.3-amzn-2.1 | 
| Hudi | 0.13.0-amzn-0 | 0.12.2-amzn-0 | 0.12.2-amzn-0 | 0.12.1-amzn-0 | 
| Hue | 4.11.0 | 4.10.0 | 4.10.0 | 4.10.0 | 
| Iceberg | 1.2.0-amzn-0 | 1.1.0-amzn-0 | 1.1.0-amzn-0 | 0.14.1-amzn-0 | 
| JupyterEnterpriseGateway | 2.6.0 | 2.6.0 | 2.6.0 | 2.6.0 | 
| JupyterHub | 1.4.1 | 1.5.0 | 1.5.0 | 1.4.1 | 
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 
| MXNet | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 
| Phoenix | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.279-amzn-0 | 0.278.1-amzn-0 | 0.278.1-amzn-0 | 0.276-amzn-0 | 
| Spark | 3.3.2-amzn-0 | 3.3.1-amzn-0.1 | 3.3.1-amzn-0 | 3.3.0-amzn-1.1 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.11.0 | 2.11.0 | 2.11.0 | 2.10.0 | 
| Tez | 0.10.2-amzn-2 | 0.10.2-amzn-1.1 | 0.10.2-amzn-1 | 0.10.2-amzn-0.1 | 
| Trino (PrestoSQL) | 410-amzn-0 | 403-amzn-0 | 403-amzn-0 | 398-amzn-0 | 
| Zeppelin | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 
| ZooKeeper | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 

## Notas da versão 6.11.0
<a name="emr-6110-relnotes"></a>

As notas da versão a seguir incluem informações para a versão 6.11.0 do Amazon EMR. As alterações são referentes à versão 6.10.0. Para obter informações sobre o cronograma da versão, consulte o [log de alterações](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-6110-release.html#6110-changelog).

**Novos recursos**
+ O Amazon EMR 6.11.0 é compatível com Apache Spark 3.3.2-amzn-0, Apache Spark RAPIDS 23.02.0-amzn-0, CUDA 11.8.0, Apache Hudi 0.13.0-amzn-0, Apache Iceberg 1.2.0-amzn-0, Trino 410-amzn-0 e PrestoDB 0.279-amzn-0.

**Alterações, melhorias e problemas resolvidos**
+  *A partir do Spark 3.3.1 (com suporte nas versões 6.10 e posteriores do EMR), todos os executores em um host de descomissionamento são configurados para um novo `ExecutorState`, chamado de estado DECOMMISSIONING*. Os executores que estão sendo desativados não podem ser usados pelo Yarn para alocar tarefas e, portanto, ele solicitará novos executores, se necessário, para as tarefas que estão sendo executadas. Portanto, se você desativar o Spark DRA enquanto estiver usando o EMR Managed Scaling, o EMR Auto Scaling ou qualquer mecanismo de ajuste de escala personalizado em clusters EMR-EC2, o Yarn poderá solicitar o número máximo permitido de executores para cada trabalho. Para evitar esse problema, deixe a propriedade `spark.dynamicAllocation.enabled` definida como `TRUE` (que é o padrão) ao usar a combinação de recursos acima. Além disso, você também pode definir restrições mínimas e máximas para executores, definindo valores para as propriedades `spark.dynamicAllocation.maxExecutors` e `spark.dynamicAllocation.minExecutors` para seus trabalhos Spark, a fim de restringir o número de executores alocados durante a execução do trabalho. 
+ Com o Amazon EMR 6.11.0, o conector do DynamoDB foi atualizado para a versão 5.0.0. A versão 5.0.0 usa AWS SDK for Java 2.x. As versões anteriores usavam AWS SDK para Java 1.x. Como resultado dessa atualização, recomendamos firmemente que você teste seu código antes de usar o conector do DynamoDB com o Amazon EMR 6.11.
+ Quando o conector do DynamoDB para Amazon EMR 6.11.0 chama o serviço do DynamoDB, ele usa o valor da região que você fornece para a propriedade `dynamodb.endpoint`. Recomendamos que você também configure `dynamodb.region` quando usar `dynamodb.endpoint` e que ambas as propriedades tenham como destino a mesma Região da AWS. Se você usar `dynamodb.endpoint` e não configurar`dynamodb.region`, o conector do DynamoDB para Amazon EMR 6.11.0 retornará uma exceção de região inválida e tentará reconciliar suas informações do serviço de metadados de instância Região da AWS do Amazon EC2 (IMDS). Se o conector não conseguir recuperar a região do IMDS, o padrão será Leste dos EUA (Norte da Virgínia) (`us-east-1`). O erro a seguir é um exemplo da exceção de região inválida que você pode obter se não configurar adequadamente a `dynamodb.region` propriedade: `error software.amazon.awssdk.services.dynamodb.model.DynamoDbException: Credential should be scoped to a valid region.` Para obter mais informações sobre as classes afetadas pela AWS SDK para Java atualização para 2.x, consulte o commit [Upgrade AWS SDK para Java from 1.x to 2.x (\$1175)](https://github.com/awslabs/emr-dynamodb-connector/commit/1dec9d1972d3673c3fae6c6ea51f19f295147ccf) no GitHub repositório do conector Amazon EMR - DynamoDB.
+ Esta versão corrige um problema em que os dados da coluna se tornam `NULL` quando você usa o Delta Lake para armazenar dados da tabela Delta no Amazon S3 após a operação de renomeação da coluna. Para obter mais informações sobre esse atributo experimental no Delta Lake, consulte [Operação de renomeação de coluna](https://docs.delta.io/latest/delta-batch.html#rename-columns) no Guia do usuário do Delta Lake.
+ A versão 6.11.0 corrige um problema que pode ocorrer quando você cria um nó de borda ao replicar um dos nós primários de um cluster com vários nós primários. O nó de borda replicado pode causar atrasos nas operações de redução da escala verticalmente ou resultar em alta utilização de memória nos nós primários. Para obter mais informações sobre como criar um nó de borda para se comunicar com seu cluster EMR, consulte [Edge Node Creator](https://github.com/aws-samples/aws-emr-utilities/tree/main/utilities/emr-edge-node-creator) no `aws-samples` repositório em. GitHub
+ A versão 6.11.0 melhora o processo de automação que o Amazon EMR usa para remontar volumes do Amazon EBS em uma instância após uma reinicialização.
+ A versão 6.11.0 corrige um problema que resultou em lacunas intermitentes nas métricas do Hadoop que o Amazon EMR publica na Amazon. CloudWatch
+ A versão 6.11.0 corrige um problema com clusters do EMR em que uma atualização no arquivo de configuração do YARN que contém a lista de exclusão de nós do cluster é interrompida devido à utilização excessiva do disco. A atualização incompleta impede futuras operações de redução da escala verticalmente do cluster. Esta versão garante que o cluster permaneça íntegro e que as operações de escalabilidade funcionem conforme esperado.
+ O tamanho padrão do volume raiz aumentou para 15 GB nas versões 6.10.0 e superiores do Amazon EMR. O tamanho padrão do volume raiz das versões anteriores é de 10 GB.
+ O Hadoop 3.3.3 introduziu uma alteração no YARN ([YARN-9608](https://issues.apache.org/jira/browse/YARN-9608)) que mantém os nós em que os contêineres eram executados em um estado de desativação até que a aplicação seja concluída. Essa alteração garante que dados locais, como dados embaralhados, não sejam perdidos e que você não precise executar o trabalho novamente. Essa abordagem também pode levar à subutilização de recursos em clusters com ou sem o ajuste de escala gerenciado habilitado.

  Com as versões 6.11.0 e superiores do Amazon EMR, além das versões 6.8.1, 6.9.1 e 6.10.1, o valor de `yarn.resourcemanager.decommissioning-nodes-watcher.wait-for-applications` é definido como `false` em `yarn-site.xml` para resolver esse problema.

  Embora a correção resolva os problemas introduzidos pelo YARN-9608, ela pode fazer com que os trabalhos do Hive falhem devido à perda de dados embaralhados em clusters com ajuste de escala gerenciado habilitado. Reduzimos esse risco nesta versão também ao configurar `yarn.resourcemanager.decommissioning-nodes-watcher.wait-for-shuffle-data` para workloads do Hive. Essa configuração só está disponível com as versões 6.11.0 e superiores do Amazon EMR.
+ Quando você inicia um cluster com a *versão de patch mais recente* do Amazon EMR 5.36 ou superior, 6.6 ou superior ou 7.0 ou superior, o Amazon EMR usa a versão mais recente do Amazon Linux 2023 ou do Amazon Linux 2 para a AMI padrão do Amazon EMR. Para obter mais informações, consulte [Como usar a AMI padrão do Amazon Linux para Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html).
**nota**  
Essa versão não recebe mais atualizações automáticas da AMI, pois foi substituída por uma ou mais versões de patch. A versão de patch é indicada pelo número após o segundo ponto decimal (`6.8.1`). Para ver se você está usando a versão de patch mais recente, verifique as versões disponíveis no [https://docs.aws.amazon.com/emr/latest/ReleaseGuide](https://docs.aws.amazon.com/emr/latest/ReleaseGuide) ou verifique o menu suspenso de **versões do Amazon EMR** quando criar um cluster no console ou use a ação de API [https://docs.aws.amazon.com/emr/latest/APIReference/API_ListReleaseLabels.html](https://docs.aws.amazon.com/emr/latest/APIReference/API_ListReleaseLabels.html) ou da CLI [https://docs.aws.amazon.com/cli/latest/reference/emr/list-release-labels.html](https://docs.aws.amazon.com/cli/latest/reference/emr/list-release-labels.html). Para obter atualizações sobre novas versões, assine o feed RSS na página [Novidades](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html).    
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/emr/latest/ReleaseGuide/emr-6110-release.html)

## Versões de componente 6.11.0
<a name="emr-6110-components"></a>

Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.

Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.


| Componente | Versão | Description | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.2 | SDK do Amazon SageMaker Spark | 
| delta | 2.2.0 | O Delta Lake é um formato de tabela aberto para grandes conjuntos de dados analíticos | 
| delta-standalone-connectors | 0.6.0 | Os conectores do Delta oferecem runtimes diferentes para integrar o Delta Lake a mecanismos, como Flink, Hive e Presto. | 
| emr-ddb | 5.1.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. | 
| emr-goodies | 3.4.0 | Bibliotecas convenientes para o ecossistema do Hadoop. | 
| emr-kinesis | 3.8.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. | 
| emr-notebook-env | 1.7.0 | Ambiente Conda para bloco de anotações do emr, que inclui o jupyter enterprise gateway | 
| emr-s3-dist-cp | 2.25.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. | 
| emr-s3-select | 2.4.0 | EMR S3Select Connector | 
| emr-wal-cli | 1.1.0 | Cli usada para lista/exclusão de emrwal. | 
| emrfs | 2.56.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. | 
| flink-client | 1.16.0 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. | 
| flink-jobmanager-config | 1.16.0 | Gerenciando recursos nos nós do EMR para o Apache Flink. JobManager | 
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. | 
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. | 
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. | 
| hadoop-client | 3.3.3-amzn-3 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. | 
| hadoop-hdfs-datanode | 3.3.3-amzn-3 | O serviço de nível de nó do HDFS para armazenamento de blocos. | 
| hadoop-hdfs-library | 3.3.3-amzn-3 | O cliente de linha de comando e biblioteca do HDFS | 
| hadoop-hdfs-namenode | 3.3.3-amzn-3 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. | 
| hadoop-hdfs-journalnode | 3.3.3-amzn-3 | O serviço do HDFS para gerenciar o lançamento de arquivos do Hadoop em clusters de HA. | 
| hadoop-httpfs-server | 3.3.3-amzn-3 | O endpoint de HTTP para as operações do HDFS. | 
| hadoop-kms-server | 3.3.3-amzn-3 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider  | 
| hadoop-mapred | 3.3.3-amzn-3 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. | 
| hadoop-yarn-nodemanager | 3.3.3-amzn-3 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. | 
| hadoop-yarn-resourcemanager | 3.3.3-amzn-3 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. | 
| hadoop-yarn-timeline-server | 3.3.3-amzn-3 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. | 
| hbase-hmaster | 2.4.15-amzn-1 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. | 
| hbase-region-server | 2.4.15-amzn-1 | Serviço para atender uma ou mais HBase regiões. | 
| hbase-client | 2.4.15-amzn-1 | HBase cliente de linha de comando. | 
| hbase-rest-server | 2.4.15-amzn-1 | Serviço que fornece um endpoint RESTful HTTP para HBase. | 
| hbase-thrift-server | 2.4.15-amzn-1 | Serviço que fornece um endpoint Thrift para. HBase | 
| hbase-operator-tools | 2.4.15-amzn-1 | Ferramenta de reparo para HBase clusters Apache. | 
| hcatalog-client | 3.1.3-amzn-4 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. | 
| hcatalog-server | 3.1.3-amzn-4 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. | 
| hcatalog-webhcat-server | 3.1.3-amzn-4 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. | 
| hive-client | 3.1.3-amzn-4 | O cliente da linha de comando do Hive. | 
| hive-hbase | 3.1.3-amzn-4 | Cliente do Hive-hbase. | 
| hive-metastore-server | 3.1.3-amzn-4 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. | 
| hive-server2 | 3.1.3-amzn-4 | O serviço que aceita as consultas do Hive como solicitações da web. | 
| hudi | 0.13.0-amzn-0 | Estrutura de processamento incremental para alimentar o pipeline de dados com baixa latência e alta eficiência. | 
| hudi-presto | 0.13.0-amzn-0 | Biblioteca de pacotes para executar o Presto com o Hudi. | 
| hudi-trino | 0.13.0-amzn-0 | Biblioteca de pacotes para execução do Presto com o Hudi. | 
| hudi-spark | 0.13.0-amzn-0 | Biblioteca de pacotes para executar o Spark com o Hudi. | 
| hue-server | 4.11.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop | 
| iceberg | 1.2.0-amzn-0 | Apache Iceberg é um formato de tabela aberta para conjuntos de dados analíticos imensos | 
| jupyterhub | 1.4.1 | Servidor de vários usuários para blocos de anotações Jupyter | 
| livy-server | 0.7.1-incubating | Interface REST para interagir com o Apache Spark | 
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP | 
| mxnet | 1.9.1 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. | 
| mariadb-server | 5.5.68\$1 | Servidor de banco de dados MariaDB. | 
| nvidia-cuda | 11.8.0 | Drivers NVIDIA e toolkit CUDA | 
| oozie-client | 5.2.1 | O cliente da linha de comando do Oozie. | 
| oozie-server | 5.2.1 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. | 
| opencv | 4.5.0 | Biblioteca de Visão Computacional de Código Aberto. | 
| phoenix-library | 5.1.2 | As bibliotecas do phoenix para servidor e cliente | 
| phoenix-connectors | 5.1.2 | Conectores do Apache Phoenix para Spark-3 | 
| phoenix-query-server | 6.0.0 | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica  | 
| presto-coordinator | 0.279-amzn-0 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. | 
| presto-worker | 0.279-amzn-0 | O serviço que executa partes de uma consulta. | 
| presto-client | 0.279-amzn-0 | Cliente de linha de comando do Presto instalado em mestres de espera de um cluster de alta disponibilidade em que o servidor do Presto não é iniciado. | 
| trino-coordinator | 410-amzn-0 | Serviço que aceita consultas e gerencia a execução de consultas entre trino-workers. | 
| trino-worker | 410-amzn-0 | O serviço que executa partes de uma consulta. | 
| trino-client | 410-amzn-0 | Cliente de linha de comando do Trino instalado em mestres de espera de um cluster de alta disponibilidade (HA) em que o servidor do Trino não é iniciado. | 
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. | 
| r | 4.0.2 | O projeto R para computação estatística | 
| ranger-kms-server | 2.0.0 | Sistema de gerenciamento de chaves Apache Ranger | 
| spark-client | 3.3.2-amzn-0 | Os clientes da linha de comando do Spark. | 
| spark-history-server | 3.3.2-amzn-0 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. | 
| spark-on-yarn | 3.3.2-amzn-0 | O mecanismo de execução em memória para o YARN. | 
| spark-yarn-slave | 3.3.2-amzn-0 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. | 
| spark-rapids | 23.02.0-amzn-0 | Plugin Nvidia Spark RAPIDS que acelera o Apache Spark com o. GPUs | 
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. | 
| tensorflow | 2.11.0 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. | 
| tez-on-yarn | 0.10.2-amzn-2 | O aplicativo e as bibliotecas do YARN para Tez. | 
| tez-on-worker | 0.10.2-amzn-2 | A aplicação e as bibliotecas do YARN nós de processamento. | 
| webserver | 2.4.41\$1 | O servidor Apache HTTP. | 
| zeppelin-server | 0.10.1 | O notebook baseado na web que permite um data analytics interativo. | 
| zookeeper-server | 3.5.10 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. | 
| zookeeper-client | 3.5.10 | ZooKeeper cliente de linha de comando. | 

## Classificações de configuração 6.11.0
<a name="emr-6110-class"></a>

As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).

Ocorrem ações de reconfiguração quando você especifica uma configuração para grupos de instâncias em um cluster em execução. O Amazon EMR só inicia ações de reconfiguração para as classificações que você modifica. Para obter mais informações, consulte [Reconfigurar um grupo de instâncias de um cluster em execução](emr-configure-apps-running-cluster.md).


**Classificações do emr-6.11.0**  

| Classificações | Description | Ações de reconfiguração | 
| --- | --- | --- | 
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. | Restarts the ResourceManager service. | 
| container-executor | Alterar os valores no arquivo container-executor.cfg do YARN do Hadoop. | Not available. | 
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. | Not available. | 
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | Alterar as configurações relacionadas ao docker. | Not available. | 
| emrfs-site | Alterar as configurações do EMRFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | Alterar as configurações do flink-conf.yaml. | Restarts Flink history server. | 
| flink-log4j | Alterar as configurações de log4j.properties no Flink. | Restarts Flink history server. | 
| flink-log4j-session | Altere as configurações do Flink log4j-session.properties para a sessão. Kubernetes/Yarn  | Restarts Flink history server. | 
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. | Restarts Flink history server. | 
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop | Not available. | 
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop | Not available. | 
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | Mude os valores no HBase ambiente. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. | Not available. | 
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. | This classification should not be reconfigured. | 
| hdfs-env | Alterar os valores no ambiente do HDFS. | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | Mude os valores no HCatalog ambiente. | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. | Restarts Hive WebHCat server. | 
| hive | As configurações administradas pelo Amazon EMR para o Apache Hive. | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. | Not available. | 
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. | Not available. | 
| hive-env | Alterar os valores no ambiente do Hive. | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. | Not available. | 
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. | Not available. | 
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. | Not available. | 
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. | Not available. | 
| hue-ini | Alterar os valores no arquivo ini do Hue | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | Alterar os valores no ambiente do HTTPFS. | Restarts Hadoop Httpfs service. | 
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. | Not available. | 
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. | Not available. | 
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | Altere os valores no ambiente do Hudi. | Not available. | 
| hudi-defaults | Alterar os valores no arquivo hudi-defaults.conf do Hudi. | Not available. | 
| iceberg-defaults | Alterar os valores no arquivo iceberg-defaults.conf do Iceberg. | Not available. | 
| delta-defaults | Alterar os valores no arquivo delta-defaults.conf do Delta. | Not available. | 
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. | Not available. | 
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. | Not available. | 
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. | Not available. | 
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. | Not available. | 
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. | Restarts Livy Server. | 
| livy-env | Alterar os valores no ambiente do Livy. | Restarts Livy Server. | 
| livy-log4j2 | Alterar as configurações de log4j2.properties do Livy. | Restarts Livy Server. | 
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | Alterar os valores no ambiente do Oozie. | Restarts Oozie. | 
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. | Restarts Oozie. | 
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. | Restarts Oozie. | 
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. | Not available. | 
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. | Not available. | 
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. | Not available. | 
| pig-env | Alterar os valores no ambiente do Pig. | Not available. | 
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. | Restarts Oozie. | 
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. | Not available. | 
| presto-log | Alterar os valores no arquivo log.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-config | Alterar os valores no arquivo config.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. | Not available. | 
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-node | Altere os valores no arquivo node.properties do Presto. | Not available. | 
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. | Not available. | 
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. | Not available. | 
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. | Not available. | 
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. | Not available. | 
| presto-connector-lakeformation | Alterar os valores no arquivo lakeformation.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. | Not available. | 
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. | Not available. | 
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. | Not available. | 
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. | Not available. | 
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. | Not available. | 
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. | Not available. | 
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. | Not available. | 
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. | Not available. | 
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. | Not available. | 
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. | Not available. | 
| trino-log | Alterar os valores no arquivo log.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-config | Alterar os valores no arquivo config.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-password-authenticator | Alterar os valores no arquivo password-authenticator.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-env | Alterar os valores no arquivo trino-env.sh do Trino. | Restarts Trino-Server (for Trino) | 
| trino-node | Alterar os valores no arquivo node.properties do Trino. | Not available. | 
| trino-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Trino. | Not available. | 
| trino-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Trino. | Not available. | 
| trino-connector-delta | Alterar os valores no arquivo delta.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-connector-hive | Alterar os valores no arquivo hive.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-exchange-manager | Alterar os valores no arquivo exchange-manager.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-connector-iceberg | Alterar os valores no arquivo iceberg.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-connector-hudi | Alterar os valores no arquivo hudi.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-connector-jmx | Alterar os valores no arquivo jmx.properties do Trino. | Not available. | 
| trino-connector-kafka | Alterar os valores no arquivo kafka.properties do Trino. | Not available. | 
| trino-connector-localfile | Alterar os valores no arquivo localfile.properties do Trino. | Not available. | 
| trino-connector-memory | Alterar os valores no arquivo memory.properties do Trino. | Not available. | 
| trino-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Trino. | Not available. | 
| trino-connector-mysql | Alterar os valores no arquivo mysql.properties do Trino. | Not available. | 
| trino-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Trino. | Not available. | 
| trino-connector-raptor | Alterar os valores no arquivo raptor.properties do Trino. | Not available. | 
| trino-connector-redis | Alterar os valores no arquivo redis.properties do Trino. | Not available. | 
| trino-connector-redshift | Alterar os valores no arquivo redshift.properties do Trino. | Not available. | 
| trino-connector-tpch | Alterar os valores no arquivo tpch.properties do Trino. | Not available. | 
| trino-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Trino. | Not available. | 
| ranger-kms-dbks-site | Altere os valores no arquivo dbks-site.xml do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-site | Altere os valores no ranger-kms-site arquivo.xml do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-env | Altere os valores no ambiente do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-logback | Alterar os valores no arquivo kms-logback.xml do Ranger KMS. | Not available. | 
| ranger-kms-db-ca | Altere os valores do arquivo CA no S3 para conexão SSL do MySQL com o Ranger KMS. | Not available. | 
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. | This property modifies spark-defaults. See actions there. | 
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-env | Alterar os valores no ambiente do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. | Not available. | 
| spark-log4j2 | Alterar os valores no arquivo log4j2.properties do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | Alterar os valores no ambiente do Sqoop. | Not available. | 
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. | Not available. | 
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. | Not available. | 
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. | Restart Oozie and HiveServer2. | 
| yarn-env | Alterar os valores no ambiente do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. | Restarts Zeppelin. | 
| zeppelin-site | Alterar as definições da configuração em zeppelin-site.xml. | Restarts Zeppelin. | 
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. | Restarts Zookeeper server. | 
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. | Restarts Zookeeper server. | 

## Log de alterações 6.11.0
<a name="6110-changelog"></a>


**Log de alterações da versão 6.11.0 e das notas da versão**  

| Data | Event | Description | 
| --- | --- | --- | 
| 2023-08-21 | Atualizar | Problema corrigido introduzido com o Hadoop 3.3.3. | 
| 2023-07-26 | Atualizar | Novos rótulos de versão 2.0.20230612.0 e 2.0.20230628.0 do sistema operacional. | 
| 2023-06-09 | Implantação concluída | Amazon EMR 6.11.0 totalmente implantado em todas as [regiões compatíveis](https://aws.amazon.com/about-aws/global-infrastructure/regional-product-services/) | 
| 2023-06-09 | Publicação de documentos | Notas da versão 6.11.0 do Amazon EMR publicadas pela primeira vez | 
| 2023-06-08 | Lançamento inicial | A versão 6.11.0 do Amazon EMR foi implantada pela primeira vez em regiões comerciais iniciais | 

# Versão 6.10.1 do Amazon EMR
<a name="emr-6101-release"></a>

## Versões 6.10.1 da aplicação
<a name="emr-6101-app-versions"></a>

Esta versão inclui as seguintes aplicações: [https://delta.io/](https://delta.io/), [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://iceberg.apache.org/](https://iceberg.apache.org/), [https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://trino.io/](https://trino.io/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).

A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).

Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)


**Informações da versão da aplicação**  

|  | emr-6.10.1 | emr-6.10.0 | emr-6.9.1 | emr-6.9.0 | 
| --- | --- | --- | --- | --- | 
| AWS SDK for Java | 1.12.397 | 1.12.397 | 1.12.170 | 1.12.170 | 
| Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 
| Scala | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta | 2.2.0 | 2.2.0 | 2.1.0 | 2.1.0 | 
| Flink | 1.16.0 | 1.16.0 | 1.15.2 | 1.15.2 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.4.15-amzn-0.1 | 2.4.15-amzn-0 | 2.4.13-amzn-0.1 | 2.4.13-amzn-0 | 
| HCatalog | 3.1.3-amzn-3.1 | 3.1.3-amzn-3 | 3.1.3-amzn-2.1 | 3.1.3-amzn-2 | 
| Hadoop | 3.3.3-amzn-2.1 | 3.3.3-amzn-2 | 3.3.3-amzn-1.1 | 3.3.3-amzn-1 | 
| Hive | 3.1.3-amzn-3.1 | 3.1.3-amzn-3 | 3.1.3-amzn-2.1 | 3.1.3-amzn-2 | 
| Hudi | 0.12.2-amzn-0 | 0.12.2-amzn-0 | 0.12.1-amzn-0 | 0.12.1-amzn-0 | 
| Hue | 4.10.0 | 4.10.0 | 4.10.0 | 4.10.0 | 
| Iceberg | 1.1.0-amzn-0 | 1.1.0-amzn-0 | 0.14.1-amzn-0 | 0.14.1-amzn-0 | 
| JupyterEnterpriseGateway | 2.6.0 | 2.6.0 | 2.6.0 | 2.6.0 | 
| JupyterHub | 1.5.0 | 1.5.0 | 1.4.1 | 1.4.1 | 
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 
| MXNet | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 
| Phoenix | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.278.1-amzn-0 | 0.278.1-amzn-0 | 0.276-amzn-0 | 0.276-amzn-0 | 
| Spark | 3.3.1-amzn-0.1 | 3.3.1-amzn-0 | 3.3.0-amzn-1.1 | 3.3.0-amzn-1 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.11.0 | 2.11.0 | 2.10.0 | 2.10.0 | 
| Tez | 0.10.2-amzn-1.1 | 0.10.2-amzn-1 | 0.10.2-amzn-0.1 | 0.10.2-amzn-0 | 
| Trino (PrestoSQL) | 403-amzn-0 | 403-amzn-0 | 398-amzn-0 | 398-amzn-0 | 
| Zeppelin | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 
| ZooKeeper | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 

## Notas da versão 6.10.1
<a name="emr-6101-relnotes"></a>

As notas da versão a seguir incluem informações para a versão 6.10.1 do Amazon EMR. As alterações são referentes à versão 6.10.0. Para obter informações sobre o cronograma da versão, consulte o [Log de alterações 6.10.1](#6101-changelog).

**Problemas conhecidos**
+  *A partir do Spark 3.3.1 (com suporte nas versões 6.10 e posteriores do EMR), todos os executores em um host de descomissionamento são configurados para um novo `ExecutorState`, chamado de estado DECOMMISSIONING*. Os executores que estão sendo desativados não podem ser usados pelo Yarn para alocar tarefas e, portanto, ele solicitará novos executores, se necessário, para as tarefas que estão sendo executadas. Portanto, se você desativar o Spark DRA enquanto estiver usando o EMR Managed Scaling, o EMR Auto Scaling ou qualquer mecanismo de ajuste de escala personalizado em clusters EMR-EC2, o Yarn poderá solicitar o número máximo permitido de executores para cada trabalho. Para evitar esse problema, deixe a propriedade `spark.dynamicAllocation.enabled` definida como `TRUE` (que é o padrão) ao usar a combinação de recursos acima. Além disso, você também pode definir restrições mínimas e máximas para executores, definindo valores para as propriedades `spark.dynamicAllocation.maxExecutors` e `spark.dynamicAllocation.minExecutors` para seus trabalhos Spark, a fim de restringir o número de executores alocados durante a execução do trabalho. 

**Alterações, melhorias e problemas resolvidos**
+ Devido à contenção de bloqueio, um nó pode entrar em um deadlock se for adicionado ou removido ao mesmo tempo em que tenta ser desativado. Como resultado, o Hadoop Resource Manager (YARN) deixa de responder e afeta todos os contêineres de entrada e em execução no momento.
+ O Hadoop 3.3.3 introduziu uma alteração no YARN ([YARN-9608](https://issues.apache.org/jira/browse/YARN-9608)) que mantém os nós em que os contêineres eram executados em um estado de desativação até que a aplicação seja concluída. Essa alteração garante que dados locais, como dados embaralhados, não sejam perdidos e que você não precise executar o trabalho novamente. Essa abordagem também pode levar à subutilização de recursos em clusters com ou sem o ajuste de escala gerenciado habilitado.

  Com as versões 6.11.0 e superiores do Amazon EMR, além das versões 6.8.1, 6.9.1 e 6.10.1, o valor de `yarn.resourcemanager.decommissioning-nodes-watcher.wait-for-applications` é definido como `false` em `yarn-site.xml` para resolver esse problema.

  Embora a correção resolva os problemas introduzidos pelo YARN-9608, ela pode fazer com que os trabalhos do Hive falhem devido à perda de dados embaralhados em clusters com ajuste de escala gerenciado habilitado. Reduzimos esse risco nesta versão também ao configurar `yarn.resourcemanager.decommissioning-nodes-watcher.wait-for-shuffle-data` para workloads do Hive. Essa configuração só está disponível com as versões 6.11.0 e superiores do Amazon EMR.
+ O coletor de métricas não enviará métricas para o ambiente de gerenciamento após o failover do nó primário em clusters com a configuração de grupos de instâncias.
+ Esta versão inclui uma alteração que permite que clusters de alta disponibilidade se recuperem de um estado de falha após a reinicialização.
+ Esta versão inclui correções de segurança para Hue e. HBase
+ Esta versão corrige um problema em que clusters que estão executando workloads no Spark com o Amazon EMR podem receber silenciosamente resultados incorretos com `contains`, `startsWith`, `endsWith` e `like`. Esse problema ocorre quando você usa as expressões em campos particionados que têm metadados no Hive3 Metastore Server (HMS) no Amazon EMR.
+ Esta versão corrige um problema com controle de utilização no lado do Glue quando não há funções definidas pelo usuário (UDF).
+ Esta versão corrige um problema que exclui logs de contêineres pelo serviço de agregação de logs de nó antes que o pusher de logs possa enviá-los para o S3 em caso de desativação do YARN.
+ Esta versão corrige um problema com as métricas do FairShare Scheduler quando o Node Label está habilitado para o Hadoop.
+ Esta versão corrige um problema que afetou a performance do Spark quando você definiu um valor de `true` padrão para a configuração `spark.yarn.heterogeneousExecutors.enabled` no `spark-defaults.conf`.
+ Esta versão corrige um problema com a falha do Reduce Task em ler dados embaralhados. O problema causou falhas na consulta do Hive com um erro de memória corrompida.
+ Esta versão adiciona um mecanismo de nova tentativa ao fluxo de trabalho de escalabilidade de clusters para clusters do EMR que executam o Presto ou o Trino. Essa melhoria reduz o risco de que o redimensionamento do cluster fique paralisado indefinidamente devido a uma única falha na operação de redimensionamento. Ela também aprimora a utilização dos clusters, porque seu cluster aumenta e reduz a escala verticalmente com mais rapidez.
+ Esta versão melhora a lógica de redução da escala verticalmente do cluster para que o cluster não tente reduzir a escala verticalmente dos nós centrais abaixo da configuração do fator de replicação do HDFS para o cluster. Isso se alinha aos seus requisitos de redundância de dados e reduz a probabilidade de uma operação de escalabilidade paralisar.
+ O daemon de gerenciamento de logs foi atualizado para identificar todos os logs que estão em uso ativo com identificadores de arquivos abertos no armazenamento da instância local e nos processos associados. Essa atualização garante que o Amazon EMR exclua adequadamente os arquivos e recupere o espaço de armazenamento depois que os logs são arquivados no Amazon S3.
+ Esta versão inclui um aprimoramento do daemon de gerenciamento de logs que exclui diretórios de etapas vazios e não utilizados no sistema de arquivos de cluster local. Um número excessivamente grande de diretórios vazios pode degradar a performance dos daemons do Amazon EMR e resultar na utilização excessiva do disco.
+ Esta versão corrige um problema que pode ocorrer quando você cria um nó de borda ao replicar um dos nós primários de um cluster com vários nós primários. O nó de borda replicado pode causar atrasos nas operações de redução da escala verticalmente ou resultar em alta utilização de memória nos nós primários. Para obter mais informações sobre como criar um nó de borda para se comunicar com seu cluster EMR, consulte [Edge Node Creator](https://github.com/aws-samples/aws-emr-utilities/tree/main/utilities/emr-edge-node-creator) no `aws-samples` repositório em. GitHub
+ Esta versão melhora o processo de automação que o Amazon EMR usa para remontar volumes do Amazon EBS em uma instância após uma reinicialização.
+ Esta versão corrige um problema que resultou em lacunas intermitentes nas métricas do Hadoop que o Amazon EMR publica na Amazon. CloudWatch
+ Esta versão corrige um problema com clusters do EMR em que uma atualização no arquivo de configuração do YARN que contém a lista de exclusão de nós do cluster é interrompida devido à utilização excessiva do disco. A atualização incompleta impede futuras operações de redução da escala verticalmente do cluster. Esta versão garante que o cluster permaneça íntegro e que as operações de escalabilidade funcionem conforme esperado.
+ Quando você inicia um cluster com a *versão de patch mais recente* do Amazon EMR 5.36 ou superior, 6.6 ou superior ou 7.0 ou superior, o Amazon EMR usa a versão mais recente do Amazon Linux 2023 ou do Amazon Linux 2 para a AMI padrão do Amazon EMR. Para obter mais informações, consulte [Como usar a AMI padrão do Amazon Linux para Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html).    
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/emr/latest/ReleaseGuide/emr-6101-release.html)

## Versões de componente 6.10.1
<a name="emr-6101-components"></a>

Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.

Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.


| Componente | Versão | Description | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.2 | SDK do Amazon SageMaker Spark | 
| delta | 2.2.0 | O Delta Lake é um formato de tabela aberto para grandes conjuntos de dados analíticos | 
| emr-ddb | 4.16.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. | 
| emr-goodies | 3.3.0 | Bibliotecas convenientes para o ecossistema do Hadoop. | 
| emr-kinesis | 3.7.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. | 
| emr-notebook-env | 1.7.0 | Ambiente Conda para bloco de anotações do emr, que inclui o jupyter enterprise gateway | 
| emr-s3-dist-cp | 2.24.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. | 
| emr-s3-select | 2.3.0 | EMR S3Select Connector | 
| emr-wal-cli | 1.0.0 | Cli usada para lista/exclusão de emrwal. | 
| emrfs | 2.55.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. | 
| flink-client | 1.16.0 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. | 
| flink-jobmanager-config | 1.16.0 | Gerenciando recursos nos nós do EMR para o Apache Flink. JobManager | 
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. | 
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. | 
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. | 
| hadoop-client | 3.3.3-amzn-2.1 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. | 
| hadoop-hdfs-datanode | 3.3.3-amzn-2.1 | O serviço de nível de nó do HDFS para armazenamento de blocos. | 
| hadoop-hdfs-library | 3.3.3-amzn-2.1 | O cliente de linha de comando e biblioteca do HDFS | 
| hadoop-hdfs-namenode | 3.3.3-amzn-2.1 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. | 
| hadoop-hdfs-journalnode | 3.3.3-amzn-2.1 | O serviço do HDFS para gerenciar o lançamento de arquivos do Hadoop em clusters de HA. | 
| hadoop-httpfs-server | 3.3.3-amzn-2.1 | O endpoint de HTTP para as operações do HDFS. | 
| hadoop-kms-server | 3.3.3-amzn-2.1 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider  | 
| hadoop-mapred | 3.3.3-amzn-2.1 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. | 
| hadoop-yarn-nodemanager | 3.3.3-amzn-2.1 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. | 
| hadoop-yarn-resourcemanager | 3.3.3-amzn-2.1 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. | 
| hadoop-yarn-timeline-server | 3.3.3-amzn-2.1 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. | 
| hbase-hmaster | 2.4.15-amzn-0.1 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. | 
| hbase-region-server | 2.4.15-amzn-0.1 | Serviço para atender uma ou mais HBase regiões. | 
| hbase-client | 2.4.15-amzn-0.1 | HBase cliente de linha de comando. | 
| hbase-rest-server | 2.4.15-amzn-0.1 | Serviço que fornece um endpoint RESTful HTTP para HBase. | 
| hbase-thrift-server | 2.4.15-amzn-0.1 | Serviço que fornece um endpoint Thrift para. HBase | 
| hbase-operator-tools | 2.4.15-amzn-0.1 | Ferramenta de reparo para HBase clusters Apache. | 
| hcatalog-client | 3.1.3-amzn-3.1 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. | 
| hcatalog-server | 3.1.3-amzn-3.1 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. | 
| hcatalog-webhcat-server | 3.1.3-amzn-3.1 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. | 
| hive-client | 3.1.3-amzn-3.1 | O cliente da linha de comando do Hive. | 
| hive-hbase | 3.1.3-amzn-3.1 | Cliente do Hive-hbase. | 
| hive-metastore-server | 3.1.3-amzn-3.1 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. | 
| hive-server2 | 3.1.3-amzn-3.1 | O serviço que aceita as consultas do Hive como solicitações da web. | 
| hudi | 0.12.2-amzn-0 | Estrutura de processamento incremental para alimentar o pipeline de dados com baixa latência e alta eficiência. | 
| hudi-presto | 0.12.2-amzn-0 | Biblioteca de pacotes para executar o Presto com o Hudi. | 
| hudi-trino | 0.12.2-amzn-0 | Biblioteca de pacotes para execução do Presto com o Hudi. | 
| hudi-spark | 0.12.2-amzn-0 | Biblioteca de pacotes para executar o Spark com o Hudi. | 
| hue-server | 4.10.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop | 
| iceberg | 1.1.0-amzn-0 | Apache Iceberg é um formato de tabela aberta para conjuntos de dados analíticos imensos | 
| jupyterhub | 1.5.0 | Servidor de vários usuários para blocos de anotações Jupyter | 
| livy-server | 0.7.1-incubating | Interface REST para interagir com o Apache Spark | 
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP | 
| mxnet | 1.9.1 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. | 
| mariadb-server | 5.5.68\$1 | Servidor de banco de dados MariaDB. | 
| nvidia-cuda | 11.8.0 | Drivers NVIDIA e toolkit CUDA | 
| oozie-client | 5.2.1 | O cliente da linha de comando do Oozie. | 
| oozie-server | 5.2.1 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. | 
| opencv | 4.5.0 | Biblioteca de Visão Computacional de Código Aberto. | 
| phoenix-library | 5.1.2 | As bibliotecas do phoenix para servidor e cliente | 
| phoenix-connectors | 6.0.0-SNAPSHOT | Conectores do Apache Phoenix para Spark-3 | 
| phoenix-query-server | 6.0.0 | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica  | 
| presto-coordinator | 0.278.1-amzn-0 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. | 
| presto-worker | 0.278.1-amzn-0 | O serviço que executa partes de uma consulta. | 
| presto-client | 0.278.1-amzn-0 | Cliente de linha de comando do Presto instalado em mestres de espera de um cluster de alta disponibilidade em que o servidor do Presto não é iniciado. | 
| trino-coordinator | 403-amzn-0 | Serviço que aceita consultas e gerencia a execução de consultas entre trino-workers. | 
| trino-worker | 403-amzn-0 | O serviço que executa partes de uma consulta. | 
| trino-client | 403-amzn-0 | Cliente de linha de comando do Trino instalado em mestres de espera de um cluster de alta disponibilidade (HA) em que o servidor do Trino não é iniciado. | 
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. | 
| r | 4.0.2 | O projeto R para computação estatística | 
| ranger-kms-server | 2.0.0 | Sistema de gerenciamento de chaves Apache Ranger | 
| spark-client | 3.3.1-amzn-0.1 | Os clientes da linha de comando do Spark. | 
| spark-history-server | 3.3.1-amzn-0.1 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. | 
| spark-on-yarn | 3.3.1-amzn-0.1 | O mecanismo de execução em memória para o YARN. | 
| spark-yarn-slave | 3.3.1-amzn-0.1 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. | 
| spark-rapids | 22.12.0-amzn-0 | Plugin Nvidia Spark RAPIDS que acelera o Apache Spark com o. GPUs | 
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. | 
| tensorflow | 2.11.0 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. | 
| tez-on-yarn | 0.10.2-amzn-1.1 | O aplicativo e as bibliotecas do YARN para Tez. | 
| tez-on-worker | 0.10.2-amzn-1.1 | A aplicação e as bibliotecas do YARN nós de processamento. | 
| webserver | 2.4.41\$1 | O servidor Apache HTTP. | 
| zeppelin-server | 0.10.1 | O notebook baseado na web que permite um data analytics interativo. | 
| zookeeper-server | 3.5.10 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. | 
| zookeeper-client | 3.5.10 | ZooKeeper cliente de linha de comando. | 

## Classificações de configuração 6.10.1
<a name="emr-6101-class"></a>

As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).

Ocorrem ações de reconfiguração quando você especifica uma configuração para grupos de instâncias em um cluster em execução. O Amazon EMR só inicia ações de reconfiguração para as classificações que você modifica. Para obter mais informações, consulte [Reconfigurar um grupo de instâncias de um cluster em execução](emr-configure-apps-running-cluster.md).


**Classificações do emr-6.10.1**  

| Classificações | Description | Ações de reconfiguração | 
| --- | --- | --- | 
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. | Restarts the ResourceManager service. | 
| container-executor | Alterar os valores no arquivo container-executor.cfg do YARN do Hadoop. | Not available. | 
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. | Not available. | 
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | Alterar as configurações relacionadas ao docker. | Not available. | 
| emrfs-site | Alterar as configurações do EMRFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | Alterar as configurações do flink-conf.yaml. | Restarts Flink history server. | 
| flink-log4j | Alterar as configurações de log4j.properties no Flink. | Restarts Flink history server. | 
| flink-log4j-session | Altere as configurações do Flink log4j-session.properties para a sessão. Kubernetes/Yarn  | Restarts Flink history server. | 
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. | Restarts Flink history server. | 
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop | Not available. | 
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop | Not available. | 
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | Mude os valores no HBase ambiente. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. | Not available. | 
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. | This classification should not be reconfigured. | 
| hdfs-env | Alterar os valores no ambiente do HDFS. | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | Mude os valores no HCatalog ambiente. | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. | Restarts Hive WebHCat server. | 
| hive | As configurações administradas pelo Amazon EMR para o Apache Hive. | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. | Not available. | 
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. | Not available. | 
| hive-env | Alterar os valores no ambiente do Hive. | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. | Not available. | 
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. | Not available. | 
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. | Not available. | 
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. | Not available. | 
| hue-ini | Alterar os valores no arquivo ini do Hue | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | Alterar os valores no ambiente do HTTPFS. | Restarts Hadoop Httpfs service. | 
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. | Not available. | 
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. | Not available. | 
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | Altere os valores no ambiente do Hudi. | Not available. | 
| hudi-defaults | Alterar os valores no arquivo hudi-defaults.conf do Hudi. | Not available. | 
| iceberg-defaults | Alterar os valores no arquivo iceberg-defaults.conf do Iceberg. | Not available. | 
| delta-defaults | Alterar os valores no arquivo delta-defaults.conf do Delta. | Not available. | 
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. | Not available. | 
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. | Not available. | 
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. | Not available. | 
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. | Not available. | 
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. | Restarts Livy Server. | 
| livy-env | Alterar os valores no ambiente do Livy. | Restarts Livy Server. | 
| livy-log4j2 | Alterar as configurações de log4j2.properties do Livy. | Restarts Livy Server. | 
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | Alterar os valores no ambiente do Oozie. | Restarts Oozie. | 
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. | Restarts Oozie. | 
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. | Restarts Oozie. | 
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. | Not available. | 
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. | Not available. | 
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. | Not available. | 
| pig-env | Alterar os valores no ambiente do Pig. | Not available. | 
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. | Restarts Oozie. | 
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. | Not available. | 
| presto-log | Alterar os valores no arquivo log.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-config | Alterar os valores no arquivo config.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. | Not available. | 
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-node | Altere os valores no arquivo node.properties do Presto. | Not available. | 
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. | Not available. | 
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. | Not available. | 
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. | Not available. | 
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. | Not available. | 
| presto-connector-lakeformation | Alterar os valores no arquivo lakeformation.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. | Not available. | 
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. | Not available. | 
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. | Not available. | 
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. | Not available. | 
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. | Not available. | 
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. | Not available. | 
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. | Not available. | 
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. | Not available. | 
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. | Not available. | 
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. | Not available. | 
| trino-log | Alterar os valores no arquivo log.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-config | Alterar os valores no arquivo config.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-password-authenticator | Alterar os valores no arquivo password-authenticator.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-env | Alterar os valores no arquivo trino-env.sh do Trino. | Restarts Trino-Server (for Trino) | 
| trino-node | Alterar os valores no arquivo node.properties do Trino. | Not available. | 
| trino-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Trino. | Not available. | 
| trino-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Trino. | Not available. | 
| trino-connector-delta | Alterar os valores no arquivo delta.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-connector-hive | Alterar os valores no arquivo hive.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-exchange-manager | Alterar os valores no arquivo exchange-manager.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-connector-iceberg | Alterar os valores no arquivo iceberg.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-connector-hudi | Alterar os valores no arquivo hudi.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-connector-jmx | Alterar os valores no arquivo jmx.properties do Trino. | Not available. | 
| trino-connector-kafka | Alterar os valores no arquivo kafka.properties do Trino. | Not available. | 
| trino-connector-localfile | Alterar os valores no arquivo localfile.properties do Trino. | Not available. | 
| trino-connector-memory | Alterar os valores no arquivo memory.properties do Trino. | Not available. | 
| trino-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Trino. | Not available. | 
| trino-connector-mysql | Alterar os valores no arquivo mysql.properties do Trino. | Not available. | 
| trino-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Trino. | Not available. | 
| trino-connector-raptor | Alterar os valores no arquivo raptor.properties do Trino. | Not available. | 
| trino-connector-redis | Alterar os valores no arquivo redis.properties do Trino. | Not available. | 
| trino-connector-redshift | Alterar os valores no arquivo redshift.properties do Trino. | Not available. | 
| trino-connector-tpch | Alterar os valores no arquivo tpch.properties do Trino. | Not available. | 
| trino-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Trino. | Not available. | 
| ranger-kms-dbks-site | Altere os valores no arquivo dbks-site.xml do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-site | Altere os valores no ranger-kms-site arquivo.xml do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-env | Altere os valores no ambiente do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-logback | Alterar os valores no arquivo kms-logback.xml do Ranger KMS. | Not available. | 
| ranger-kms-db-ca | Altere os valores do arquivo CA no S3 para conexão SSL do MySQL com o Ranger KMS. | Not available. | 
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. | This property modifies spark-defaults. See actions there. | 
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-env | Alterar os valores no ambiente do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. | Not available. | 
| spark-log4j2 | Alterar os valores no arquivo log4j2.properties do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | Alterar os valores no ambiente do Sqoop. | Not available. | 
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. | Not available. | 
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. | Not available. | 
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. | Restart Oozie and HiveServer2. | 
| yarn-env | Alterar os valores no ambiente do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. | Restarts Zeppelin. | 
| zeppelin-site | Alterar as definições da configuração em zeppelin-site.xml. | Restarts Zeppelin. | 
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. | Restarts Zookeeper server. | 
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. | Restarts Zookeeper server. | 

## Log de alterações 6.10.1
<a name="6101-changelog"></a>


**Log de alterações da versão 6.10.1 e das notas da versão**  

| Data | Event | Description | 
| --- | --- | --- | 
| 2023-08-30 | Atualizar notas da versão | Adicionadas várias correções relacionadas ao ambiente de gerenciamento às notas da versão | 
| 2023-08-21 | Publicação de documentos | Notas da versão 6.10.1 do Amazon EMR publicadas pela primeira vez | 
| 2023-08-16 | Implantação concluída | Amazon EMR 6.10.1 totalmente implantado em todas as [regiões compatíveis](https://aws.amazon.com/about-aws/global-infrastructure/regional-product-services/) | 
| 2023-08-04 | Lançamento inicial | A versão 6.10.1 do Amazon EMR foi implantada pela primeira vez em regiões comerciais limitadas | 

# Versão 6.10.0 do Amazon EMR
<a name="emr-6100-release"></a>

## Versões da aplicação 6.10.0
<a name="emr-6100-app-versions"></a>

Esta versão inclui as seguintes aplicações: [https://delta.io/](https://delta.io/), [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://iceberg.apache.org/](https://iceberg.apache.org/), [https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://trino.io/](https://trino.io/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).

A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).

Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)


**Informações da versão da aplicação**  

|  | emr-6.10.0 | emr-6.9.1 | emr-6.9.0 | emr-6.8.1 | 
| --- | --- | --- | --- | --- | 
| AWS SDK for Java | 1.12.397 | 1.12.170 | 1.12.170 | 1.12.170 | 
| Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 
| Scala | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta | 2.2.0 | 2.1.0 | 2.1.0 |  -  | 
| Flink | 1.16.0 | 1.15.2 | 1.15.2 | 1.15.1 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.4.15-amzn-0 | 2.4.13-amzn-0.1 | 2.4.13-amzn-0 | 2.4.12-amzn-0.1 | 
| HCatalog | 3.1.3-amzn-3 | 3.1.3-amzn-2.1 | 3.1.3-amzn-2 | 3.1.3-amzn-1.1 | 
| Hadoop | 3.3.3-amzn-2 | 3.3.3-amzn-1.1 | 3.3.3-amzn-1 | 3.2.1-amzn-8.1 | 
| Hive | 3.1.3-amzn-3 | 3.1.3-amzn-2.1 | 3.1.3-amzn-2 | 3.1.3-amzn-1.1 | 
| Hudi | 0.12.2-amzn-0 | 0.12.1-amzn-0 | 0.12.1-amzn-0 | 0.11.1-amzn-0 | 
| Hue | 4.10.0 | 4.10.0 | 4.10.0 | 4.10.0 | 
| Iceberg | 1.1.0-amzn-0 | 0.14.1-amzn-0 | 0.14.1-amzn-0 | 0.14.0-amzn-0 | 
| JupyterEnterpriseGateway | 2.6.0 | 2.6.0 | 2.6.0 | 2.1.0 | 
| JupyterHub | 1.5.0 | 1.4.1 | 1.4.1 | 1.4.1 | 
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 
| MXNet | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 
| Phoenix | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.278.1-amzn-0 | 0.276-amzn-0 | 0.276-amzn-0 | 0.273.3-amzn-0 | 
| Spark | 3.3.1-amzn-0 | 3.3.0-amzn-1.1 | 3.3.0-amzn-1 | 3.3.0-amzn-0.1 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.11.0 | 2.10.0 | 2.10.0 | 2.9.1 | 
| Tez | 0.10.2-amzn-1 | 0.10.2-amzn-0.1 | 0.10.2-amzn-0 | 0.9.2 | 
| Trino (PrestoSQL) | 403-amzn-0 | 398-amzn-0 | 398-amzn-0 | 388-amzn-0 | 
| Zeppelin | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 
| ZooKeeper | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 

## Notas da versão 6.10.0
<a name="emr-6100-relnotes"></a>

As notas da versão a seguir incluem informações para a versão 6.10.0 do Amazon EMR. As alterações são referentes à versão 6.9.0. Para obter informações sobre o cronograma da versão, consulte o [log de alterações](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-6100-release.html#6100-changelog).

**Novos recursos**
+ O Amazon EMR 6.10.0 é compatível com Apache Spark 3.3.1, Apache Spark RAPIDS 22.12.0, CUDA 11.8.0, Apache Hudi 0.12.2-amzn-0, Apache Iceberg 1.1.0-amzn-0, Trino 403 e PrestoDB 0.278.1.
+ O Amazon EMR 6.10.0 inclui um conector Trino-Hudi nativo que fornece acesso de leitura aos dados nas tabelas Hudi. Você pode ativar o conector com `trino-cli --catalog hudi` e configurar o conector de acordo com suas necessidades com `trino-connector-hudi`. A integração nativa com o Amazon EMR significa que você não precisa mais usar `trino-connector-hive` para consultar tabelas do Hudi. Para obter uma lista das configurações compatíveis com o novo conector, consulte a página do [conector do Hudi](https://trino.io/docs/current/connector/hudi.html) na documentação do Trino.
+ O Amazon EMR 6.10.0 e versões posteriores oferecem suporte à integração do Apache Zeppelin com o Apache Flink. Consulte [Usar trabalhos do Flink pelo Zeppelin no Amazon EMR](flink-zeppelin.md) para obter mais informações.

**Problemas conhecidos**
+ O Hadoop 3.3.3 introduziu uma alteração no YARN ([YARN-9608](https://issues.apache.org/jira/browse/YARN-9608)) que mantém os nós em que os contêineres eram executados em um estado de desativação até que a aplicação seja concluída. Essa alteração garante que dados locais, como dados embaralhados, não sejam perdidos e que você não precise executar o trabalho novamente. Essa abordagem também pode levar à subutilização de recursos em clusters com ou sem o ajuste de escala gerenciado habilitado.

  Para contornar esse problema no Amazon EMR 6.10.0, você pode definir o valor de `yarn.resourcemanager.decommissioning-nodes-watcher.wait-for-applications` como `false` em `yarn-site.xml`. Nas versões 6.11.0 e superiores do Amazon EMR, além das versões 6.8.1, 6.9.1 e 6.10.1, o config é definido como `false` por padrão para resolver esse problema.
+  *A partir do Spark 3.3.1 (com suporte nas versões 6.10 e posteriores do EMR), todos os executores em um host de descomissionamento são configurados para um novo `ExecutorState`, chamado de estado DECOMMISSIONING*. Os executores que estão sendo desativados não podem ser usados pelo Yarn para alocar tarefas e, portanto, ele solicitará novos executores, se necessário, para as tarefas que estão sendo executadas. Portanto, se você desativar o Spark DRA enquanto estiver usando o EMR Managed Scaling, o EMR Auto Scaling ou qualquer mecanismo de ajuste de escala personalizado em clusters EMR-EC2, o Yarn poderá solicitar o número máximo permitido de executores para cada trabalho. Para evitar esse problema, deixe a propriedade `spark.dynamicAllocation.enabled` definida como `TRUE` (que é o padrão) ao usar a combinação de recursos acima. Além disso, você também pode definir restrições mínimas e máximas para executores, definindo valores para as propriedades `spark.dynamicAllocation.maxExecutors` e `spark.dynamicAllocation.minExecutors` para seus trabalhos Spark, a fim de restringir o número de executores alocados durante a execução do trabalho. 

**Alterações, melhorias e problemas resolvidos**
+ O Amazon EMR 6.10.0 remove a dependência de `minimal-json.jar` para a [integração do Amazon Redshift para Apache Spark](emr-spark-redshift-launch.md) e adiciona automaticamente os jars necessários relacionados ao Spark-Redshift ao caminho de classe do executor para o Spark: `spark-redshift.jar`, `spark-avro.jar` e `RedshiftJDBC.jar`.
+ A versão 6.10.0 aprimora o daemon de gerenciamento de logs no cluster para monitorar pastas de log adicionais no cluster do EMR. Essa melhoria minimiza os cenários de utilização excessiva do disco.
+ A versão 6.10.0 reinicia automaticamente o daemon de gerenciamento de logs no cluster quando ele é interrompido. Essa melhoria reduz o risco de os nós parecerem não íntegros devido à utilização excessiva do disco. 
+ O Amazon EMR 6.10.0 é compatível com endpoints regionais para mapeamento de usuários do EMRFS.
+ O tamanho padrão do volume raiz aumentou para 15 GB nas versões 6.10.0 e superiores do Amazon EMR. O tamanho padrão do volume raiz das versões anteriores é de 10 GB.
+ A versão 6.10.0 corrige um problema que fazia com que os trabalhos do Spark paralisassem quando todos os executores restantes do Spark estivessem em um host em desativação com o gerenciador de recursos do YARN. 
+ Com o Amazon EMR 6.6.0 a 6.9.x, as consultas INSERT com partição dinâmica e uma cláusula ORDER BY ou SORT BY sempre terá dois redutores. Esse problema é causado pela alteração do OSS [HIVE-20703](https://issues.apache.org/jira/browse/HIVE-20703), que coloca a otimização da partição dinâmica de classificação sob uma decisão baseada em custos. Se sua workload não exigir a classificação de partições dinâmicas, recomendamos que você defina a propriedade `hive.optimize.sort.dynamic.partition.threshold` como `-1` para desabilitar o novo atributo e obter o número de redutores calculado corretamente. Esse problema foi corrigido no OSS Hive como parte do [HIVE-22269](https://issues.apache.org/jira/browse/HIVE-22269) e foi corrigido no Amazon EMR 6.10.0.
+ Quando você inicia um cluster com a *versão de patch mais recente* do Amazon EMR 5.36 ou superior, 6.6 ou superior ou 7.0 ou superior, o Amazon EMR usa a versão mais recente do Amazon Linux 2023 ou do Amazon Linux 2 para a AMI padrão do Amazon EMR. Para obter mais informações, consulte [Como usar a AMI padrão do Amazon Linux para Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html).
**nota**  
Essa versão não recebe mais atualizações automáticas da AMI, pois foi substituída por uma ou mais versões de patch. A versão de patch é indicada pelo número após o segundo ponto decimal (`6.8.1`). Para ver se você está usando a versão de patch mais recente, verifique as versões disponíveis no [https://docs.aws.amazon.com/emr/latest/ReleaseGuide](https://docs.aws.amazon.com/emr/latest/ReleaseGuide) ou verifique o menu suspenso de **versões do Amazon EMR** quando criar um cluster no console ou use a ação de API [https://docs.aws.amazon.com/emr/latest/APIReference/API_ListReleaseLabels.html](https://docs.aws.amazon.com/emr/latest/APIReference/API_ListReleaseLabels.html) ou da CLI [https://docs.aws.amazon.com/cli/latest/reference/emr/list-release-labels.html](https://docs.aws.amazon.com/cli/latest/reference/emr/list-release-labels.html). Para obter atualizações sobre novas versões, assine o feed RSS na página [Novidades](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html).    
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/emr/latest/ReleaseGuide/emr-6100-release.html)

## Versões de componente 6.10.0
<a name="emr-6100-components"></a>

Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.

Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.


| Componente | Versão | Description | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.2 | SDK do Amazon SageMaker Spark | 
| delta | 2.2.0 | O Delta Lake é um formato de tabela aberto para grandes conjuntos de dados analíticos | 
| emr-ddb | 4.16.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. | 
| emr-goodies | 3.3.0 | Bibliotecas convenientes para o ecossistema do Hadoop. | 
| emr-kinesis | 3.7.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. | 
| emr-notebook-env | 1.7.0 | Ambiente Conda para bloco de anotações do emr, que inclui o jupyter enterprise gateway | 
| emr-s3-dist-cp | 2.24.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. | 
| emr-s3-select | 2.3.0 | EMR S3Select Connector | 
| emr-wal-cli | 1.0.0 | Cli usada para lista/exclusão de emrwal. | 
| emrfs | 2.55.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. | 
| flink-client | 1.16.0 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. | 
| flink-jobmanager-config | 1.16.0 | Gerenciando recursos nos nós do EMR para o Apache Flink. JobManager | 
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. | 
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. | 
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. | 
| hadoop-client | 3.3.3-amzn-2 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. | 
| hadoop-hdfs-datanode | 3.3.3-amzn-2 | O serviço de nível de nó do HDFS para armazenamento de blocos. | 
| hadoop-hdfs-library | 3.3.3-amzn-2 | O cliente de linha de comando e biblioteca do HDFS | 
| hadoop-hdfs-namenode | 3.3.3-amzn-2 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. | 
| hadoop-hdfs-journalnode | 3.3.3-amzn-2 | O serviço do HDFS para gerenciar o lançamento de arquivos do Hadoop em clusters de HA. | 
| hadoop-httpfs-server | 3.3.3-amzn-2 | O endpoint de HTTP para as operações do HDFS. | 
| hadoop-kms-server | 3.3.3-amzn-2 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider  | 
| hadoop-mapred | 3.3.3-amzn-2 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. | 
| hadoop-yarn-nodemanager | 3.3.3-amzn-2 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. | 
| hadoop-yarn-resourcemanager | 3.3.3-amzn-2 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. | 
| hadoop-yarn-timeline-server | 3.3.3-amzn-2 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. | 
| hbase-hmaster | 2.4.15-amzn-0 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. | 
| hbase-region-server | 2.4.15-amzn-0 | Serviço para atender uma ou mais HBase regiões. | 
| hbase-client | 2.4.15-amzn-0 | HBase cliente de linha de comando. | 
| hbase-rest-server | 2.4.15-amzn-0 | Serviço que fornece um endpoint RESTful HTTP para HBase. | 
| hbase-thrift-server | 2.4.15-amzn-0 | Serviço que fornece um endpoint Thrift para. HBase | 
| hbase-operator-tools | 2.4.15-amzn-0 | Ferramenta de reparo para HBase clusters Apache. | 
| hcatalog-client | 3.1.3-amzn-3 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. | 
| hcatalog-server | 3.1.3-amzn-3 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. | 
| hcatalog-webhcat-server | 3.1.3-amzn-3 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. | 
| hive-client | 3.1.3-amzn-3 | O cliente da linha de comando do Hive. | 
| hive-hbase | 3.1.3-amzn-3 | Cliente do Hive-hbase. | 
| hive-metastore-server | 3.1.3-amzn-3 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. | 
| hive-server2 | 3.1.3-amzn-3 | O serviço que aceita as consultas do Hive como solicitações da web. | 
| hudi | 0.12.2-amzn-0 | Estrutura de processamento incremental para alimentar o pipeline de dados com baixa latência e alta eficiência. | 
| hudi-presto | 0.12.2-amzn-0 | Biblioteca de pacotes para executar o Presto com o Hudi. | 
| hudi-trino | 0.12.2-amzn-0 | Biblioteca de pacotes para execução do Presto com o Hudi. | 
| hudi-spark | 0.12.2-amzn-0 | Biblioteca de pacotes para executar o Spark com o Hudi. | 
| hue-server | 4.10.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop | 
| iceberg | 1.1.0-amzn-0 | Apache Iceberg é um formato de tabela aberta para conjuntos de dados analíticos imensos | 
| jupyterhub | 1.5.0 | Servidor de vários usuários para blocos de anotações Jupyter | 
| livy-server | 0.7.1-incubating | Interface REST para interagir com o Apache Spark | 
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP | 
| mxnet | 1.9.1 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. | 
| mariadb-server | 5.5.68\$1 | Servidor de banco de dados MariaDB. | 
| nvidia-cuda | 11.8.0 | Drivers NVIDIA e toolkit CUDA | 
| oozie-client | 5.2.1 | O cliente da linha de comando do Oozie. | 
| oozie-server | 5.2.1 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. | 
| opencv | 4.5.0 | Biblioteca de Visão Computacional de Código Aberto. | 
| phoenix-library | 5.1.2 | As bibliotecas do phoenix para servidor e cliente | 
| phoenix-connectors | 6.0.0-SNAPSHOT | Conectores do Apache Phoenix para Spark-3 | 
| phoenix-query-server | 6.0.0 | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica  | 
| presto-coordinator | 0.278.1-amzn-0 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. | 
| presto-worker | 0.278.1-amzn-0 | O serviço que executa partes de uma consulta. | 
| presto-client | 0.278.1-amzn-0 | Cliente de linha de comando do Presto instalado em mestres de espera de um cluster de alta disponibilidade em que o servidor do Presto não é iniciado. | 
| trino-coordinator | 403-amzn-0 | Serviço que aceita consultas e gerencia a execução de consultas entre trino-workers. | 
| trino-worker | 403-amzn-0 | O serviço que executa partes de uma consulta. | 
| trino-client | 403-amzn-0 | Cliente de linha de comando do Trino instalado em mestres de espera de um cluster de alta disponibilidade (HA) em que o servidor do Trino não é iniciado. | 
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. | 
| r | 4.0.2 | O projeto R para computação estatística | 
| ranger-kms-server | 2.0.0 | Sistema de gerenciamento de chaves Apache Ranger | 
| spark-client | 3.3.1-amzn-0 | Os clientes da linha de comando do Spark. | 
| spark-history-server | 3.3.1-amzn-0 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. | 
| spark-on-yarn | 3.3.1-amzn-0 | O mecanismo de execução em memória para o YARN. | 
| spark-yarn-slave | 3.3.1-amzn-0 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. | 
| spark-rapids | 22.12.0-amzn-0 | Plugin Nvidia Spark RAPIDS que acelera o Apache Spark com o. GPUs | 
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. | 
| tensorflow | 2.11.0 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. | 
| tez-on-yarn | 0.10.2-amzn-1 | O aplicativo e as bibliotecas do YARN para Tez. | 
| tez-on-worker | 0.10.2-amzn-1 | A aplicação e as bibliotecas do YARN nós de processamento. | 
| webserver | 2.4.41\$1 | O servidor Apache HTTP. | 
| zeppelin-server | 0.10.1 | O notebook baseado na web que permite um data analytics interativo. | 
| zookeeper-server | 3.5.10 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. | 
| zookeeper-client | 3.5.10 | ZooKeeper cliente de linha de comando. | 

## Classificações de configuração 6.10.0
<a name="emr-6100-class"></a>

As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).

Ocorrem ações de reconfiguração quando você especifica uma configuração para grupos de instâncias em um cluster em execução. O Amazon EMR só inicia ações de reconfiguração para as classificações que você modifica. Para obter mais informações, consulte [Reconfigurar um grupo de instâncias de um cluster em execução](emr-configure-apps-running-cluster.md).


**Classificações do emr-6.10.0**  

| Classificações | Description | Ações de reconfiguração | 
| --- | --- | --- | 
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. | Restarts the ResourceManager service. | 
| container-executor | Alterar os valores no arquivo container-executor.cfg do YARN do Hadoop. | Not available. | 
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. | Not available. | 
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | Alterar as configurações relacionadas ao docker. | Not available. | 
| emrfs-site | Alterar as configurações do EMRFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | Alterar as configurações do flink-conf.yaml. | Restarts Flink history server. | 
| flink-log4j | Alterar as configurações de log4j.properties no Flink. | Restarts Flink history server. | 
| flink-log4j-session | Altere as configurações do Flink log4j-session.properties para a sessão. Kubernetes/Yarn  | Restarts Flink history server. | 
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. | Restarts Flink history server. | 
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop | Not available. | 
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop | Not available. | 
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | Mude os valores no HBase ambiente. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. | Not available. | 
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. | This classification should not be reconfigured. | 
| hdfs-env | Alterar os valores no ambiente do HDFS. | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | Mude os valores no HCatalog ambiente. | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. | Restarts Hive WebHCat server. | 
| hive | As configurações administradas pelo Amazon EMR para o Apache Hive. | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. | Not available. | 
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. | Not available. | 
| hive-env | Alterar os valores no ambiente do Hive. | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. | Not available. | 
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. | Not available. | 
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. | Not available. | 
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. | Not available. | 
| hue-ini | Alterar os valores no arquivo ini do Hue | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | Alterar os valores no ambiente do HTTPFS. | Restarts Hadoop Httpfs service. | 
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. | Not available. | 
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. | Not available. | 
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | Altere os valores no ambiente do Hudi. | Not available. | 
| hudi-defaults | Alterar os valores no arquivo hudi-defaults.conf do Hudi. | Not available. | 
| iceberg-defaults | Alterar os valores no arquivo iceberg-defaults.conf do Iceberg. | Not available. | 
| delta-defaults | Alterar os valores no arquivo delta-defaults.conf do Delta. | Not available. | 
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. | Not available. | 
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. | Not available. | 
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. | Not available. | 
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. | Not available. | 
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. | Restarts Livy Server. | 
| livy-env | Alterar os valores no ambiente do Livy. | Restarts Livy Server. | 
| livy-log4j2 | Alterar as configurações de log4j2.properties do Livy. | Restarts Livy Server. | 
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | Alterar os valores no ambiente do Oozie. | Restarts Oozie. | 
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. | Restarts Oozie. | 
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. | Restarts Oozie. | 
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. | Not available. | 
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. | Not available. | 
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. | Not available. | 
| pig-env | Alterar os valores no ambiente do Pig. | Not available. | 
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. | Restarts Oozie. | 
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. | Not available. | 
| presto-log | Alterar os valores no arquivo log.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-config | Alterar os valores no arquivo config.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. | Not available. | 
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-node | Altere os valores no arquivo node.properties do Presto. | Not available. | 
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. | Not available. | 
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. | Not available. | 
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. | Not available. | 
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. | Not available. | 
| presto-connector-lakeformation | Alterar os valores no arquivo lakeformation.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. | Not available. | 
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. | Not available. | 
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. | Not available. | 
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. | Not available. | 
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. | Not available. | 
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. | Not available. | 
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. | Not available. | 
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. | Not available. | 
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. | Not available. | 
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. | Not available. | 
| trino-log | Alterar os valores no arquivo log.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-config | Alterar os valores no arquivo config.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-password-authenticator | Alterar os valores no arquivo password-authenticator.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-env | Alterar os valores no arquivo trino-env.sh do Trino. | Restarts Trino-Server (for Trino) | 
| trino-node | Alterar os valores no arquivo node.properties do Trino. | Not available. | 
| trino-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Trino. | Not available. | 
| trino-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Trino. | Not available. | 
| trino-connector-delta | Alterar os valores no arquivo delta.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-connector-hive | Alterar os valores no arquivo hive.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-exchange-manager | Alterar os valores no arquivo exchange-manager.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-connector-iceberg | Alterar os valores no arquivo iceberg.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-connector-hudi | Alterar os valores no arquivo hudi.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-connector-jmx | Alterar os valores no arquivo jmx.properties do Trino. | Not available. | 
| trino-connector-kafka | Alterar os valores no arquivo kafka.properties do Trino. | Not available. | 
| trino-connector-localfile | Alterar os valores no arquivo localfile.properties do Trino. | Not available. | 
| trino-connector-memory | Alterar os valores no arquivo memory.properties do Trino. | Not available. | 
| trino-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Trino. | Not available. | 
| trino-connector-mysql | Alterar os valores no arquivo mysql.properties do Trino. | Not available. | 
| trino-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Trino. | Not available. | 
| trino-connector-raptor | Alterar os valores no arquivo raptor.properties do Trino. | Not available. | 
| trino-connector-redis | Alterar os valores no arquivo redis.properties do Trino. | Not available. | 
| trino-connector-redshift | Alterar os valores no arquivo redshift.properties do Trino. | Not available. | 
| trino-connector-tpch | Alterar os valores no arquivo tpch.properties do Trino. | Not available. | 
| trino-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Trino. | Not available. | 
| ranger-kms-dbks-site | Altere os valores no arquivo dbks-site.xml do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-site | Altere os valores no ranger-kms-site arquivo.xml do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-env | Altere os valores no ambiente do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-logback | Alterar os valores no arquivo kms-logback.xml do Ranger KMS. | Not available. | 
| ranger-kms-db-ca | Altere os valores do arquivo CA no S3 para conexão SSL do MySQL com o Ranger KMS. | Not available. | 
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. | This property modifies spark-defaults. See actions there. | 
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-env | Alterar os valores no ambiente do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. | Not available. | 
| spark-log4j2 | Alterar os valores no arquivo log4j2.properties do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | Alterar os valores no ambiente do Sqoop. | Not available. | 
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. | Not available. | 
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. | Not available. | 
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. | Restart Oozie and HiveServer2. | 
| yarn-env | Alterar os valores no ambiente do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. | Restarts Zeppelin. | 
| zeppelin-site | Alterar as definições da configuração em zeppelin-site.xml. | Restarts Zeppelin. | 
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. | Restarts Zookeeper server. | 
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. | Restarts Zookeeper server. | 

## Log de alterações 6.10.0
<a name="6100-changelog"></a>


**Log de alterações da versão 6.10.0 e das notas da versão**  

| Data | Event | Description | 
| --- | --- | --- | 
| 2023-08-21 | Atualizar | Adicionado um problema conhecido introduzido com o Hadoop 3.3.3. | 
| 2023-07-26 | Atualizar | Novos rótulos de versão 2.0.20230612.0 e 2.0.20230628.0 do sistema operacional. | 
| 2023-03-02 | Implantação concluída | Amazon EMR 6.10 totalmente implantado em todas as [regiões compatíveis](https://aws.amazon.com/about-aws/global-infrastructure/regional-product-services/) | 
| 2023-03-02 | Publicação de documentos | Notas da versão 6.10 do Amazon EMR publicadas pela primeira vez | 
| 2023-02-27 | Lançamento inicial | Versão 6.10 do Amazon EMR implantada em regiões comerciais limitadas | 

# Versão 6.9.1 do Amazon EMR
<a name="emr-691-release"></a>

## Versões 6.9.1 da aplicação
<a name="emr-691-app-versions"></a>

Esta versão inclui as seguintes aplicações: [https://delta.io/](https://delta.io/), [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://iceberg.apache.org/](https://iceberg.apache.org/), [https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://trino.io/](https://trino.io/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).

A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).

Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)


**Informações da versão da aplicação**  

|  | emr-6.9.1 | emr-6.9.0 | emr-6.8.1 | emr-6.8.0 | 
| --- | --- | --- | --- | --- | 
| AWS SDK for Java | 1.12.170 | 1.12.170 | 1.12.170 | 1.12.170 | 
| Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 
| Scala | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta | 2.1.0 | 2.1.0 |  -  |  -  | 
| Flink | 1.15.2 | 1.15.2 | 1.15.1 | 1.15.1 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.4.13-amzn-0.1 | 2.4.13-amzn-0 | 2.4.12-amzn-0.1 | 2.4.12-amzn-0 | 
| HCatalog | 3.1.3-amzn-2.1 | 3.1.3-amzn-2 | 3.1.3-amzn-1.1 | 3.1.3-amzn-1 | 
| Hadoop | 3.3.3-amzn-1.1 | 3.3.3-amzn-1 | 3.2.1-amzn-8.1 | 3.2.1-amzn-8 | 
| Hive | 3.1.3-amzn-2.1 | 3.1.3-amzn-2 | 3.1.3-amzn-1.1 | 3.1.3-amzn-1 | 
| Hudi | 0.12.1-amzn-0 | 0.12.1-amzn-0 | 0.11.1-amzn-0 | 0.11.1-amzn-0 | 
| Hue | 4.10.0 | 4.10.0 | 4.10.0 | 4.10.0 | 
| Iceberg | 0.14.1-amzn-0 | 0.14.1-amzn-0 | 0.14.0-amzn-0 | 0.14.0-amzn-0 | 
| JupyterEnterpriseGateway | 2.6.0 | 2.6.0 | 2.1.0 | 2.1.0 | 
| JupyterHub | 1.4.1 | 1.4.1 | 1.4.1 | 1.4.1 | 
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 
| MXNet | 1.9.1 | 1.9.1 | 1.9.1 | 1.9.1 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 
| Phoenix | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.276-amzn-0 | 0.276-amzn-0 | 0.273.3-amzn-0 | 0.273.3-amzn-0 | 
| Spark | 3.3.0-amzn-1.1 | 3.3.0-amzn-1 | 3.3.0-amzn-0.1 | 3.3.0-amzn-0 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.10.0 | 2.10.0 | 2.9.1 | 2.9.1 | 
| Tez | 0.10.2-amzn-0.1 | 0.10.2-amzn-0 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) | 398-amzn-0 | 398-amzn-0 | 388-amzn-0 | 388-amzn-0 | 
| Zeppelin | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.1 | 
| ZooKeeper | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.10 | 

## Notas da versão 6.9.1
<a name="emr-691-relnotes"></a>

As notas da versão a seguir incluem informações para a versão 6.9.1 do Amazon EMR. As alterações são referentes à versão 6.9.0. Para obter informações sobre o cronograma da versão, consulte o [Log de alterações 6.9.1](#691-changelog).

**Alterações, melhorias e problemas resolvidos**
+ O Hadoop 3.3.3 introduziu uma alteração no YARN ([YARN-9608](https://issues.apache.org/jira/browse/YARN-9608)) que mantém os nós em que os contêineres eram executados em um estado de desativação até que a aplicação seja concluída. Essa alteração garante que dados locais, como dados embaralhados, não sejam perdidos e que você não precise executar o trabalho novamente. Essa abordagem também pode levar à subutilização de recursos em clusters com ou sem o ajuste de escala gerenciado habilitado.

  Com as versões 6.11.0 e superiores do Amazon EMR, além das versões 6.8.1, 6.9.1 e 6.10.1, o valor de `yarn.resourcemanager.decommissioning-nodes-watcher.wait-for-applications` é definido como `false` em `yarn-site.xml` para resolver esse problema.

  Embora a correção resolva os problemas introduzidos pelo YARN-9608, ela pode fazer com que os trabalhos do Hive falhem devido à perda de dados embaralhados em clusters com ajuste de escala gerenciado habilitado. Reduzimos esse risco nesta versão também ao configurar `yarn.resourcemanager.decommissioning-nodes-watcher.wait-for-shuffle-data` para workloads do Hive. Essa configuração só está disponível com as versões 6.11.0 e superiores do Amazon EMR.
+ O coletor de métricas não enviará métricas para o ambiente de gerenciamento após o failover do nó primário em clusters com a configuração de grupos de instâncias.
+ Essa versão elimina novas tentativas de solicitações HTTP com falha nos endpoints do coletor de métricas.
+ Esta versão inclui uma alteração que permite que clusters de alta disponibilidade se recuperem de um estado de falha após a reinicialização.
+ Esta versão corrige um problema em que grandes exceções de estouro criadas UIDs por usuários causavam exceções de estouro.
+ Esta versão corrige problemas de tempo limite com o processo de reconfiguração do Amazon EMR.
+ Esta versão inclui correções de segurança.
+ Esta versão corrige um problema em que clusters que estão executando workloads no Spark com o Amazon EMR podem receber silenciosamente resultados incorretos com `contains`, `startsWith`, `endsWith` e `like`. Esse problema ocorre quando você usa as expressões em campos particionados que têm metadados no Hive3 Metastore Server (HMS) no Amazon EMR.
+ Com o Amazon EMR 6.6.0 a 6.9.x, as consultas INSERT com partição dinâmica e uma cláusula ORDER BY ou SORT BY sempre terá dois redutores. Esse problema é causado pela alteração do OSS [HIVE-20703](https://issues.apache.org/jira/browse/HIVE-20703), que coloca a otimização da partição dinâmica de classificação sob uma decisão baseada em custos. Se sua workload não exigir a classificação de partições dinâmicas, recomendamos que você defina a propriedade `hive.optimize.sort.dynamic.partition.threshold` como `-1` para desabilitar o novo atributo e obter o número de redutores calculado corretamente. Esse problema foi corrigido no OSS Hive como parte do [HIVE-22269](https://issues.apache.org/jira/browse/HIVE-22269) e foi corrigido no Amazon EMR 6.10.0.
+ O Hive pode sofrer perda de dados quando você usa o HDFS como um diretório temporário e habilitou a mesclagem de arquivos pequenos e a tabela contém caminhos de partição estáticos.
+ Esta versão corrige um problema de performance com o Hive se a mesclagem de arquivos pequenos (desabilitada por padrão) é habilitada no final da tarefa de ETL.
+ Esta versão corrige um problema com controle de utilização no lado do Glue quando não há funções definidas pelo usuário (UDF).
+ Esta versão corrige um problema que exclui logs de contêineres pelo serviço de agregação de logs de nó antes que o pusher de logs possa enviá-los para o S3 em caso de desativação do YARN.
+ Esta versão corrige o manuseio de arquivos compactados/arquivados com rastreamento persistente de arquivos de armazenamento para. HBase
+ Esta versão corrige um problema que afetou a performance do Spark quando você definiu um valor de `true` padrão para a configuração `spark.yarn.heterogeneousExecutors.enabled` no `spark-defaults.conf`.
+ Esta versão corrige um problema com a falha do Reduce Task em ler dados embaralhados. O problema causou falhas na consulta do Hive com um erro de memória corrompida.
+ Esta versão corrige um problema que fazia com que o provisionador de nós falhasse se o serviço HDFS NameNode (NN) ficasse preso no modo de segurança durante a substituição do nó.
+ Esta versão adiciona um mecanismo de nova tentativa ao fluxo de trabalho de escalabilidade de clusters para clusters do EMR que executam o Presto ou o Trino. Essa melhoria reduz o risco de que o redimensionamento do cluster fique paralisado indefinidamente devido a uma única falha na operação de redimensionamento. Ela também aprimora a utilização dos clusters, porque seu cluster aumenta e reduz a escala verticalmente com mais rapidez.
+ Esta versão melhora a lógica de redução da escala verticalmente do cluster para que o cluster não tente reduzir a escala verticalmente dos nós centrais abaixo da configuração do fator de replicação do HDFS para o cluster. Isso se alinha aos seus requisitos de redundância de dados e reduz a probabilidade de uma operação de escalabilidade paralisar.
+ O daemon de gerenciamento de logs foi atualizado para identificar todos os logs que estão em uso ativo com identificadores de arquivos abertos no armazenamento da instância local e nos processos associados. Essa atualização garante que o Amazon EMR exclua adequadamente os arquivos e recupere o espaço de armazenamento depois que os logs são arquivados no Amazon S3.
+ Esta versão inclui um aprimoramento do daemon de gerenciamento de logs que exclui diretórios de etapas vazios e não utilizados no sistema de arquivos de cluster local. Um número excessivamente grande de diretórios vazios pode degradar a performance dos daemons do Amazon EMR e resultar na utilização excessiva do disco.
+ Esta versão corrige um problema que pode ocorrer quando você cria um nó de borda ao replicar um dos nós primários de um cluster com vários nós primários. O nó de borda replicado pode causar atrasos nas operações de redução da escala verticalmente ou resultar em alta utilização de memória nos nós primários. Para obter mais informações sobre como criar um nó de borda para se comunicar com seu cluster EMR, consulte [Edge Node Creator](https://github.com/aws-samples/aws-emr-utilities/tree/main/utilities/emr-edge-node-creator) no `aws-samples` repositório em. GitHub
+ Esta versão melhora o processo de automação que o Amazon EMR usa para remontar volumes do Amazon EBS em uma instância após uma reinicialização.
+ Esta versão corrige um problema que resultou em lacunas intermitentes nas métricas do Hadoop que o Amazon EMR publica na Amazon. CloudWatch
+ Esta versão corrige um problema com clusters do EMR em que uma atualização no arquivo de configuração do YARN que contém a lista de exclusão de nós do cluster é interrompida devido à utilização excessiva do disco. A atualização incompleta impede futuras operações de redução da escala verticalmente do cluster. Esta versão garante que o cluster permaneça íntegro e que as operações de escalabilidade funcionem conforme esperado.
+ Esta versão aprimora o daemon de gerenciamento de logs no cluster para monitorar pastas de log adicionais no cluster do EMR. Essa melhoria minimiza os cenários de utilização excessiva do disco.
+ Esta versão reinicia automaticamente o daemon de gerenciamento de logs no cluster quando ele é interrompido. Essa melhoria reduz o risco de os nós parecerem não íntegros devido à utilização excessiva do disco. 
+ Quando você inicia um cluster com a *versão de patch mais recente* do Amazon EMR 5.36 ou superior, 6.6 ou superior ou 7.0 ou superior, o Amazon EMR usa a versão mais recente do Amazon Linux 2023 ou do Amazon Linux 2 para a AMI padrão do Amazon EMR. Para obter mais informações, consulte [Como usar a AMI padrão do Amazon Linux para Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html).    
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/emr/latest/ReleaseGuide/emr-691-release.html)

## Versões de componente 6.9.1
<a name="emr-691-components"></a>

Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.

Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.


| Componente | Versão | Description | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.2 | SDK do Amazon SageMaker Spark | 
| delta | 2.1.0 | O Delta Lake é um formato de tabela aberto para grandes conjuntos de dados analíticos | 
| emr-ddb | 4.16.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. | 
| emr-goodies | 3.3.0 | Bibliotecas convenientes para o ecossistema do Hadoop. | 
| emr-kinesis | 3.6.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. | 
| emr-notebook-env | 1.7.0 | Ambiente Conda para bloco de anotações do emr, que inclui o jupyter enterprise gateway | 
| emr-s3-dist-cp | 2.23.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. | 
| emr-s3-select | 2.2.0 | EMR S3Select Connector | 
| emrfs | 2.54.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. | 
| flink-client | 1.15.2 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. | 
| flink-jobmanager-config | 1.15.2 | Gerenciando recursos nos nós do EMR para o Apache Flink. JobManager | 
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. | 
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. | 
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. | 
| hadoop-client | 3.3.3-amzn-1.1 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. | 
| hadoop-hdfs-datanode | 3.3.3-amzn-1.1 | O serviço de nível de nó do HDFS para armazenamento de blocos. | 
| hadoop-hdfs-library | 3.3.3-amzn-1.1 | O cliente de linha de comando e biblioteca do HDFS | 
| hadoop-hdfs-namenode | 3.3.3-amzn-1.1 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. | 
| hadoop-hdfs-journalnode | 3.3.3-amzn-1.1 | O serviço do HDFS para gerenciar o lançamento de arquivos do Hadoop em clusters de HA. | 
| hadoop-httpfs-server | 3.3.3-amzn-1.1 | O endpoint de HTTP para as operações do HDFS. | 
| hadoop-kms-server | 3.3.3-amzn-1.1 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider  | 
| hadoop-mapred | 3.3.3-amzn-1.1 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. | 
| hadoop-yarn-nodemanager | 3.3.3-amzn-1.1 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. | 
| hadoop-yarn-resourcemanager | 3.3.3-amzn-1.1 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. | 
| hadoop-yarn-timeline-server | 3.3.3-amzn-1.1 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. | 
| hbase-hmaster | 2.4.13-amzn-0.1 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. | 
| hbase-region-server | 2.4.13-amzn-0.1 | Serviço para atender uma ou mais HBase regiões. | 
| hbase-client | 2.4.13-amzn-0.1 | HBase cliente de linha de comando. | 
| hbase-rest-server | 2.4.13-amzn-0.1 | Serviço que fornece um endpoint RESTful HTTP para HBase. | 
| hbase-thrift-server | 2.4.13-amzn-0.1 | Serviço que fornece um endpoint Thrift para. HBase | 
| hbase-operator-tools | 2.4.13-amzn-0.1 | Ferramenta de reparo para HBase clusters Apache. | 
| hcatalog-client | 3.1.3-amzn-2.1 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. | 
| hcatalog-server | 3.1.3-amzn-2.1 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. | 
| hcatalog-webhcat-server | 3.1.3-amzn-2.1 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. | 
| hive-client | 3.1.3-amzn-2.1 | O cliente da linha de comando do Hive. | 
| hive-hbase | 3.1.3-amzn-2.1 | Cliente do Hive-hbase. | 
| hive-metastore-server | 3.1.3-amzn-2.1 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. | 
| hive-server2 | 3.1.3-amzn-2.1 | O serviço que aceita as consultas do Hive como solicitações da web. | 
| hudi | 0.12.1-amzn-0 | Estrutura de processamento incremental para alimentar o pipeline de dados com baixa latência e alta eficiência. | 
| hudi-presto | 0.12.1-amzn-0 | Biblioteca de pacotes para executar o Presto com o Hudi. | 
| hudi-trino | 0.12.1-amzn-0 | Biblioteca de pacotes para execução do Presto com o Hudi. | 
| hudi-spark | 0.12.1-amzn-0 | Biblioteca de pacotes para executar o Spark com o Hudi. | 
| hue-server | 4.10.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop | 
| iceberg | 0.14.1-amzn-0 | Apache Iceberg é um formato de tabela aberta para conjuntos de dados analíticos imensos | 
| jupyterhub | 1.4.1 | Servidor de vários usuários para blocos de anotações Jupyter | 
| livy-server | 0.7.1-incubating | Interface REST para interagir com o Apache Spark | 
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP | 
| mxnet | 1.9.1 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. | 
| mariadb-server | 5.5.68\$1 | Servidor de banco de dados MariaDB. | 
| nvidia-cuda | 11.7.0 | Drivers NVIDIA e toolkit CUDA | 
| oozie-client | 5.2.1 | O cliente da linha de comando do Oozie. | 
| oozie-server | 5.2.1 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. | 
| opencv | 4.5.0 | Biblioteca de Visão Computacional de Código Aberto. | 
| phoenix-library | 5.1.2 | As bibliotecas do phoenix para servidor e cliente | 
| phoenix-connectors | 6.0.0-SNAPSHOT | Conectores do Apache Phoenix para Spark-3 | 
| phoenix-query-server | 6.0.0 | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica  | 
| presto-coordinator | 0.276-amzn-0 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. | 
| presto-worker | 0.276-amzn-0 | O serviço que executa partes de uma consulta. | 
| presto-client | 0.276-amzn-0 | Cliente de linha de comando do Presto instalado em mestres de espera de um cluster de alta disponibilidade em que o servidor do Presto não é iniciado. | 
| trino-coordinator | 398-amzn-0 | Serviço que aceita consultas e gerencia a execução de consultas entre trino-workers. | 
| trino-worker | 398-amzn-0 | O serviço que executa partes de uma consulta. | 
| trino-client | 398-amzn-0 | Cliente de linha de comando do Trino instalado em mestres de espera de um cluster de alta disponibilidade (HA) em que o servidor do Trino não é iniciado. | 
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. | 
| r | 4.0.2 | O projeto R para computação estatística | 
| ranger-kms-server | 2.0.0 | Sistema de gerenciamento de chaves Apache Ranger | 
| spark-client | 3.3.0-amzn-1.1 | Os clientes da linha de comando do Spark. | 
| spark-history-server | 3.3.0-amzn-1.1 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. | 
| spark-on-yarn | 3.3.0-amzn-1.1 | O mecanismo de execução em memória para o YARN. | 
| spark-yarn-slave | 3.3.0-amzn-1.1 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. | 
| spark-rapids | 22.08.0-amzn-0 | Plugin Nvidia Spark RAPIDS que acelera o Apache Spark com o. GPUs | 
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. | 
| tensorflow | 2.10.0 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. | 
| tez-on-yarn | 0.10.2-amzn-0.1 | O aplicativo e as bibliotecas do YARN para Tez. | 
| webserver | 2.4.41\$1 | O servidor Apache HTTP. | 
| zeppelin-server | 0.10.1 | O notebook baseado na web que permite um data analytics interativo. | 
| zookeeper-server | 3.5.10 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. | 
| zookeeper-client | 3.5.10 | ZooKeeper cliente de linha de comando. | 

## Classificações de configuração 6.9.1
<a name="emr-691-class"></a>

As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).

Ocorrem ações de reconfiguração quando você especifica uma configuração para grupos de instâncias em um cluster em execução. O Amazon EMR só inicia ações de reconfiguração para as classificações que você modifica. Para obter mais informações, consulte [Reconfigurar um grupo de instâncias de um cluster em execução](emr-configure-apps-running-cluster.md).


**Classificações do emr-6.9.1**  

| Classificações | Description | Ações de reconfiguração | 
| --- | --- | --- | 
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. | Restarts the ResourceManager service. | 
| container-executor | Alterar os valores no arquivo container-executor.cfg do YARN do Hadoop. | Not available. | 
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. | Not available. | 
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | Alterar as configurações relacionadas ao docker. | Not available. | 
| emrfs-site | Alterar as configurações do EMRFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | Alterar as configurações do flink-conf.yaml. | Restarts Flink history server. | 
| flink-log4j | Alterar as configurações de log4j.properties no Flink. | Restarts Flink history server. | 
| flink-log4j-session | Altere as configurações do Flink log4j-session.properties para a sessão. Kubernetes/Yarn  | Restarts Flink history server. | 
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. | Restarts Flink history server. | 
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop | Not available. | 
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop | Not available. | 
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | Mude os valores no HBase ambiente. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. | Not available. | 
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. | This classification should not be reconfigured. | 
| hdfs-env | Alterar os valores no ambiente do HDFS. | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | Mude os valores no HCatalog ambiente. | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. | Restarts Hive WebHCat server. | 
| hive | As configurações administradas pelo Amazon EMR para o Apache Hive. | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. | Not available. | 
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. | Not available. | 
| hive-env | Alterar os valores no ambiente do Hive. | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. | Not available. | 
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. | Not available. | 
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. | Not available. | 
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. | Not available. | 
| hue-ini | Alterar os valores no arquivo ini do Hue | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | Alterar os valores no ambiente do HTTPFS. | Restarts Hadoop Httpfs service. | 
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. | Not available. | 
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. | Not available. | 
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | Altere os valores no ambiente do Hudi. | Not available. | 
| hudi-defaults | Alterar os valores no arquivo hudi-defaults.conf do Hudi. | Not available. | 
| iceberg-defaults | Alterar os valores no arquivo iceberg-defaults.conf do Iceberg. | Not available. | 
| delta-defaults | Alterar os valores no arquivo delta-defaults.conf do Delta. | Not available. | 
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. | Not available. | 
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. | Not available. | 
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. | Not available. | 
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. | Not available. | 
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. | Restarts Livy Server. | 
| livy-env | Alterar os valores no ambiente do Livy. | Restarts Livy Server. | 
| livy-log4j2 | Alterar as configurações de log4j2.properties do Livy. | Restarts Livy Server. | 
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | Alterar os valores no ambiente do Oozie. | Restarts Oozie. | 
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. | Restarts Oozie. | 
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. | Restarts Oozie. | 
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. | Not available. | 
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. | Not available. | 
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. | Not available. | 
| pig-env | Alterar os valores no ambiente do Pig. | Not available. | 
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. | Restarts Oozie. | 
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. | Not available. | 
| presto-log | Alterar os valores no arquivo log.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-config | Alterar os valores no arquivo config.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. | Not available. | 
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-node | Altere os valores no arquivo node.properties do Presto. | Not available. | 
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. | Not available. | 
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. | Not available. | 
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. | Not available. | 
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. | Not available. | 
| presto-connector-lakeformation | Alterar os valores no arquivo lakeformation.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. | Not available. | 
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. | Not available. | 
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. | Not available. | 
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. | Not available. | 
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. | Not available. | 
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. | Not available. | 
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. | Not available. | 
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. | Not available. | 
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. | Not available. | 
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. | Not available. | 
| trino-log | Alterar os valores no arquivo log.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-config | Alterar os valores no arquivo config.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-password-authenticator | Alterar os valores no arquivo password-authenticator.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-env | Alterar os valores no arquivo trino-env.sh do Trino. | Restarts Trino-Server (for Trino) | 
| trino-node | Alterar os valores no arquivo node.properties do Trino. | Not available. | 
| trino-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Trino. | Not available. | 
| trino-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Trino. | Not available. | 
| trino-connector-delta | Alterar os valores no arquivo delta.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-connector-hive | Alterar os valores no arquivo hive.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-exchange-manager | Alterar os valores no arquivo exchange-manager.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-connector-iceberg | Alterar os valores no arquivo iceberg.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-connector-jmx | Alterar os valores no arquivo jmx.properties do Trino. | Not available. | 
| trino-connector-kafka | Alterar os valores no arquivo kafka.properties do Trino. | Not available. | 
| trino-connector-localfile | Alterar os valores no arquivo localfile.properties do Trino. | Not available. | 
| trino-connector-memory | Alterar os valores no arquivo memory.properties do Trino. | Not available. | 
| trino-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Trino. | Not available. | 
| trino-connector-mysql | Alterar os valores no arquivo mysql.properties do Trino. | Not available. | 
| trino-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Trino. | Not available. | 
| trino-connector-raptor | Alterar os valores no arquivo raptor.properties do Trino. | Not available. | 
| trino-connector-redis | Alterar os valores no arquivo redis.properties do Trino. | Not available. | 
| trino-connector-redshift | Alterar os valores no arquivo redshift.properties do Trino. | Not available. | 
| trino-connector-tpch | Alterar os valores no arquivo tpch.properties do Trino. | Not available. | 
| trino-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Trino. | Not available. | 
| ranger-kms-dbks-site | Altere os valores no arquivo dbks-site.xml do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-site | Altere os valores no ranger-kms-site arquivo.xml do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-env | Altere os valores no ambiente do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-log4j | Altere os valores no arquivo kms-log4j.properties do Ranger KMS. | Not available. | 
| ranger-kms-db-ca | Altere os valores do arquivo CA no S3 para conexão SSL do MySQL com o Ranger KMS. | Not available. | 
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. | This property modifies spark-defaults. See actions there. | 
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-env | Alterar os valores no ambiente do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. | Not available. | 
| spark-log4j2 | Alterar os valores no arquivo log4j2.properties do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | Alterar os valores no ambiente do Sqoop. | Not available. | 
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. | Not available. | 
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. | Not available. | 
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. | Restart Oozie and HiveServer2. | 
| yarn-env | Alterar os valores no ambiente do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. | Restarts Zeppelin. | 
| zeppelin-site | Alterar as definições da configuração em zeppelin-site.xml. | Restarts Zeppelin. | 
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. | Restarts Zookeeper server. | 
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. | Restarts Zookeeper server. | 

## Log de alterações 6.9.1
<a name="691-changelog"></a>


**Log de alterações da versão 6.9.1 e das notas da versão**  

| Data | Event | Description | 
| --- | --- | --- | 
| 2023-08-30 | Atualizar notas da versão | Adicionadas várias correções relacionadas ao ambiente de gerenciamento às notas da versão | 
| 2023-08-21 | Publicação de documentos | Notas da versão 6.9.1 do Amazon EMR publicadas pela primeira vez | 
| 2023-08-16 | Implantação concluída | Amazon EMR 6.9.1 totalmente implantado em todas as [regiões compatíveis](https://aws.amazon.com/about-aws/global-infrastructure/regional-product-services/) | 
| 2023-08-04 | Lançamento inicial | A versão 6.9.1 do Amazon EMR foi implantada pela primeira vez em regiões comerciais limitadas | 

# Versão 6.9.0 do Amazon EMR
<a name="emr-690-release"></a>

## Versões da aplicação 6.9.0
<a name="emr-690-app-versions"></a>

Esta versão inclui as seguintes aplicações: [https://delta.io/](https://delta.io/), [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://iceberg.apache.org/](https://iceberg.apache.org/), [https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://trino.io/](https://trino.io/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).

A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).

Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)


**Informações da versão da aplicação**  

|  | emr-6.9.0 | emr-6.8.1 | emr-6.8.0 | emr-6.7.0 | 
| --- | --- | --- | --- | --- | 
| AWS SDK for Java | 1.12.170 | 1.12.170 | 1.12.170 | 1.12.170 | 
| Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 
| Scala | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.15 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta | 2.1.0 |  -  |  -  |  -  | 
| Flink | 1.15.2 | 1.15.1 | 1.15.1 | 1.14.2 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.4.13-amzn-0 | 2.4.12-amzn-0.1 | 2.4.12-amzn-0 | 2.4.4-amzn-3 | 
| HCatalog | 3.1.3-amzn-2 | 3.1.3-amzn-1.1 | 3.1.3-amzn-1 | 3.1.3-amzn-0 | 
| Hadoop | 3.3.3-amzn-1 | 3.2.1-amzn-8.1 | 3.2.1-amzn-8 | 3.2.1-amzn-7 | 
| Hive | 3.1.3-amzn-2 | 3.1.3-amzn-1.1 | 3.1.3-amzn-1 | 3.1.3-amzn-0 | 
| Hudi | 0.12.1-amzn-0 | 0.11.1-amzn-0 | 0.11.1-amzn-0 | 0.11.0-amzn-0 | 
| Hue | 4.10.0 | 4.10.0 | 4.10.0 | 4.10.0 | 
| Iceberg | 0.14.1-amzn-0 | 0.14.0-amzn-0 | 0.14.0-amzn-0 | 0.13.1-amzn-0 | 
| JupyterEnterpriseGateway | 2.6.0 | 2.1.0 | 2.1.0 | 2.1.0 | 
| JupyterHub | 1.4.1 | 1.4.1 | 1.4.1 | 1.4.1 | 
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 
| MXNet | 1.9.1 | 1.9.1 | 1.9.1 | 1.8.0 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 
| Phoenix | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.276-amzn-0 | 0.273.3-amzn-0 | 0.273.3-amzn-0 | 0.272-amzn-0 | 
| Spark | 3.3.0-amzn-1 | 3.3.0-amzn-0.1 | 3.3.0-amzn-0 | 3.2.1-amzn-0 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.10.0 | 2.9.1 | 2.9.1 | 2.4.1 | 
| Tez | 0.10.2-amzn-0 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) | 398-amzn-0 | 388-amzn-0 | 388-amzn-0 | 378-amzn-0 | 
| Zeppelin | 0.10.1 | 0.10.1 | 0.10.1 | 0.10.0 | 
| ZooKeeper | 3.5.10 | 3.5.10 | 3.5.10 | 3.5.7 | 

## Notas da versão 6.9.0
<a name="emr-690-relnotes"></a>

As notas da versão a seguir incluem informações para a versão 6.9.0 do Amazon EMR. As alterações são referentes à versão 6.8.0 do Amazon EMR. Para obter informações sobre o cronograma da versão, consulte o [log de alterações](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-690-release.html#690-changelog).

**Novos atributos**
+ A versão 6.9.0 do Amazon EMR é compatível com Apache Spark RAPIDS 22.08.0, Apache Hudi 0.12.1, Apache Iceberg 0.14.1, Trino 398 e Tez 0.10.2.
+ A versão 6.9.0 do Amazon EMR inclui uma nova aplicação de código aberto, [Delta Lake](emr-delta.md) 2.1.0.
+ A integração do Amazon Redshift para Apache Spark está inclusa nas versões 6.9.0 e posteriores do Amazon EMR. Anteriormente uma ferramenta de código aberto, a integração nativa é um conector do Spark que você pode usar para criar aplicações do Apache Spark que realizam a leitura e a gravação de dados no Amazon Redshift e no Amazon Redshift sem servidor. Para obter mais informações, consulte [Usar a integração do Amazon Redshift para Apache Spark com o Amazon EMR](emr-spark-redshift.md).
+ A versão 6.9.0 do Amazon EMR adiciona suporte ao arquivamento de logs no Amazon S3 durante a redução da escala do cluster verticalmente. Anteriormente, só era possível arquivar arquivos de log no Amazon S3 durante o encerramento do cluster. A nova capacidade garante que os arquivos de log gerados no cluster persistam no Amazon S3 mesmo após o encerramento do nó. Para obter mais informações, consulte [Configurar registro em log e depuração do cluster](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-debugging.html).
+ Para dar suporte a consultas de longa execução, o Trino agora inclui um mecanismo de execução tolerante a falhas. A execução tolerante a falhas atenua as falhas nas consultas ao tentar novamente as consultas com falha ou as tarefas dos seus componentes.
+ Você pode usar o Apache Flink no Amazon EMR para `BATCH` unificado e processamento de `STREAM` de tabelas do Apache Hive ou metadados de qualquer tablesource do Flink, como Iceberg, Kinesis ou Kafka. Você pode especificar o AWS Glue Data Catalog como metastore para o Flink usando a API Console de gerenciamento da AWS,, AWS CLI ou Amazon EMR. Para obter mais informações, consulte [Configurar o Flink no Amazon EMR](flink-configure.md).
+ Agora você pode especificar funções de tempo de execução AWS Identity and Access Management (IAM) e controle de acesso AWS Lake Formation baseado para consultas do Apache Spark, Apache Hive e Presto no Amazon EMR em clusters EC2 com o Amazon AI Studio. SageMaker Para obter mais informações, consulte [Configurar funções de runtime para as etapas do Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-steps-runtime-roles.html). 

**Problemas conhecidos**
+ Para a versão 6.9.0 do Amazon EMR, o Trino não funciona em clusters habilitados para o Apache Ranger. Se você precisar usar o Trino com o Ranger, entre em contato com o [Suporte](https://console.aws.amazon.com/support/home#/).
+ Se você usar a integração do Amazon Redshift para Apache Spark e tiver um time, timetz, timestamp ou timestamptz com precisão de microssegundos no formato Parquet, o conector arredondará os valores de tempo para o valor de milissegundo mais próximo. Como solução alternativa, use o parâmetro `unload_s3_format` do formato de descarregamento de texto.
+ Quando você usa o Spark com a formatação de localização de partições do Hive para ler dados no Amazon S3 e executa o Spark nas versões 5.30.0 a 5.36.0 e 6.2.0 a 6.9.0 do Amazon EMR, pode encontrar um problema que impede que o cluster leia os dados corretamente. Isso poderá acontecer se suas partições tiverem todas as características a seguir:
  + Duas ou mais partições são verificadas na mesma tabela.
  + Pelo menos um caminho de diretório de partição é um prefixo de pelo menos outro caminho de diretório de partição, por exemplo, `s3://bucket/table/p=a` é um prefixo de `s3://bucket/table/p=a b`.
  + O primeiro caractere que segue o prefixo no outro diretório de partição tem um valor UTF-8 menor que o caractere `/` (U\$1002F). Por exemplo, o caractere de espaço (U\$10020) que ocorre entre a e b em `s3://bucket/table/p=a b` se enquadra nessa categoria. Observe que existem 14 outros caracteres que não são de controle: `!"#$%&‘()*+,-`. Para obter mais informações, consulte [Tabela de codificação UTF-8 e caracteres Unicode](https://www.utf8-chartable.de/).

  Como solução alternativa para esse problema, defina a configuração `spark.sql.sources.fastS3PartitionDiscovery.enabled` como `false` na classificação `spark-defaults`.
+ **As conexões com clusters do Amazon EMR do Amazon SageMaker AI Studio podem falhar intermitentemente com um código de resposta 403 Forbidden.** Esse erro ocorre quando a configuração do perfil do IAM no cluster leva mais de 60 segundos. Como solução alternativa, você pode instalar um patch do Amazon EMR para permitir novas tentativas e aumentar o tempo limite para um mínimo de 300 segundos. Use as etapas a seguir para aplicar a ação de bootstrap quando iniciar o cluster.

  1.  Faça o download do script de bootstrap e dos arquivos RPM do Amazon URIs S3 a seguir.

     ```
     s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/gcsc/replace-rpms.sh
     s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/gcsc/emr-secret-agent-1.18.0-SNAPSHOT20221121212949.noarch.rpm
     ```

  1. Carregue os arquivos da etapa anterior em um bucket do Amazon S3 de sua propriedade. O bucket deve estar no mesmo Região da AWS local em que você planeja iniciar o cluster.

  1. Inclua a seguinte ação de bootstrap ao iniciar o cluster do EMR. Substitua *bootstrap\$1URI* e *RPM\$1URI* pelo correspondente URIs do Amazon S3. 

     ```
     --bootstrap-actions "Path=bootstrap_URI,Args=[RPM_URI]"
     ```
+ Com as versões 5.36.0 e 6.6.0 a 6.9.0 do Amazon EMR, os componentes do serviço `SecretAgent` e `RecordServer` podem sofrer perda de dados de log devido a uma configuração incorreta do padrão de nome de arquivo nas propriedades do Log4j2. A configuração incorreta faz com que os componentes gerem somente um arquivo de log por dia. Quando a estratégia de rotação ocorre, ela substitui o arquivo existente em vez de gerar um novo arquivo de log, conforme esperado. Como solução alternativa, use uma ação de bootstrap para gerar arquivos de log a cada hora e acrescentar um número inteiro de incremento automático no nome do arquivo para lidar com a rotação.

  Para as versões 6.6.0 a 6.9.0 do Amazon EMR, use a seguinte ação de bootstrap ao iniciar um cluster. 

  ```
  ‑‑bootstrap‑actions "Path=s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/log-rotation-emr-6x/replace-puppet.sh,Args=[]"
  ```

  Para o Amazon EMR 5.36.0, use a ação de bootstrap a seguir ao iniciar um cluster.

  ```
  ‑‑bootstrap‑actions "Path=s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/log-rotation-emr-5x/replace-puppet.sh,Args=[]"
  ```
+ O Apache Flink fornece FileSystem conectores nativos S3 FileSystem e Hadoop, que permitem que os aplicativos criem FileSink e gravem os dados no Amazon S3. Isso FileSink falha com uma das duas exceções a seguir.

  ```
  java.lang.UnsupportedOperationException: Recoverable writers on Hadoop are only supported for HDFS
  ```

  ```
  Caused by: java.lang.NoSuchMethodError: org.apache.hadoop.io.retry.RetryPolicies.retryOtherThanRemoteAndSaslException(Lorg/apache/hadoop/io/retry/RetryPolicy;Ljava/util/Map;)Lorg/apache/hadoop/io/retry/RetryPolicy;
                                          at org.apache.hadoop.yarn.client.RMProxy.createRetryPolicy(RMProxy.java:302) ~[hadoop-yarn-common-3.3.3-amzn-0.jar:?]
  ```

  Como solução alternativa, você pode instalar um patch do Amazon EMR, que corrige o problema acima no Flink. Para aplicar a ação de bootstrap quando iniciar o cluster, execute as etapas a seguir.

  1. Baixe o flink-rpm no bucket Amazon S3. Seu caminho de RPM é `s3://DOC-EXAMPLE-BUCKET/rpms/flink/`.

  1. Baixe o script de bootstrap e os arquivos RPM do Amazon S3 usando o URI a seguir. `regionName`Substitua pelo Região da AWS local em que você planeja iniciar o cluster.

     ```
     s3://emr-data-access-control-regionName/customer-bootstrap-actions/gcsc/replace-rpms.sh
     ```

  1. O Hadoop 3.3.3 introduziu uma alteração no YARN ([YARN-9608](https://issues.apache.org/jira/browse/YARN-9608)) que mantém os nós em que os contêineres eram executados em um estado de desativação até que a aplicação seja concluída. Essa alteração garante que dados locais, como dados embaralhados, não sejam perdidos e que você não precise executar o trabalho novamente. Nas versões 6.8.0 e 6.9.0 do Amazon EMR, essa abordagem também pode levar à subutilização de recursos em clusters com ou sem o ajuste de escala gerenciado habilitado.

     Com o [Amazon EMR 6.10.0](emr-6100-release.md#emr-6100-relnotes), há uma solução alternativa para esse problema: definir o valor de `yarn.resourcemanager.decommissioning-nodes-watcher.wait-for-applications` como `false` em `yarn-site.xml`. Nas versões 6.11.0 e superiores do Amazon EMR, além das versões 6.8.1, 6.9.1 e 6.10.1, o config é definido como `false` por padrão para resolver esse problema.

**Alterações, melhorias e problemas resolvidos**
+ Para as versões 6.9.0 e posteriores do Amazon EMR, todos os componentes instalados pelo Amazon EMR que usam bibliotecas do Log4j usam o Log4j versão 2.17.1 ou posterior.
+ Ao usar o conector DynamoDB com o Spark nas versões 6.6.0, 6.7.0 e 6.8.0 do Amazon EMR, todas as leituras da tabela retornam um resultado vazio, mesmo que a divisão de entrada faça referência a dados que não estão vazios. A versão 6.9.0 do Amazon EMR corrige esse problema.
+ O Amazon EMR 6.9.0 adiciona suporte limitado ao controle de acesso baseado no Lake Formation com o Apache Hudi ao ler dados usando o Spark SQL. O suporte se destina a consultas SELECT usando o Spark SQL e é limitado ao controle de acesso em nível de coluna. Para obter mais informações, consulte [Hudi e Lake Formation](https://docs.aws.amazon.com/emr/latest/ManagementGuide/hudi-with-lake-formation.html).
+ Quando você usa o Amazon EMR 6.9.0 para criar um cluster do Hadoop com [Rótulos de nós](https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/NodeLabel.html) habilitados, a [API de métricas do YARN](https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/ResourceManagerRest.html#Cluster_Metrics_API) retorna informações agregadas em todas as partições, em vez de na partição padrão. Para obter mais informações, consulte [YARN-11414](https://issues.apache.org/jira/browse/YARN-11414).
+ Com a versão 6.9.0 do Amazon EMR, atualizamos o Trino para a versão 398, que usa Java 17. A versão anterior do Trino compatível com o Amazon EMR 6.8.0 era Trino 388 em execução no Java 11. Para obter mais informações sobre essa alteração, consulte [Atualizações do Trino para Java 17](https://trino.io/blog/2022/07/14/trino-updates-to-java-17.html) no blog do Trino.
+ Esta versão corrige um problema de incompatibilidade de sequência de tempo entre o Apache BigTop e o Amazon EMR na sequência de inicialização do cluster EC2. Essa incompatibilidade de sequência de tempo ocorre quando um sistema tenta realizar duas ou mais operações ao mesmo tempo em vez de fazê-las na sequência correta. Como resultado, determinadas configurações de cluster apresentaram tempos limite de inicialização da instância e tempos de inicialização do cluster mais lentos.
+ Quando você inicia um cluster com a *versão de patch mais recente* do Amazon EMR 5.36 ou superior, 6.6 ou superior ou 7.0 ou superior, o Amazon EMR usa a versão mais recente do Amazon Linux 2023 ou do Amazon Linux 2 para a AMI padrão do Amazon EMR. Para obter mais informações, consulte [Como usar a AMI padrão do Amazon Linux para Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html).
**nota**  
Essa versão não recebe mais atualizações automáticas da AMI, pois foi substituída por uma ou mais versões de patch. A versão de patch é indicada pelo número após o segundo ponto decimal (`6.8.1`). Para ver se você está usando a versão de patch mais recente, verifique as versões disponíveis no [https://docs.aws.amazon.com/emr/latest/ReleaseGuide](https://docs.aws.amazon.com/emr/latest/ReleaseGuide) ou verifique o menu suspenso de **versões do Amazon EMR** quando criar um cluster no console ou use a ação de API [https://docs.aws.amazon.com/emr/latest/APIReference/API_ListReleaseLabels.html](https://docs.aws.amazon.com/emr/latest/APIReference/API_ListReleaseLabels.html) ou da CLI [https://docs.aws.amazon.com/cli/latest/reference/emr/list-release-labels.html](https://docs.aws.amazon.com/cli/latest/reference/emr/list-release-labels.html). Para obter atualizações sobre novas versões, assine o feed RSS na página [Novidades](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html).    
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/emr/latest/ReleaseGuide/emr-690-release.html)

## Versões de componente 6.9.0
<a name="emr-690-components"></a>

Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.

Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.


| Componente | Versão | Description | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.2 | SDK do Amazon SageMaker Spark | 
| delta | 2.1.0 | O Delta Lake é um formato de tabela aberto para grandes conjuntos de dados analíticos | 
| emr-ddb | 4.16.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. | 
| emr-goodies | 3.3.0 | Bibliotecas convenientes para o ecossistema do Hadoop. | 
| emr-kinesis | 3.6.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. | 
| emr-notebook-env | 1.7.0 | Ambiente Conda para bloco de anotações do emr, que inclui o jupyter enterprise gateway | 
| emr-s3-dist-cp | 2.23.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. | 
| emr-s3-select | 2.2.0 | EMR S3Select Connector | 
| emrfs | 2.54.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. | 
| flink-client | 1.15.2 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. | 
| flink-jobmanager-config | 1.15.2 | Gerenciando recursos nos nós do EMR para o Apache Flink. JobManager | 
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. | 
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. | 
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. | 
| hadoop-client | 3.3.3-amzn-1 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. | 
| hadoop-hdfs-datanode | 3.3.3-amzn-1 | O serviço de nível de nó do HDFS para armazenamento de blocos. | 
| hadoop-hdfs-library | 3.3.3-amzn-1 | O cliente de linha de comando e biblioteca do HDFS | 
| hadoop-hdfs-namenode | 3.3.3-amzn-1 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. | 
| hadoop-hdfs-journalnode | 3.3.3-amzn-1 | O serviço do HDFS para gerenciar o lançamento de arquivos do Hadoop em clusters de HA. | 
| hadoop-httpfs-server | 3.3.3-amzn-1 | O endpoint de HTTP para as operações do HDFS. | 
| hadoop-kms-server | 3.3.3-amzn-1 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider  | 
| hadoop-mapred | 3.3.3-amzn-1 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. | 
| hadoop-yarn-nodemanager | 3.3.3-amzn-1 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. | 
| hadoop-yarn-resourcemanager | 3.3.3-amzn-1 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. | 
| hadoop-yarn-timeline-server | 3.3.3-amzn-1 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. | 
| hbase-hmaster | 2.4.13-amzn-0 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. | 
| hbase-region-server | 2.4.13-amzn-0 | Serviço para atender uma ou mais HBase regiões. | 
| hbase-client | 2.4.13-amzn-0 | HBase cliente de linha de comando. | 
| hbase-rest-server | 2.4.13-amzn-0 | Serviço que fornece um endpoint RESTful HTTP para HBase. | 
| hbase-thrift-server | 2.4.13-amzn-0 | Serviço que fornece um endpoint Thrift para. HBase | 
| hbase-operator-tools | 2.4.13-amzn-0 | Ferramenta de reparo para HBase clusters Apache. | 
| hcatalog-client | 3.1.3-amzn-2 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. | 
| hcatalog-server | 3.1.3-amzn-2 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. | 
| hcatalog-webhcat-server | 3.1.3-amzn-2 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. | 
| hive-client | 3.1.3-amzn-2 | O cliente da linha de comando do Hive. | 
| hive-hbase | 3.1.3-amzn-2 | Cliente do Hive-hbase. | 
| hive-metastore-server | 3.1.3-amzn-2 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. | 
| hive-server2 | 3.1.3-amzn-2 | O serviço que aceita as consultas do Hive como solicitações da web. | 
| hudi | 0.12.1-amzn-0 | Estrutura de processamento incremental para alimentar o pipeline de dados com baixa latência e alta eficiência. | 
| hudi-presto | 0.12.1-amzn-0 | Biblioteca de pacotes para executar o Presto com o Hudi. | 
| hudi-trino | 0.12.1-amzn-0 | Biblioteca de pacotes para execução do Presto com o Hudi. | 
| hudi-spark | 0.12.1-amzn-0 | Biblioteca de pacotes para executar o Spark com o Hudi. | 
| hue-server | 4.10.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop | 
| iceberg | 0.14.1-amzn-0 | Apache Iceberg é um formato de tabela aberta para conjuntos de dados analíticos imensos | 
| jupyterhub | 1.4.1 | Servidor de vários usuários para blocos de anotações Jupyter | 
| livy-server | 0.7.1-incubating | Interface REST para interagir com o Apache Spark | 
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP | 
| mxnet | 1.9.1 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. | 
| mariadb-server | 5.5.68\$1 | Servidor de banco de dados MariaDB. | 
| nvidia-cuda | 11.7.0 | Drivers NVIDIA e toolkit CUDA | 
| oozie-client | 5.2.1 | O cliente da linha de comando do Oozie. | 
| oozie-server | 5.2.1 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. | 
| opencv | 4.5.0 | Biblioteca de Visão Computacional de Código Aberto. | 
| phoenix-library | 5.1.2 | As bibliotecas do phoenix para servidor e cliente | 
| phoenix-connectors | 6.0.0-SNAPSHOT | Conectores do Apache Phoenix para Spark-3 | 
| phoenix-query-server | 6.0.0 | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica  | 
| presto-coordinator | 0.276-amzn-0 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. | 
| presto-worker | 0.276-amzn-0 | O serviço que executa partes de uma consulta. | 
| presto-client | 0.276-amzn-0 | Cliente de linha de comando do Presto instalado em mestres de espera de um cluster de alta disponibilidade em que o servidor do Presto não é iniciado. | 
| trino-coordinator | 398-amzn-0 | Serviço que aceita consultas e gerencia a execução de consultas entre trino-workers. | 
| trino-worker | 398-amzn-0 | O serviço que executa partes de uma consulta. | 
| trino-client | 398-amzn-0 | Cliente de linha de comando do Trino instalado em mestres de espera de um cluster de alta disponibilidade (HA) em que o servidor do Trino não é iniciado. | 
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. | 
| r | 4.0.2 | O projeto R para computação estatística | 
| ranger-kms-server | 2.0.0 | Sistema de gerenciamento de chaves Apache Ranger | 
| spark-client | 3.3.0-amzn-1 | Os clientes da linha de comando do Spark. | 
| spark-history-server | 3.3.0-amzn-1 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. | 
| spark-on-yarn | 3.3.0-amzn-1 | O mecanismo de execução em memória para o YARN. | 
| spark-yarn-slave | 3.3.0-amzn-1 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. | 
| spark-rapids | 22.08.0-amzn-0 | Plugin Nvidia Spark RAPIDS que acelera o Apache Spark com o. GPUs | 
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. | 
| tensorflow | 2.10.0 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. | 
| tez-on-yarn | 0.10.2-amzn-0 | O aplicativo e as bibliotecas do YARN para Tez. | 
| webserver | 2.4.41\$1 | O servidor Apache HTTP. | 
| zeppelin-server | 0.10.1 | O notebook baseado na web que permite um data analytics interativo. | 
| zookeeper-server | 3.5.10 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. | 
| zookeeper-client | 3.5.10 | ZooKeeper cliente de linha de comando. | 

## Classificações de configuração 6.9.0
<a name="emr-690-class"></a>

As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).

Ocorrem ações de reconfiguração quando você especifica uma configuração para grupos de instâncias em um cluster em execução. O Amazon EMR só inicia ações de reconfiguração para as classificações que você modifica. Para obter mais informações, consulte [Reconfigurar um grupo de instâncias de um cluster em execução](emr-configure-apps-running-cluster.md).


**Classificações do emr-6.9.0**  

| Classificações | Description | Ações de reconfiguração | 
| --- | --- | --- | 
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. | Restarts the ResourceManager service. | 
| container-executor | Alterar os valores no arquivo container-executor.cfg do YARN do Hadoop. | Not available. | 
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. | Not available. | 
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | Alterar as configurações relacionadas ao docker. | Not available. | 
| emrfs-site | Alterar as configurações do EMRFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | Alterar as configurações do flink-conf.yaml. | Restarts Flink history server. | 
| flink-log4j | Alterar as configurações de log4j.properties no Flink. | Restarts Flink history server. | 
| flink-log4j-session | Altere as configurações do Flink log4j-session.properties para a sessão. Kubernetes/Yarn  | Restarts Flink history server. | 
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. | Restarts Flink history server. | 
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop | Not available. | 
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop | Not available. | 
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | Mude os valores no HBase ambiente. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. | Not available. | 
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. | This classification should not be reconfigured. | 
| hdfs-env | Alterar os valores no ambiente do HDFS. | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | Mude os valores no HCatalog ambiente. | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. | Restarts Hive WebHCat server. | 
| hive | As configurações administradas pelo Amazon EMR para o Apache Hive. | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. | Not available. | 
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. | Not available. | 
| hive-env | Alterar os valores no ambiente do Hive. | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. | Not available. | 
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. | Not available. | 
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. | Not available. | 
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. | Not available. | 
| hue-ini | Alterar os valores no arquivo ini do Hue | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | Alterar os valores no ambiente do HTTPFS. | Restarts Hadoop Httpfs service. | 
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. | Not available. | 
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. | Not available. | 
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | Altere os valores no ambiente do Hudi. | Not available. | 
| hudi-defaults | Alterar os valores no arquivo hudi-defaults.conf do Hudi. | Not available. | 
| iceberg-defaults | Alterar os valores no arquivo iceberg-defaults.conf do Iceberg. | Not available. | 
| delta-defaults | Alterar os valores no arquivo delta-defaults.conf do Delta. | Not available. | 
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. | Not available. | 
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. | Not available. | 
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. | Not available. | 
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. | Not available. | 
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. | Restarts Livy Server. | 
| livy-env | Alterar os valores no ambiente do Livy. | Restarts Livy Server. | 
| livy-log4j2 | Alterar as configurações de log4j2.properties do Livy. | Restarts Livy Server. | 
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | Alterar os valores no ambiente do Oozie. | Restarts Oozie. | 
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. | Restarts Oozie. | 
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. | Restarts Oozie. | 
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. | Not available. | 
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. | Not available. | 
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. | Not available. | 
| pig-env | Alterar os valores no ambiente do Pig. | Not available. | 
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. | Restarts Oozie. | 
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. | Not available. | 
| presto-log | Alterar os valores no arquivo log.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-config | Alterar os valores no arquivo config.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. | Not available. | 
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-node | Altere os valores no arquivo node.properties do Presto. | Not available. | 
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. | Not available. | 
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. | Not available. | 
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. | Not available. | 
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. | Not available. | 
| presto-connector-lakeformation | Alterar os valores no arquivo lakeformation.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. | Not available. | 
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. | Not available. | 
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. | Not available. | 
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. | Not available. | 
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. | Not available. | 
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. | Not available. | 
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. | Not available. | 
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. | Not available. | 
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. | Not available. | 
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. | Not available. | 
| trino-log | Alterar os valores no arquivo log.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-config | Alterar os valores no arquivo config.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-password-authenticator | Alterar os valores no arquivo password-authenticator.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-env | Alterar os valores no arquivo trino-env.sh do Trino. | Restarts Trino-Server (for Trino) | 
| trino-node | Alterar os valores no arquivo node.properties do Trino. | Not available. | 
| trino-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Trino. | Not available. | 
| trino-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Trino. | Not available. | 
| trino-connector-delta | Alterar os valores no arquivo delta.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-connector-hive | Alterar os valores no arquivo hive.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-exchange-manager | Alterar os valores no arquivo exchange-manager.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-connector-iceberg | Alterar os valores no arquivo iceberg.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-connector-jmx | Alterar os valores no arquivo jmx.properties do Trino. | Not available. | 
| trino-connector-kafka | Alterar os valores no arquivo kafka.properties do Trino. | Not available. | 
| trino-connector-localfile | Alterar os valores no arquivo localfile.properties do Trino. | Not available. | 
| trino-connector-memory | Alterar os valores no arquivo memory.properties do Trino. | Not available. | 
| trino-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Trino. | Not available. | 
| trino-connector-mysql | Alterar os valores no arquivo mysql.properties do Trino. | Not available. | 
| trino-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Trino. | Not available. | 
| trino-connector-raptor | Alterar os valores no arquivo raptor.properties do Trino. | Not available. | 
| trino-connector-redis | Alterar os valores no arquivo redis.properties do Trino. | Not available. | 
| trino-connector-redshift | Alterar os valores no arquivo redshift.properties do Trino. | Not available. | 
| trino-connector-tpch | Alterar os valores no arquivo tpch.properties do Trino. | Not available. | 
| trino-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Trino. | Not available. | 
| ranger-kms-dbks-site | Altere os valores no arquivo dbks-site.xml do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-site | Altere os valores no ranger-kms-site arquivo.xml do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-env | Altere os valores no ambiente do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-log4j | Altere os valores no arquivo kms-log4j.properties do Ranger KMS. | Not available. | 
| ranger-kms-db-ca | Altere os valores do arquivo CA no S3 para conexão SSL do MySQL com o Ranger KMS. | Not available. | 
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. | This property modifies spark-defaults. See actions there. | 
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-env | Alterar os valores no ambiente do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. | Not available. | 
| spark-log4j2 | Alterar os valores no arquivo log4j2.properties do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | Alterar os valores no ambiente do Sqoop. | Not available. | 
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. | Not available. | 
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. | Not available. | 
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. | Restart Oozie and HiveServer2. | 
| yarn-env | Alterar os valores no ambiente do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. | Restarts Zeppelin. | 
| zeppelin-site | Alterar as definições da configuração em zeppelin-site.xml. | Restarts Zeppelin. | 
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. | Restarts Zookeeper server. | 
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. | Restarts Zookeeper server. | 

## Log de alterações 6.9.0
<a name="690-changelog"></a>


**Log de alterações da versão 6.9.0 e das notas da versão**  

| Data | Event | Description | 
| --- | --- | --- | 
| 2023-08-30 | Atualizar notas da versão | Adicionada correção para um problema de incompatibilidade de sequência de tempo | 
| 2023-08-21 | Atualizar notas da versão | Adicionado um problema conhecido com o Hadoop 3.3.3. | 
| 2023-07-26 | Atualizar | Novos rótulos de versão 2.0.20230612.0 e 2.0.20230628.0 do sistema operacional. | 
| 2022-12-13 | Notas da versão atualizadas | Recurso adicionado e problema conhecido para tempo de execução com SageMaker IA | 
| 2022-11-29 | Notas da versão e documentação atualizadas | Adicionado atributo para a integração do Amazon Redshift para Apache Spark | 
| 2022-11-23 | Notas da versão atualizadas | Removida entrada Log4j | 
| 2022-11-18 | Implantação concluída | Amazon EMR 6.9 totalmente implantado em todas as [regiões compatíveis](https://aws.amazon.com/about-aws/global-infrastructure/regional-product-services/) | 
| 2022-11-18 | Publicação de documentos | Notas da versão 6.9 do Amazon EMR publicadas pela primeira vez | 
| 2022-11-14 | Lançamento inicial | Versão 6.9 do Amazon EMR implantada em regiões comerciais limitadas | 

# Versão 6.8.1 do Amazon EMR
<a name="emr-681-release"></a>

## Versões 6.8.1 da aplicação
<a name="emr-681-app-versions"></a>

Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://iceberg.apache.org/](https://iceberg.apache.org/), [https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://trino.io/](https://trino.io/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).

A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).

Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)


**Informações da versão da aplicação**  

|  | emr-6.8.1 | emr-6.8.0 | emr-6.7.0 | emr-6.6.0 | 
| --- | --- | --- | --- | --- | 
| AWS SDK for Java | 1.12.170 | 1.12.170 | 1.12.170 | 1.12.170 | 
| Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 
| Scala | 2.12.15 | 2.12.15 | 2.12.15 | 2.12.10 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.15.1 | 1.15.1 | 1.14.2 | 1.14.2 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.4.12-amzn-0.1 | 2.4.12-amzn-0 | 2.4.4-amzn-3 | 2.4.4-amzn-2 | 
| HCatalog | 3.1.3-amzn-1.1 | 3.1.3-amzn-1 | 3.1.3-amzn-0 | 3.1.2-amzn-7 | 
| Hadoop | 3.2.1-amzn-8.1 | 3.2.1-amzn-8 | 3.2.1-amzn-7 | 3.2.1-amzn-6 | 
| Hive | 3.1.3-amzn-1.1 | 3.1.3-amzn-1 | 3.1.3-amzn-0 | 3.1.2-amzn-7 | 
| Hudi | 0.11.1-amzn-0 | 0.11.1-amzn-0 | 0.11.0-amzn-0 | 0.10.1-amzn-0 | 
| Hue | 4.10.0 | 4.10.0 | 4.10.0 | 4.10.0 | 
| Iceberg | 0.14.0-amzn-0 | 0.14.0-amzn-0 | 0.13.1-amzn-0 | 0.13.1 | 
| JupyterEnterpriseGateway | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 
| JupyterHub | 1.4.1 | 1.4.1 | 1.4.1 | 1.4.1 | 
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 
| MXNet | 1.9.1 | 1.9.1 | 1.8.0 | 1.8.0 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 
| Phoenix | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.273.3-amzn-0 | 0.273.3-amzn-0 | 0.272-amzn-0 | 0.267-amzn-0 | 
| Spark | 3.3.0-amzn-0.1 | 3.3.0-amzn-0 | 3.2.1-amzn-0 | 3.2.0-amzn-0 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.9.1 | 2.9.1 | 2.4.1 | 2.4.1 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) | 388-amzn-0 | 388-amzn-0 | 378-amzn-0 | 367-amzn-0 | 
| Zeppelin | 0.10.1 | 0.10.1 | 0.10.0 | 0.10.0 | 
| ZooKeeper | 3.5.10 | 3.5.10 | 3.5.7 | 3.5.7 | 

## Notas da versão 6.8.1
<a name="emr-681-relnotes"></a>

As notas da versão a seguir incluem informações para a versão 6.8.1 do Amazon EMR. As alterações são referentes à versão 6.8.0. Para obter informações sobre o cronograma da versão, consulte o [Log de alterações 6.8.1](#681-changelog).

**Alterações, melhorias e problemas resolvidos**
+ O Hadoop 3.3.3 introduziu uma alteração no YARN ([YARN-9608](https://issues.apache.org/jira/browse/YARN-9608)) que mantém os nós em que os contêineres eram executados em um estado de desativação até que a aplicação seja concluída. Essa alteração garante que dados locais, como dados embaralhados, não sejam perdidos e que você não precise executar o trabalho novamente. Essa abordagem também pode levar à subutilização de recursos em clusters com ou sem o ajuste de escala gerenciado habilitado.

  Com as versões 6.11.0 e superiores do Amazon EMR, além das versões 6.8.1, 6.9.1 e 6.10.1, o valor de `yarn.resourcemanager.decommissioning-nodes-watcher.wait-for-applications` é definido como `false` em `yarn-site.xml` para resolver esse problema.

  Embora a correção resolva os problemas introduzidos pelo YARN-9608, ela pode fazer com que os trabalhos do Hive falhem devido à perda de dados embaralhados em clusters com ajuste de escala gerenciado habilitado. Reduzimos esse risco nesta versão também ao configurar `yarn.resourcemanager.decommissioning-nodes-watcher.wait-for-shuffle-data` para workloads do Hive. Essa configuração só está disponível com as versões 6.11.0 e superiores do Amazon EMR.
+ O coletor de métricas não enviará métricas para o ambiente de gerenciamento após o failover do nó primário em clusters com a configuração de grupos de instâncias.
+ Essa versão elimina novas tentativas de solicitações HTTP com falha nos endpoints do coletor de métricas.
+ Esta versão inclui uma alteração que permite que clusters de alta disponibilidade se recuperem de um estado de falha após a reinicialização.
+ Esta versão corrige um problema em que grandes exceções de estouro criadas UIDs por usuários causavam exceções de estouro.
+ Esta versão corrige problemas de tempo limite com o processo de reconfiguração do Amazon EMR.
+ Esta versão evita um problema em que a falha na reconfiguração pode interromper outros processos não relacionados.
+ Esta versão inclui correções de segurança.
+ Esta versão corrige um problema em que clusters que estão executando workloads no Spark com o Amazon EMR podem receber silenciosamente resultados incorretos com `contains`, `startsWith`, `endsWith` e `like`. Esse problema ocorre quando você usa as expressões em campos particionados que têm metadados no Hive3 Metastore Server (HMS) no Amazon EMR.
+ Com o Amazon EMR 6.6.0 a 6.9.x, as consultas INSERT com partição dinâmica e uma cláusula ORDER BY ou SORT BY sempre terá dois redutores. Esse problema é causado pela alteração do OSS [HIVE-20703](https://issues.apache.org/jira/browse/HIVE-20703), que coloca a otimização da partição dinâmica de classificação sob uma decisão baseada em custos. Se sua workload não exigir a classificação de partições dinâmicas, recomendamos que você defina a propriedade `hive.optimize.sort.dynamic.partition.threshold` como `-1` para desabilitar o novo atributo e obter o número de redutores calculado corretamente. Esse problema foi corrigido no OSS Hive como parte do [HIVE-22269](https://issues.apache.org/jira/browse/HIVE-22269) e foi corrigido no Amazon EMR 6.10.0.
+ O Hive pode sofrer perda de dados quando você usa o HDFS como um diretório temporário e habilitou a mesclagem de arquivos pequenos e a tabela contém caminhos de partição estáticos.
+ Esta versão corrige um problema de performance com o Hive se a mesclagem de arquivos pequenos (desabilitada por padrão) é habilitada no final da tarefa de ETL.
+ Esta versão corrige um problema com controle de utilização no lado do Glue quando não há funções definidas pelo usuário (UDF).
+ Esta versão corrige um problema que exclui logs de contêineres pelo serviço de agregação de logs de nó antes que o pusher de logs possa enviá-los para o S3 em caso de desativação do YARN.
+ Esta versão corrige o manuseio de arquivos compactados/arquivados com rastreamento persistente de arquivos de armazenamento para. HBase
+ Esta versão corrige um problema que afetou a performance do Spark quando você definiu um valor de `true` padrão para a configuração `spark.yarn.heterogeneousExecutors.enabled` no `spark-defaults.conf`.
+ Esta versão corrige um problema com a falha do Reduce Task em ler dados embaralhados. O problema causou falhas na consulta do Hive com um erro de memória corrompida.
+ Esta versão corrige um problema que fazia com que o provisionador de nós falhasse se o serviço HDFS NameNode (NN) ficasse preso no modo de segurança durante a substituição do nó.
+ Esta versão adiciona um mecanismo de nova tentativa ao fluxo de trabalho de escalabilidade de clusters para clusters do EMR que executam o Presto ou o Trino. Essa melhoria reduz o risco de que o redimensionamento do cluster fique paralisado indefinidamente devido a uma única falha na operação de redimensionamento. Ela também aprimora a utilização dos clusters, porque seu cluster aumenta e reduz a escala verticalmente com mais rapidez.
+ Esta versão melhora a lógica de redução da escala verticalmente do cluster para que o cluster não tente reduzir a escala verticalmente dos nós centrais abaixo da configuração do fator de replicação do HDFS para o cluster. Isso se alinha aos seus requisitos de redundância de dados e reduz a probabilidade de uma operação de escalabilidade paralisar.
+ O daemon de gerenciamento de logs foi atualizado para identificar todos os logs que estão em uso ativo com identificadores de arquivos abertos no armazenamento da instância local e nos processos associados. Essa atualização garante que o Amazon EMR exclua adequadamente os arquivos e recupere o espaço de armazenamento depois que os logs são arquivados no Amazon S3.
+ Esta versão inclui um aprimoramento do daemon de gerenciamento de logs que exclui diretórios de etapas vazios e não utilizados no sistema de arquivos de cluster local. Um número excessivamente grande de diretórios vazios pode degradar a performance dos daemons do Amazon EMR e resultar na utilização excessiva do disco.
+ Esta versão corrige um problema que pode ocorrer quando você cria um nó de borda ao replicar um dos nós primários de um cluster com vários nós primários. O nó de borda replicado pode causar atrasos nas operações de redução da escala verticalmente ou resultar em alta utilização de memória nos nós primários. Para obter mais informações sobre como criar um nó de borda para se comunicar com seu cluster EMR, consulte [Edge Node Creator](https://github.com/aws-samples/aws-emr-utilities/tree/main/utilities/emr-edge-node-creator) no `aws-samples` repositório em. GitHub
+ Esta versão melhora o processo de automação que o Amazon EMR usa para remontar volumes do Amazon EBS em uma instância após uma reinicialização.
+ Esta versão corrige um problema que resultou em lacunas intermitentes nas métricas do Hadoop que o Amazon EMR publica na Amazon. CloudWatch
+ Esta versão corrige um problema com clusters do EMR em que uma atualização no arquivo de configuração do YARN que contém a lista de exclusão de nós do cluster é interrompida devido à utilização excessiva do disco. A atualização incompleta impede futuras operações de redução da escala verticalmente do cluster. Esta versão garante que o cluster permaneça íntegro e que as operações de escalabilidade funcionem conforme esperado.
+ Esta versão aprimora o daemon de gerenciamento de logs no cluster para monitorar pastas de log adicionais no cluster do EMR. Essa melhoria minimiza os cenários de utilização excessiva do disco.
+ Esta versão reinicia automaticamente o daemon de gerenciamento de logs no cluster quando ele é interrompido. Essa melhoria reduz o risco de os nós parecerem não íntegros devido à utilização excessiva do disco. 
+ Esta versão adiciona suporte ao arquivamento de logs no Amazon S3 durante a redução da escala do cluster verticalmente. Anteriormente, só era possível arquivar arquivos de log no Amazon S3 durante o encerramento do cluster. A nova capacidade garante que os arquivos de log gerados no cluster persistam no Amazon S3 mesmo após o encerramento do nó. Para obter mais informações, consulte [Configurar registro em log e depuração do cluster](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-debugging.html).
+ Esta versão corrige um problema que ocorreu quando o URI do Amazon S3 para uma ação de bootstrap terminava com um número de porta, por exemplo: `a.b.c.d:4345`. O Amazon EMR os estava analisando incorretamente URIs, portanto, qualquer ação de bootstrap associada falharia.
+ Esta versão corrige um problema de incompatibilidade de sequência de tempo entre o Apache BigTop e o Amazon EMR na sequência de inicialização do cluster EC2. Essa incompatibilidade de sequência de tempo ocorre quando um sistema tenta realizar duas ou mais operações ao mesmo tempo em vez de fazê-las na sequência correta. Como resultado, determinadas configurações de cluster apresentaram tempos limite de inicialização da instância e tempos de inicialização do cluster mais lentos.
+ Quando você inicia um cluster com a *versão de patch mais recente* do Amazon EMR 5.36 ou superior, 6.6 ou superior ou 7.0 ou superior, o Amazon EMR usa a versão mais recente do Amazon Linux 2023 ou do Amazon Linux 2 para a AMI padrão do Amazon EMR. Para obter mais informações, consulte [Como usar a AMI padrão do Amazon Linux para Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html).    
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/emr/latest/ReleaseGuide/emr-681-release.html)

## Versões de componente 6.8.1
<a name="emr-681-components"></a>

Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.

Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.


| Componente | Versão | Description | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.2 | SDK do Amazon SageMaker Spark | 
| emr-ddb | 4.16.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. | 
| emr-goodies | 3.2.0 | Bibliotecas convenientes para o ecossistema do Hadoop. | 
| emr-kinesis | 3.5.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. | 
| emr-notebook-env | 1.7.0 | Ambiente Conda para bloco de anotações do emr, que inclui o jupyter enterprise gateway | 
| emr-s3-dist-cp | 2.22.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. | 
| emr-s3-select | 2.1.0 | EMR S3Select Connector | 
| emrfs | 2.53.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. | 
| flink-client | 1.15.1 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. | 
| flink-jobmanager-config | 1.15.1 | Gerenciando recursos nos nós do EMR para o Apache Flink. JobManager | 
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. | 
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. | 
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. | 
| hadoop-client | 3.2.1-amzn-8.1 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. | 
| hadoop-hdfs-datanode | 3.2.1-amzn-8.1 | O serviço de nível de nó do HDFS para armazenamento de blocos. | 
| hadoop-hdfs-library | 3.2.1-amzn-8.1 | O cliente de linha de comando e biblioteca do HDFS | 
| hadoop-hdfs-namenode | 3.2.1-amzn-8.1 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. | 
| hadoop-hdfs-journalnode | 3.2.1-amzn-8.1 | O serviço do HDFS para gerenciar o lançamento de arquivos do Hadoop em clusters de HA. | 
| hadoop-httpfs-server | 3.2.1-amzn-8.1 | O endpoint de HTTP para as operações do HDFS. | 
| hadoop-kms-server | 3.2.1-amzn-8.1 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider  | 
| hadoop-mapred | 3.2.1-amzn-8.1 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. | 
| hadoop-yarn-nodemanager | 3.2.1-amzn-8.1 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. | 
| hadoop-yarn-resourcemanager | 3.2.1-amzn-8.1 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. | 
| hadoop-yarn-timeline-server | 3.2.1-amzn-8.1 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. | 
| hbase-hmaster | 2.4.12-amzn-0.1 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. | 
| hbase-region-server | 2.4.12-amzn-0.1 | Serviço para atender uma ou mais HBase regiões. | 
| hbase-client | 2.4.12-amzn-0.1 | HBase cliente de linha de comando. | 
| hbase-rest-server | 2.4.12-amzn-0.1 | Serviço que fornece um endpoint RESTful HTTP para HBase. | 
| hbase-thrift-server | 2.4.12-amzn-0.1 | Serviço que fornece um endpoint Thrift para. HBase | 
| hbase-operator-tools | 2.4.12-amzn-0.1 | Ferramenta de reparo para HBase clusters Apache. | 
| hcatalog-client | 3.1.3-amzn-1.1 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. | 
| hcatalog-server | 3.1.3-amzn-1.1 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. | 
| hcatalog-webhcat-server | 3.1.3-amzn-1.1 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. | 
| hive-client | 3.1.3-amzn-1.1 | O cliente da linha de comando do Hive. | 
| hive-hbase | 3.1.3-amzn-1.1 | Cliente do Hive-hbase. | 
| hive-metastore-server | 3.1.3-amzn-1.1 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. | 
| hive-server2 | 3.1.3-amzn-1.1 | O serviço que aceita as consultas do Hive como solicitações da web. | 
| hudi | 0.11.1-amzn-0 | Estrutura de processamento incremental para alimentar o pipeline de dados com baixa latência e alta eficiência. | 
| hudi-presto | 0.11.1-amzn-0 | Biblioteca de pacotes para executar o Presto com o Hudi. | 
| hudi-trino | 0.11.1-amzn-0 | Biblioteca de pacotes para execução do Presto com o Hudi. | 
| hudi-spark | 0.11.1-amzn-0 | Biblioteca de pacotes para executar o Spark com o Hudi. | 
| hue-server | 4.10.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop | 
| iceberg | 0.14.0-amzn-0 | Apache Iceberg é um formato de tabela aberta para conjuntos de dados analíticos imensos | 
| jupyterhub | 1.4.1 | Servidor de vários usuários para blocos de anotações Jupyter | 
| livy-server | 0.7.1-incubating | Interface REST para interagir com o Apache Spark | 
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP | 
| mxnet | 1.9.1 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. | 
| mariadb-server | 5.5.68\$1 | Servidor de banco de dados MariaDB. | 
| nvidia-cuda | 11.7.0 | Drivers NVIDIA e toolkit CUDA | 
| oozie-client | 5.2.1 | O cliente da linha de comando do Oozie. | 
| oozie-server | 5.2.1 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. | 
| opencv | 4.5.0 | Biblioteca de Visão Computacional de Código Aberto. | 
| phoenix-library | 5.1.2 | As bibliotecas do phoenix para servidor e cliente | 
| phoenix-connectors | 5.1.2 | Conectores do Apache Phoenix para Spark-3 | 
| phoenix-query-server | 5.1.2 | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica  | 
| presto-coordinator | 0.273.3-amzn-0 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. | 
| presto-worker | 0.273.3-amzn-0 | O serviço que executa partes de uma consulta. | 
| presto-client | 0.273.3-amzn-0 | Cliente de linha de comando do Presto instalado em mestres de espera de um cluster de alta disponibilidade em que o servidor do Presto não é iniciado. | 
| trino-coordinator | 388-amzn-0 | Serviço que aceita consultas e gerencia a execução de consultas entre trino-workers. | 
| trino-worker | 388-amzn-0 | O serviço que executa partes de uma consulta. | 
| trino-client | 388-amzn-0 | Cliente de linha de comando do Trino instalado em mestres de espera de um cluster de alta disponibilidade (HA) em que o servidor do Trino não é iniciado. | 
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. | 
| r | 4.0.2 | O projeto R para computação estatística | 
| ranger-kms-server | 2.0.0 | Sistema de gerenciamento de chaves Apache Ranger | 
| spark-client | 3.3.0-amzn-0.1 | Os clientes da linha de comando do Spark. | 
| spark-history-server | 3.3.0-amzn-0.1 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. | 
| spark-on-yarn | 3.3.0-amzn-0.1 | O mecanismo de execução em memória para o YARN. | 
| spark-yarn-slave | 3.3.0-amzn-0.1 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. | 
| spark-rapids | 22.06.0-amzn-0 | Plugin Nvidia Spark RAPIDS que acelera o Apache Spark com o. GPUs | 
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. | 
| tensorflow | 2.9.1 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. | 
| tez-on-yarn | 0.9.2 | O aplicativo e as bibliotecas do YARN para Tez. | 
| webserver | 2.4.41\$1 | O servidor Apache HTTP. | 
| zeppelin-server | 0.10.1 | O notebook baseado na web que permite um data analytics interativo. | 
| zookeeper-server | 3.5.10 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. | 
| zookeeper-client | 3.5.10 | ZooKeeper cliente de linha de comando. | 

## Classificações de configuração 6.8.1
<a name="emr-681-class"></a>

As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).

Ocorrem ações de reconfiguração quando você especifica uma configuração para grupos de instâncias em um cluster em execução. O Amazon EMR só inicia ações de reconfiguração para as classificações que você modifica. Para obter mais informações, consulte [Reconfigurar um grupo de instâncias de um cluster em execução](emr-configure-apps-running-cluster.md).


**Classificações do emr-6.8.1**  

| Classificações | Description | Ações de reconfiguração | 
| --- | --- | --- | 
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. | Restarts the ResourceManager service. | 
| container-executor | Alterar os valores no arquivo container-executor.cfg do YARN do Hadoop. | Not available. | 
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. | Not available. | 
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | Alterar as configurações relacionadas ao docker. | Not available. | 
| emrfs-site | Alterar as configurações do EMRFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | Alterar as configurações do flink-conf.yaml. | Restarts Flink history server. | 
| flink-log4j | Alterar as configurações de log4j.properties no Flink. | Restarts Flink history server. | 
| flink-log4j-session | Altere as configurações do Flink log4j-session.properties para a sessão. Kubernetes/Yarn  | Restarts Flink history server. | 
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. | Restarts Flink history server. | 
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop | Not available. | 
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop | Not available. | 
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | Mude os valores no HBase ambiente. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. | Not available. | 
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. | This classification should not be reconfigured. | 
| hdfs-env | Alterar os valores no ambiente do HDFS. | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | Mude os valores no HCatalog ambiente. | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. | Restarts Hive WebHCat server. | 
| hive | As configurações administradas pelo Amazon EMR para o Apache Hive. | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. | Not available. | 
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. | Not available. | 
| hive-env | Alterar os valores no ambiente do Hive. | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. | Not available. | 
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. | Not available. | 
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. | Not available. | 
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. | Not available. | 
| hue-ini | Alterar os valores no arquivo ini do Hue | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | Alterar os valores no ambiente do HTTPFS. | Restarts Hadoop Httpfs service. | 
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. | Not available. | 
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. | Not available. | 
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | Altere os valores no ambiente do Hudi. | Not available. | 
| hudi-defaults | Alterar os valores no arquivo hudi-defaults.conf do Hudi. | Not available. | 
| iceberg-defaults | Alterar os valores no arquivo iceberg-defaults.conf do Iceberg. | Not available. | 
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. | Not available. | 
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. | Not available. | 
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. | Not available. | 
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. | Not available. | 
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. | Restarts Livy Server. | 
| livy-env | Alterar os valores no ambiente do Livy. | Restarts Livy Server. | 
| livy-log4j | Alterar as configurações de log4j.properties no Livy. | Restarts Livy Server. | 
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | Alterar os valores no ambiente do Oozie. | Restarts Oozie. | 
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. | Restarts Oozie. | 
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. | Restarts Oozie. | 
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. | Not available. | 
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. | Not available. | 
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. | Not available. | 
| pig-env | Alterar os valores no ambiente do Pig. | Not available. | 
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. | Restarts Oozie. | 
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. | Not available. | 
| presto-log | Alterar os valores no arquivo log.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-config | Alterar os valores no arquivo config.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. | Not available. | 
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-node | Altere os valores no arquivo node.properties do Presto. | Not available. | 
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. | Not available. | 
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. | Not available. | 
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. | Not available. | 
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. | Not available. | 
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. | Not available. | 
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. | Not available. | 
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. | Not available. | 
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. | Not available. | 
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. | Not available. | 
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. | Not available. | 
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. | Not available. | 
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. | Not available. | 
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. | Not available. | 
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. | Not available. | 
| trino-log | Alterar os valores no arquivo log.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-config | Alterar os valores no arquivo config.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-password-authenticator | Alterar os valores no arquivo password-authenticator.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-env | Alterar os valores no arquivo trino-env.sh do Trino. | Restarts Trino-Server (for Trino) | 
| trino-node | Alterar os valores no arquivo node.properties do Trino. | Not available. | 
| trino-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Trino. | Not available. | 
| trino-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Trino. | Not available. | 
| trino-connector-hive | Alterar os valores no arquivo hive.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-connector-iceberg | Alterar os valores no arquivo iceberg.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-connector-jmx | Alterar os valores no arquivo jmx.properties do Trino. | Not available. | 
| trino-connector-kafka | Alterar os valores no arquivo kafka.properties do Trino. | Not available. | 
| trino-connector-localfile | Alterar os valores no arquivo localfile.properties do Trino. | Not available. | 
| trino-connector-memory | Alterar os valores no arquivo memory.properties do Trino. | Not available. | 
| trino-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Trino. | Not available. | 
| trino-connector-mysql | Alterar os valores no arquivo mysql.properties do Trino. | Not available. | 
| trino-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Trino. | Not available. | 
| trino-connector-raptor | Alterar os valores no arquivo raptor.properties do Trino. | Not available. | 
| trino-connector-redis | Alterar os valores no arquivo redis.properties do Trino. | Not available. | 
| trino-connector-redshift | Alterar os valores no arquivo redshift.properties do Trino. | Not available. | 
| trino-connector-tpch | Alterar os valores no arquivo tpch.properties do Trino. | Not available. | 
| trino-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Trino. | Not available. | 
| ranger-kms-dbks-site | Altere os valores no arquivo dbks-site.xml do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-site | Altere os valores no ranger-kms-site arquivo.xml do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-env | Altere os valores no ambiente do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-log4j | Altere os valores no arquivo kms-log4j.properties do Ranger KMS. | Not available. | 
| ranger-kms-db-ca | Altere os valores do arquivo CA no S3 para conexão SSL do MySQL com o Ranger KMS. | Not available. | 
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. | This property modifies spark-defaults. See actions there. | 
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-env | Alterar os valores no ambiente do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. | Not available. | 
| spark-log4j2 | Alterar os valores no arquivo log4j2.properties do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | Alterar os valores no ambiente do Sqoop. | Not available. | 
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. | Not available. | 
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. | Not available. | 
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. | Restart Oozie and HiveServer2. | 
| yarn-env | Alterar os valores no ambiente do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. | Restarts Zeppelin. | 
| zeppelin-site | Alterar as definições da configuração em zeppelin-site.xml. | Restarts Zeppelin. | 
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. | Restarts Zookeeper server. | 
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. | Restarts Zookeeper server. | 

## Log de alterações 6.8.1
<a name="681-changelog"></a>


**Log de alterações da versão 6.8.1 e das notas da versão**  

| Data | Event | Description | 
| --- | --- | --- | 
| 2023-08-30 | Atualizar notas da versão | Adicionadas várias correções relacionadas ao ambiente de gerenciamento às notas da versão | 
| 2023-08-21 | Publicação de documentos | Notas da versão 6.8.1 do Amazon EMR publicadas pela primeira vez | 
| 2023-08-16 | Implantação concluída | Amazon EMR 6.8.1 totalmente implantado em todas as [regiões compatíveis](https://aws.amazon.com/about-aws/global-infrastructure/regional-product-services/) | 
| 2023-08-04 | Lançamento inicial | A versão 6.8.1 do Amazon EMR foi implantada pela primeira vez em regiões comerciais limitadas | 

# Versão 6.8.0 do Amazon EMR
<a name="emr-680-release"></a>

## Versões 6.8.0 da aplicação
<a name="emr-680-app-versions"></a>

Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://iceberg.apache.org/](https://iceberg.apache.org/), [https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://trino.io/](https://trino.io/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).

A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).

Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)


**Informações da versão da aplicação**  

|  | emr-6.8.0 | emr-6.7.0 | emr-6.6.0 | emr-6.5.0 | 
| --- | --- | --- | --- | --- | 
| AWS SDK for Java | 1.12.170 | 1.12.170 | 1.12.170 | 1.12.31 | 
| Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 
| Scala | 2.12.15 | 2.12.15 | 2.12.10 | 2.12.10 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.15.1 | 1.14.2 | 1.14.2 | 1.14.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.4.12-amzn-0 | 2.4.4-amzn-3 | 2.4.4-amzn-2 | 2.4.4-amzn-1 | 
| HCatalog | 3.1.3-amzn-1 | 3.1.3-amzn-0 | 3.1.2-amzn-7 | 3.1.2-amzn-6 | 
| Hadoop | 3.2.1-amzn-8 | 3.2.1-amzn-7 | 3.2.1-amzn-6 | 3.2.1-amzn-5 | 
| Hive | 3.1.3-amzn-1 | 3.1.3-amzn-0 | 3.1.2-amzn-7 | 3.1.2-amzn-6 | 
| Hudi | 0.11.1-amzn-0 | 0.11.0-amzn-0 | 0.10.1-amzn-0 | 0.9.0-amzn-1 | 
| Hue | 4.10.0 | 4.10.0 | 4.10.0 | 4.9.0 | 
| Iceberg | 0.14.0-amzn-0 | 0.13.1-amzn-0 | 0.13.1 | 0.12.0 | 
| JupyterEnterpriseGateway | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 
| JupyterHub | 1.4.1 | 1.4.1 | 1.4.1 | 1.4.1 | 
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 
| MXNet | 1.9.1 | 1.8.0 | 1.8.0 | 1.8.0 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 
| Phoenix | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.273.3-amzn-0 | 0.272-amzn-0 | 0.267-amzn-0 | 0.261-amzn-0 | 
| Spark | 3.3.0-amzn-0 | 3.2.1-amzn-0 | 3.2.0-amzn-0 | 3.1.2-amzn-1 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.9.1 | 2.4.1 | 2.4.1 | 2.4.1 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) | 388-amzn-0 | 378-amzn-0 | 367-amzn-0 | 360 | 
| Zeppelin | 0.10.1 | 0.10.0 | 0.10.0 | 0.10.0 | 
| ZooKeeper | 3.5.10 | 3.5.7 | 3.5.7 | 3.5.7 | 

## Notas da versão 6.8.0
<a name="emr-680-relnotes"></a>

As notas da versão a seguir incluem informações para a versão 6.8.0 do Amazon EMR. As alterações são referentes à versão 6.7.0.

**Novos atributos**
+ O recurso de etapas do Amazon EMR agora oferece suporte a endpoints e clientes Apache Livy. JDBC/ODBC Para obter mais informações, consulte [Configurar funções de runtime para as etapas do Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-steps-runtime-roles.html).
+ A versão 6.8.0 do Amazon EMR vem com a versão 2.4.12 do Apache. HBase Com essa HBase versão, você pode arquivar e excluir suas HBase tabelas. O processamento de arquivos do Amazon S3 renomeia todos os arquivos da tabela para o diretório de arquivos. Isso pode ser um processo custoso e demorado. Agora, você pode pular o processamento de arquivos e rapidamente eliminar e excluir tabelas grandes. Para obter mais informações, consulte [Usando a HBase concha](emr-hbase-connect.md).

**Problemas conhecidos**
+ O Hadoop 3.3.3 introduziu uma alteração no YARN ([YARN-9608](https://issues.apache.org/jira/browse/YARN-9608)) que mantém os nós em que os contêineres eram executados em um estado de desativação até que a aplicação seja concluída. Essa alteração garante que dados locais, como dados embaralhados, não sejam perdidos e que você não precise executar o trabalho novamente. Nas versões 6.8.0 e 6.9.0 do Amazon EMR, essa abordagem também pode levar à subutilização de recursos em clusters com ou sem o ajuste de escala gerenciado habilitado.

  Com o [Amazon EMR 6.10.0](emr-6100-release.md#emr-6100-relnotes), há uma solução alternativa para esse problema: definir o valor de `yarn.resourcemanager.decommissioning-nodes-watcher.wait-for-applications` como `false` em `yarn-site.xml`. Nas versões 6.11.0 e superiores do Amazon EMR, além das versões 6.8.1, 6.9.1 e 6.10.1, o config é definido como `false` por padrão para resolver esse problema.

**Alterações, melhorias e problemas resolvidos**
+ Quando a versão 6.5.0, 6.6.0 ou 6.7.0 do Amazon EMR leu as tabelas do Apache Phoenix por meio do shell do Apache Spark, o Amazon EMR produziu um `NoSuchMethodError`. A versão 6.8.0 do Amazon EMR corrige esse problema.
+ A versão 6.8.0 do Amazon EMR vem com o [Apache Hudi](https://hudi.apache.org/) 0.11.1; no entanto, os clusters do Amazon EMR 6.8.0 também são compatíveis com o código aberto `hudi-spark3.3-bundle_2.12` do Hudi 0.12.0.
+ A versão 6.8.0 do Amazon EMR vem com a versão 3.3.0 do Apache Spark. Esta versão do Spark usa o Apache Log4j 2 e o arquivo `log4j2.properties` para configurar o Log4j nos processos do Spark. Se você usar o Spark no cluster ou criar clusters do EMR com parâmetros de configuração personalizados e quiser atualizar para a versão 6.8.0 do Amazon EMR, deverá migrar para a nova classificação de configuração `spark-log4j2` e para o formato de chave do Apache Log4j 2. Para obter mais informações, consulte [Migrar do Apache Log4j 1.x para Log4j 2.x](emr-spark-configure.md#spark-migrate-logj42).
+ Quando você inicia um cluster com a *versão de patch mais recente* do Amazon EMR 5.36 ou superior, 6.6 ou superior ou 7.0 ou superior, o Amazon EMR usa a versão mais recente do Amazon Linux 2023 ou do Amazon Linux 2 para a AMI padrão do Amazon EMR. Para obter mais informações, consulte [Como usar a AMI padrão do Amazon Linux para Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html).
**nota**  
Essa versão não recebe mais atualizações automáticas da AMI, pois foi substituída por uma ou mais versões de patch. A versão de patch é indicada pelo número após o segundo ponto decimal (`6.8.1`). Para ver se você está usando a versão de patch mais recente, verifique as versões disponíveis no [https://docs.aws.amazon.com/emr/latest/ReleaseGuide](https://docs.aws.amazon.com/emr/latest/ReleaseGuide) ou verifique o menu suspenso de **versões do Amazon EMR** quando criar um cluster no console ou use a ação de API [https://docs.aws.amazon.com/emr/latest/APIReference/API_ListReleaseLabels.html](https://docs.aws.amazon.com/emr/latest/APIReference/API_ListReleaseLabels.html) ou da CLI [https://docs.aws.amazon.com/cli/latest/reference/emr/list-release-labels.html](https://docs.aws.amazon.com/cli/latest/reference/emr/list-release-labels.html). Para obter atualizações sobre novas versões, assine o feed RSS na página [Novidades](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-whatsnew.html).    
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/emr/latest/ReleaseGuide/emr-680-release.html)

**Problemas conhecidos**
+ Ao usar o conector DynamoDB com o Spark nas versões 6.6.0, 6.7.0 e 6.8.0 do Amazon EMR, todas as leituras da tabela retornam um resultado vazio, mesmo que a divisão de entrada faça referência a dados que não estão vazios. Isso ocorre porque o Spark 3.2.0 define `spark.hadoopRDD.ignoreEmptySplits` como `true` por padrão. Como solução alternativa, defina explicitamente `spark.hadoopRDD.ignoreEmptySplits` como `false`. A versão 6.9.0 do Amazon EMR corrige esse problema.
+ Quando você usa o Spark com a formatação de localização de partições do Hive para ler dados no Amazon S3 e executa o Spark nas versões 5.30.0 a 5.36.0 e 6.2.0 a 6.9.0 do Amazon EMR, pode encontrar um problema que impede que o cluster leia os dados corretamente. Isso poderá acontecer se suas partições tiverem todas as características a seguir:
  + Duas ou mais partições são verificadas na mesma tabela.
  + Pelo menos um caminho de diretório de partição é um prefixo de pelo menos outro caminho de diretório de partição, por exemplo, `s3://bucket/table/p=a` é um prefixo de `s3://bucket/table/p=a b`.
  + O primeiro caractere que segue o prefixo no outro diretório de partição tem um valor UTF-8 menor que o caractere `/` (U\$1002F). Por exemplo, o caractere de espaço (U\$10020) que ocorre entre a e b em `s3://bucket/table/p=a b` se enquadra nessa categoria. Observe que existem 14 outros caracteres que não são de controle: `!"#$%&‘()*+,-`. Para obter mais informações, consulte [Tabela de codificação UTF-8 e caracteres Unicode](https://www.utf8-chartable.de/).

  Como solução alternativa para esse problema, defina a configuração `spark.sql.sources.fastS3PartitionDiscovery.enabled` como `false` na classificação `spark-defaults`.
+ Com as versões 5.36.0 e 6.6.0 a 6.9.0 do Amazon EMR, os componentes do serviço `SecretAgent` e `RecordServer` podem sofrer perda de dados de log devido a uma configuração incorreta do padrão de nome de arquivo nas propriedades do Log4j2. A configuração incorreta faz com que os componentes gerem somente um arquivo de log por dia. Quando a estratégia de rotação ocorre, ela substitui o arquivo existente em vez de gerar um novo arquivo de log, conforme esperado. Como solução alternativa, use uma ação de bootstrap para gerar arquivos de log a cada hora e acrescentar um número inteiro de incremento automático no nome do arquivo para lidar com a rotação.

  Para as versões 6.6.0 a 6.9.0 do Amazon EMR, use a seguinte ação de bootstrap ao iniciar um cluster. 

  ```
  ‑‑bootstrap‑actions "Path=s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/log-rotation-emr-6x/replace-puppet.sh,Args=[]"
  ```

  Para o Amazon EMR 5.36.0, use a ação de bootstrap a seguir ao iniciar um cluster.

  ```
  ‑‑bootstrap‑actions "Path=s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/log-rotation-emr-5x/replace-puppet.sh,Args=[]"
  ```

Para obter mais informações sobre o cronograma da versão, consulte o [log de alterações](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-680-release.html#680-changelog).

## Versões de componente 6.8.0
<a name="emr-680-components"></a>

Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.

Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.


| Componente | Versão | Description | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.2 | SDK do Amazon SageMaker Spark | 
| emr-ddb | 4.16.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. | 
| emr-goodies | 3.2.0 | Bibliotecas convenientes para o ecossistema do Hadoop. | 
| emr-kinesis | 3.5.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. | 
| emr-notebook-env | 1.7.0 | Ambiente Conda para bloco de anotações do emr, que inclui o jupyter enterprise gateway | 
| emr-s3-dist-cp | 2.22.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. | 
| emr-s3-select | 2.1.0 | EMR S3Select Connector | 
| emrfs | 2.53.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. | 
| flink-client | 1.15.1 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. | 
| flink-jobmanager-config | 1.15.1 | Gerenciando recursos nos nós do EMR para o Apache Flink. JobManager | 
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. | 
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. | 
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. | 
| hadoop-client | 3.2.1-amzn-8 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. | 
| hadoop-hdfs-datanode | 3.2.1-amzn-8 | O serviço de nível de nó do HDFS para armazenamento de blocos. | 
| hadoop-hdfs-library | 3.2.1-amzn-8 | O cliente de linha de comando e biblioteca do HDFS | 
| hadoop-hdfs-namenode | 3.2.1-amzn-8 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. | 
| hadoop-hdfs-journalnode | 3.2.1-amzn-8 | O serviço do HDFS para gerenciar o lançamento de arquivos do Hadoop em clusters de HA. | 
| hadoop-httpfs-server | 3.2.1-amzn-8 | O endpoint de HTTP para as operações do HDFS. | 
| hadoop-kms-server | 3.2.1-amzn-8 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider  | 
| hadoop-mapred | 3.2.1-amzn-8 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. | 
| hadoop-yarn-nodemanager | 3.2.1-amzn-8 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. | 
| hadoop-yarn-resourcemanager | 3.2.1-amzn-8 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. | 
| hadoop-yarn-timeline-server | 3.2.1-amzn-8 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. | 
| hbase-hmaster | 2.4.12-amzn-0 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. | 
| hbase-region-server | 2.4.12-amzn-0 | Serviço para atender a uma ou mais HBase regiões. | 
| hbase-client | 2.4.12-amzn-0 | HBase cliente de linha de comando. | 
| hbase-rest-server | 2.4.12-amzn-0 | Serviço que fornece um endpoint RESTful HTTP para HBase. | 
| hbase-thrift-server | 2.4.12-amzn-0 | Serviço que fornece um endpoint Thrift para. HBase | 
| hbase-operator-tools | 2.4.12-amzn-0 | Ferramenta de reparo para HBase clusters Apache. | 
| hcatalog-client | 3.1.3-amzn-1 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. | 
| hcatalog-server | 3.1.3-amzn-1 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. | 
| hcatalog-webhcat-server | 3.1.3-amzn-1 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. | 
| hive-client | 3.1.3-amzn-1 | O cliente da linha de comando do Hive. | 
| hive-hbase | 3.1.3-amzn-1 | Cliente do Hive-hbase. | 
| hive-metastore-server | 3.1.3-amzn-1 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. | 
| hive-server2 | 3.1.3-amzn-1 | O serviço que aceita as consultas do Hive como solicitações da web. | 
| hudi | 0.11.1-amzn-0 | Estrutura de processamento incremental para alimentar o pipeline de dados com baixa latência e alta eficiência. | 
| hudi-presto | 0.11.1-amzn-0 | Biblioteca de pacotes para executar o Presto com o Hudi. | 
| hudi-trino | 0.11.1-amzn-0 | Biblioteca de pacotes para execução do Presto com o Hudi. | 
| hudi-spark | 0.11.1-amzn-0 | Biblioteca de pacotes para executar o Spark com o Hudi. | 
| hue-server | 4.10.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop | 
| iceberg | 0.14.0-amzn-0 | Apache Iceberg é um formato de tabela aberta para conjuntos de dados analíticos imensos | 
| jupyterhub | 1.4.1 | Servidor de vários usuários para blocos de anotações Jupyter | 
| livy-server | 0.7.1-incubating | Interface REST para interagir com o Apache Spark | 
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP | 
| mxnet | 1.9.1 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. | 
| mariadb-server | 5.5.68\$1 | Servidor de banco de dados MariaDB. | 
| nvidia-cuda | 11.7.0 | Drivers NVIDIA e toolkit CUDA | 
| oozie-client | 5.2.1 | O cliente da linha de comando do Oozie. | 
| oozie-server | 5.2.1 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. | 
| opencv | 4.5.0 | Biblioteca de Visão Computacional de Código Aberto. | 
| phoenix-library | 5.1.2 | As bibliotecas do phoenix para servidor e cliente | 
| phoenix-connectors | 5.1.2 | Conectores do Apache Phoenix para Spark-3 | 
| phoenix-query-server | 5.1.2 | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica  | 
| presto-coordinator | 0.273.3-amzn-0 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. | 
| presto-worker | 0.273.3-amzn-0 | O serviço que executa partes de uma consulta. | 
| presto-client | 0.273.3-amzn-0 | Cliente de linha de comando do Presto instalado em mestres de espera de um cluster de alta disponibilidade em que o servidor do Presto não é iniciado. | 
| trino-coordinator | 388-amzn-0 | Serviço que aceita consultas e gerencia a execução de consultas entre trino-workers. | 
| trino-worker | 388-amzn-0 | O serviço que executa partes de uma consulta. | 
| trino-client | 388-amzn-0 | Cliente de linha de comando do Trino instalado em mestres de espera de um cluster de alta disponibilidade (HA) em que o servidor do Trino não é iniciado. | 
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. | 
| r | 4.0.2 | O projeto R para computação estatística | 
| ranger-kms-server | 2.0.0 | Sistema de gerenciamento de chaves Apache Ranger | 
| spark-client | 3.3.0-amzn-0 | Os clientes da linha de comando do Spark. | 
| spark-history-server | 3.3.0-amzn-0 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. | 
| spark-on-yarn | 3.3.0-amzn-0 | O mecanismo de execução em memória para o YARN. | 
| spark-yarn-slave | 3.3.0-amzn-0 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. | 
| spark-rapids | 22.06.0-amzn-0 | Plugin Nvidia Spark RAPIDS que acelera o Apache Spark com o. GPUs | 
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. | 
| tensorflow | 2.9.1 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. | 
| tez-on-yarn | 0.9.2 | O aplicativo e as bibliotecas do YARN para Tez. | 
| webserver | 2.4.41\$1 | O servidor Apache HTTP. | 
| zeppelin-server | 0.10.1 | O notebook baseado na web que permite um data analytics interativo. | 
| zookeeper-server | 3.5.10 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. | 
| zookeeper-client | 3.5.10 | ZooKeeper cliente de linha de comando. | 

## Classificações de configuração 6.8.0
<a name="emr-680-class"></a>

As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).

Ocorrem ações de reconfiguração quando você especifica uma configuração para grupos de instâncias em um cluster em execução. O Amazon EMR só inicia ações de reconfiguração para as classificações que você modifica. Para obter mais informações, consulte [Reconfigurar um grupo de instâncias de um cluster em execução](emr-configure-apps-running-cluster.md).


**Classificações do emr-6.8.0**  

| Classificações | Description | Ações de reconfiguração | 
| --- | --- | --- | 
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. | Restarts the ResourceManager service. | 
| container-executor | Alterar os valores no arquivo container-executor.cfg do YARN do Hadoop. | Not available. | 
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. | Not available. | 
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | Alterar as configurações relacionadas ao docker. | Not available. | 
| emrfs-site | Alterar as configurações do EMRFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | Alterar as configurações do flink-conf.yaml. | Restarts Flink history server. | 
| flink-log4j | Alterar as configurações de log4j.properties no Flink. | Restarts Flink history server. | 
| flink-log4j-session | Altere as configurações do Flink log4j-session.properties para a sessão. Kubernetes/Yarn  | Restarts Flink history server. | 
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. | Restarts Flink history server. | 
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop | Not available. | 
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop | Not available. | 
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | Mude os valores no HBase ambiente. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. | Not available. | 
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. | This classification should not be reconfigured. | 
| hdfs-env | Alterar os valores no ambiente do HDFS. | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | Mude os valores no HCatalog ambiente. | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. | Restarts Hive WebHCat server. | 
| hive | As configurações administradas pelo Amazon EMR para o Apache Hive. | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. | Not available. | 
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. | Not available. | 
| hive-env | Alterar os valores no ambiente do Hive. | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. | Not available. | 
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. | Not available. | 
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. | Not available. | 
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. | Not available. | 
| hue-ini | Alterar os valores no arquivo ini do Hue | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | Alterar os valores no ambiente do HTTPFS. | Restarts Hadoop Httpfs service. | 
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. | Not available. | 
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. | Not available. | 
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | Altere os valores no ambiente do Hudi. | Not available. | 
| hudi-defaults | Alterar os valores no arquivo hudi-defaults.conf do Hudi. | Not available. | 
| iceberg-defaults | Alterar os valores no arquivo iceberg-defaults.conf do Iceberg. | Not available. | 
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. | Not available. | 
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. | Not available. | 
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. | Not available. | 
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. | Not available. | 
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. | Restarts Livy Server. | 
| livy-env | Alterar os valores no ambiente do Livy. | Restarts Livy Server. | 
| livy-log4j | Alterar as configurações de log4j.properties no Livy. | Restarts Livy Server. | 
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | Alterar os valores no ambiente do Oozie. | Restarts Oozie. | 
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. | Restarts Oozie. | 
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. | Restarts Oozie. | 
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. | Not available. | 
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. | Not available. | 
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. | Not available. | 
| pig-env | Alterar os valores no ambiente do Pig. | Not available. | 
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. | Restarts Oozie. | 
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. | Not available. | 
| presto-log | Alterar os valores no arquivo log.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-config | Alterar os valores no arquivo config.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. | Not available. | 
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-node | Altere os valores no arquivo node.properties do Presto. | Not available. | 
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. | Not available. | 
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. | Not available. | 
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. | Not available. | 
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. | Not available. | 
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. | Not available. | 
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. | Not available. | 
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. | Not available. | 
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. | Not available. | 
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. | Not available. | 
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. | Not available. | 
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. | Not available. | 
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. | Not available. | 
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. | Not available. | 
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. | Not available. | 
| trino-log | Alterar os valores no arquivo log.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-config | Alterar os valores no arquivo config.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-password-authenticator | Alterar os valores no arquivo password-authenticator.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-env | Alterar os valores no arquivo trino-env.sh do Trino. | Restarts Trino-Server (for Trino) | 
| trino-node | Alterar os valores no arquivo node.properties do Trino. | Not available. | 
| trino-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Trino. | Not available. | 
| trino-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Trino. | Not available. | 
| trino-connector-hive | Alterar os valores no arquivo hive.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-connector-iceberg | Alterar os valores no arquivo iceberg.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-connector-jmx | Alterar os valores no arquivo jmx.properties do Trino. | Not available. | 
| trino-connector-kafka | Alterar os valores no arquivo kafka.properties do Trino. | Not available. | 
| trino-connector-localfile | Alterar os valores no arquivo localfile.properties do Trino. | Not available. | 
| trino-connector-memory | Alterar os valores no arquivo memory.properties do Trino. | Not available. | 
| trino-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Trino. | Not available. | 
| trino-connector-mysql | Alterar os valores no arquivo mysql.properties do Trino. | Not available. | 
| trino-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Trino. | Not available. | 
| trino-connector-raptor | Alterar os valores no arquivo raptor.properties do Trino. | Not available. | 
| trino-connector-redis | Alterar os valores no arquivo redis.properties do Trino. | Not available. | 
| trino-connector-redshift | Alterar os valores no arquivo redshift.properties do Trino. | Not available. | 
| trino-connector-tpch | Alterar os valores no arquivo tpch.properties do Trino. | Not available. | 
| trino-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Trino. | Not available. | 
| ranger-kms-dbks-site | Altere os valores no arquivo dbks-site.xml do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-site | Altere os valores no ranger-kms-site arquivo.xml do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-env | Altere os valores no ambiente do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-log4j | Altere os valores no arquivo kms-log4j.properties do Ranger KMS. | Not available. | 
| ranger-kms-db-ca | Altere os valores do arquivo CA no S3 para conexão SSL do MySQL com o Ranger KMS. | Not available. | 
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. | This property modifies spark-defaults. See actions there. | 
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-env | Alterar os valores no ambiente do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. | Not available. | 
| spark-log4j2 | Alterar os valores no arquivo log4j2.properties do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | Alterar os valores no ambiente do Sqoop. | Not available. | 
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. | Not available. | 
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. | Not available. | 
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. | Restart Oozie and HiveServer2. | 
| yarn-env | Alterar os valores no ambiente do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. | Restarts Zeppelin. | 
| zeppelin-site | Alterar as definições da configuração em zeppelin-site.xml. | Restarts Zeppelin. | 
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. | Restarts Zookeeper server. | 
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. | Restarts Zookeeper server. | 

## Log de alterações 6.8.0
<a name="680-changelog"></a>


**Log de alterações da versão 6.8.0 e das notas da versão**  

| Data | Event | Description | 
| --- | --- | --- | 
| 2023-08-21 | Atualizar | Adicionado um problema conhecido com o Hadoop 3.3.3. | 
| 2023-07-26 | Atualizar | Novos rótulos de versão 2.0.20230612.0 e 2.0.20230628.0 do sistema operacional. | 
| 2022-09-06 | Implantação concluída | Amazon EMR 6.8 totalmente implantado em todas as [regiões compatíveis](https://aws.amazon.com/about-aws/global-infrastructure/regional-product-services/) | 
| 2022-09-06 | Publicação inicial | Notas da versão 6.8 do Amazon EMR publicadas pela primeira vez | 
| 2022-08-31 | Lançamento inicial | Versão 6.8 do Amazon EMR lançada em regiões comerciais limitadas | 

# Versão 6.7.0 do Amazon EMR
<a name="emr-670-release"></a>

## Versões 6.7.0 da aplicação
<a name="emr-670-app-versions"></a>

Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://iceberg.apache.org/](https://iceberg.apache.org/), [https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://trino.io/](https://trino.io/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).

A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).

Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)


**Informações da versão da aplicação**  

|  | emr-6.7.0 | emr-6.6.0 | emr-6.5.0 | emr-6.4.0 | 
| --- | --- | --- | --- | --- | 
| AWS SDK for Java | 1.12.170 | 1.12.170 | 1.12.31 | 1.12.31 | 
| Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 
| Scala | 2.12.15 | 2.12.10 | 2.12.10 | 2.12.10 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.14.2 | 1.14.2 | 1.14.0 | 1.13.1 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.4.4-amzn-3 | 2.4.4-amzn-2 | 2.4.4-amzn-1 | 2.4.4-amzn-0 | 
| HCatalog | 3.1.3-amzn-0 | 3.1.2-amzn-7 | 3.1.2-amzn-6 | 3.1.2-amzn-5 | 
| Hadoop | 3.2.1-amzn-7 | 3.2.1-amzn-6 | 3.2.1-amzn-5 | 3.2.1-amzn-4 | 
| Hive | 3.1.3-amzn-0 | 3.1.2-amzn-7 | 3.1.2-amzn-6 | 3.1.2-amzn-5 | 
| Hudi | 0.11.0-amzn-0 | 0.10.1-amzn-0 | 0.9.0-amzn-1 | 0.8.0-amzn-0 | 
| Hue | 4.10.0 | 4.10.0 | 4.9.0 | 4.9.0 | 
| Iceberg | 0.13.1-amzn-0 | 0.13.1 | 0.12.0 |  -  | 
| JupyterEnterpriseGateway | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 
| JupyterHub | 1.4.1 | 1.4.1 | 1.4.1 | 1.4.1 | 
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 
| MXNet | 1.8.0 | 1.8.0 | 1.8.0 | 1.8.0 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 
| Phoenix | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.272-amzn-0 | 0.267-amzn-0 | 0.261-amzn-0 | 0.254.1-amzn-0 | 
| Spark | 3.2.1-amzn-0 | 3.2.0-amzn-0 | 3.1.2-amzn-1 | 3.1.2-amzn-0 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.4.1 | 2.4.1 | 2.4.1 | 2.4.1 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) | 378-amzn-0 | 367-amzn-0 | 360 | 359 | 
| Zeppelin | 0.10.0 | 0.10.0 | 0.10.0 | 0.9.0 | 
| ZooKeeper | 3.5.7 | 3.5.7 | 3.5.7 | 3.5.7 | 

## Notas da versão 6.7.0
<a name="emr-670-relnotes"></a>

As notas da versão a seguir incluem informações para a versão 6.7.0 do Amazon EMR. As alterações são referentes à versão 6.6.0.

Data da versão inicial: 15 de julho de 2022

**Novos atributos**
+ O Amazon EMR agora é compatível com Apache Spark 3.2.1, Apache Hive 3.1.3, HUDI 0.11, PrestoDB 0.272 e Trino 0.378.
+ Ele é compatível com controles de acesso baseados em Perfil do IAM e Lake Formation com etapas do EMR (Spark, Hive) para Amazon EMR em clusters do EC2.
+ Ele é compatível com instruções de definição de dados do Apache Spark em clusters habilitados para Apache Ranger. Isso agora inclui suporte para aplicações do Trino lendo e gravando metadados do Apache Hive em clusters habilitados para Apache Ranger. Para obter mais informações, consulte [Habilitar governança federada usando Trino e Apache Ranger no Amazon EMR](https://aws.amazon.com/blogs/big-data/enable-federated-governance-using-trino-and-apache-ranger-on-amazon-emr/).
+ Quando você inicia um cluster com a *versão de patch mais recente* do Amazon EMR 5.36 ou superior, 6.6 ou superior ou 7.0 ou superior, o Amazon EMR usa a versão mais recente do Amazon Linux 2023 ou do Amazon Linux 2 para a AMI padrão do Amazon EMR. Para obter mais informações, consulte [Como usar a AMI padrão do Amazon Linux para Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html).    
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/emr/latest/ReleaseGuide/emr-670-release.html)

**Problemas conhecidos**
+ Quando a versão 6.5.0, 6.6.0 ou 6.7.0 do Amazon EMR lê as tabelas do Apache Phoenix por meio do shell do Apache Spark, ocorre um `NoSuchMethodError` porque o Amazon EMR usa um `Hbase.compat.version` incorreto. A versão 6.8.0 do Amazon EMR corrige esse problema.
+ Ao usar o conector DynamoDB com o Spark nas versões 6.6.0, 6.7.0 e 6.8.0 do Amazon EMR, todas as leituras da tabela retornam um resultado vazio, mesmo que a divisão de entrada faça referência a dados que não estão vazios. Isso ocorre porque o Spark 3.2.0 define `spark.hadoopRDD.ignoreEmptySplits` como `true` por padrão. Como solução alternativa, defina explicitamente `spark.hadoopRDD.ignoreEmptySplits` como `false`. A versão 6.9.0 do Amazon EMR corrige esse problema.
+ Quando você usa o Spark com a formatação de localização de partições do Hive para ler dados no Amazon S3 e executa o Spark nas versões 5.30.0 a 5.36.0 e 6.2.0 a 6.9.0 do Amazon EMR, pode encontrar um problema que impede que o cluster leia os dados corretamente. Isso poderá acontecer se suas partições tiverem todas as características a seguir:
  + Duas ou mais partições são verificadas na mesma tabela.
  + Pelo menos um caminho de diretório de partição é um prefixo de pelo menos outro caminho de diretório de partição, por exemplo, `s3://bucket/table/p=a` é um prefixo de `s3://bucket/table/p=a b`.
  + O primeiro caractere que segue o prefixo no outro diretório de partição tem um valor UTF-8 menor que o caractere `/` (U\$1002F). Por exemplo, o caractere de espaço (U\$10020) que ocorre entre a e b em `s3://bucket/table/p=a b` se enquadra nessa categoria. Observe que existem 14 outros caracteres que não são de controle: `!"#$%&‘()*+,-`. Para obter mais informações, consulte [Tabela de codificação UTF-8 e caracteres Unicode](https://www.utf8-chartable.de/).

  Como solução alternativa para esse problema, defina a configuração `spark.sql.sources.fastS3PartitionDiscovery.enabled` como `false` na classificação `spark-defaults`.
+ Com as versões 5.36.0 e 6.6.0 a 6.9.0 do Amazon EMR, os componentes do serviço `SecretAgent` e `RecordServer` podem sofrer perda de dados de log devido a uma configuração incorreta do padrão de nome de arquivo nas propriedades do Log4j2. A configuração incorreta faz com que os componentes gerem somente um arquivo de log por dia. Quando a estratégia de rotação ocorre, ela substitui o arquivo existente em vez de gerar um novo arquivo de log, conforme esperado. Como solução alternativa, use uma ação de bootstrap para gerar arquivos de log a cada hora e acrescentar um número inteiro de incremento automático no nome do arquivo para lidar com a rotação.

  Para as versões 6.6.0 a 6.9.0 do Amazon EMR, use a seguinte ação de bootstrap ao iniciar um cluster. 

  ```
  ‑‑bootstrap‑actions "Path=s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/log-rotation-emr-6x/replace-puppet.sh,Args=[]"
  ```

  Para o Amazon EMR 5.36.0, use a ação de bootstrap a seguir ao iniciar um cluster.

  ```
  ‑‑bootstrap‑actions "Path=s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/log-rotation-emr-5x/replace-puppet.sh,Args=[]"
  ```
+ A API `GetClusterSessionCredentials` não é compatível com clusters executados no Amazon EMR 6.7 ou versões inferiores.
+ Os seguintes commits do Hadoop foram retroportados.

  - [[HADOOP-16080]](https://issues.apache.org/jira/browse/HADOOP-16080) Corrigido o problema em que `hadoop-aws` não funciona com `hadoop-client-api`.

  - [[HADOOP-18237]](https://issues.apache.org/jira/browse/HADOOP-18237) Upgrade para a versão 2.12.2 do Apache Xerces Java.

  - [[YARN-11092]](https://issues.apache.org/jira/browse/YARN-11092) Upgrade do jquery para ui para 1.13.1.

  - [[YARN-10720]](https://issues.apache.org/jira/browse/YARN-10720) O YARN WebAppProxyServlet deve suportar o tempo limite de conexão para evitar que o servidor proxy trave.

## Versões de componente 6.7.0
<a name="emr-670-components"></a>

Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.

Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.


| Componente | Versão | Description | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.1 | SDK do Amazon SageMaker Spark | 
| emr-ddb | 4.16.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. | 
| emr-goodies | 3.2.0 | Bibliotecas convenientes para o ecossistema do Hadoop. | 
| emr-kinesis | 3.5.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. | 
| emr-notebook-env | 1.6.0 | Ambiente Conda para bloco de anotações do emr, que inclui o jupyter enterprise gateway | 
| emr-s3-dist-cp | 2.22.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. | 
| emr-s3-select | 2.1.0 | EMR S3Select Connector | 
| emrfs | 2.52.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. | 
| flink-client | 1.14.2 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. | 
| flink-jobmanager-config | 1.14.2 | Gerenciando recursos nos nós do EMR para o Apache Flink. JobManager | 
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. | 
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. | 
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. | 
| hadoop-client | 3.2.1-amzn-7 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. | 
| hadoop-hdfs-datanode | 3.2.1-amzn-7 | O serviço de nível de nó do HDFS para armazenamento de blocos. | 
| hadoop-hdfs-library | 3.2.1-amzn-7 | O cliente de linha de comando e biblioteca do HDFS | 
| hadoop-hdfs-namenode | 3.2.1-amzn-7 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. | 
| hadoop-hdfs-journalnode | 3.2.1-amzn-7 | O serviço do HDFS para gerenciar o lançamento de arquivos do Hadoop em clusters de HA. | 
| hadoop-httpfs-server | 3.2.1-amzn-7 | O endpoint de HTTP para as operações do HDFS. | 
| hadoop-kms-server | 3.2.1-amzn-7 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider  | 
| hadoop-mapred | 3.2.1-amzn-7 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. | 
| hadoop-yarn-nodemanager | 3.2.1-amzn-7 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. | 
| hadoop-yarn-resourcemanager | 3.2.1-amzn-7 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. | 
| hadoop-yarn-timeline-server | 3.2.1-amzn-7 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. | 
| hbase-hmaster | 2.4.4-amzn-3 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. | 
| hbase-region-server | 2.4.4-amzn-3 | Serviço para atender a uma ou mais HBase regiões. | 
| hbase-client | 2.4.4-amzn-3 | HBase cliente de linha de comando. | 
| hbase-rest-server | 2.4.4-amzn-3 | Serviço que fornece um endpoint RESTful HTTP para HBase. | 
| hbase-thrift-server | 2.4.4-amzn-3 | Serviço que fornece um endpoint Thrift para. HBase | 
| hbase-operator-tools | 2.4.4-amzn-3 | Ferramenta de reparo para HBase clusters Apache. | 
| hcatalog-client | 3.1.3-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. | 
| hcatalog-server | 3.1.3-amzn-0 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. | 
| hcatalog-webhcat-server | 3.1.3-amzn-0 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. | 
| hive-client | 3.1.3-amzn-0 | O cliente da linha de comando do Hive. | 
| hive-hbase | 3.1.3-amzn-0 | Cliente do Hive-hbase. | 
| hive-metastore-server | 3.1.3-amzn-0 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. | 
| hive-server2 | 3.1.3-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. | 
| hudi | 0.11.0-amzn-0 | Estrutura de processamento incremental para alimentar o pipeline de dados com baixa latência e alta eficiência. | 
| hudi-presto | 0.11.0-amzn-0 | Biblioteca de pacotes para executar o Presto com o Hudi. | 
| hudi-trino | 0.11.0-amzn-0 | Biblioteca de pacotes para execução do Presto com o Hudi. | 
| hudi-spark | 0.11.0-amzn-0 | Biblioteca de pacotes para executar o Spark com o Hudi. | 
| hue-server | 4.10.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop | 
| iceberg | 0.13.1-amzn-0 | Apache Iceberg é um formato de tabela aberta para conjuntos de dados analíticos imensos | 
| jupyterhub | 1.4.1 | Servidor de vários usuários para blocos de anotações Jupyter | 
| livy-server | 0.7.1-incubating | Interface REST para interagir com o Apache Spark | 
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP | 
| mxnet | 1.8.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. | 
| mariadb-server | 5.5.68\$1 | Servidor de banco de dados MariaDB. | 
| nvidia-cuda | 11.0.194 | Drivers NVIDIA e toolkit CUDA | 
| oozie-client | 5.2.1 | O cliente da linha de comando do Oozie. | 
| oozie-server | 5.2.1 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. | 
| opencv | 4.5.0 | Biblioteca de Visão Computacional de Código Aberto. | 
| phoenix-library | 5.1.2 | As bibliotecas do phoenix para servidor e cliente | 
| phoenix-connectors | 5.1.2 | Conectores do Apache Phoenix para Spark-3 | 
| phoenix-query-server | 5.1.2 | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica  | 
| presto-coordinator | 0.272-amzn-0 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. | 
| presto-worker | 0.272-amzn-0 | O serviço que executa partes de uma consulta. | 
| presto-client | 0.272-amzn-0 | Cliente de linha de comando do Presto instalado em mestres de espera de um cluster de alta disponibilidade em que o servidor do Presto não é iniciado. | 
| trino-coordinator | 378-amzn-0 | Serviço que aceita consultas e gerencia a execução de consultas entre trino-workers. | 
| trino-worker | 378-amzn-0 | O serviço que executa partes de uma consulta. | 
| trino-client | 378-amzn-0 | Cliente de linha de comando do Trino instalado em mestres de espera de um cluster de alta disponibilidade (HA) em que o servidor do Trino não é iniciado. | 
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. | 
| r | 4.0.2 | O projeto R para computação estatística | 
| ranger-kms-server | 2.0.0 | Sistema de gerenciamento de chaves Apache Ranger | 
| spark-client | 3.2.1-amzn-0 | Os clientes da linha de comando do Spark. | 
| spark-history-server | 3.2.1-amzn-0 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. | 
| spark-on-yarn | 3.2.1-amzn-0 | O mecanismo de execução em memória para o YARN. | 
| spark-yarn-slave | 3.2.1-amzn-0 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. | 
| spark-rapids | 22.02.0-amzn-1 | Plugin Nvidia Spark RAPIDS que acelera o Apache Spark com o. GPUs | 
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. | 
| tensorflow | 2.4.1 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. | 
| tez-on-yarn | 0.9.2 | O aplicativo e as bibliotecas do YARN para Tez. | 
| webserver | 2.4.41\$1 | O servidor Apache HTTP. | 
| zeppelin-server | 0.10.0 | O notebook baseado na web que permite um data analytics interativo. | 
| zookeeper-server | 3.5.7 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. | 
| zookeeper-client | 3.5.7 | ZooKeeper cliente de linha de comando. | 

## Classificações de configuração 6.7.0
<a name="emr-670-class"></a>

As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).

Ocorrem ações de reconfiguração quando você especifica uma configuração para grupos de instâncias em um cluster em execução. O Amazon EMR só inicia ações de reconfiguração para as classificações que você modifica. Para obter mais informações, consulte [Reconfigurar um grupo de instâncias de um cluster em execução](emr-configure-apps-running-cluster.md).


**Classificações do emr-6.7.0**  

| Classificações | Description | Ações de reconfiguração | 
| --- | --- | --- | 
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. | Restarts the ResourceManager service. | 
| container-executor | Alterar os valores no arquivo container-executor.cfg do YARN do Hadoop. | Not available. | 
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. | Not available. | 
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | Alterar as configurações relacionadas ao docker. | Not available. | 
| emrfs-site | Alterar as configurações do EMRFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | Alterar as configurações do flink-conf.yaml. | Restarts Flink history server. | 
| flink-log4j | Alterar as configurações de log4j.properties no Flink. | Restarts Flink history server. | 
| flink-log4j-session | Altere as configurações do Flink log4j-session.properties para a sessão. Kubernetes/Yarn  | Restarts Flink history server. | 
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. | Restarts Flink history server. | 
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop | Not available. | 
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop | Not available. | 
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | Mude os valores no HBase ambiente. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. | Not available. | 
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. | This classification should not be reconfigured. | 
| hdfs-env | Alterar os valores no ambiente do HDFS. | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | Mude os valores no HCatalog ambiente. | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. | Restarts Hive WebHCat server. | 
| hive | As configurações administradas pelo Amazon EMR para o Apache Hive. | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. | Not available. | 
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. | Not available. | 
| hive-env | Alterar os valores no ambiente do Hive. | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. | Not available. | 
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. | Not available. | 
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. | Not available. | 
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. | Not available. | 
| hue-ini | Alterar os valores no arquivo ini do Hue | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | Alterar os valores no ambiente do HTTPFS. | Restarts Hadoop Httpfs service. | 
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. | Not available. | 
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. | Not available. | 
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | Altere os valores no ambiente do Hudi. | Not available. | 
| hudi-defaults | Alterar os valores no arquivo hudi-defaults.conf do Hudi. | Not available. | 
| iceberg-defaults | Alterar os valores no arquivo iceberg-defaults.conf do Iceberg. | Not available. | 
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. | Not available. | 
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. | Not available. | 
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. | Not available. | 
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. | Not available. | 
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. | Restarts Livy Server. | 
| livy-env | Alterar os valores no ambiente do Livy. | Restarts Livy Server. | 
| livy-log4j | Alterar as configurações de log4j.properties no Livy. | Restarts Livy Server. | 
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | Alterar os valores no ambiente do Oozie. | Restarts Oozie. | 
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. | Restarts Oozie. | 
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. | Restarts Oozie. | 
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. | Not available. | 
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. | Not available. | 
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. | Not available. | 
| pig-env | Alterar os valores no ambiente do Pig. | Not available. | 
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. | Restarts Oozie. | 
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. | Not available. | 
| presto-log | Alterar os valores no arquivo log.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-config | Alterar os valores no arquivo config.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. | Not available. | 
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-node | Altere os valores no arquivo node.properties do Presto. | Not available. | 
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. | Not available. | 
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. | Not available. | 
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. | Not available. | 
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. | Not available. | 
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. | Not available. | 
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. | Not available. | 
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. | Not available. | 
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. | Not available. | 
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. | Not available. | 
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. | Not available. | 
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. | Not available. | 
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. | Not available. | 
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. | Not available. | 
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. | Not available. | 
| trino-log | Alterar os valores no arquivo log.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-config | Alterar os valores no arquivo config.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-password-authenticator | Alterar os valores no arquivo password-authenticator.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-env | Alterar os valores no arquivo trino-env.sh do Trino. | Restarts Trino-Server (for Trino) | 
| trino-node | Alterar os valores no arquivo node.properties do Trino. | Not available. | 
| trino-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Trino. | Not available. | 
| trino-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Trino. | Not available. | 
| trino-connector-hive | Alterar os valores no arquivo hive.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-connector-iceberg | Alterar os valores no arquivo iceberg.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-connector-jmx | Alterar os valores no arquivo jmx.properties do Trino. | Not available. | 
| trino-connector-kafka | Alterar os valores no arquivo kafka.properties do Trino. | Not available. | 
| trino-connector-localfile | Alterar os valores no arquivo localfile.properties do Trino. | Not available. | 
| trino-connector-memory | Alterar os valores no arquivo memory.properties do Trino. | Not available. | 
| trino-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Trino. | Not available. | 
| trino-connector-mysql | Alterar os valores no arquivo mysql.properties do Trino. | Not available. | 
| trino-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Trino. | Not available. | 
| trino-connector-raptor | Alterar os valores no arquivo raptor.properties do Trino. | Not available. | 
| trino-connector-redis | Alterar os valores no arquivo redis.properties do Trino. | Not available. | 
| trino-connector-redshift | Alterar os valores no arquivo redshift.properties do Trino. | Not available. | 
| trino-connector-tpch | Alterar os valores no arquivo tpch.properties do Trino. | Not available. | 
| trino-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Trino. | Not available. | 
| ranger-kms-dbks-site | Altere os valores no arquivo dbks-site.xml do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-site | Altere os valores no ranger-kms-site arquivo.xml do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-env | Altere os valores no ambiente do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-log4j | Altere os valores no arquivo kms-log4j.properties do Ranger KMS. | Not available. | 
| ranger-kms-db-ca | Altere os valores do arquivo CA no S3 para conexão SSL do MySQL com o Ranger KMS. | Not available. | 
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. | This property modifies spark-defaults. See actions there. | 
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-env | Alterar os valores no ambiente do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. | Not available. | 
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | Alterar os valores no ambiente do Sqoop. | Not available. | 
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. | Not available. | 
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. | Not available. | 
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. | Restart Oozie and HiveServer2. | 
| yarn-env | Alterar os valores no ambiente do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. | Restarts Zeppelin. | 
| zeppelin-site | Alterar as definições da configuração em zeppelin-site.xml. | Restarts Zeppelin. | 
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. | Restarts Zookeeper server. | 
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. | Restarts Zookeeper server. | 

# Versão 6.6.0 do Amazon EMR
<a name="emr-660-release"></a>

## Versões 6.6.0 da aplicação
<a name="emr-660-app-versions"></a>

Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://iceberg.apache.org/](https://iceberg.apache.org/), [https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://trino.io/](https://trino.io/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).

A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).

Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)


**Informações da versão da aplicação**  

|  | emr-6.6.0 | emr-6.5.0 | emr-6.4.0 | emr-6.3.1 | 
| --- | --- | --- | --- | --- | 
| AWS SDK for Java | 1.12.170 | 1.12.31 | 1.12.31 | 1.11.97 | 
| Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 
| Scala | 2.12.10 | 2.12.10 | 2.12.10 | 2.12.10 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.14.2 | 1.14.0 | 1.13.1 | 1.12.1 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.4.4-amzn-2 | 2.4.4-amzn-1 | 2.4.4-amzn-0 | 2.2.6-amzn-1 | 
| HCatalog | 3.1.2-amzn-7 | 3.1.2-amzn-6 | 3.1.2-amzn-5 | 3.1.2-amzn-4 | 
| Hadoop | 3.2.1-amzn-6 | 3.2.1-amzn-5 | 3.2.1-amzn-4 | 3.2.1-amzn-3.1 | 
| Hive | 3.1.2-amzn-7 | 3.1.2-amzn-6 | 3.1.2-amzn-5 | 3.1.2-amzn-4 | 
| Hudi | 0.10.1-amzn-0 | 0.9.0-amzn-1 | 0.8.0-amzn-0 | 0.7.0-amzn-0 | 
| Hue | 4.10.0 | 4.9.0 | 4.9.0 | 4.9.0 | 
| Iceberg | 0.13.1 | 0.12.0 |  -  |  -  | 
| JupyterEnterpriseGateway | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 
| JupyterHub | 1.4.1 | 1.4.1 | 1.4.1 | 1.2.2 | 
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.1-incubating | 0.7.0-incubating | 
| MXNet | 1.8.0 | 1.8.0 | 1.8.0 | 1.7.0 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 
| Phoenix | 5.1.2 | 5.1.2 | 5.1.2 | 5.0.0- -2.0 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.267-amzn-0 | 0.261-amzn-0 | 0.254.1-amzn-0 | 0.245.1-amzn-0 | 
| Spark | 3.2.0-amzn-0 | 3.1.2-amzn-1 | 3.1.2-amzn-0 | 3.1.1-amzn-0.1 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.4.1 | 2.4.1 | 2.4.1 | 2.4.1 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) | 367-amzn-0 | 360 | 359 | 350 | 
| Zeppelin | 0.10.0 | 0.10.0 | 0.9.0 | 0.9.0 | 
| ZooKeeper | 3.5.7 | 3.5.7 | 3.5.7 | 3.4.14 | 

## Notas da versão 6.6.0
<a name="emr-660-relnotes"></a>

As notas da versão a seguir incluem informações para a versão 6.6.0 do Amazon EMR. As alterações são referentes à versão 6.5.0.

Data da versão inicial: 9 de maio de 2022

Data da documentação atualizada: 15 de junho de 2022

**Novos atributos**
+ O Amazon EMR 6.6 agora é compatível com Apache Spark 3.2, Apache Spark RAPIDS 22.02, CUDA 11, Apache Hudi 0.10.1, Apache Iceberg 0.13, Trino 0.367 e PrestoDB 0.267.
+ Quando você inicia um cluster com a *versão de patch mais recente* do Amazon EMR 5.36 ou superior, 6.6 ou superior ou 7.0 ou superior, o Amazon EMR usa a versão mais recente do Amazon Linux 2023 ou do Amazon Linux 2 para a AMI padrão do Amazon EMR. Para obter mais informações, consulte [Como usar a AMI padrão do Amazon Linux para Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-default-ami.html).    
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/emr/latest/ReleaseGuide/emr-660-release.html)
+ Com as versões 6.6 e posteriores do Amazon EMR,as aplicações que usam o Log4j 1.x e o Log4j 2.x são atualizadas para usar o Log4j 1.2.17 (ou superior) e o Log4j 2.17.1 (ou superior), respectivamente, e não exigem o uso de [ações de bootstrap](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-log4j-vulnerability.html) para mitigar os problemas de CVE.
+ **[Ajuste de escala gerenciado] Otimização do ajuste de escala gerenciado de dados embaralhados do Spark**: para as versões 5.34.0 e posteriores do Amazon EMR e as versões 6.4.0 e posteriores do EMR, o ajuste de escala gerenciado agora reconhece dados embaralhados do Spark (dados que o Spark redistribui entre partições para executar operações específicas). Para obter mais informações sobre operações de shuffle, consulte [Usar ajuste de escala gerenciado do EMR no Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-managed-scaling.html) no *Guia de gerenciamento do Amazon EMR* e no [Guia de programação do Spark](https://spark.apache.org/docs/latest/rdd-programming-guide.html#shuffle-operations).
+ Desde as versões 5.32.0 e 6.5.0 do Amazon EMR, o dimensionamento do executor dinâmico para o Apache Spark está habilitado por padrão. Para ativar ou desativar esse atributo, você pode usar o parâmetro de configuração `spark.yarn.heterogeneousExecutors.enabled`.

**Alterações, melhorias e problemas resolvidos**
+ O Amazon EMR reduz o tempo de inicialização do cluster em até 80 segundos, em média, para clusters que usam a opção de AMI padrão do EMR e só instalam aplicações comuns, como Apache Hadoop, Apache Spark e Apache Hive.

**Problemas conhecidos**
+ Quando a versão 6.5.0, 6.6.0 ou 6.7.0 do Amazon EMR lê as tabelas do Apache Phoenix por meio do shell do Apache Spark, ocorre um `NoSuchMethodError` porque o Amazon EMR usa um `Hbase.compat.version` incorreto. A versão 6.8.0 do Amazon EMR corrige esse problema.
+ Ao usar o conector DynamoDB com o Spark nas versões 6.6.0, 6.7.0 e 6.8.0 do Amazon EMR, todas as leituras da tabela retornam um resultado vazio, mesmo que a divisão de entrada faça referência a dados que não estão vazios. Isso ocorre porque o Spark 3.2.0 define `spark.hadoopRDD.ignoreEmptySplits` como `true` por padrão. Como solução alternativa, defina explicitamente `spark.hadoopRDD.ignoreEmptySplits` como `false`. A versão 6.9.0 do Amazon EMR corrige esse problema.
+ Em clusters de execução prolongada do Trino, o Amazon EMR 6.6.0 habilita os parâmetros de registro em log da coleta de resíduos no jvm.config do Trino para obter melhores insights dos registros em log da coleta de resíduos. Essa alteração anexa muitos registros da coleta de lixo ao arquivo launcher.log (/var/log/trino/launcher.log). Se você estiver executando clusters do Trino no Amazon EMR 6.6.0, poderá encontrar nós que perderão espaço em disco depois que o cluster estiver em execução por alguns dias devido aos logs anexados.

  A solução alternativa para esse problema é executar o script abaixo como uma ação de bootstrap para desativar os parâmetros de registro em log da coleta de resíduos no jvm.config ao criar ou clonar o cluster para o Amazon EMR 6.6.0.

  ```
  #!/bin/bash
    set -ex
    PRESTO_PUPPET_DIR='/var/aws/emr/bigtop-deploy/puppet/modules/trino'
    sudo bash -c "sed -i '/-Xlog/d' ${PRESTO_PUPPET_DIR}/templates/jvm.config"
  ```
+ Quando você usa o Spark com a formatação de localização de partições do Hive para ler dados no Amazon S3 e executa o Spark nas versões 5.30.0 a 5.36.0 e 6.2.0 a 6.9.0 do Amazon EMR, pode encontrar um problema que impede que o cluster leia os dados corretamente. Isso poderá acontecer se suas partições tiverem todas as características a seguir:
  + Duas ou mais partições são verificadas na mesma tabela.
  + Pelo menos um caminho de diretório de partição é um prefixo de pelo menos outro caminho de diretório de partição, por exemplo, `s3://bucket/table/p=a` é um prefixo de `s3://bucket/table/p=a b`.
  + O primeiro caractere que segue o prefixo no outro diretório de partição tem um valor UTF-8 menor que o caractere `/` (U\$1002F). Por exemplo, o caractere de espaço (U\$10020) que ocorre entre a e b em `s3://bucket/table/p=a b` se enquadra nessa categoria. Observe que existem 14 outros caracteres que não são de controle: `!"#$%&‘()*+,-`. Para obter mais informações, consulte [Tabela de codificação UTF-8 e caracteres Unicode](https://www.utf8-chartable.de/).

  Como solução alternativa para esse problema, defina a configuração `spark.sql.sources.fastS3PartitionDiscovery.enabled` como `false` na classificação `spark-defaults`.
+ Com as versões 5.36.0 e 6.6.0 a 6.9.0 do Amazon EMR, os componentes do serviço `SecretAgent` e `RecordServer` podem sofrer perda de dados de log devido a uma configuração incorreta do padrão de nome de arquivo nas propriedades do Log4j2. A configuração incorreta faz com que os componentes gerem somente um arquivo de log por dia. Quando a estratégia de rotação ocorre, ela substitui o arquivo existente em vez de gerar um novo arquivo de log, conforme esperado. Como solução alternativa, use uma ação de bootstrap para gerar arquivos de log a cada hora e acrescentar um número inteiro de incremento automático no nome do arquivo para lidar com a rotação.

  Para as versões 6.6.0 a 6.9.0 do Amazon EMR, use a seguinte ação de bootstrap ao iniciar um cluster. 

  ```
  ‑‑bootstrap‑actions "Path=s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/log-rotation-emr-6x/replace-puppet.sh,Args=[]"
  ```

  Para o Amazon EMR 5.36.0, use a ação de bootstrap a seguir ao iniciar um cluster.

  ```
  ‑‑bootstrap‑actions "Path=s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/log-rotation-emr-5x/replace-puppet.sh,Args=[]"
  ```

## Versões de componente 6.6.0
<a name="emr-660-components"></a>

Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.

Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.


| Componente | Versão | Description | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.1 | SDK do Amazon SageMaker Spark | 
| emr-ddb | 4.16.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. | 
| emr-goodies | 3.2.0 | Bibliotecas convenientes para o ecossistema do Hadoop. | 
| emr-kinesis | 3.5.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. | 
| emr-notebook-env | 1.5.0 | Ambiente Conda para bloco de anotações do emr, que inclui o jupyter enterprise gateway | 
| emr-s3-dist-cp | 2.20.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. | 
| emr-s3-select | 2.1.0 | EMR S3Select Connector | 
| emrfs | 2.50.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. | 
| flink-client | 1.14.2 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. | 
| flink-jobmanager-config | 1.14.2 | Gerenciando recursos nos nós do EMR para o Apache Flink. JobManager | 
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. | 
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. | 
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. | 
| hadoop-client | 3.2.1-amzn-6 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. | 
| hadoop-hdfs-datanode | 3.2.1-amzn-6 | O serviço de nível de nó do HDFS para armazenamento de blocos. | 
| hadoop-hdfs-library | 3.2.1-amzn-6 | O cliente de linha de comando e biblioteca do HDFS | 
| hadoop-hdfs-namenode | 3.2.1-amzn-6 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. | 
| hadoop-hdfs-journalnode | 3.2.1-amzn-6 | O serviço do HDFS para gerenciar o lançamento de arquivos do Hadoop em clusters de HA. | 
| hadoop-httpfs-server | 3.2.1-amzn-6 | O endpoint de HTTP para as operações do HDFS. | 
| hadoop-kms-server | 3.2.1-amzn-6 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider  | 
| hadoop-mapred | 3.2.1-amzn-6 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. | 
| hadoop-yarn-nodemanager | 3.2.1-amzn-6 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. | 
| hadoop-yarn-resourcemanager | 3.2.1-amzn-6 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. | 
| hadoop-yarn-timeline-server | 3.2.1-amzn-6 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. | 
| hbase-hmaster | 2.4.4-amzn-2 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. | 
| hbase-region-server | 2.4.4-amzn-2 | Serviço para atender a uma ou mais HBase regiões. | 
| hbase-client | 2.4.4-amzn-2 | HBase cliente de linha de comando. | 
| hbase-rest-server | 2.4.4-amzn-2 | Serviço que fornece um endpoint RESTful HTTP para HBase. | 
| hbase-thrift-server | 2.4.4-amzn-2 | Serviço que fornece um endpoint Thrift para. HBase | 
| hbase-operator-tools | 2.4.4-amzn-2 | Ferramenta de reparo para HBase clusters Apache. | 
| hcatalog-client | 3.1.2-amzn-7 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. | 
| hcatalog-server | 3.1.2-amzn-7 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. | 
| hcatalog-webhcat-server | 3.1.2-amzn-7 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. | 
| hive-client | 3.1.2-amzn-7 | O cliente da linha de comando do Hive. | 
| hive-hbase | 3.1.2-amzn-7 | Cliente do Hive-hbase. | 
| hive-metastore-server | 3.1.2-amzn-7 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. | 
| hive-server2 | 3.1.2-amzn-7 | O serviço que aceita as consultas do Hive como solicitações da web. | 
| hudi | 0.10.1-amzn-0 | Estrutura de processamento incremental para alimentar o pipeline de dados com baixa latência e alta eficiência. | 
| hudi-presto | 0.10.1-amzn-0 | Biblioteca de pacotes para executar o Presto com o Hudi. | 
| hudi-trino | 0.10.1-amzn-0 | Biblioteca de pacotes para execução do Presto com o Hudi. | 
| hudi-spark | 0.10.1-amzn-0 | Biblioteca de pacotes para executar o Spark com o Hudi. | 
| hue-server | 4.10.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop | 
| iceberg | 0.13.1 | Apache Iceberg é um formato de tabela aberta para conjuntos de dados analíticos imensos | 
| jupyterhub | 1.4.1 | Servidor de vários usuários para blocos de anotações Jupyter | 
| livy-server | 0.7.1-incubating | Interface REST para interagir com o Apache Spark | 
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP | 
| mxnet | 1.8.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. | 
| mariadb-server | 5.5.68\$1 | Servidor de banco de dados MariaDB. | 
| nvidia-cuda | 11.0.194 | Drivers NVIDIA e toolkit CUDA | 
| oozie-client | 5.2.1 | O cliente da linha de comando do Oozie. | 
| oozie-server | 5.2.1 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. | 
| opencv | 4.5.0 | Biblioteca de Visão Computacional de Código Aberto. | 
| phoenix-library | 5.1.2 | As bibliotecas do phoenix para servidor e cliente | 
| phoenix-connectors | 5.1.2 | Conectores do Apache Phoenix para Spark-3 | 
| phoenix-query-server | 5.1.2 | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica  | 
| presto-coordinator | 0.267-amzn-0 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. | 
| presto-worker | 0.267-amzn-0 | O serviço que executa partes de uma consulta. | 
| presto-client | 0.267-amzn-0 | Cliente de linha de comando do Presto instalado em mestres de espera de um cluster de alta disponibilidade em que o servidor do Presto não é iniciado. | 
| trino-coordinator | 367-amzn-0 | Serviço que aceita consultas e gerencia a execução de consultas entre trino-workers. | 
| trino-worker | 367-amzn-0 | O serviço que executa partes de uma consulta. | 
| trino-client | 367-amzn-0 | Cliente de linha de comando do Trino instalado em mestres de espera de um cluster de alta disponibilidade (HA) em que o servidor do Trino não é iniciado. | 
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. | 
| r | 4.0.2 | O projeto R para computação estatística | 
| ranger-kms-server | 2.0.0 | Sistema de gerenciamento de chaves Apache Ranger | 
| spark-client | 3.2.0-amzn-0 | Os clientes da linha de comando do Spark. | 
| spark-history-server | 3.2.0-amzn-0 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. | 
| spark-on-yarn | 3.2.0-amzn-0 | O mecanismo de execução em memória para o YARN. | 
| spark-yarn-slave | 3.2.0-amzn-0 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. | 
| spark-rapids | 22.02.0-amzn-0 | Plugin Nvidia Spark RAPIDS que acelera o Apache Spark com o. GPUs | 
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. | 
| tensorflow | 2.4.1 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. | 
| tez-on-yarn | 0.9.2 | O aplicativo e as bibliotecas do YARN para Tez. | 
| webserver | 2.4.41\$1 | O servidor Apache HTTP. | 
| zeppelin-server | 0.10.0 | O notebook baseado na web que permite um data analytics interativo. | 
| zookeeper-server | 3.5.7 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. | 
| zookeeper-client | 3.5.7 | ZooKeeper cliente de linha de comando. | 

## Classificações de configuração 6.6.0
<a name="emr-660-class"></a>

As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).

Ocorrem ações de reconfiguração quando você especifica uma configuração para grupos de instâncias em um cluster em execução. O Amazon EMR só inicia ações de reconfiguração para as classificações que você modifica. Para obter mais informações, consulte [Reconfigurar um grupo de instâncias de um cluster em execução](emr-configure-apps-running-cluster.md).


**Classificações do emr-6.6.0**  

| Classificações | Description | Ações de reconfiguração | 
| --- | --- | --- | 
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. | Restarts the ResourceManager service. | 
| container-executor | Alterar os valores no arquivo container-executor.cfg do YARN do Hadoop. | Not available. | 
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. | Not available. | 
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | Alterar as configurações relacionadas ao docker. | Not available. | 
| emrfs-site | Alterar as configurações do EMRFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | Alterar as configurações do flink-conf.yaml. | Restarts Flink history server. | 
| flink-log4j | Alterar as configurações de log4j.properties no Flink. | Restarts Flink history server. | 
| flink-log4j-session | Altere as configurações do Flink log4j-session.properties para a sessão. Kubernetes/Yarn  | Restarts Flink history server. | 
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. | Restarts Flink history server. | 
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop | Not available. | 
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop | Not available. | 
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | Mude os valores no HBase ambiente. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. | Not available. | 
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. | This classification should not be reconfigured. | 
| hdfs-env | Alterar os valores no ambiente do HDFS. | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | Mude os valores no HCatalog ambiente. | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. | Restarts Hive WebHCat server. | 
| hive | As configurações administradas pelo Amazon EMR para o Apache Hive. | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. | Not available. | 
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. | Not available. | 
| hive-env | Alterar os valores no ambiente do Hive. | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. | Not available. | 
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. | Not available. | 
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. | Not available. | 
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. | Not available. | 
| hue-ini | Alterar os valores no arquivo ini do Hue | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | Alterar os valores no ambiente do HTTPFS. | Restarts Hadoop Httpfs service. | 
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. | Not available. | 
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. | Not available. | 
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | Altere os valores no ambiente do Hudi. | Not available. | 
| hudi-defaults | Alterar os valores no arquivo hudi-defaults.conf do Hudi. | Not available. | 
| iceberg-defaults | Alterar os valores no arquivo iceberg-defaults.conf do Iceberg. | Not available. | 
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. | Not available. | 
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. | Not available. | 
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. | Not available. | 
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. | Not available. | 
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. | Restarts Livy Server. | 
| livy-env | Alterar os valores no ambiente do Livy. | Restarts Livy Server. | 
| livy-log4j | Alterar as configurações de log4j.properties no Livy. | Restarts Livy Server. | 
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | Alterar os valores no ambiente do Oozie. | Restarts Oozie. | 
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. | Restarts Oozie. | 
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. | Restarts Oozie. | 
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. | Not available. | 
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. | Not available. | 
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. | Not available. | 
| pig-env | Alterar os valores no ambiente do Pig. | Not available. | 
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. | Restarts Oozie. | 
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. | Not available. | 
| presto-log | Alterar os valores no arquivo log.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-config | Alterar os valores no arquivo config.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. | Not available. | 
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-node | Altere os valores no arquivo node.properties do Presto. | Not available. | 
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. | Not available. | 
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. | Not available. | 
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. | Not available. | 
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. | Not available. | 
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. | Not available. | 
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. | Not available. | 
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. | Not available. | 
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. | Not available. | 
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. | Not available. | 
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. | Not available. | 
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. | Not available. | 
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. | Not available. | 
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. | Not available. | 
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. | Not available. | 
| trino-log | Alterar os valores no arquivo log.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-config | Alterar os valores no arquivo config.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-password-authenticator | Alterar os valores no arquivo password-authenticator.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-env | Alterar os valores no arquivo trino-env.sh do Trino. | Restarts Trino-Server (for Trino) | 
| trino-node | Alterar os valores no arquivo node.properties do Trino. | Not available. | 
| trino-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Trino. | Not available. | 
| trino-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Trino. | Not available. | 
| trino-connector-hive | Alterar os valores no arquivo hive.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-connector-iceberg | Alterar os valores no arquivo iceberg.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-connector-jmx | Alterar os valores no arquivo jmx.properties do Trino. | Not available. | 
| trino-connector-kafka | Alterar os valores no arquivo kafka.properties do Trino. | Not available. | 
| trino-connector-localfile | Alterar os valores no arquivo localfile.properties do Trino. | Not available. | 
| trino-connector-memory | Alterar os valores no arquivo memory.properties do Trino. | Not available. | 
| trino-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Trino. | Not available. | 
| trino-connector-mysql | Alterar os valores no arquivo mysql.properties do Trino. | Not available. | 
| trino-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Trino. | Not available. | 
| trino-connector-raptor | Alterar os valores no arquivo raptor.properties do Trino. | Not available. | 
| trino-connector-redis | Alterar os valores no arquivo redis.properties do Trino. | Not available. | 
| trino-connector-redshift | Alterar os valores no arquivo redshift.properties do Trino. | Not available. | 
| trino-connector-tpch | Alterar os valores no arquivo tpch.properties do Trino. | Not available. | 
| trino-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Trino. | Not available. | 
| ranger-kms-dbks-site | Altere os valores no arquivo dbks-site.xml do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-site | Altere os valores no ranger-kms-site arquivo.xml do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-env | Altere os valores no ambiente do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-log4j | Altere os valores no arquivo kms-log4j.properties do Ranger KMS. | Not available. | 
| ranger-kms-db-ca | Altere os valores do arquivo CA no S3 para conexão SSL do MySQL com o Ranger KMS. | Not available. | 
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. | This property modifies spark-defaults. See actions there. | 
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-env | Alterar os valores no ambiente do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. | Not available. | 
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | Alterar os valores no ambiente do Sqoop. | Not available. | 
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. | Not available. | 
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. | Not available. | 
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. | Restart Oozie and HiveServer2. | 
| yarn-env | Alterar os valores no ambiente do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. | Restarts Zeppelin. | 
| zeppelin-site | Alterar as definições da configuração em zeppelin-site.xml. | Restarts Zeppelin. | 
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. | Restarts Zookeeper server. | 
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. | Restarts Zookeeper server. | 

# Versão 6.5.0 do Amazon EMR
<a name="emr-650-release"></a>

## Versões 6.5.0 da aplicação
<a name="emr-650-app-versions"></a>

Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://iceberg.apache.org/](https://iceberg.apache.org/), [https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://trino.io/](https://trino.io/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).

A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).

Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)


**Informações da versão da aplicação**  

|  | emr-6.5.0 | emr-6.4.0 | emr-6.3.1 | emr-6.3.0 | 
| --- | --- | --- | --- | --- | 
| AWS SDK for Java | 1.12.31 | 1.12.31 | 1.11.977 | 1.11.977 | 
| Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 
| Scala | 2.12.10 | 2.12.10 | 2.12.10 | 2.12.10 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.14.0 | 1.13.1 | 1.12.1 | 1.12.1 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.4.4-amzn-1 | 2.4.4-amzn-0 | 2.2.6-amzn-1 | 2.2.6-amzn-1 | 
| HCatalog | 3.1.2-amzn-6 | 3.1.2-amzn-5 | 3.1.2-amzn-4 | 3.1.2-amzn-4 | 
| Hadoop | 3.2.1-amzn-5 | 3.2.1-amzn-4 | 3.2.1-amzn-3.1 | 3.2.1-amzn-3 | 
| Hive | 3.1.2-amzn-6 | 3.1.2-amzn-5 | 3.1.2-amzn-4 | 3.1.2-amzn-4 | 
| Hudi | 0.9.0-amzn-1 | 0.8.0-amzn-0 | 0.7.0-amzn-0 | 0.7.0-amzn-0 | 
| Hue | 4.9.0 | 4.9.0 | 4.9.0 | 4.9.0 | 
| Iceberg | 0.12.0 |  -  |  -  |  -  | 
| JupyterEnterpriseGateway | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 
| JupyterHub | 1.4.1 | 1.4.1 | 1.2.2 | 1.2.2 | 
| Livy | 0.7.1-incubating | 0.7.1-incubating | 0.7.0-incubating | 0.7.0-incubating | 
| MXNet | 1.8.0 | 1.8.0 | 1.7.0 | 1.7.0 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 | 
| Phoenix | 5.1.2 | 5.1.2 | 5.0.0- -2.0 HBase | 5.0.0- -2.0 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.261-amzn-0 | 0.254.1-amzn-0 | 0.245.1-amzn-0 | 0.245.1-amzn-0 | 
| Spark | 3.1.2-amzn-1 | 3.1.2-amzn-0 | 3.1.1-amzn-0.1 | 3.1.1-amzn-0 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.4.1 | 2.4.1 | 2.4.1 | 2.4.1 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) | 360 | 359 | 350 | 350 | 
| Zeppelin | 0.10.0 | 0.9.0 | 0.9.0 | 0.9.0 | 
| ZooKeeper | 3.5.7 | 3.5.7 | 3.4.14 | 3.4.14 | 

## Notas da versão 6.5.0
<a name="emr-650-relnotes"></a>

As notas da versão a seguir incluem informações para a versão 6.5.0 do Amazon EMR. As alterações são referentes à versão 6.4.0.

Data da versão inicial: 20 de janeiro de 2022

Data da versão atualizada: 21 de março de 2022

**Novos atributos**
+ **[Ajuste de escala gerenciado] Otimização do ajuste de escala gerenciado de dados embaralhados do Spark**: para as versões 5.34.0 e posteriores do Amazon EMR e as versões 6.4.0 e posteriores do EMR, o ajuste de escala gerenciado agora reconhece dados embaralhados do Spark (dados que o Spark redistribui entre partições para executar operações específicas). Para obter mais informações sobre operações de shuffle, consulte [Usar ajuste de escala gerenciado do EMR no Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-managed-scaling.html) no *Guia de gerenciamento do Amazon EMR* e no [Guia de programação do Spark](https://spark.apache.org/docs/latest/rdd-programming-guide.html#shuffle-operations).
+ Desde as versões 5.32.0 e 6.5.0 do Amazon EMR, o dimensionamento do executor dinâmico para o Apache Spark está habilitado por padrão. Para ativar ou desativar esse atributo, você pode usar o parâmetro de configuração `spark.yarn.heterogeneousExecutors.enabled`.
+ Suporte para o formato de tabela aberta Apache Iceberg para conjuntos de dados analíticos imensos.
+ Support para ranger-trino-plugin 2.0.1-amzn-1
+ Suporte para toree 0.5.0

**Alterações, melhorias e problemas resolvidos**
+ A versão de lançamento do Amazon EMR 6.5 agora é compatível com o Apache Iceberg 0.12.0 e fornece melhorias no runtime com o Ambiente de Tempo de Execução do Amazon EMR para Apache Spark, o Ambiente de Tempo de Execução do Amazon EMR para Presto e o Runtime do Amazon EMR para Apache Hive.
+ O [Apache Iceberg](https://iceberg.apache.org/) é um formato de tabela aberta para grandes conjuntos de dados no Amazon S3 que fornece performance rápida de consultas em tabelas grandes, confirmações atômicas, gravações simultâneas e evolução de tabelas compatível com SQL. Com o EMR 6.5, você pode usar o Apache Spark 3.1.2 com o formato de tabela Iceberg.
+ O Apache Hudi 0.9 adiciona suporte a DDL e DML do Spark SQL. Isso permite a criação e a atualização de tabelas do Hudi usando apenas instruções de SQL. O Apache Hudi 0.9 também inclui melhorias na performance do lado da consulta e do lado do gravador.
+ O Runtime do Amazon EMR para Apache Hive melhora a performance do Apache Hive no Amazon S3 ao remover operações de renomeação durante operações de preparação e melhora a performance dos comandos de verificação do metastore (MSCK) usados para reparar tabelas.

**Problemas conhecidos**
+ Quando a versão 6.5.0, 6.6.0 ou 6.7.0 do Amazon EMR lê as tabelas do Apache Phoenix por meio do shell do Apache Spark, ocorre um `NoSuchMethodError` porque o Amazon EMR usa um `Hbase.compat.version` incorreto. A versão 6.8.0 do Amazon EMR corrige esse problema.
+ Os clusters do pacote do Hbase em alta disponibilidade (HA) apresentam falha no provisionamento com o tamanho de volume e o tipo de instância padrão. A solução alternativa para esse problema é aumentar o tamanho do volume raiz.
+ Para usar as ações do Spark com o Apache Oozie, você deve adicionar a seguinte configuração ao seu arquivo `workflow.xml` do Oozie. Caso contrário, várias bibliotecas críticas, como Hadoop e EMRFS, estarão ausentes do classpath dos executores do Spark que o Oozie inicia.

  ```
  <spark-opts>--conf spark.yarn.populateHadoopClasspath=true</spark-opts>
  ```
+ Quando você usa o Spark com a formatação de localização de partições do Hive para ler dados no Amazon S3 e executa o Spark nas versões 5.30.0 a 5.36.0 e 6.2.0 a 6.9.0 do Amazon EMR, pode encontrar um problema que impede que o cluster leia os dados corretamente. Isso poderá acontecer se suas partições tiverem todas as características a seguir:
  + Duas ou mais partições são verificadas na mesma tabela.
  + Pelo menos um caminho de diretório de partição é um prefixo de pelo menos outro caminho de diretório de partição, por exemplo, `s3://bucket/table/p=a` é um prefixo de `s3://bucket/table/p=a b`.
  + O primeiro caractere que segue o prefixo no outro diretório de partição tem um valor UTF-8 menor que o caractere `/` (U\$1002F). Por exemplo, o caractere de espaço (U\$10020) que ocorre entre a e b em `s3://bucket/table/p=a b` se enquadra nessa categoria. Observe que existem 14 outros caracteres que não são de controle: `!"#$%&‘()*+,-`. Para obter mais informações, consulte [Tabela de codificação UTF-8 e caracteres Unicode](https://www.utf8-chartable.de/).

  Como solução alternativa para esse problema, defina a configuração `spark.sql.sources.fastS3PartitionDiscovery.enabled` como `false` na classificação `spark-defaults`.

## Versões de componente 6.5.0
<a name="emr-650-components"></a>

Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.

Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.


| Componente | Versão | Description | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.1 | SDK do Amazon SageMaker Spark | 
| emr-ddb | 4.16.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. | 
| emr-goodies | 3.2.0 | Bibliotecas convenientes para o ecossistema do Hadoop. | 
| emr-kinesis | 3.5.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. | 
| emr-notebook-env | 1.4.0 | Ambiente Conda para bloco de anotações do emr, que inclui o jupyter enterprise gateway | 
| emr-s3-dist-cp | 2.19.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. | 
| emr-s3-select | 2.1.0 | EMR S3Select Connector | 
| emrfs | 2.48.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. | 
| flink-client | 1.14.0 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. | 
| flink-jobmanager-config | 1.14.0 | Gerenciando recursos nos nós do EMR para o Apache Flink. JobManager | 
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. | 
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. | 
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. | 
| hadoop-client | 3.2.1-amzn-5 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. | 
| hadoop-hdfs-datanode | 3.2.1-amzn-5 | O serviço de nível de nó do HDFS para armazenamento de blocos. | 
| hadoop-hdfs-library | 3.2.1-amzn-5 | O cliente de linha de comando e biblioteca do HDFS | 
| hadoop-hdfs-namenode | 3.2.1-amzn-5 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. | 
| hadoop-hdfs-journalnode | 3.2.1-amzn-5 | O serviço do HDFS para gerenciar o lançamento de arquivos do Hadoop em clusters de HA. | 
| hadoop-httpfs-server | 3.2.1-amzn-5 | O endpoint de HTTP para as operações do HDFS. | 
| hadoop-kms-server | 3.2.1-amzn-5 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider  | 
| hadoop-mapred | 3.2.1-amzn-5 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. | 
| hadoop-yarn-nodemanager | 3.2.1-amzn-5 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. | 
| hadoop-yarn-resourcemanager | 3.2.1-amzn-5 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. | 
| hadoop-yarn-timeline-server | 3.2.1-amzn-5 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. | 
| hbase-hmaster | 2.4.4-amzn-1 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. | 
| hbase-region-server | 2.4.4-amzn-1 | Serviço para atender a uma ou mais HBase regiões. | 
| hbase-client | 2.4.4-amzn-1 | HBase cliente de linha de comando. | 
| hbase-rest-server | 2.4.4-amzn-1 | Serviço que fornece um endpoint RESTful HTTP para HBase. | 
| hbase-thrift-server | 2.4.4-amzn-1 | Serviço que fornece um endpoint Thrift para. HBase | 
| hcatalog-client | 3.1.2-amzn-6 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. | 
| hcatalog-server | 3.1.2-amzn-6 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. | 
| hcatalog-webhcat-server | 3.1.2-amzn-6 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. | 
| hive-client | 3.1.2-amzn-6 | O cliente da linha de comando do Hive. | 
| hive-hbase | 3.1.2-amzn-6 | Cliente do Hive-hbase. | 
| hive-metastore-server | 3.1.2-amzn-6 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. | 
| hive-server2 | 3.1.2-amzn-6 | O serviço que aceita as consultas do Hive como solicitações da web. | 
| hudi | 0.9.0-amzn-1 | Estrutura de processamento incremental para alimentar o pipeline de dados com baixa latência e alta eficiência. | 
| hudi-presto | 0.9.0-amzn-1 | Biblioteca de pacotes para executar o Presto com o Hudi. | 
| hudi-trino | 0.9.0-amzn-1 | Biblioteca de pacotes para execução do Presto com o Hudi. | 
| hudi-spark | 0.9.0-amzn-1 | Biblioteca de pacotes para executar o Spark com o Hudi. | 
| hue-server | 4.9.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop | 
| iceberg | 0.12.0 | Apache Iceberg é um formato de tabela aberta para conjuntos de dados analíticos imensos | 
| jupyterhub | 1.4.1 | Servidor de vários usuários para blocos de anotações Jupyter | 
| livy-server | 0.7.1-incubating | Interface REST para interagir com o Apache Spark | 
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP | 
| mxnet | 1.8.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. | 
| mariadb-server | 5.5.68\$1 | Servidor de banco de dados MariaDB. | 
| nvidia-cuda | 10.1.243 | Drivers NVIDIA e toolkit CUDA | 
| oozie-client | 5.2.1 | O cliente da linha de comando do Oozie. | 
| oozie-server | 5.2.1 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. | 
| opencv | 4.5.0 | Biblioteca de Visão Computacional de Código Aberto. | 
| phoenix-library | 5.1.2 | As bibliotecas do phoenix para servidor e cliente | 
| phoenix-query-server | 5.1.2 | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica  | 
| presto-coordinator | 0.261-amzn-0 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. | 
| presto-worker | 0.261-amzn-0 | O serviço que executa partes de uma consulta. | 
| presto-client | 0.261-amzn-0 | Cliente de linha de comando do Presto instalado em mestres de espera de um cluster de alta disponibilidade em que o servidor do Presto não é iniciado. | 
| trino-coordinator | 360 | Serviço que aceita consultas e gerencia a execução de consultas entre trino-workers. | 
| trino-worker | 360 | O serviço que executa partes de uma consulta. | 
| trino-client | 360 | Cliente de linha de comando do Trino instalado em mestres de espera de um cluster de alta disponibilidade (HA) em que o servidor do Trino não é iniciado. | 
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. | 
| r | 4.0.2 | O projeto R para computação estatística | 
| ranger-kms-server | 2.0.0 | Sistema de gerenciamento de chaves Apache Ranger | 
| spark-client | 3.1.2-amzn-1 | Os clientes da linha de comando do Spark. | 
| spark-history-server | 3.1.2-amzn-1 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. | 
| spark-on-yarn | 3.1.2-amzn-1 | O mecanismo de execução em memória para o YARN. | 
| spark-yarn-slave | 3.1.2-amzn-1 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. | 
| spark-rapids | 0.4.1 | Plugin Nvidia Spark RAPIDS que acelera o Apache Spark com o. GPUs | 
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. | 
| tensorflow | 2.4.1 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. | 
| tez-on-yarn | 0.9.2 | O aplicativo e as bibliotecas do YARN para Tez. | 
| webserver | 2.4.41\$1 | O servidor Apache HTTP. | 
| zeppelin-server | 0.10.0 | O notebook baseado na web que permite um data analytics interativo. | 
| zookeeper-server | 3.5.7 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. | 
| zookeeper-client | 3.5.7 | ZooKeeper cliente de linha de comando. | 

## Classificações de configuração 6.5.0
<a name="emr-650-class"></a>

As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).

Ocorrem ações de reconfiguração quando você especifica uma configuração para grupos de instâncias em um cluster em execução. O Amazon EMR só inicia ações de reconfiguração para as classificações que você modifica. Para obter mais informações, consulte [Reconfigurar um grupo de instâncias de um cluster em execução](emr-configure-apps-running-cluster.md).


**Classificações do emr-6.5.0**  

| Classificações | Description | Ações de reconfiguração | 
| --- | --- | --- | 
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. | Restarts the ResourceManager service. | 
| container-executor | Alterar os valores no arquivo container-executor.cfg do YARN do Hadoop. | Not available. | 
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. | Not available. | 
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | Alterar as configurações relacionadas ao docker. | Not available. | 
| emrfs-site | Alterar as configurações do EMRFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | Alterar as configurações do flink-conf.yaml. | Restarts Flink history server. | 
| flink-log4j | Alterar as configurações de log4j.properties no Flink. | Restarts Flink history server. | 
| flink-log4j-session | Altere as configurações do Flink log4j-session.properties para a sessão. Kubernetes/Yarn  | Restarts Flink history server. | 
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. | Restarts Flink history server. | 
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop | Not available. | 
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop | Not available. | 
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | Mude os valores no HBase ambiente. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. | Not available. | 
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. | This classification should not be reconfigured. | 
| hdfs-env | Alterar os valores no ambiente do HDFS. | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | Mude os valores no HCatalog ambiente. | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. | Restarts Hive WebHCat server. | 
| hive | As configurações administradas pelo Amazon EMR para o Apache Hive. | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. | Not available. | 
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. | Not available. | 
| hive-env | Alterar os valores no ambiente do Hive. | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. | Not available. | 
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. | Not available. | 
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. | Not available. | 
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. | Not available. | 
| hue-ini | Alterar os valores no arquivo ini do Hue | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | Alterar os valores no ambiente do HTTPFS. | Restarts Hadoop Httpfs service. | 
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. | Not available. | 
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. | Not available. | 
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | Altere os valores no ambiente do Hudi. | Not available. | 
| hudi-defaults | Alterar os valores no arquivo hudi-defaults.conf do Hudi. | Not available. | 
| iceberg-defaults | Alterar os valores no arquivo iceberg-defaults.conf do Iceberg. | Not available. | 
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. | Not available. | 
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. | Not available. | 
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. | Not available. | 
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. | Not available. | 
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. | Restarts Livy Server. | 
| livy-env | Alterar os valores no ambiente do Livy. | Restarts Livy Server. | 
| livy-log4j | Alterar as configurações de log4j.properties no Livy. | Restarts Livy Server. | 
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | Alterar os valores no ambiente do Oozie. | Restarts Oozie. | 
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. | Restarts Oozie. | 
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. | Restarts Oozie. | 
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. | Not available. | 
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. | Not available. | 
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. | Not available. | 
| pig-env | Alterar os valores no ambiente do Pig. | Not available. | 
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. | Restarts Oozie. | 
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. | Not available. | 
| presto-log | Alterar os valores no arquivo log.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-config | Alterar os valores no arquivo config.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. | Not available. | 
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-node | Altere os valores no arquivo node.properties do Presto. | Not available. | 
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. | Not available. | 
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. | Not available. | 
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. | Not available. | 
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. | Not available. | 
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. | Not available. | 
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. | Not available. | 
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. | Not available. | 
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. | Not available. | 
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. | Not available. | 
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. | Not available. | 
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. | Not available. | 
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. | Not available. | 
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. | Not available. | 
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. | Not available. | 
| trino-log | Alterar os valores no arquivo log.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-config | Alterar os valores no arquivo config.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-password-authenticator | Alterar os valores no arquivo password-authenticator.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-env | Alterar os valores no arquivo trino-env.sh do Trino. | Restarts Trino-Server (for Trino) | 
| trino-node | Alterar os valores no arquivo node.properties do Trino. | Not available. | 
| trino-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Trino. | Not available. | 
| trino-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Trino. | Not available. | 
| trino-connector-hive | Alterar os valores no arquivo hive.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-connector-jmx | Alterar os valores no arquivo jmx.properties do Trino. | Not available. | 
| trino-connector-kafka | Alterar os valores no arquivo kafka.properties do Trino. | Not available. | 
| trino-connector-localfile | Alterar os valores no arquivo localfile.properties do Trino. | Not available. | 
| trino-connector-memory | Alterar os valores no arquivo memory.properties do Trino. | Not available. | 
| trino-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Trino. | Not available. | 
| trino-connector-mysql | Alterar os valores no arquivo mysql.properties do Trino. | Not available. | 
| trino-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Trino. | Not available. | 
| trino-connector-raptor | Alterar os valores no arquivo raptor.properties do Trino. | Not available. | 
| trino-connector-redis | Alterar os valores no arquivo redis.properties do Trino. | Not available. | 
| trino-connector-redshift | Alterar os valores no arquivo redshift.properties do Trino. | Not available. | 
| trino-connector-tpch | Alterar os valores no arquivo tpch.properties do Trino. | Not available. | 
| trino-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Trino. | Not available. | 
| ranger-kms-dbks-site | Altere os valores no arquivo dbks-site.xml do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-site | Altere os valores no ranger-kms-site arquivo.xml do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-env | Altere os valores no ambiente do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-log4j | Altere os valores no arquivo kms-log4j.properties do Ranger KMS. | Not available. | 
| ranger-kms-db-ca | Altere os valores do arquivo CA no S3 para conexão SSL do MySQL com o Ranger KMS. | Not available. | 
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. | This property modifies spark-defaults. See actions there. | 
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-env | Alterar os valores no ambiente do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. | Not available. | 
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | Alterar os valores no ambiente do Sqoop. | Not available. | 
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. | Not available. | 
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. | Not available. | 
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. | Restart Oozie and HiveServer2. | 
| yarn-env | Alterar os valores no ambiente do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. | Restarts Zeppelin. | 
| zeppelin-site | Alterar as definições da configuração em zeppelin-site.xml. | Restarts Zeppelin. | 
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. | Restarts Zookeeper server. | 
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. | Restarts Zookeeper server. | 

# Versão 6.4.0 do Amazon EMR
<a name="emr-640-release"></a>

## Versões 6.4.0 da aplicação
<a name="emr-640-app-versions"></a>

Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://trino.io/](https://trino.io/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).

A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).

Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)


**Informações da versão da aplicação**  

|  | emr-6.4.0 | emr-6.3.1 | emr-6.3.0 | emr-6.2.1 | 
| --- | --- | --- | --- | --- | 
| AWS SDK for Java | 1.12.31 | 1.11.977 | 1.11.977 | 1.11.880 | 
| Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 
| Scala | 2.12.10 | 2.12.10 | 2.12.10 | 2.12.10 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.13.1 | 1.12.1 | 1.12.1 | 1.11.2 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.4.4-amzn-0 | 2.2.6-amzn-1 | 2.2.6-amzn-1 | 2.2.6-amzn-0 | 
| HCatalog | 3.1.2-amzn-5 | 3.1.2-amzn-4 | 3.1.2-amzn-4 | 3.1.2-amzn-3 | 
| Hadoop | 3.2.1-amzn-4 | 3.2.1-amzn-3.1 | 3.2.1-amzn-3 | 3.2.1-amzn-2.1 | 
| Hive | 3.1.2-amzn-5 | 3.1.2-amzn-4 | 3.1.2-amzn-4 | 3.1.2-amzn-3 | 
| Hudi | 0.8.0-amzn-0 | 0.7.0-amzn-0 | 0.7.0-amzn-0 | 0.6.0-amzn-1 | 
| Hue | 4.9.0 | 4.9.0 | 4.9.0 | 4.8.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 
| JupyterHub | 1.4.1 | 1.2.2 | 1.2.2 | 1.1.0 | 
| Livy | 0.7.1-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 
| MXNet | 1.8.0 | 1.7.0 | 1.7.0 | 1.7.0 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.0 | 
| Phoenix | 5.1.2 | 5.0.0- -2.0 HBase | 5.0.0- -2.0 HBase | 5.0.0- -2.0 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.254.1-amzn-0 | 0.245.1-amzn-0 | 0.245.1-amzn-0 | 0.238.3-amzn-1 | 
| Spark | 3.1.2-amzn-0 | 3.1.1-amzn-0.1 | 3.1.1-amzn-0 | 3.0.1-amzn-0.1 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.4.1 | 2.4.1 | 2.4.1 | 2.3.1 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) | 359 | 350 | 350 | 343 | 
| Zeppelin | 0.9.0 | 0.9.0 | 0.9.0 | 0.9.0-preview1 | 
| ZooKeeper | 3.5.7 | 3.4.14 | 3.4.14 | 3.4.14 | 

## Notas da versão 6.4.0
<a name="emr-640-relnotes"></a>

As notas da versão a seguir incluem informações para a versão 6.4.0 do Amazon EMR. As alterações são referentes à versão 6.3.0.

Data da versão inicial: 20 de setembro de 2021

Data da versão atualizada: 21 de março de 2022

**Aplicações compatíveis**
+ AWS SDK para Java versão 1.12.31
+ CloudWatch Sink versão 2.2.0
+ Conector do DynamoDB versão 4.16.0
+ EMRFS versão 2.47.0
+ Amazon EMR Goodies versão 3.2.0
+ Conector Kinesis versão 3.5.0 do Amazon EMR
+ Servidor de registros do Amazon EMR versão 2.1.0
+ Scripts versão 2.5.0 do Amazon EMR
+ Flink versão 1.13.1
+ Ganglia versão 3.7.2
+ AWS Glue Hive Metastore Client versão 3.3.0
+ Hadoop versão 3.2.1-amzn-4
+ HBase versão 2.4.4-amzn-0
+ HBase-operator-tools 1.1.0
+ HCatalog versão 3.1.2-amzn-5
+ Hive versão 3.1.2-amzn-5
+ Hudi versão 0.8.0-amzn-0
+ Hue versão 4.9.0
+ Java JDK versão Corretto-8.302.08.1 (compilação 1.8.0\$1302-b08)
+ JupyterHub versão 1.4.1
+ Livy versão 0.7.1-incubating
+ MXNet versão 1.8.0
+ Oozie versão 5.2.1
+ Phoenix versão 5.1.2
+ Pig versão 0.17.0
+ Presto versão 0.254.1-amzn-0
+ Trino versão 359
+ KMS do Apache Ranger (criptografia transparente multi-mestre) versão 2.0.0
+ ranger-plugins 2.0.1-amzn-0
+ ranger-s3-plugin 1.2.0
+ SageMaker SDK do Spark versão 1.4.1
+ Scala versão 2.12.10 (VM de servidor OpenJDK de 64 bits, Java 1.8.0\$1282)
+ Spark versão 3.1.2-amzn-0
+ spark-rapids 0.4.1
+ Sqoop versão 1.4.7
+ TensorFlow versão 2.4.1
+ Tez versão 0.9.2
+ Zeppelin versão 0.9.0
+ Zookeeper versão 3.5.7
+ Conectores e drivers: DynamoDB Connector 4.16.0

**Novos recursos**
+ **[Ajuste de escala gerenciado] Otimização do ajuste de escala gerenciado de dados embaralhados do Spark**: para as versões 5.34.0 e posteriores do Amazon EMR e as versões 6.4.0 e posteriores do EMR, o ajuste de escala gerenciado agora reconhece dados embaralhados do Spark (dados que o Spark redistribui entre partições para executar operações específicas). Para obter mais informações sobre operações de shuffle, consulte [Usar ajuste de escala gerenciado do EMR no Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-managed-scaling.html) no *Guia de gerenciamento do Amazon EMR* e no [Guia de programação do Spark](https://spark.apache.org/docs/latest/rdd-programming-guide.html#shuffle-operations).
+ Em clusters do Amazon EMR habilitados para Apache Ranger, você pode usar o Apache Spark SQL para inserir dados ou atualizar as tabelas de metastore do Apache Hive usando `INSERT INTO`, `INSERT OVERWRITE` e `ALTER TABLE`. Ao ser usado ALTER TABLE com Spark SQL, o local da partição deve ser o diretório filho do local de uma tabela. Atualmente,o Amazon EMR não permite a inserção de dados em uma partição cuja localização seja diferente da localização da tabela.
+ O PrestoSQL foi [renomeado como Trino.](https://trino.io/blog/2020/12/27/announcing-trino.html) 
+ Hive: a execução de consultas SELECT simples com a cláusula LIMIT é acelerada com a interrupção da execução da consulta assim que o número de registros mencionados na cláusula LIMIT é obtido. As consultas SELECT simples são consultas que não têm a cláusula GROUP BY/ORDER by ou consultas que não têm um estágio redutor. Por exemplo, .`SELECT * from <TABLE> WHERE <Condition> LIMIT <Number>` 

**Controle de simultaneidade do Hudi**
+ O Hudi, agora, é compatível com o Optimistic Concurrency Control (OCC - Controle de simultaneidade otimista), que pode ser aproveitado com operações de gravação como UPSERT e INSERT para permitir alterações de vários gravadores na mesma tabela do Hudi. Esse é o OCC em nível de arquivo. Portanto, quaisquer duas confirmações (ou gravadores) podem gravar na mesma tabela, se suas alterações não são conflitantes. Para obter mais informações, consulte o [Controle de simultaneidade do Hudi](https://hudi.apache.org/docs/concurrency_control/). 
+ Os clusters do Amazon EMR têm o Zookeeper instalado, que pode ser usado como provedor de bloqueio para o OCC. Para facilitar o uso desse atributo, os clusters do Amazon EMR têm as seguintes propriedades pré-configuradas:

  ```
  hoodie.write.lock.provider=org.apache.hudi.client.transaction.lock.ZookeeperBasedLockProvider
  hoodie.write.lock.zookeeper.url=<EMR Zookeeper URL>
  hoodie.write.lock.zookeeper.port=<EMR Zookeeper Port>
  hoodie.write.lock.zookeeper.base_path=/hudi
  ```

  Para habilitar o OCC, você precisa configurar as seguintes propriedades com as opções de trabalho do Hudi ou em nível de cluster usando a API de configurações do Amazon EMR:

  ```
  hoodie.write.concurrency.mode=optimistic_concurrency_control
  hoodie.cleaner.policy.failed.writes=LAZY (Performs cleaning of failed writes lazily instead of inline with every write)
  hoodie.write.lock.zookeeper.lock_key=<Key to uniquely identify the Hudi table> (Table Name is a good option)
  ```

**Monitoramento Hudi: CloudWatch integração com a Amazon para reportar Hudi Metrics**
+ O Amazon EMR oferece suporte à publicação de Hudi Metrics na Amazon. CloudWatch Isso é habilitado com a definição das seguintes configurações necessárias:

  ```
  hoodie.metrics.on=true
  hoodie.metrics.reporter.type=CLOUDWATCH
  ```
+ A seguir, são mostradas as configurações opcionais do Hudi que você pode alterar:    
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/emr/latest/ReleaseGuide/emr-640-release.html)

**Suporte e melhorias das configurações do Hudi no Amazon EMR**
+ Agora, os clientes podem aproveitar a API de configurações e o atributo de reconfiguração do EMR para definir as configurações do Hudi em nível de cluster. Um novo suporte de configuração baseado em arquivos foi introduzido via/etc/hudi/conf/hudi-defaults.conf nos moldes de outros aplicativos como Spark, Hive etc. O EMR configura alguns padrões para melhorar a experiência do usuário:

  — `hoodie.datasource.hive_sync.jdbcurl ` está configurado para a URL do servidor do Hive do cluster e não precisa mais ser especificado. Isso é particularmente útil na execução de um trabalho no modo de cluster do Spark, em que anteriormente era necessário especificar o IP principal do Amazon EMR. 

  — configurações HBase específicas, que são úteis para usar o HBase índice com o Hudi.

  — Configuração específica do provedor de bloqueio do Zookeeper, conforme discutido em Controle de simultaneidade, o que facilita o uso do Controle de simultaneidade otimista (OCC).
+ Alterações adicionais foram introduzidas para reduzir o número de configurações que você precisa passar e inferir automaticamente sempre que possível:

  — A palavra-chave `partitionBy ` pode ser usada para especificar a coluna de partição. 

  — Ao habilitar o Hive Sync, não é mais obrigatório passar `HIVE_TABLE_OPT_KEY, HIVE_PARTITION_FIELDS_OPT_KEY, HIVE_PARTITION_EXTRACTOR_CLASS_OPT_KEY`. Esses valores podem ser deduzidos com base no nome da tabela Hudi e no campo de partição. 

  — não é obrigatório passar `KEYGENERATOR_CLASS_OPT_KEY`, que pode ser inferido com base em casos mais simples de `SimpleKeyGenerator` e `ComplexKeyGenerator`. 

**Advertências do Hudi**
+ O Hudi não permite execução vetorizada no Hive de tabelas Merge on Read (MoR - Mesclar na leitura) e Bootstrap. Por exemplo, `count(*)` apresenta falha com a tabela do Hudi em tempo real quando `hive.vectorized.execution.enabled` está definido como verdadeiro. Como solução alternativa, você pode desabilitar a leitura vetorizada configurando `hive.vectorized.execution.enabled` como `false`. 
+ O suporte a vários gravadores não é compatível com o atributo de bootstrap do Hudi.
+ O streamer e o SQL do Flink são atributos experimentais nesta versão. Esses atributos não são recomendados para uso em implantações de produção.

**Alterações, melhorias e problemas resolvidos**

Esta é uma versão para corrigir problemas com o Amazon EMR Scaling quando ele não consegue up/scale reduzir a escala de um cluster com sucesso ou causa falhas no aplicativo.
+ Anteriormente, a reinicialização manual do gerenciador de recursos em um cluster multimestre fazia com que os daemons do Amazon EMR no cluster, como o Zookeeper, recarregassem todos os nós anteriormente desativados ou perdidos no arquivo znode do Zookeeper. Isso fez com que os limites padrão fossem excedidos em determinadas situações. O Amazon EMR agora remove os registros de nós desativados ou perdidos há mais de uma hora do arquivo do Zookeeper e os limites internos foram aumentados.
+ Corrigido um problema em que as solicitações de escalabilidade falhavam em um cluster grande e altamente utilizado quando os daemons do Amazon EMR no cluster estavam executando atividades de verificação de integridade, como a coleta do estado do nó do YARN e o estado do nó do HDFS. Isso estava acontecendo porque os daemons no cluster não conseguiam comunicar os dados do status de integridade de um nó aos componentes internos do Amazon EMR.
+ Aprimorados os daemons do EMR no cluster para rastrear corretamente os estados dos nós quando são reutilizados endereços IP para melhorar a confiabilidade durante operações de escalabilidade.
+ [SPARK-29683](https://issues.apache.org/jira/browse/SPARK-29683). Corrigido um problema em que ocorriam falhas de trabalho durante a redução da escala verticalmente do cluster, pois o Spark presumia que todos os nós disponíveis estavam na lista de negação.
+ [YARN-9011](https://issues.apache.org/jira/browse/YARN-9011). Corrigido um problema em que ocorriam falhas de trabalho devido a uma condição de corrida na desativação do YARN quando o cluster tentava aumentar ou reduzir a escala verticalmente.
+ Corrigido problema com falhas de etapas ou tarefas durante a escalabilidade do cluster ao ser garantido que os estados dos nós fossem sempre consistentes entre os daemons do Amazon EMR no cluster e o YARN/HDFS.
+ Corrigido um problema em que operações de cluster, como redução de escala verticalmente e envio de etapas, falhavam para clusters do Amazon EMR habilitados com a autenticação Kerberos. Isso ocorreu porque o daemon no cluster do Amazon EMR não renovou o tíquete Kerberos, que é necessário para se comunicar com segurança com a execução no nó primário. HDFS/YARN 
+ **Configurar um cluster para corrigir problemas de desempenho do servidor de linha do tempo do Apache YARN versões 1 e 1.5**

  As versões 1 e 1.5 do servidor de linha do tempo do Apache YARN podem causar problemas de performance com clusters do EMR muito ativos e grandes, especialmente com `yarn.resourcemanager.system-metrics-publisher.enabled=true`, que é a configuração padrão no Amazon EMR. Um servidor de linha do tempo do YARN v2 de código aberto resolve o problema de performance relacionado à escalabilidade do servidor de linha do tempo do YARN.

  Outras soluções alternativas para esse problema incluem:
  + Configurando yarn.resourcemanager. system-metrics-publisher.enabled=false em yarn-site.xml.
  + Habilitar a correção para esse problema na criação de um cluster, conforme descrito abaixo.

  As seguintes versões do Amazon EMR contêm uma correção para esse problema de performance do servidor de linha do tempo do YARN.

  EMR 5.30.2, 5.31.1, 5.32.1, 5.33.1, 5.34.x, 6.0.1, 6.1.1, 6.2.1, 6.3.1, 6.4.x

  Para habilitar a correção em qualquer uma das versões do Amazon EMR especificadas acima, defina essas propriedades como `true` em um arquivo JSON de configurações que é passado usando o [parâmetro de comando `aws emr create-cluster`](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-configure-apps-create-cluster.html): `--configurations file://./configurations.json`. Ou habilite a correção usando a [interface do usuário do console de reconfiguração](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-configure-apps-running-cluster.html).

  Exemplo de conteúdo do arquivo configurations.json:

  ```
  [
  {
  "Classification": "yarn-site",
  "Properties": {
  "yarn.resourcemanager.system-metrics-publisher.timeline-server-v1.enable-batch": "true",
  "yarn.resourcemanager.system-metrics-publisher.enabled": "true"
  },
  "Configurations": []
  }
  ]
  ```
+ WebHDFS e o servidor HttpFS estão desabilitados por padrão. Você pode reabilitar o WebHDFS usando a configuração do Hadoop, `dfs.webhdfs.enabled`. O servidor HttpFS pode ser iniciado usando `sudo systemctl start hadoop-httpfs`.
+ O HTTPS agora está habilitado por padrão para repositórios do Amazon Linux. Se você estiver usando uma política de VPCE do Amazon S3 para restringir o acesso a buckets específicos, deverá adicionar o novo ARN `arn:aws:s3:::amazonlinux-2-repos-$region/*` do bucket do Amazon Linux à sua política (substitua `$region` pela região em que o endpoint está situado). Para obter mais informações, consulte esse tópico nos fóruns de AWS discussão. [Anúncio: o Amazon Linux 2 agora oferece suporte à capacidade de usar HTTPS ao se conectar a repositórios de pacotes ](https://forums.aws.amazon.com/ann.jspa?annID=8528). 
+ Hive: a performance da consulta de gravação foi aprimorada ao ser permitido o uso de um diretório temporário no HDFS para o último trabalho. Os dados temporários do trabalho final são gravados no HDFS em vez de no Amazon S3 e a performance é melhorada porque os dados são movidos do HDFS para a localização da tabela final (Amazon S3) em vez de entre dispositivos do Amazon S3.
+ Hive: melhoria do tempo de compilação de consultas em até 2,5 vezes com a remoção de partições de metastores do Glue.
+ Por padrão, quando UDFs os integrados são passados pelo Hive para o Hive Metastore Server, somente um subconjunto desses incorporados é UDFs passado para o Glue Metastore, já que o Glue suporta apenas operadores de expressão limitados. Se você definir `hive.glue.partition.pruning.client=true`, toda a remoção de partições ocorrerá no lado do cliente. Se você definir `hive.glue.partition.pruning.server=true`, toda a remoção de partições ocorrerá no lado do servidor. 

**Problemas conhecidos**
+ As consultas no Hue não funcionam no Amazon EMR 6.4.0 porque o servidor HttpFS do Apache Hadoop está desabilitado por padrão. Para usar o Hue no Amazon EMR 6.4.0, inicie manualmente o servidor HttpFS no nó primário do Amazon EMR usando `sudo systemctl start hadoop-httpfs`, ou [use uma etapa do Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/add-step-cli.html).
+ O atributo Cadernos do Amazon EMR usado com a personificação de usuários do Livy não funciona porque o HttpFS está desabilitado por padrão. Nesse caso, o caderno do EMR não pode se conectar ao cluster que tem a personificação do Livy habilitada. A solução alternativa é iniciar o servidor HttpFS antes de conectar o caderno do EMR ao cluster usando `sudo systemctl start hadoop-httpfs`.
+ Na versão 6.4.0 do Amazon EMR, o Phoenix não é compatível com o componente de conectores do Phoenix.
+ Para usar as ações do Spark com o Apache Oozie, você deve adicionar a seguinte configuração ao seu arquivo `workflow.xml` do Oozie. Caso contrário, várias bibliotecas críticas, como Hadoop e EMRFS, estarão ausentes do classpath dos executores do Spark que o Oozie inicia.

  ```
  <spark-opts>--conf spark.yarn.populateHadoopClasspath=true</spark-opts>
  ```
+ Quando você usa o Spark com a formatação de localização de partições do Hive para ler dados no Amazon S3 e executa o Spark nas versões 5.30.0 a 5.36.0 e 6.2.0 a 6.9.0 do Amazon EMR, pode encontrar um problema que impede que o cluster leia os dados corretamente. Isso poderá acontecer se suas partições tiverem todas as características a seguir:
  + Duas ou mais partições são verificadas na mesma tabela.
  + Pelo menos um caminho de diretório de partição é um prefixo de pelo menos outro caminho de diretório de partição, por exemplo, `s3://bucket/table/p=a` é um prefixo de `s3://bucket/table/p=a b`.
  + O primeiro caractere que segue o prefixo no outro diretório de partição tem um valor UTF-8 menor que o caractere `/` (U\$1002F). Por exemplo, o caractere de espaço (U\$10020) que ocorre entre a e b em `s3://bucket/table/p=a b` se enquadra nessa categoria. Observe que existem 14 outros caracteres que não são de controle: `!"#$%&‘()*+,-`. Para obter mais informações, consulte [Tabela de codificação UTF-8 e caracteres Unicode](https://www.utf8-chartable.de/).

  Como solução alternativa para esse problema, defina a configuração `spark.sql.sources.fastS3PartitionDiscovery.enabled` como `false` na classificação `spark-defaults`.

## Versões de componente 6.4.0
<a name="emr-640-components"></a>

Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.

Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.


| Componente | Versão | Description | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.1 | SDK do Amazon SageMaker Spark | 
| emr-ddb | 4.16.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. | 
| emr-goodies | 3.2.0 | Bibliotecas convenientes para o ecossistema do Hadoop. | 
| emr-kinesis | 3.5.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. | 
| emr-notebook-env | 1.3.0 | Ambiente Conda para bloco de anotações do emr, que inclui o jupyter enterprise gateway | 
| emr-s3-dist-cp | 2.18.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. | 
| emr-s3-select | 2.1.0 | EMR S3Select Connector | 
| emrfs | 2.47.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. | 
| flink-client | 1.13.1 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. | 
| flink-jobmanager-config | 1.13.1 | Gerenciando recursos nos nós do EMR para o Apache Flink. JobManager | 
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. | 
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. | 
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. | 
| hadoop-client | 3.2.1-amzn-4 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. | 
| hadoop-hdfs-datanode | 3.2.1-amzn-4 | O serviço de nível de nó do HDFS para armazenamento de blocos. | 
| hadoop-hdfs-library | 3.2.1-amzn-4 | O cliente de linha de comando e biblioteca do HDFS | 
| hadoop-hdfs-namenode | 3.2.1-amzn-4 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. | 
| hadoop-hdfs-journalnode | 3.2.1-amzn-4 | O serviço do HDFS para gerenciar o lançamento de arquivos do Hadoop em clusters de HA. | 
| hadoop-httpfs-server | 3.2.1-amzn-4 | O endpoint de HTTP para as operações do HDFS. | 
| hadoop-kms-server | 3.2.1-amzn-4 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider  | 
| hadoop-mapred | 3.2.1-amzn-4 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. | 
| hadoop-yarn-nodemanager | 3.2.1-amzn-4 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. | 
| hadoop-yarn-resourcemanager | 3.2.1-amzn-4 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. | 
| hadoop-yarn-timeline-server | 3.2.1-amzn-4 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. | 
| hbase-hmaster | 2.4.4-amzn-0 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. | 
| hbase-region-server | 2.4.4-amzn-0 | Serviço para atender a uma ou mais HBase regiões. | 
| hbase-client | 2.4.4-amzn-0 | HBase cliente de linha de comando. | 
| hbase-rest-server | 2.4.4-amzn-0 | Serviço que fornece um endpoint RESTful HTTP para HBase. | 
| hbase-thrift-server | 2.4.4-amzn-0 | Serviço que fornece um endpoint Thrift para. HBase | 
| hcatalog-client | 3.1.2-amzn-5 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. | 
| hcatalog-server | 3.1.2-amzn-5 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. | 
| hcatalog-webhcat-server | 3.1.2-amzn-5 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. | 
| hive-client | 3.1.2-amzn-5 | O cliente da linha de comando do Hive. | 
| hive-hbase | 3.1.2-amzn-5 | Cliente do Hive-hbase. | 
| hive-metastore-server | 3.1.2-amzn-5 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. | 
| hive-server2 | 3.1.2-amzn-5 | O serviço que aceita as consultas do Hive como solicitações da web. | 
| hudi | 0.8.0-amzn-0 | Estrutura de processamento incremental para alimentar o pipeline de dados com baixa latência e alta eficiência. | 
| hudi-presto | 0.8.0-amzn-0 | Biblioteca de pacotes para executar o Presto com o Hudi. | 
| hudi-trino | 0.8.0-amzn-0 | Biblioteca de pacotes para execução do Presto com o Hudi. | 
| hudi-spark | 0.8.0-amzn-0 | Biblioteca de pacotes para executar o Spark com o Hudi. | 
| hue-server | 4.9.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop | 
| jupyterhub | 1.4.1 | Servidor de vários usuários para blocos de anotações Jupyter | 
| livy-server | 0.7.1-incubating | Interface REST para interagir com o Apache Spark | 
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP | 
| mxnet | 1.8.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. | 
| mariadb-server | 5.5.68\$1 | Servidor de banco de dados MariaDB. | 
| nvidia-cuda | 10.1.243 | Drivers NVIDIA e toolkit CUDA | 
| oozie-client | 5.2.1 | O cliente da linha de comando do Oozie. | 
| oozie-server | 5.2.1 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. | 
| opencv | 4.5.0 | Biblioteca de Visão Computacional de Código Aberto. | 
| phoenix-library | 5.1.2 | As bibliotecas do phoenix para servidor e cliente | 
| phoenix-query-server | 5.1.2 | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica  | 
| presto-coordinator | 0.254.1-amzn-0 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. | 
| presto-worker | 0.254.1-amzn-0 | O serviço que executa partes de uma consulta. | 
| presto-client | 0.254.1-amzn-0 | Cliente de linha de comando do Presto instalado em mestres de espera de um cluster de alta disponibilidade em que o servidor do Presto não é iniciado. | 
| trino-coordinator | 359 | Serviço que aceita consultas e gerencia a execução de consultas entre trino-workers. | 
| trino-worker | 359 | O serviço que executa partes de uma consulta. | 
| trino-client | 359 | Cliente de linha de comando do Trino instalado em mestres de espera de um cluster de alta disponibilidade (HA) em que o servidor do Trino não é iniciado. | 
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. | 
| r | 4.0.2 | O projeto R para computação estatística | 
| ranger-kms-server | 2.0.0 | Sistema de gerenciamento de chaves Apache Ranger | 
| spark-client | 3.1.2-amzn-0 | Os clientes da linha de comando do Spark. | 
| spark-history-server | 3.1.2-amzn-0 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. | 
| spark-on-yarn | 3.1.2-amzn-0 | O mecanismo de execução em memória para o YARN. | 
| spark-yarn-slave | 3.1.2-amzn-0 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. | 
| spark-rapids | 0.4.1 | Plugin Nvidia Spark RAPIDS que acelera o Apache Spark com o. GPUs | 
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. | 
| tensorflow | 2.4.1 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. | 
| tez-on-yarn | 0.9.2 | O aplicativo e as bibliotecas do YARN para Tez. | 
| webserver | 2.4.41\$1 | O servidor Apache HTTP. | 
| zeppelin-server | 0.9.0 | O notebook baseado na web que permite um data analytics interativo. | 
| zookeeper-server | 3.5.7 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. | 
| zookeeper-client | 3.5.7 | ZooKeeper cliente de linha de comando. | 

## Classificações de configuração 6.4.0
<a name="emr-640-class"></a>

As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).

Ocorrem ações de reconfiguração quando você especifica uma configuração para grupos de instâncias em um cluster em execução. O Amazon EMR só inicia ações de reconfiguração para as classificações que você modifica. Para obter mais informações, consulte [Reconfigurar um grupo de instâncias de um cluster em execução](emr-configure-apps-running-cluster.md).


**Classificações do emr-6.4.0**  

| Classificações | Description | Ações de reconfiguração | 
| --- | --- | --- | 
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. | Restarts the ResourceManager service. | 
| container-executor | Alterar os valores no arquivo container-executor.cfg do YARN do Hadoop. | Not available. | 
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. | Not available. | 
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | Alterar as configurações relacionadas ao docker. | Not available. | 
| emrfs-site | Alterar as configurações do EMRFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | Alterar as configurações do flink-conf.yaml. | Restarts Flink history server. | 
| flink-log4j | Alterar as configurações de log4j.properties no Flink. | Restarts Flink history server. | 
| flink-log4j-session | Altere as configurações do Flink log4j-session.properties para a sessão. Kubernetes/Yarn  | Restarts Flink history server. | 
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. | Restarts Flink history server. | 
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop | Not available. | 
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop | Not available. | 
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | Mude os valores no HBase ambiente. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. | Not available. | 
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. | This classification should not be reconfigured. | 
| hdfs-env | Alterar os valores no ambiente do HDFS. | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | Mude os valores no HCatalog ambiente. | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. | Restarts Hive WebHCat server. | 
| hive | As configurações administradas pelo Amazon EMR para o Apache Hive. | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. | Not available. | 
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. | Not available. | 
| hive-env | Alterar os valores no ambiente do Hive. | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. | Not available. | 
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. | Not available. | 
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. | Not available. | 
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. | Not available. | 
| hue-ini | Alterar os valores no arquivo ini do Hue | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | Alterar os valores no ambiente do HTTPFS. | Restarts Hadoop Httpfs service. | 
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. | Not available. | 
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. | Not available. | 
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | Altere os valores no ambiente do Hudi. | Not available. | 
| hudi-defaults | Alterar os valores no arquivo hudi-defaults.conf do Hudi. | Not available. | 
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. | Not available. | 
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. | Not available. | 
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. | Not available. | 
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. | Not available. | 
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. | Restarts Livy Server. | 
| livy-env | Alterar os valores no ambiente do Livy. | Restarts Livy Server. | 
| livy-log4j | Alterar as configurações de log4j.properties no Livy. | Restarts Livy Server. | 
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | Alterar os valores no ambiente do Oozie. | Restarts Oozie. | 
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. | Restarts Oozie. | 
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. | Restarts Oozie. | 
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. | Not available. | 
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. | Not available. | 
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. | Not available. | 
| pig-env | Alterar os valores no ambiente do Pig. | Not available. | 
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. | Restarts Oozie. | 
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. | Not available. | 
| presto-log | Alterar os valores no arquivo log.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-config | Alterar os valores no arquivo config.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. | Not available. | 
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-node | Altere os valores no arquivo node.properties do Presto. | Not available. | 
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. | Not available. | 
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. | Not available. | 
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. | Not available. | 
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. | Not available. | 
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. | Not available. | 
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. | Not available. | 
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. | Not available. | 
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. | Not available. | 
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. | Not available. | 
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. | Not available. | 
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. | Not available. | 
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. | Not available. | 
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. | Not available. | 
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. | Not available. | 
| trino-log | Alterar os valores no arquivo log.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-config | Alterar os valores no arquivo config.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-password-authenticator | Alterar os valores no arquivo password-authenticator.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-env | Alterar os valores no arquivo trino-env.sh do Trino. | Restarts Trino-Server (for Trino) | 
| trino-node | Alterar os valores no arquivo node.properties do Trino. | Not available. | 
| trino-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Trino. | Not available. | 
| trino-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Trino. | Not available. | 
| trino-connector-hive | Alterar os valores no arquivo hive.properties do Trino. | Restarts Trino-Server (for Trino) | 
| trino-connector-jmx | Alterar os valores no arquivo jmx.properties do Trino. | Not available. | 
| trino-connector-kafka | Alterar os valores no arquivo kafka.properties do Trino. | Not available. | 
| trino-connector-localfile | Alterar os valores no arquivo localfile.properties do Trino. | Not available. | 
| trino-connector-memory | Alterar os valores no arquivo memory.properties do Trino. | Not available. | 
| trino-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Trino. | Not available. | 
| trino-connector-mysql | Alterar os valores no arquivo mysql.properties do Trino. | Not available. | 
| trino-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Trino. | Not available. | 
| trino-connector-raptor | Alterar os valores no arquivo raptor.properties do Trino. | Not available. | 
| trino-connector-redis | Alterar os valores no arquivo redis.properties do Trino. | Not available. | 
| trino-connector-redshift | Alterar os valores no arquivo redshift.properties do Trino. | Not available. | 
| trino-connector-tpch | Alterar os valores no arquivo tpch.properties do Trino. | Not available. | 
| trino-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Trino. | Not available. | 
| ranger-kms-dbks-site | Altere os valores no arquivo dbks-site.xml do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-site | Altere os valores no ranger-kms-site arquivo.xml do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-env | Altere os valores no ambiente do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-log4j | Altere os valores no arquivo kms-log4j.properties do Ranger KMS. | Not available. | 
| ranger-kms-db-ca | Altere os valores do arquivo CA no S3 para conexão SSL do MySQL com o Ranger KMS. | Not available. | 
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. | This property modifies spark-defaults. See actions there. | 
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-env | Alterar os valores no ambiente do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. | Not available. | 
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | Alterar os valores no ambiente do Sqoop. | Not available. | 
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. | Not available. | 
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. | Not available. | 
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. | Restart Oozie and HiveServer2. | 
| yarn-env | Alterar os valores no ambiente do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. | Restarts Zeppelin. | 
| zeppelin-site | Alterar as definições da configuração em zeppelin-site.xml. | Restarts Zeppelin. | 
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. | Restarts Zookeeper server. | 
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. | Restarts Zookeeper server. | 

# Versão 6.3.1 do Amazon EMR
<a name="emr-631-release"></a>

## Versões 6.3.1 da aplicação
<a name="emr-631-app-versions"></a>

Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://prestosql.io/](https://prestosql.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).

A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).

Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)


**Informações da versão da aplicação**  

|  | emr-6.3.1 | emr-6.3.0 | emr-6.2.1 | emr-6.2.0 | 
| --- | --- | --- | --- | --- | 
| AWS SDK for Java | 1.11.977 | 1.11.977 | 1.11.880 | 1.11.880 | 
| Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 
| Scala | 2.12.10 | 2.12.10 | 2.12.10 | 2.12.10 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.12.1 | 1.12.1 | 1.11.2 | 1.11.2 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.2.6-amzn-1 | 2.2.6-amzn-1 | 2.2.6-amzn-0 | 2.2.6-amzn-0 | 
| HCatalog | 3.1.2-amzn-4 | 3.1.2-amzn-4 | 3.1.2-amzn-3 | 3.1.2-amzn-3 | 
| Hadoop | 3.2.1-amzn-3.1 | 3.2.1-amzn-3 | 3.2.1-amzn-2.1 | 3.2.1-amzn-2 | 
| Hive | 3.1.2-amzn-4 | 3.1.2-amzn-4 | 3.1.2-amzn-3 | 3.1.2-amzn-3 | 
| Hudi | 0.7.0-amzn-0 | 0.7.0-amzn-0 | 0.6.0-amzn-1 | 0.6.0-amzn-1 | 
| Hue | 4.9.0 | 4.9.0 | 4.8.0 | 4.8.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 
| JupyterHub | 1.2.2 | 1.2.2 | 1.1.0 | 1.1.0 | 
| Livy | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 
| MXNet | 1.7.0 | 1.7.0 | 1.7.0 | 1.7.0 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.1 | 5.2.0 | 5.2.0 | 
| Phoenix | 5.0.0- -2.0 HBase | 5.0.0- -2.0 HBase | 5.0.0- -2.0 HBase | 5.0.0- -2.0 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.245.1-amzn-0 | 0.245.1-amzn-0 | 0.238.3-amzn-1 | 0.238.3-amzn-1 | 
| Spark | 3.1.1-amzn-0.1 | 3.1.1-amzn-0 | 3.0.1-amzn-0.1 | 3.0.1-amzn-0 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.4.1 | 2.4.1 | 2.3.1 | 2.3.1 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) | 350 | 350 | 343 | 343 | 
| Zeppelin | 0.9.0 | 0.9.0 | 0.9.0-preview1 | 0.9.0-preview1 | 
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 

## Notas da versão 6.3.1
<a name="emr-631-relnotes"></a>

Esta é uma versão para corrigir problemas com o Amazon EMR Scaling quando ele não consegue up/scale reduzir a escala de um cluster com sucesso ou causa falhas no aplicativo.

**Alterações, melhorias e problemas resolvidos**
+ Corrigido um problema em que as solicitações de escalabilidade falhavam em um cluster grande e altamente utilizado quando os daemons do Amazon EMR no cluster estavam executando atividades de verificação de integridade, como a coleta do estado do nó do YARN e o estado do nó do HDFS. Isso estava acontecendo porque os daemons no cluster não conseguiam comunicar os dados do status de integridade de um nó aos componentes internos do Amazon EMR.
+ Aprimorados os daemons do EMR no cluster para rastrear corretamente os estados dos nós quando são reutilizados endereços IP para melhorar a confiabilidade durante operações de escalabilidade.
+ [SPARK-29683](https://issues.apache.org/jira/browse/SPARK-29683). Corrigido um problema em que ocorriam falhas de trabalho durante a redução da escala verticalmente do cluster, pois o Spark presumia que todos os nós disponíveis estavam na lista de negação.
+ [YARN-9011](https://issues.apache.org/jira/browse/YARN-9011). Corrigido um problema em que ocorriam falhas de trabalho devido a uma condição de corrida na desativação do YARN quando o cluster tentava aumentar ou reduzir a escala verticalmente.
+ Corrigido problema com falhas de etapas ou tarefas durante a escalabilidade do cluster ao ser garantido que os estados dos nós fossem sempre consistentes entre os daemons do Amazon EMR no cluster e o YARN/HDFS.
+ Corrigido um problema em que operações de cluster, como redução de escala verticalmente e envio de etapas, falhavam para clusters do Amazon EMR habilitados com a autenticação Kerberos. Isso ocorreu porque o daemon no cluster do Amazon EMR não renovou o tíquete Kerberos, que é necessário para se comunicar com segurança com a execução no nó primário. HDFS/YARN 
+ O HTTPS agora está habilitado por padrão para repositórios do Amazon Linux. Se você estiver usando uma política de VPCE do Amazon S3 para restringir o acesso a buckets específicos, deverá adicionar o novo ARN `arn:aws:s3:::amazonlinux-2-repos-$region/*` do bucket do Amazon Linux à sua política (substitua `$region` pela região em que o endpoint está situado). Para obter mais informações, consulte esse tópico nos fóruns de AWS discussão. [Anúncio: o Amazon Linux 2 agora oferece suporte à capacidade de usar HTTPS ao se conectar a repositórios de pacotes ](https://forums.aws.amazon.com/ann.jspa?annID=8528). 

**Problemas conhecidos**
+ Quando você usa o Spark com a formatação de localização de partições do Hive para ler dados no Amazon S3 e executa o Spark nas versões 5.30.0 a 5.36.0 e 6.2.0 a 6.9.0 do Amazon EMR, pode encontrar um problema que impede que o cluster leia os dados corretamente. Isso poderá acontecer se suas partições tiverem todas as características a seguir:
  + Duas ou mais partições são verificadas na mesma tabela.
  + Pelo menos um caminho de diretório de partição é um prefixo de pelo menos outro caminho de diretório de partição, por exemplo, `s3://bucket/table/p=a` é um prefixo de `s3://bucket/table/p=a b`.
  + O primeiro caractere que segue o prefixo no outro diretório de partição tem um valor UTF-8 menor que o caractere `/` (U\$1002F). Por exemplo, o caractere de espaço (U\$10020) que ocorre entre a e b em `s3://bucket/table/p=a b` se enquadra nessa categoria. Observe que existem 14 outros caracteres que não são de controle: `!"#$%&‘()*+,-`. Para obter mais informações, consulte [Tabela de codificação UTF-8 e caracteres Unicode](https://www.utf8-chartable.de/).

  Como solução alternativa para esse problema, defina a configuração `spark.sql.sources.fastS3PartitionDiscovery.enabled` como `false` na classificação `spark-defaults`.

## Versões de componente 6.3.1
<a name="emr-631-components"></a>

Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.

Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.


| Componente | Versão | Description | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.1 | SDK do Amazon SageMaker Spark | 
| emr-ddb | 4.16.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. | 
| emr-goodies | 3.2.0 | Bibliotecas convenientes para o ecossistema do Hadoop. | 
| emr-kinesis | 3.5.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. | 
| emr-notebook-env | 1.2.0 | Ambiente Conda para bloco de anotações do emr, que inclui o jupyter enterprise gateway | 
| emr-s3-dist-cp | 2.18.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. | 
| emr-s3-select | 2.1.0 | EMR S3Select Connector | 
| emrfs | 2.46.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. | 
| flink-client | 1.12.1 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. | 
| flink-jobmanager-config | 1.12.1 | Gerenciando recursos nos nós do EMR para o Apache Flink. JobManager | 
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. | 
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. | 
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. | 
| hadoop-client | 3.2.1-amzn-3.1 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. | 
| hadoop-hdfs-datanode | 3.2.1-amzn-3.1 | O serviço de nível de nó do HDFS para armazenamento de blocos. | 
| hadoop-hdfs-library | 3.2.1-amzn-3.1 | O cliente de linha de comando e biblioteca do HDFS | 
| hadoop-hdfs-namenode | 3.2.1-amzn-3.1 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. | 
| hadoop-hdfs-journalnode | 3.2.1-amzn-3.1 | O serviço do HDFS para gerenciar o lançamento de arquivos do Hadoop em clusters de HA. | 
| hadoop-httpfs-server | 3.2.1-amzn-3.1 | O endpoint de HTTP para as operações do HDFS. | 
| hadoop-kms-server | 3.2.1-amzn-3.1 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider  | 
| hadoop-mapred | 3.2.1-amzn-3.1 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. | 
| hadoop-yarn-nodemanager | 3.2.1-amzn-3.1 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. | 
| hadoop-yarn-resourcemanager | 3.2.1-amzn-3.1 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. | 
| hadoop-yarn-timeline-server | 3.2.1-amzn-3.1 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. | 
| hbase-hmaster | 2.2.6-amzn-1 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. | 
| hbase-region-server | 2.2.6-amzn-1 | Serviço para atender a uma ou mais HBase regiões. | 
| hbase-client | 2.2.6-amzn-1 | HBase cliente de linha de comando. | 
| hbase-rest-server | 2.2.6-amzn-1 | Serviço que fornece um endpoint RESTful HTTP para HBase. | 
| hbase-thrift-server | 2.2.6-amzn-1 | Serviço que fornece um endpoint Thrift para. HBase | 
| hcatalog-client | 3.1.2-amzn-4 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. | 
| hcatalog-server | 3.1.2-amzn-4 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. | 
| hcatalog-webhcat-server | 3.1.2-amzn-4 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. | 
| hive-client | 3.1.2-amzn-4 | O cliente da linha de comando do Hive. | 
| hive-hbase | 3.1.2-amzn-4 | Cliente do Hive-hbase. | 
| hive-metastore-server | 3.1.2-amzn-4 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. | 
| hive-server2 | 3.1.2-amzn-4 | O serviço que aceita as consultas do Hive como solicitações da web. | 
| hudi | 0.7.0-amzn-0 | Estrutura de processamento incremental para alimentar o pipeline de dados com baixa latência e alta eficiência. | 
| hudi-presto | 0.7.0-amzn-0 | Biblioteca de pacotes para executar o Presto com o Hudi. | 
| hudi-prestosql | 0.7.0-amzn-0 | Biblioteca de pacotes para executar o PrestoSQL com o Hudi. | 
| hudi-spark | 0.7.0-amzn-0 | Biblioteca de pacotes para executar o Spark com o Hudi. | 
| hue-server | 4.9.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop | 
| jupyterhub | 1.2.2 | Servidor de vários usuários para blocos de anotações Jupyter | 
| livy-server | 0.7.0-incubating | Interface REST para interagir com o Apache Spark | 
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP | 
| mxnet | 1.7.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. | 
| mariadb-server | 5.5.68\$1 | Servidor de banco de dados MariaDB. | 
| nvidia-cuda | 10.1.243 | Drivers NVIDIA e toolkit CUDA | 
| oozie-client | 5.2.1 | O cliente da linha de comando do Oozie. | 
| oozie-server | 5.2.1 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. | 
| opencv | 4.5.0 | Biblioteca de Visão Computacional de Código Aberto. | 
| phoenix-library | 5.0.0- -2.0 HBase | As bibliotecas do phoenix para servidor e cliente | 
| phoenix-query-server | 5.0.0- -2.0 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica  | 
| presto-coordinator | 0.245.1-amzn-0 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. | 
| presto-worker | 0.245.1-amzn-0 | O serviço que executa partes de uma consulta. | 
| presto-client | 0.245.1-amzn-0 | Cliente de linha de comando do Presto instalado em mestres de espera de um cluster de alta disponibilidade em que o servidor do Presto não é iniciado. | 
| prestosql-coordinator | 350 | O serviço que aceita consultas e gerencia a execução de consultas entre os prestosql-workers. | 
| prestosql-worker | 350 | O serviço que executa partes de uma consulta. | 
| prestosql-client | 350 | Cliente de linha de comando do Presto instalado em mestres de espera de um cluster de alta disponibilidade em que o servidor do Presto não é iniciado. | 
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. | 
| r | 4.0.2 | O projeto R para computação estatística | 
| ranger-kms-server | 2.0.0 | Sistema de gerenciamento de chaves Apache Ranger | 
| spark-client | 3.1.1-amzn-0.1 | Os clientes da linha de comando do Spark. | 
| spark-history-server | 3.1.1-amzn-0.1 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. | 
| spark-on-yarn | 3.1.1-amzn-0.1 | O mecanismo de execução em memória para o YARN. | 
| spark-yarn-slave | 3.1.1-amzn-0.1 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. | 
| spark-rapids | 0.4.1 | Plugin Nvidia Spark RAPIDS que acelera o Apache Spark com o. GPUs | 
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. | 
| tensorflow | 2.4.1 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. | 
| tez-on-yarn | 0.9.2 | O aplicativo e as bibliotecas do YARN para Tez. | 
| webserver | 2.4.41\$1 | O servidor Apache HTTP. | 
| zeppelin-server | 0.9.0 | O notebook baseado na web que permite um data analytics interativo. | 
| zookeeper-server | 3.4.14 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. | 
| zookeeper-client | 3.4.14 | ZooKeeper cliente de linha de comando. | 

## Classificações de configuração 6.3.1
<a name="emr-631-class"></a>

As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).

Ocorrem ações de reconfiguração quando você especifica uma configuração para grupos de instâncias em um cluster em execução. O Amazon EMR só inicia ações de reconfiguração para as classificações que você modifica. Para obter mais informações, consulte [Reconfigurar um grupo de instâncias de um cluster em execução](emr-configure-apps-running-cluster.md).


**Classificações do emr-6.3.1**  

| Classificações | Description | Ações de reconfiguração | 
| --- | --- | --- | 
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. | Restarts the ResourceManager service. | 
| container-executor | Alterar os valores no arquivo container-executor.cfg do YARN do Hadoop. | Not available. | 
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. | Not available. | 
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | Alterar as configurações relacionadas ao docker. | Not available. | 
| emrfs-site | Alterar as configurações do EMRFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | Alterar as configurações do flink-conf.yaml. | Restarts Flink history server. | 
| flink-log4j | Alterar as configurações de log4j.properties no Flink. | Restarts Flink history server. | 
| flink-log4j-session | Altere as configurações do Flink log4j-session.properties para a sessão. Kubernetes/Yarn  | Restarts Flink history server. | 
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. | Restarts Flink history server. | 
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop | Not available. | 
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop | Not available. | 
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | Mude os valores no HBase ambiente. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. | Not available. | 
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. | This classification should not be reconfigured. | 
| hdfs-env | Alterar os valores no ambiente do HDFS. | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | Mude os valores no HCatalog ambiente. | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. | Restarts Hive WebHCat server. | 
| hive | As configurações administradas pelo Amazon EMR para o Apache Hive. | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. | Not available. | 
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. | Not available. | 
| hive-env | Alterar os valores no ambiente do Hive. | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. | Not available. | 
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. | Not available. | 
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. | Not available. | 
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. | Not available. | 
| hue-ini | Alterar os valores no arquivo ini do Hue | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | Alterar os valores no ambiente do HTTPFS. | Restarts Hadoop Httpfs service. | 
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. | Not available. | 
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. | Not available. | 
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | Altere os valores no ambiente do Hudi. | Not available. | 
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. | Not available. | 
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. | Not available. | 
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. | Not available. | 
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. | Not available. | 
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. | Restarts Livy Server. | 
| livy-env | Alterar os valores no ambiente do Livy. | Restarts Livy Server. | 
| livy-log4j | Alterar as configurações de log4j.properties no Livy. | Restarts Livy Server. | 
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | Alterar os valores no ambiente do Oozie. | Restarts Oozie. | 
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. | Restarts Oozie. | 
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. | Restarts Oozie. | 
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. | Not available. | 
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. | Not available. | 
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. | Not available. | 
| pig-env | Alterar os valores no ambiente do Pig. | Not available. | 
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. | Restarts Oozie. | 
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. | Not available. | 
| presto-log | Alterar os valores no arquivo log.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-config | Alterar os valores no arquivo config.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. | Not available. | 
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-node | Altere os valores no arquivo node.properties do Presto. | Not available. | 
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. | Not available. | 
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. | Not available. | 
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. | Not available. | 
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. | Not available. | 
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. | Not available. | 
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. | Not available. | 
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. | Not available. | 
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. | Not available. | 
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. | Not available. | 
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. | Not available. | 
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. | Not available. | 
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. | Not available. | 
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. | Not available. | 
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. | Not available. | 
| prestosql-log | Alterar os valores no arquivo log.properties do Presto. | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-config | Alterar os valores no arquivo config.properties do Presto. | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-env | Altere os valores no arquivo presto-env.sh do Presto. | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-node | Alterar os valores no arquivo node.properties do PrestoSQL. | Not available. | 
| prestosql-connector-blackhole | Alterar os valores no arquivo blackhole.properties do PrestoSQL. | Not available. | 
| prestosql-connector-cassandra | Alterar os valores no arquivo cassandra.properties do PrestoSQL. | Not available. | 
| prestosql-connector-hive | Alterar os valores no arquivo hive.properties do PrestoSQL. | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-connector-jmx | Alterar os valores no arquivo jmx.properties do PrestoSQL. | Not available. | 
| prestosql-connector-kafka | Alterar os valores no arquivo kafka.properties do PrestoSQL. | Not available. | 
| prestosql-connector-localfile | Alterar os valores no arquivo localfile.properties do PrestoSQL. | Not available. | 
| prestosql-connector-memory | Alterar os valores no arquivo memory.properties do PrestoSQL. | Not available. | 
| prestosql-connector-mongodb | Alterar os valores no arquivo mongodb.properties do PrestoSQL. | Not available. | 
| prestosql-connector-mysql | Alterar os valores no arquivo mysql.properties do PrestoSQL. | Not available. | 
| prestosql-connector-postgresql | Alterar os valores no arquivo postgresql.properties do PrestoSQL. | Not available. | 
| prestosql-connector-raptor | Alterar os valores no arquivo raptor.properties do PrestoSQL. | Not available. | 
| prestosql-connector-redis | Alterar os valores no arquivo redis.properties do PrestoSQL. | Not available. | 
| prestosql-connector-redshift | Alterar os valores no arquivo de propriedades redshift do PrestoSQL. | Not available. | 
| prestosql-connector-tpch | Alterar os valores no arquivo tpch.properties do PrestoSQL. | Not available. | 
| prestosql-connector-tpcds | Alterar os valores no arquivo tpcds.properties do PrestoSQL. | Not available. | 
| ranger-kms-dbks-site | Altere os valores no arquivo dbks-site.xml do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-site | Altere os valores no ranger-kms-site arquivo.xml do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-env | Altere os valores no ambiente do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-log4j | Altere os valores no arquivo kms-log4j.properties do Ranger KMS. | Not available. | 
| ranger-kms-db-ca | Altere os valores do arquivo CA no S3 para conexão SSL do MySQL com o Ranger KMS. | Not available. | 
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. | This property modifies spark-defaults. See actions there. | 
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-env | Alterar os valores no ambiente do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. | Not available. | 
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | Alterar os valores no ambiente do Sqoop. | Not available. | 
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. | Not available. | 
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. | Not available. | 
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. | Restart Oozie and HiveServer2. | 
| yarn-env | Alterar os valores no ambiente do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. | Restarts Zeppelin. | 
| zeppelin-site | Alterar as definições da configuração em zeppelin-site.xml. | Restarts Zeppelin. | 
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. | Restarts Zookeeper server. | 
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. | Restarts Zookeeper server. | 

# Versão 6.3.0 do Amazon EMR
<a name="emr-630-release"></a>

## Versões 6.3.0 da aplicação
<a name="emr-630-app-versions"></a>

Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://prestosql.io/](https://prestosql.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).

A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).

Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)


**Informações da versão da aplicação**  

|  | emr-6.3.0 | emr-6.2.1 | emr-6.2.0 | emr-6.1.1 | 
| --- | --- | --- | --- | --- | 
| AWS SDK for Java | 1.11.977 | 1.11.880 | 1.11.880 | 1.11.828 | 
| Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 
| Scala | 2.12.10 | 2.12.10 | 2.12.10 | 2.12.10 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.12.1 | 1.11.2 | 1.11.2 | 1.11.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.2.6-amzn-1 | 2.2.6-amzn-0 | 2.2.6-amzn-0 | 2.2.5 | 
| HCatalog | 3.1.2-amzn-4 | 3.1.2-amzn-3 | 3.1.2-amzn-3 | 3.1.2-amzn-2 | 
| Hadoop | 3.2.1-amzn-3 | 3.2.1-amzn-2.1 | 3.2.1-amzn-2 | 3.2.1-amzn-1.1 | 
| Hive | 3.1.2-amzn-4 | 3.1.2-amzn-3 | 3.1.2-amzn-3 | 3.1.2-amzn-2 | 
| Hudi | 0.7.0-amzn-0 | 0.6.0-amzn-1 | 0.6.0-amzn-1 | 0.5.2-incubating-amzn-2 | 
| Hue | 4.9.0 | 4.8.0 | 4.8.0 | 4.7.1 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway | 2.1.0 | 2.1.0 | 2.1.0 |  -  | 
| JupyterHub | 1.2.2 | 1.1.0 | 1.1.0 | 1.1.0 | 
| Livy | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 
| MXNet | 1.7.0 | 1.7.0 | 1.7.0 | 1.6.0 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.1 | 5.2.0 | 5.2.0 | 5.2.0 | 
| Phoenix | 5.0.0- -2.0 HBase | 5.0.0- -2.0 HBase | 5.0.0- -2.0 HBase | 5.0.0- -2.0 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.245.1-amzn-0 | 0.238.3-amzn-1 | 0.238.3-amzn-1 | 0.232 | 
| Spark | 3.1.1-amzn-0 | 3.0.1-amzn-0.1 | 3.0.1-amzn-0 | 3.0.0-amzn-0.1 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.4.1 | 2.3.1 | 2.3.1 | 2.1.0 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) | 350 | 343 | 343 | 338 | 
| Zeppelin | 0.9.0 | 0.9.0-preview1 | 0.9.0-preview1 | 0.9.0-preview1 | 
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 

## Notas da versão 6.3.0
<a name="emr-630-relnotes"></a>

As notas da versão a seguir incluem informações para a versão 6.3.0 do Amazon EMR. As alterações são referentes à versão 6.2.0.

Data da versão inicial: 12 de maio de 2021

Data da última atualização: 9 de agosto de 2021

**Aplicações compatíveis**
+ AWS SDK para Java versão 1.11.977
+ CloudWatch Sink versão 2.1.0
+ Conector do DynamoDB versão 4.16.0
+ EMRFS versão 2.46.0
+ Amazon EMR Goodies versão 3.2.0
+ Conector Kinesis versão 3.5.0 do Amazon EMR
+ Servidor de registros do Amazon EMR versão 2.0.0
+ Scripts versão 2.5.0 do Amazon EMR
+ Flink versão 1.12.1
+ Ganglia versão 3.7.2
+ AWS Glue Hive Metastore Client versão 3.2.0
+ Hadoop versão 3.2.1-amzn-3
+ HBase versão 2.2.6-amzn-1
+ HBase-operator-tools 1.0.0
+ HCatalog versão 3.1.2-amzn-0
+ Hive versão 3.1.2-amzn-4
+ Hudi versão 0.7.0-amzn-0
+ Hue versão 4.9.0
+ Java JDK versão Corretto-8.282.08.1 (compilação 1.8.0\$1282-b08)
+ JupyterHub versão 1.2.0
+ Livy versão 0.7.0-incubating
+ MXNet versão 1.7.0
+ Oozie versão 5.2.1
+ Phoenix versão 5.0.0
+ Pig versão 0.17.0
+ Presto versão 0.245.1-amzn-0
+ PrestoSQL versão 350
+ KMS do Apache Ranger (criptografia transparente multi-mestre) versão 2.0.0
+ ranger-plugins 2.0.1-amzn-0
+ ranger-s3-plugin 1.1.0
+ SageMaker SDK do Spark versão 1.4.1
+ Scala versão 2.12.10 (VM de servidor OpenJDK de 64 bits, Java 1.8.0\$1282)
+ Spark versão 3.1.1-amzn-0
+ spark-rapids 0.4.1
+ Sqoop versão 1.4.7
+ TensorFlow versão 2.4.1
+ Tez versão 0.9.2
+ Zeppelin versão 0.9.0
+ Zookeeper versão 3.4.14
+ Conectores e drivers: DynamoDB Connector 4.16.0

**Novos recursos**
+ O Amazon EMR é compatível com Pontos de Acesso Amazon S3, atributo do amazon S3 que permite que você gerencie facilmente o acesso a data lakes compartilhados. Usando o alias do Ponto de Acesso Amazon S3, você pode simplificar o acesso aos dados em grande escala no Amazon EMR. Você pode usar os pontos de acesso do Amazon S3 com todas as versões do Amazon EMR sem custo adicional em todas as regiões onde o AWS Amazon EMR está disponível. Para saber mais sobre Pontos de Acesso Amazon S3 e aliases de ponto de acesso, consulte [Usar um alias em estilo de bucket para seu ponto de acesso](https://docs.aws.amazon.com/AmazonS3/latest/userguide/access-points-alias.html) no *Guia do usuário do Amazon S3*.
+ Novos parâmetros `DescribeReleaseLabel` e `ListReleaseLabel` da API fornecem detalhes do rótulo de lançamento do Amazon EMR. Você pode listar programaticamente as versões disponíveis na região em que a solicitação de API é executada e listar as aplicações disponíveis para um rótulo de lançamento específico do Amazon EMR. Os parâmetros do rótulo de lançamento também listam as versões do Amazon EMR compatíveis com uma aplicação específica, como o Spark. Essas informações podem ser usadas para iniciar programaticamente clusters do Amazon EMR. Por exemplo, você pode iniciar um cluster usando a versão mais recente dos resultados de `ListReleaseLabel`. Para obter mais informações, consulte [DescribeReleaseLabel](https://docs.aws.amazon.com/emr/latest/APIReference/API_DescribeReleaseLabel.html)e [ListReleaseLabels](https://docs.aws.amazon.com/emr/latest/APIReference/API_ListReleaseLabels.html)na Referência da *API do Amazon EMR.*
+ Com a versão 6.3.0 do Amazon EMR, você pode iniciar um cluster que se integre nativamente ao Apache Ranger. O Apache Ranger é uma estrutura de código aberto para habilitar, monitorar e gerenciar uma segurança de dados abrangente em toda a plataforma Hadoop. Para obter mais informações, consulte [Apache Ranger](https://ranger.apache.org/). Com a integração nativa, você pode trazer seu próprio Apache Ranger para aplicar um controle de acesso detalhado aos dados no Amazon EMR. Consulte [Integrar o Amazon EMR com o Apache Ranger](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-ranger.html) no Guia de gerenciamento do Amazon EMR.
+ Políticas gerenciadas com escopo definido: para se alinhar às AWS melhores práticas, o Amazon EMR introduziu políticas gerenciadas padrão com escopo do EMR v2 como substitutas das políticas que serão descontinuadas. Consulte as [políticas gerenciadas do Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-managed-iam-policies.html).
+ Status de suporte do Instance Metadata Service (IMDS) V2: Para o Amazon EMR 6.2 ou posterior, os componentes do Amazon EMR são usados para todas as chamadas do IMDS. IMDSv2 Para chamadas IMDS no código do aplicativo, você pode usar ambos IMDSv1 e IMDSv2, ou configurar o IMDS para uso somente IMDSv2 para aumentar a segurança. Se você desabilitar IMDSv1 em versões anteriores do Amazon EMR 6.x, isso causará uma falha na inicialização do cluster.

**Alterações, melhorias e problemas resolvidos**
+ Esta é uma versão para corrigir problemas com o Amazon EMR Scaling quando ele não consegue up/scale reduzir a escala de um cluster com sucesso ou causa falhas no aplicativo.
+ Corrigido um problema em que as solicitações de escalabilidade falhavam em um cluster grande e altamente utilizado quando os daemons do Amazon EMR no cluster estavam executando atividades de verificação de integridade, como a coleta do estado do nó do YARN e o estado do nó do HDFS. Isso estava acontecendo porque os daemons no cluster não conseguiam comunicar os dados do status de integridade de um nó aos componentes internos do Amazon EMR.
+ Aprimorados os daemons do EMR no cluster para rastrear corretamente os estados dos nós quando são reutilizados endereços IP para melhorar a confiabilidade durante operações de escalabilidade.
+ [SPARK-29683](https://issues.apache.org/jira/browse/SPARK-29683). Corrigido um problema em que ocorriam falhas de trabalho durante a redução da escala verticalmente do cluster, pois o Spark presumia que todos os nós disponíveis estavam na lista de negação.
+ [YARN-9011](https://issues.apache.org/jira/browse/YARN-9011). Corrigido um problema em que ocorriam falhas de trabalho devido a uma condição de corrida na desativação do YARN quando o cluster tentava aumentar ou reduzir a escala verticalmente.
+ Corrigido problema com falhas de etapas ou tarefas durante a escalabilidade do cluster ao ser garantido que os estados dos nós fossem sempre consistentes entre os daemons do Amazon EMR no cluster e o YARN/HDFS.
+ Corrigido um problema em que operações de cluster, como redução de escala verticalmente e envio de etapas, falhavam para clusters do Amazon EMR habilitados com a autenticação Kerberos. Isso ocorreu porque o daemon no cluster do Amazon EMR não renovou o tíquete Kerberos, que é necessário para se comunicar com segurança com a execução no nó primário. HDFS/YARN 
+ As versões mais recentes do Amazon EMR corrigem o problema com um limite menor de “Máximo de arquivos abertos” em relação às versões mais antigas AL2 no Amazon EMR. As versões 5.30.1, 5.30.2, 5.31.1, 5.32.1, 6.0.1, 6.1.1, 6.2.1, 5.33.0, 6.3.0 e posteriores do Amazon EMR agora incluem uma correção permanente com uma configuração mais alta de “Máximo de arquivos abertos”.
+ O padrão do modo de explicação da IU do Spark SQL foi alterado de `extended` para `formatted` no [Spark 3.1](https://issues.apache.org/jira/browse/SPARK-31325). O Amazon EMR o reverteu para `extended` com a finalidade de incluir informações do plano lógico na IU do Spark SQL. Isso pode ser revertido definindo `spark.sql.ui.explainMode` como `formatted`.
+ As confirmações a seguir foram transferidas da principal ramificação do Spark.

  - [[SPARK-34752]](https://issues.apache.org/jira/browse/SPARK-34752)[COMPILAÇÃO] Bump Jetty para 9.4.37 para abordar CVE-2020-27223.

  - [[SPARK-34534]](https://issues.apache.org/jira/browse/SPARK-34534) Corrige a ordem dos blockIDs ao usar para buscar blocos. FetchShuffleBlocks 

  - [[SPARK-34681]](https://issues.apache.org/jira/browse/SPARK-34681) [SQL] Corrigir o erro da junção hash completa externa embaralhada ao ser criado o lado esquerdo com condições diferentes.

  - [[SPARK-34497]](https://issues.apache.org/jira/browse/SPARK-34497) [SQL] Corrigir os provedores de conexão JDBC integrados para restaurar as alterações no contexto de segurança da JVM.
+ [https://github.com/NVIDIA/spark-rapids/issues/1378](https://github.com/NVIDIA/spark-rapids/issues/1378) Para obter detalhes sobre a nova configuração `spark.sql.optimizer.dynamicPartitionPruning.enforceBroadcastReuse`, consulte o [Problema n.º 1386 do RAPIDS](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-spark-performance.html#emr-spark-performance-dynamic).
+ O algoritmo padrão do confirmador de saída de arquivo foi alterado do algoritmo v2 para o algoritmo v1 no Spark 3.1 de código aberto. Para obter mais informações, consulte este [Amazon EMR otimizando a performance do Spark - remoção dinâmica de partições](https://issues.apache.org/jira/browse/SPARK-33019).
+ O Amazon EMR reverteu para o algoritmo v2, o padrão usado em versões anteriores do Amazon EMR 6.x, para evitar a regressão de performance. Para restaurar o comportamento de código aberto do Spark 3.1, defina `spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version` como `1`. O Spark de código aberto fez essa alteração porque a confirmação de tarefas no algoritmo do confirmador de saída de arquivo v2 não é atômica, o que pode causar um problema de exatidão dos dados de saída em alguns casos. No entanto, a confirmação da tarefa no algoritmo v1 também não é atômica. Em alguns cenários, a confirmação da tarefa inclui uma exclusão realizada antes de uma renomeação. Isso pode resultar em um problema silencioso de correção de dados.
+ Corrigidos os problemas de ajuste de escala gerenciado em versões anteriores do Amazon EMR e feitas melhorias para que os índices de falha de aplicações fossem significativamente reduzidos.
+ Instalou o AWS Java SDK Bundle em cada novo cluster. Esse é um único jar contendo todos os serviços SDKs e suas dependências, em vez de jars de componentes individuais. Para obter mais informações, consulte [Dependência no pacote Java SDK](https://aws.amazon.com/blogs/developer/java-sdk-bundle/).

**Problemas conhecidos**
+ Para clusters de sub-rede privados do Amazon EMR 6.3.0 e 6.2.0, você não pode acessar a interface do usuário da Web do Ganglia. Você receberá um erro de “acesso negado (403)”. Outros sites UIs, como Spark, Hue, Zeppelin JupyterHub, Livy e Tez, estão funcionando normalmente. O acesso à interface do usuário da Web do Ganglia em clusters de sub-redes públicas também está funcionando normalmente. Para resolver esse problema, reinicie o serviço httpd no nó primário com `sudo systemctl restart httpd`. Esse problema foi corrigido na versão 6.4.0 do Amazon EMR.
+ Quando o AWS Glue Data Catalog está ativado, o uso do Spark para acessar um AWS Glue DB com URI de localização de string nula pode falhar. Isso acontece com versões anteriores do Amazon EMR, mas com o SPARK-31709 (https://issues.apache). org/jira/browse/SPARK-31709) faz com que se aplique a mais casos. Por exemplo, ao criar uma tabela no AWS Glue DB padrão cujo URI de localização é uma string nula, `spark.sql("CREATE TABLE mytest (key string) location '/table_path';")` falha com a mensagem “Não é possível criar um caminho a partir de uma string vazia”. Para contornar isso, defina manualmente um URI de localização dos seus bancos de dados AWS Glue e crie tabelas dentro desses bancos de dados usando o Spark.
+ No Amazon EMR 6.3.0, o PrestoSQL foi atualizado da versão 343 para a versão 350. Há duas alterações relacionadas à segurança provenientes do código aberto que se relaciona a essa alteração de versão. O controle de acesso ao catálogo baseado em arquivos é alterado de `deny` para `allow` quando as regras de propriedades de tabela, esquema ou sessão não são definidas. Além disso, o controle de acesso ao sistema baseado em arquivos é alterado para oferecer suporte a arquivos sem regras de catálogo definidas. Nesse caso, todo o acesso aos catálogos é permitido.

  Para obter mais informações, consulte a [Versão 344 (9 de outubro de 2020](https://trino.io/docs/current/release/release-344.html#security)).
+ Observe o diretório de usuários do Hadoop (/) home/hadoop) is readable by everyone. It has Unix 755 (drwxr-xr-x) directory permissions to allow read access by frameworks like Hive. You can put files in /home/hadoop e seus subdiretórios, mas esteja ciente das permissões nesses diretórios para proteger informações confidenciais.
+ **Limite inferior de “Máximo de arquivos abertos” em versões mais antigas AL2 [corrigido em versões mais recentes].** Versões do Amazon EMR: emr-5.30.x, emr-5.31.0, emr-5.32.0, emr-6.0.0, emr-6.1.0 e emr-6.2.0 são baseadas em versões mais antigas do Amazon Linux 2 (), que AL2 têm uma configuração de limite inferior para “Máximo de arquivos abertos” quando clusters do Amazon EMR são criados com a AMI padrão. As versões 5.30.1, 5.30.2, 5.31.1, 5.32.1, 6.0.1, 6.1.1, 6.2.1, 5.33.0, 6.3.0 e posteriores do Amazon EMR incluem uma correção permanente com uma configuração mais alta de “Máximo de arquivos abertos”. Versões com o limite inferior de arquivos abertos causam o erro “Muitos arquivos abertos” ao ser enviado um trabalho do Spark. Nas versões afetadas, a AMI padrão do Amazon EMR tem uma configuração de ulimit padrão de 4096 para “Máximo de arquivos abertos”, que é inferior ao limite de 65536 arquivos na AMI mais recente do Amazon Linux 2. A configuração inferior de ulimit para “Máximo de arquivos abertos” causa falhas em trabalhos do Spark quando o driver e o executor do Spark tentam abrir mais de 4096 arquivos. Para corrigir o problema, o Amazon EMR tem um script de ação de bootstrap (BA) que ajusta a configuração de ulimit na criação do cluster. 

  Se você está usando uma versão mais antiga do Amazon EMR que não tem a correção permanente para esse problema, a solução alternativa a seguir permite que você defina explicitamente o ulimit instance-controller para um máximo de 65536 arquivos.

**Defina explicitamente um ulimit na linha de comando**

  1. Edite `/etc/systemd/system/instance-controller.service` para adicionar os seguintes parâmetros à seção Serviço.

     `LimitNOFILE=65536`

     `LimitNPROC=65536`

  1. Reiniciar InstanceController

     `$ sudo systemctl daemon-reload`

     `$ sudo systemctl restart instance-controller`

  **Defina um ulimit usando a ação de bootstrap (BA)**

  Você também pode usar um script de ação de bootstrap (BA) para configurar o ulimit instance-controller para 65536 arquivos na criação do cluster.

  ```
  #!/bin/bash
  for user in hadoop spark hive; do
  sudo tee /etc/security/limits.d/$user.conf << EOF
  $user - nofile 65536
  $user - nproc 65536
  EOF
  done
  for proc in instancecontroller logpusher; do
  sudo mkdir -p /etc/systemd/system/$proc.service.d/
  sudo tee /etc/systemd/system/$proc.service.d/override.conf << EOF
  [Service]
  LimitNOFILE=65536
  LimitNPROC=65536
  EOF
  pid=$(pgrep -f aws157.$proc.Main)
  sudo prlimit --pid $pid --nofile=65535:65535 --nproc=65535:65535
  done
  sudo systemctl daemon-reload
  ```
+ 
**Importante**  
Os clusters do EMR que executam imagens de máquina da Amazon (AMIs) do Amazon Linux ou do Amazon Linux 2 usam o comportamento padrão do Amazon Linux e não baixam nem instalam automaticamente atualizações importantes e críticas do kernel que exigem reinicialização. É o mesmo comportamento de outras instâncias do Amazon EC2 que executam a AMI padrão do Amazon Linux. Se novas atualizações de software do Amazon Linux que exigem reinicialização (como atualizações do kernel, NVIDIA e CUDA) forem disponibilizadas após o lançamento de uma versão do Amazon EMR, as instâncias de cluster do Amazon EMR que executam a AMI padrão não baixarão nem instalarão essas atualizações automaticamente. Para obter atualizações do kernel, você pode [personalizar sua AMI do Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-custom-ami.html) para [usar a AMI do Amazon Linux mais recente](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/finding-an-ami.html).
+ Para usar as ações do Spark com o Apache Oozie, você deve adicionar a seguinte configuração ao seu arquivo `workflow.xml` do Oozie. Caso contrário, várias bibliotecas críticas, como Hadoop e EMRFS, estarão ausentes do classpath dos executores do Spark que o Oozie inicia.

  ```
  <spark-opts>--conf spark.yarn.populateHadoopClasspath=true</spark-opts>
  ```
+ Quando você usa o Spark com a formatação de localização de partições do Hive para ler dados no Amazon S3 e executa o Spark nas versões 5.30.0 a 5.36.0 e 6.2.0 a 6.9.0 do Amazon EMR, pode encontrar um problema que impede que o cluster leia os dados corretamente. Isso poderá acontecer se suas partições tiverem todas as características a seguir:
  + Duas ou mais partições são verificadas na mesma tabela.
  + Pelo menos um caminho de diretório de partição é um prefixo de pelo menos outro caminho de diretório de partição, por exemplo, `s3://bucket/table/p=a` é um prefixo de `s3://bucket/table/p=a b`.
  + O primeiro caractere que segue o prefixo no outro diretório de partição tem um valor UTF-8 menor que o caractere `/` (U\$1002F). Por exemplo, o caractere de espaço (U\$10020) que ocorre entre a e b em `s3://bucket/table/p=a b` se enquadra nessa categoria. Observe que existem 14 outros caracteres que não são de controle: `!"#$%&‘()*+,-`. Para obter mais informações, consulte [Tabela de codificação UTF-8 e caracteres Unicode](https://www.utf8-chartable.de/).

  Como solução alternativa para esse problema, defina a configuração `spark.sql.sources.fastS3PartitionDiscovery.enabled` como `false` na classificação `spark-defaults`.

## Versões de componente 6.3.0
<a name="emr-630-components"></a>

Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.

Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.


| Componente | Versão | Description | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.1 | SDK do Amazon SageMaker Spark | 
| emr-ddb | 4.16.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. | 
| emr-goodies | 3.2.0 | Bibliotecas convenientes para o ecossistema do Hadoop. | 
| emr-kinesis | 3.5.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. | 
| emr-notebook-env | 1.2.0 | Ambiente Conda para bloco de anotações do emr, que inclui o jupyter enterprise gateway | 
| emr-s3-dist-cp | 2.18.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. | 
| emr-s3-select | 2.1.0 | EMR S3Select Connector | 
| emrfs | 2.46.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. | 
| flink-client | 1.12.1 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. | 
| flink-jobmanager-config | 1.12.1 | Gerenciando recursos nos nós do EMR para o Apache Flink. JobManager | 
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. | 
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. | 
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. | 
| hadoop-client | 3.2.1-amzn-3 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. | 
| hadoop-hdfs-datanode | 3.2.1-amzn-3 | O serviço de nível de nó do HDFS para armazenamento de blocos. | 
| hadoop-hdfs-library | 3.2.1-amzn-3 | O cliente de linha de comando e biblioteca do HDFS | 
| hadoop-hdfs-namenode | 3.2.1-amzn-3 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. | 
| hadoop-hdfs-journalnode | 3.2.1-amzn-3 | O serviço do HDFS para gerenciar o lançamento de arquivos do Hadoop em clusters de HA. | 
| hadoop-httpfs-server | 3.2.1-amzn-3 | O endpoint de HTTP para as operações do HDFS. | 
| hadoop-kms-server | 3.2.1-amzn-3 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider  | 
| hadoop-mapred | 3.2.1-amzn-3 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. | 
| hadoop-yarn-nodemanager | 3.2.1-amzn-3 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. | 
| hadoop-yarn-resourcemanager | 3.2.1-amzn-3 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. | 
| hadoop-yarn-timeline-server | 3.2.1-amzn-3 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. | 
| hbase-hmaster | 2.2.6-amzn-1 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. | 
| hbase-region-server | 2.2.6-amzn-1 | Serviço para atender a uma ou mais HBase regiões. | 
| hbase-client | 2.2.6-amzn-1 | HBase cliente de linha de comando. | 
| hbase-rest-server | 2.2.6-amzn-1 | Serviço que fornece um endpoint RESTful HTTP para HBase. | 
| hbase-thrift-server | 2.2.6-amzn-1 | Serviço que fornece um endpoint Thrift para. HBase | 
| hcatalog-client | 3.1.2-amzn-4 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. | 
| hcatalog-server | 3.1.2-amzn-4 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. | 
| hcatalog-webhcat-server | 3.1.2-amzn-4 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. | 
| hive-client | 3.1.2-amzn-4 | O cliente da linha de comando do Hive. | 
| hive-hbase | 3.1.2-amzn-4 | Cliente do Hive-hbase. | 
| hive-metastore-server | 3.1.2-amzn-4 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. | 
| hive-server2 | 3.1.2-amzn-4 | O serviço que aceita as consultas do Hive como solicitações da web. | 
| hudi | 0.7.0-amzn-0 | Estrutura de processamento incremental para alimentar o pipeline de dados com baixa latência e alta eficiência. | 
| hudi-presto | 0.7.0-amzn-0 | Biblioteca de pacotes para executar o Presto com o Hudi. | 
| hudi-prestosql | 0.7.0-amzn-0 | Biblioteca de pacotes para executar o PrestoSQL com o Hudi. | 
| hudi-spark | 0.7.0-amzn-0 | Biblioteca de pacotes para executar o Spark com o Hudi. | 
| hue-server | 4.9.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop | 
| jupyterhub | 1.2.2 | Servidor de vários usuários para blocos de anotações Jupyter | 
| livy-server | 0.7.0-incubating | Interface REST para interagir com o Apache Spark | 
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP | 
| mxnet | 1.7.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. | 
| mariadb-server | 5.5.68\$1 | Servidor de banco de dados MariaDB. | 
| nvidia-cuda | 10.1.243 | Drivers NVIDIA e toolkit CUDA | 
| oozie-client | 5.2.1 | O cliente da linha de comando do Oozie. | 
| oozie-server | 5.2.1 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. | 
| opencv | 4.5.0 | Biblioteca de Visão Computacional de Código Aberto. | 
| phoenix-library | 5.0.0- -2.0 HBase | As bibliotecas do phoenix para servidor e cliente | 
| phoenix-query-server | 5.0.0- -2.0 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica  | 
| presto-coordinator | 0.245.1-amzn-0 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. | 
| presto-worker | 0.245.1-amzn-0 | O serviço que executa partes de uma consulta. | 
| presto-client | 0.245.1-amzn-0 | Cliente de linha de comando do Presto instalado em mestres de espera de um cluster de alta disponibilidade em que o servidor do Presto não é iniciado. | 
| prestosql-coordinator | 350 | O serviço que aceita consultas e gerencia a execução de consultas entre os prestosql-workers. | 
| prestosql-worker | 350 | O serviço que executa partes de uma consulta. | 
| prestosql-client | 350 | Cliente de linha de comando do Presto instalado em mestres de espera de um cluster de alta disponibilidade em que o servidor do Presto não é iniciado. | 
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. | 
| r | 4.0.2 | O projeto R para computação estatística | 
| ranger-kms-server | 2.0.0 | Sistema de gerenciamento de chaves Apache Ranger | 
| spark-client | 3.1.1-amzn-0 | Os clientes da linha de comando do Spark. | 
| spark-history-server | 3.1.1-amzn-0 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. | 
| spark-on-yarn | 3.1.1-amzn-0 | O mecanismo de execução em memória para o YARN. | 
| spark-yarn-slave | 3.1.1-amzn-0 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. | 
| spark-rapids | 0.4.1 | Plugin Nvidia Spark RAPIDS que acelera o Apache Spark com o. GPUs | 
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. | 
| tensorflow | 2.4.1 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. | 
| tez-on-yarn | 0.9.2 | O aplicativo e as bibliotecas do YARN para Tez. | 
| webserver | 2.4.41\$1 | O servidor Apache HTTP. | 
| zeppelin-server | 0.9.0 | O notebook baseado na web que permite um data analytics interativo. | 
| zookeeper-server | 3.4.14 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. | 
| zookeeper-client | 3.4.14 | ZooKeeper cliente de linha de comando. | 

## Classificações de configuração 6.3.0
<a name="emr-630-class"></a>

As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).

Ocorrem ações de reconfiguração quando você especifica uma configuração para grupos de instâncias em um cluster em execução. O Amazon EMR só inicia ações de reconfiguração para as classificações que você modifica. Para obter mais informações, consulte [Reconfigurar um grupo de instâncias de um cluster em execução](emr-configure-apps-running-cluster.md).


**Classificações do emr-6.3.0**  

| Classificações | Description | Ações de reconfiguração | 
| --- | --- | --- | 
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. | Restarts the ResourceManager service. | 
| container-executor | Alterar os valores no arquivo container-executor.cfg do YARN do Hadoop. | Not available. | 
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. | Not available. | 
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | Alterar as configurações relacionadas ao docker. | Not available. | 
| emrfs-site | Alterar as configurações do EMRFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | Alterar as configurações do flink-conf.yaml. | Restarts Flink history server. | 
| flink-log4j | Alterar as configurações de log4j.properties no Flink. | Restarts Flink history server. | 
| flink-log4j-session | Altere as configurações do Flink log4j-session.properties para a sessão. Kubernetes/Yarn  | Restarts Flink history server. | 
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. | Restarts Flink history server. | 
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop | Not available. | 
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop | Not available. | 
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | Mude os valores no HBase ambiente. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. | Not available. | 
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. | This classification should not be reconfigured. | 
| hdfs-env | Alterar os valores no ambiente do HDFS. | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. | 
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | Mude os valores no HCatalog ambiente. | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. | Restarts Hive WebHCat server. | 
| hive | As configurações administradas pelo Amazon EMR para o Apache Hive. | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. | Not available. | 
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. | Not available. | 
| hive-env | Alterar os valores no ambiente do Hive. | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. | Not available. | 
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. | Not available. | 
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. | Not available. | 
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. | Not available. | 
| hue-ini | Alterar os valores no arquivo ini do Hue | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | Alterar os valores no ambiente do HTTPFS. | Restarts Hadoop Httpfs service. | 
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. | Not available. | 
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. | Not available. | 
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | Altere os valores no ambiente do Hudi. | Not available. | 
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. | Not available. | 
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. | Not available. | 
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. | Not available. | 
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. | Not available. | 
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. | Restarts Livy Server. | 
| livy-env | Alterar os valores no ambiente do Livy. | Restarts Livy Server. | 
| livy-log4j | Alterar as configurações de log4j.properties no Livy. | Restarts Livy Server. | 
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | Alterar os valores no ambiente do Oozie. | Restarts Oozie. | 
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. | Restarts Oozie. | 
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. | Restarts Oozie. | 
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. | Not available. | 
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. | Not available. | 
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. | Not available. | 
| pig-env | Alterar os valores no ambiente do Pig. | Not available. | 
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. | Restarts Oozie. | 
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. | Not available. | 
| presto-log | Alterar os valores no arquivo log.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-config | Alterar os valores no arquivo config.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. | Not available. | 
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-node | Altere os valores no arquivo node.properties do Presto. | Not available. | 
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. | Not available. | 
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. | Not available. | 
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. | Not available. | 
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. | Not available. | 
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. | Not available. | 
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. | Not available. | 
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. | Not available. | 
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. | Not available. | 
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. | Not available. | 
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. | Not available. | 
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. | Not available. | 
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. | Not available. | 
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. | Not available. | 
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. | Not available. | 
| prestosql-log | Alterar os valores no arquivo log.properties do Presto. | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-config | Alterar os valores no arquivo config.properties do Presto. | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-env | Altere os valores no arquivo presto-env.sh do Presto. | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-node | Alterar os valores no arquivo node.properties do PrestoSQL. | Not available. | 
| prestosql-connector-blackhole | Alterar os valores no arquivo blackhole.properties do PrestoSQL. | Not available. | 
| prestosql-connector-cassandra | Alterar os valores no arquivo cassandra.properties do PrestoSQL. | Not available. | 
| prestosql-connector-hive | Alterar os valores no arquivo hive.properties do PrestoSQL. | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-connector-jmx | Alterar os valores no arquivo jmx.properties do PrestoSQL. | Not available. | 
| prestosql-connector-kafka | Alterar os valores no arquivo kafka.properties do PrestoSQL. | Not available. | 
| prestosql-connector-localfile | Alterar os valores no arquivo localfile.properties do PrestoSQL. | Not available. | 
| prestosql-connector-memory | Alterar os valores no arquivo memory.properties do PrestoSQL. | Not available. | 
| prestosql-connector-mongodb | Alterar os valores no arquivo mongodb.properties do PrestoSQL. | Not available. | 
| prestosql-connector-mysql | Alterar os valores no arquivo mysql.properties do PrestoSQL. | Not available. | 
| prestosql-connector-postgresql | Alterar os valores no arquivo postgresql.properties do PrestoSQL. | Not available. | 
| prestosql-connector-raptor | Alterar os valores no arquivo raptor.properties do PrestoSQL. | Not available. | 
| prestosql-connector-redis | Alterar os valores no arquivo redis.properties do PrestoSQL. | Not available. | 
| prestosql-connector-redshift | Alterar os valores no arquivo de propriedades redshift do PrestoSQL. | Not available. | 
| prestosql-connector-tpch | Alterar os valores no arquivo tpch.properties do PrestoSQL. | Not available. | 
| prestosql-connector-tpcds | Alterar os valores no arquivo tpcds.properties do PrestoSQL. | Not available. | 
| ranger-kms-dbks-site | Altere os valores no arquivo dbks-site.xml do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-site | Altere os valores no ranger-kms-site arquivo.xml do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-env | Altere os valores no ambiente do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-log4j | Altere os valores no arquivo kms-log4j.properties do Ranger KMS. | Not available. | 
| ranger-kms-db-ca | Altere os valores do arquivo CA no S3 para conexão SSL do MySQL com o Ranger KMS. | Not available. | 
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. | This property modifies spark-defaults. See actions there. | 
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-env | Alterar os valores no ambiente do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. | Not available. | 
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | Alterar os valores no ambiente do Sqoop. | Not available. | 
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. | Not available. | 
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. | Not available. | 
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. | Restart Oozie and HiveServer2. | 
| yarn-env | Alterar os valores no ambiente do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. | Restarts Zeppelin. | 
| zeppelin-site | Alterar as definições da configuração em zeppelin-site.xml. | Restarts Zeppelin. | 
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. | Restarts Zookeeper server. | 
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. | Restarts Zookeeper server. | 

# Versão 6.2.1 do Amazon EMR
<a name="emr-621-release"></a>

## Versões 6.2.1 da aplicação
<a name="emr-621-app-versions"></a>

Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://prestosql.io/](https://prestosql.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).

A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).

Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)


**Informações da versão da aplicação**  

|  | emr-6.2.1 | emr-6.2.0 | emr-6.1.1 | emr-6.1.0 | 
| --- | --- | --- | --- | --- | 
| AWS SDK for Java | 1.11.880 | 1.11.880 | 1.11.828 | 1.11.828 | 
| Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 
| Scala | 2.12.10 | 2.12.10 | 2.12.10 | 2.12.10 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.11.2 | 1.11.2 | 1.11.0 | 1.11.0 | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.2.6-amzn-0 | 2.2.6-amzn-0 | 2.2.5 | 2.2.5 | 
| HCatalog | 3.1.2-amzn-3 | 3.1.2-amzn-3 | 3.1.2-amzn-2 | 3.1.2-amzn-2 | 
| Hadoop | 3.2.1-amzn-2.1 | 3.2.1-amzn-2 | 3.2.1-amzn-1.1 | 3.2.1-amzn-1 | 
| Hive | 3.1.2-amzn-3 | 3.1.2-amzn-3 | 3.1.2-amzn-2 | 3.1.2-amzn-2 | 
| Hudi | 0.6.0-amzn-1 | 0.6.0-amzn-1 | 0.5.2-incubating-amzn-2 | 0.5.2-incubating-amzn-2 | 
| Hue | 4.8.0 | 4.8.0 | 4.7.1 | 4.7.1 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway | 2.1.0 | 2.1.0 |  -  |  -  | 
| JupyterHub | 1.1.0 | 1.1.0 | 1.1.0 | 1.1.0 | 
| Livy | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 
| MXNet | 1.7.0 | 1.7.0 | 1.6.0 | 1.6.0 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.0 | 5.2.0 | 5.2.0 | 5.2.0 | 
| Phoenix | 5.0.0- -2.0 HBase | 5.0.0- -2.0 HBase | 5.0.0- -2.0 HBase | 5.0.0- -2.0 HBase | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 | 
| Presto | 0.238.3-amzn-1 | 0.238.3-amzn-1 | 0.232 | 0.232 | 
| Spark | 3.0.1-amzn-0.1 | 3.0.1-amzn-0 | 3.0.0-amzn-0.1 | 3.0.0-amzn-0 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 
| TensorFlow | 2.3.1 | 2.3.1 | 2.1.0 | 2.1.0 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) | 343 | 343 | 338 | 338 | 
| Zeppelin | 0.9.0-preview1 | 0.9.0-preview1 | 0.9.0-preview1 | 0.9.0-preview1 | 
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 

## Notas da versão 6.2.1
<a name="emr-621-relnotes"></a>

Esta é uma versão para corrigir problemas com o Amazon EMR Scaling quando ele não consegue up/scale reduzir a escala de um cluster com sucesso ou causa falhas no aplicativo.

**Alterações, melhorias e problemas resolvidos**
+ Corrigido um problema em que as solicitações de escalabilidade falhavam em um cluster grande e altamente utilizado quando os daemons do Amazon EMR no cluster estavam executando atividades de verificação de integridade, como a coleta do estado do nó do YARN e o estado do nó do HDFS. Isso estava acontecendo porque os daemons no cluster não conseguiam comunicar os dados do status de integridade de um nó aos componentes internos do Amazon EMR.
+ Aprimorados os daemons do EMR no cluster para rastrear corretamente os estados dos nós quando são reutilizados endereços IP para melhorar a confiabilidade durante operações de escalabilidade.
+ [SPARK-29683](https://issues.apache.org/jira/browse/SPARK-29683). Corrigido um problema em que ocorriam falhas de trabalho durante a redução da escala verticalmente do cluster, pois o Spark presumia que todos os nós disponíveis estavam na lista de negação.
+ [YARN-9011](https://issues.apache.org/jira/browse/YARN-9011). Corrigido um problema em que ocorriam falhas de trabalho devido a uma condição de corrida na desativação do YARN quando o cluster tentava aumentar ou reduzir a escala verticalmente.
+ Corrigido problema com falhas de etapas ou tarefas durante a escalabilidade do cluster ao ser garantido que os estados dos nós fossem sempre consistentes entre os daemons do Amazon EMR no cluster e o YARN/HDFS.
+ Corrigido um problema em que operações de cluster, como redução de escala verticalmente e envio de etapas, falhavam para clusters do Amazon EMR habilitados com a autenticação Kerberos. Isso ocorreu porque o daemon no cluster do Amazon EMR não renovou o tíquete Kerberos, que é necessário para se comunicar com segurança com a execução no nó primário. HDFS/YARN 
+ As versões mais recentes do Amazon EMR corrigem o problema com um limite menor de “Máximo de arquivos abertos” em relação às versões mais antigas AL2 no Amazon EMR. As versões 5.30.1, 5.30.2, 5.31.1, 5.32.1, 6.0.1, 6.1.1, 6.2.1, 5.33.0, 6.3.0 e posteriores do Amazon EMR agora incluem uma correção permanente com uma configuração mais alta de “Máximo de arquivos abertos”.
+ O HTTPS agora está habilitado por padrão para repositórios do Amazon Linux. Se você estiver usando uma política de VPCE do Amazon S3 para restringir o acesso a buckets específicos, deverá adicionar o novo ARN `arn:aws:s3:::amazonlinux-2-repos-$region/*` do bucket do Amazon Linux à sua política (substitua `$region` pela região em que o endpoint está situado). Para obter mais informações, consulte esse tópico nos fóruns de AWS discussão. [Anúncio: o Amazon Linux 2 agora oferece suporte à capacidade de usar HTTPS ao se conectar a repositórios de pacotes ](https://forums.aws.amazon.com/ann.jspa?annID=8528). 

**Problemas conhecidos**
+ Quando você usa o Spark com a formatação de localização de partições do Hive para ler dados no Amazon S3 e executa o Spark nas versões 5.30.0 a 5.36.0 e 6.2.0 a 6.9.0 do Amazon EMR, pode encontrar um problema que impede que o cluster leia os dados corretamente. Isso poderá acontecer se suas partições tiverem todas as características a seguir:
  + Duas ou mais partições são verificadas na mesma tabela.
  + Pelo menos um caminho de diretório de partição é um prefixo de pelo menos outro caminho de diretório de partição, por exemplo, `s3://bucket/table/p=a` é um prefixo de `s3://bucket/table/p=a b`.
  + O primeiro caractere que segue o prefixo no outro diretório de partição tem um valor UTF-8 menor que o caractere `/` (U\$1002F). Por exemplo, o caractere de espaço (U\$10020) que ocorre entre a e b em `s3://bucket/table/p=a b` se enquadra nessa categoria. Observe que existem 14 outros caracteres que não são de controle: `!"#$%&‘()*+,-`. Para obter mais informações, consulte [Tabela de codificação UTF-8 e caracteres Unicode](https://www.utf8-chartable.de/).

  Como solução alternativa para esse problema, defina a configuração `spark.sql.sources.fastS3PartitionDiscovery.enabled` como `false` na classificação `spark-defaults`.

## Versões de componente 6.2.1
<a name="emr-621-components"></a>

Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.

Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.


| Componente | Versão | Description | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.1 | SDK do Amazon SageMaker Spark | 
| emr-ddb | 4.16.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. | 
| emr-goodies | 3.1.0 | Bibliotecas convenientes para o ecossistema do Hadoop. | 
| emr-kinesis | 3.5.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. | 
| emr-notebook-env | 1.0.0 | Ambiente Conda para bloco de anotações do emr, que inclui o jupyter enterprise gateway | 
| emr-s3-dist-cp | 2.16.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. | 
| emr-s3-select | 2.0.0 | EMR S3Select Connector | 
| emrfs | 2.44.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. | 
| flink-client | 1.11.2 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. | 
| flink-jobmanager-config | 1.11.2 | Gerenciando recursos nos nós do EMR para o Apache Flink. JobManager | 
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. | 
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. | 
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. | 
| hadoop-client | 3.2.1-amzn-2.1 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. | 
| hadoop-hdfs-datanode | 3.2.1-amzn-2.1 | O serviço de nível de nó do HDFS para armazenamento de blocos. | 
| hadoop-hdfs-library | 3.2.1-amzn-2.1 | O cliente de linha de comando e biblioteca do HDFS | 
| hadoop-hdfs-namenode | 3.2.1-amzn-2.1 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. | 
| hadoop-hdfs-journalnode | 3.2.1-amzn-2.1 | O serviço do HDFS para gerenciar o lançamento de arquivos do Hadoop em clusters de HA. | 
| hadoop-httpfs-server | 3.2.1-amzn-2.1 | O endpoint de HTTP para as operações do HDFS. | 
| hadoop-kms-server | 3.2.1-amzn-2.1 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider  | 
| hadoop-mapred | 3.2.1-amzn-2.1 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. | 
| hadoop-yarn-nodemanager | 3.2.1-amzn-2.1 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. | 
| hadoop-yarn-resourcemanager | 3.2.1-amzn-2.1 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. | 
| hadoop-yarn-timeline-server | 3.2.1-amzn-2.1 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. | 
| hbase-hmaster | 2.2.6-amzn-0 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. | 
| hbase-region-server | 2.2.6-amzn-0 | Serviço para atender a uma ou mais HBase regiões. | 
| hbase-client | 2.2.6-amzn-0 | HBase cliente de linha de comando. | 
| hbase-rest-server | 2.2.6-amzn-0 | Serviço que fornece um endpoint RESTful HTTP para HBase. | 
| hbase-thrift-server | 2.2.6-amzn-0 | Serviço que fornece um endpoint Thrift para. HBase | 
| hcatalog-client | 3.1.2-amzn-3 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. | 
| hcatalog-server | 3.1.2-amzn-3 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. | 
| hcatalog-webhcat-server | 3.1.2-amzn-3 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. | 
| hive-client | 3.1.2-amzn-3 | O cliente da linha de comando do Hive. | 
| hive-hbase | 3.1.2-amzn-3 | Cliente do Hive-hbase. | 
| hive-metastore-server | 3.1.2-amzn-3 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. | 
| hive-server2 | 3.1.2-amzn-3 | O serviço que aceita as consultas do Hive como solicitações da web. | 
| hudi | 0.6.0-amzn-1 | Estrutura de processamento incremental para alimentar o pipeline de dados com baixa latência e alta eficiência. | 
| hudi-presto | 0.6.0-amzn-1 | Biblioteca de pacotes para executar o Presto com o Hudi. | 
| hudi-prestosql | 0.6.0-amzn-1 | Biblioteca de pacotes para executar o PrestoSQL com o Hudi. | 
| hudi-spark | 0.6.0-amzn-1 | Biblioteca de pacotes para executar o Spark com o Hudi. | 
| hue-server | 4.8.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop | 
| jupyterhub | 1.1.0 | Servidor de vários usuários para blocos de anotações Jupyter | 
| livy-server | 0.7.0-incubating | Interface REST para interagir com o Apache Spark | 
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP | 
| mxnet | 1.7.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. | 
| mariadb-server | 5.5.64\$1 | Servidor de banco de dados MariaDB. | 
| nvidia-cuda | 10.1.243 | Drivers NVIDIA e toolkit CUDA | 
| oozie-client | 5.2.0 | O cliente da linha de comando do Oozie. | 
| oozie-server | 5.2.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. | 
| opencv | 4.4.0 | Biblioteca de Visão Computacional de Código Aberto. | 
| phoenix-library | 5.0.0- -2.0 HBase | As bibliotecas do phoenix para servidor e cliente | 
| phoenix-query-server | 5.0.0- -2.0 HBase | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica  | 
| presto-coordinator | 0.238.3-amzn-1 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. | 
| presto-worker | 0.238.3-amzn-1 | O serviço que executa partes de uma consulta. | 
| presto-client | 0.238.3-amzn-1 | Cliente de linha de comando do Presto instalado em mestres de espera de um cluster de alta disponibilidade em que o servidor do Presto não é iniciado. | 
| prestosql-coordinator | 343 | O serviço que aceita consultas e gerencia a execução de consultas entre os prestosql-workers. | 
| prestosql-worker | 343 | O serviço que executa partes de uma consulta. | 
| prestosql-client | 343 | Cliente de linha de comando do Presto instalado em mestres de espera de um cluster de alta disponibilidade em que o servidor do Presto não é iniciado. | 
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. | 
| r | 3.4.3 | O projeto R para computação estatística | 
| ranger-kms-server | 2.0.0 | Sistema de gerenciamento de chaves Apache Ranger | 
| spark-client | 3.0.1-amzn-0.1 | Os clientes da linha de comando do Spark. | 
| spark-history-server | 3.0.1-amzn-0.1 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. | 
| spark-on-yarn | 3.0.1-amzn-0.1 | O mecanismo de execução em memória para o YARN. | 
| spark-yarn-slave | 3.0.1-amzn-0.1 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. | 
| spark-rapids | 0.2.0 | Plugin Nvidia Spark RAPIDS que acelera o Apache Spark com o. GPUs | 
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. | 
| tensorflow | 2.3.1 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. | 
| tez-on-yarn | 0.9.2 | O aplicativo e as bibliotecas do YARN para Tez. | 
| webserver | 2.4.41\$1 | O servidor Apache HTTP. | 
| zeppelin-server | 0.9.0-preview1 | O notebook baseado na web que permite um data analytics interativo. | 
| zookeeper-server | 3.4.14 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. | 
| zookeeper-client | 3.4.14 | ZooKeeper cliente de linha de comando. | 

## Classificações de configuração 6.2.1
<a name="emr-621-class"></a>

As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).

Ocorrem ações de reconfiguração quando você especifica uma configuração para grupos de instâncias em um cluster em execução. O Amazon EMR só inicia ações de reconfiguração para as classificações que você modifica. Para obter mais informações, consulte [Reconfigurar um grupo de instâncias de um cluster em execução](emr-configure-apps-running-cluster.md).


**Classificações do emr-6.2.1**  

| Classificações | Description | Ações de reconfiguração | 
| --- | --- | --- | 
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. | Restarts the ResourceManager service. | 
| container-executor | Alterar os valores no arquivo container-executor.cfg do YARN do Hadoop. | Not available. | 
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. | Not available. | 
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | Alterar as configurações relacionadas ao docker. | Not available. | 
| emrfs-site | Alterar as configurações do EMRFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | Alterar as configurações do flink-conf.yaml. | Not available. | 
| flink-log4j | Alterar as configurações de log4j.properties no Flink. | Not available. | 
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. | Not available. | 
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. | Not available. | 
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop | Not available. | 
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop | Not available. | 
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | Mude os valores no HBase ambiente. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. | Not available. | 
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. | This classification should not be reconfigured. | 
| hdfs-env | Alterar os valores no ambiente do HDFS. | Restarts Hadoop HDFS ZKFC. | 
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | Mude os valores no HCatalog ambiente. | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. | Restarts Hive WebHCat server. | 
| hive | As configurações administradas pelo Amazon EMR para o Apache Hive. | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. | Not available. | 
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. | Not available. | 
| hive-env | Alterar os valores no ambiente do Hive. | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. | Not available. | 
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. | Not available. | 
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. | Not available. | 
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. | Not available. | 
| hue-ini | Alterar os valores no arquivo ini do Hue | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | Alterar os valores no ambiente do HTTPFS. | Restarts Hadoop Httpfs service. | 
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. | Not available. | 
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. | Not available. | 
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | Altere os valores no ambiente do Hudi. | Not available. | 
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. | Not available. | 
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. | Not available. | 
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. | Not available. | 
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. | Not available. | 
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. | Restarts Livy Server. | 
| livy-env | Alterar os valores no ambiente do Livy. | Restarts Livy Server. | 
| livy-log4j | Alterar as configurações de log4j.properties no Livy. | Restarts Livy Server. | 
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | Alterar os valores no ambiente do Oozie. | Restarts Oozie. | 
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. | Restarts Oozie. | 
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. | Restarts Oozie. | 
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. | Not available. | 
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. | Not available. | 
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. | Not available. | 
| pig-env | Alterar os valores no ambiente do Pig. | Not available. | 
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. | Restarts Oozie. | 
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. | Not available. | 
| presto-log | Alterar os valores no arquivo log.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-config | Alterar os valores no arquivo config.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. | Not available. | 
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-node | Altere os valores no arquivo node.properties do Presto. | Not available. | 
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. | Not available. | 
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. | Not available. | 
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. | Not available. | 
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. | Not available. | 
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. | Not available. | 
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. | Not available. | 
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. | Not available. | 
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. | Not available. | 
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. | Not available. | 
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. | Not available. | 
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. | Not available. | 
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. | Not available. | 
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. | Not available. | 
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. | Not available. | 
| prestosql-log | Alterar os valores no arquivo log.properties do Presto. | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-config | Alterar os valores no arquivo config.properties do Presto. | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-env | Altere os valores no arquivo presto-env.sh do Presto. | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-node | Alterar os valores no arquivo node.properties do PrestoSQL. | Not available. | 
| prestosql-connector-blackhole | Alterar os valores no arquivo blackhole.properties do PrestoSQL. | Not available. | 
| prestosql-connector-cassandra | Alterar os valores no arquivo cassandra.properties do PrestoSQL. | Not available. | 
| prestosql-connector-hive | Alterar os valores no arquivo hive.properties do PrestoSQL. | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-connector-jmx | Alterar os valores no arquivo jmx.properties do PrestoSQL. | Not available. | 
| prestosql-connector-kafka | Alterar os valores no arquivo kafka.properties do PrestoSQL. | Not available. | 
| prestosql-connector-localfile | Alterar os valores no arquivo localfile.properties do PrestoSQL. | Not available. | 
| prestosql-connector-memory | Alterar os valores no arquivo memory.properties do PrestoSQL. | Not available. | 
| prestosql-connector-mongodb | Alterar os valores no arquivo mongodb.properties do PrestoSQL. | Not available. | 
| prestosql-connector-mysql | Alterar os valores no arquivo mysql.properties do PrestoSQL. | Not available. | 
| prestosql-connector-postgresql | Alterar os valores no arquivo postgresql.properties do PrestoSQL. | Not available. | 
| prestosql-connector-raptor | Alterar os valores no arquivo raptor.properties do PrestoSQL. | Not available. | 
| prestosql-connector-redis | Alterar os valores no arquivo redis.properties do PrestoSQL. | Not available. | 
| prestosql-connector-redshift | Alterar os valores no arquivo de propriedades redshift do PrestoSQL. | Not available. | 
| prestosql-connector-tpch | Alterar os valores no arquivo tpch.properties do PrestoSQL. | Not available. | 
| prestosql-connector-tpcds | Alterar os valores no arquivo tpcds.properties do PrestoSQL. | Not available. | 
| ranger-kms-dbks-site | Altere os valores no arquivo dbks-site.xml do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-site | Altere os valores no ranger-kms-site arquivo.xml do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-env | Altere os valores no ambiente do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-log4j | Altere os valores no arquivo kms-log4j.properties do Ranger KMS. | Not available. | 
| ranger-kms-db-ca | Altere os valores do arquivo CA no S3 para conexão SSL do MySQL com o Ranger KMS. | Not available. | 
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. | This property modifies spark-defaults. See actions there. | 
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-env | Alterar os valores no ambiente do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. | Not available. | 
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | Alterar os valores no ambiente do Sqoop. | Not available. | 
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. | Not available. | 
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. | Not available. | 
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. | Restart Oozie. | 
| yarn-env | Alterar os valores no ambiente do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. | Restarts Zeppelin. | 
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. | Restarts Zookeeper server. | 
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. | Restarts Zookeeper server. | 

# Versão 6.2.0 do Amazon EMR
<a name="emr-620-release"></a>

## Versões 6.2.0 da aplicação
<a name="emr-620-app-versions"></a>

Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://jupyter-enterprise-gateway.readthedocs.io/en/latest/](https://jupyter-enterprise-gateway.readthedocs.io/en/latest/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://prestosql.io/](https://prestosql.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).

A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).

Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)


**Informações da versão da aplicação**  

|  | emr-6.2.0 | emr-6.1.1 | emr-6.1.0 | emr-6.0.1 | 
| --- | --- | --- | --- | --- | 
| AWS SDK for Java | 1.11.880 | 1.11.828 | 1.11.828 | 1.11.711 | 
| Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 
| Scala | 2.12.10 | 2.12.10 | 2.12.10 | 2.12.10 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.11.2 | 1.11.0 | 1.11.0 |  -  | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.2.6-amzn-0 | 2.2.5 | 2.2.5 | 2.2.3 | 
| HCatalog | 3.1.2-amzn-3 | 3.1.2-amzn-2 | 3.1.2-amzn-2 | 3.1.2-amzn-0 | 
| Hadoop | 3.2.1-amzn-2 | 3.2.1-amzn-1.1 | 3.2.1-amzn-1 | 3.2.1-amzn-0.1 | 
| Hive | 3.1.2-amzn-3 | 3.1.2-amzn-2 | 3.1.2-amzn-2 | 3.1.2-amzn-0 | 
| Hudi | 0.6.0-amzn-1 | 0.5.2-incubating-amzn-2 | 0.5.2-incubating-amzn-2 | 0.5.0-incubating-amzn-1 | 
| Hue | 4.8.0 | 4.7.1 | 4.7.1 | 4.4.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway | 2.1.0 |  -  |  -  |  -  | 
| JupyterHub | 1.1.0 | 1.1.0 | 1.1.0 | 1.0.0 | 
| Livy | 0.7.0-incubating | 0.7.0-incubating | 0.7.0-incubating | 0.6.0-incubating | 
| MXNet | 1.7.0 | 1.6.0 | 1.6.0 | 1.5.1 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.0 | 5.2.0 | 5.2.0 | 5.1.0 | 
| Phoenix | 5.0.0- HBase -2,0 | 5.0.0- HBase -2,0 | 5.0.0- HBase -2,0 | 5.0.0- HBase -2,0 | 
| Pig | 0.17.0 | 0.17.0 | 0.17.0 |  -  | 
| Presto | 0.238.3-amzn-1 | 0.232 | 0.232 | 0.230 | 
| Spark | 3.0.1-amzn-0 | 3.0.0-amzn-0.1 | 3.0.0-amzn-0 | 2.4.4 | 
| Sqoop | 1.4.7 | 1.4.7 | 1.4.7 |  -  | 
| TensorFlow | 2.3.1 | 2.1.0 | 2.1.0 | 1.14.0 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) | 343 | 338 | 338 |  -  | 
| Zeppelin | 0.9.0-preview1 | 0.9.0-preview1 | 0.9.0-preview1 | 0.9.0-SNAPSHOT | 
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 

## Notas da versão 6.2.0
<a name="emr-620-relnotes"></a>

As notas da versão a seguir incluem informações para a versão 6.2.0 do Amazon EMR. As alterações são referentes à versão 6.1.0.

Data da versão inicial: 9 de dezembro de 2020

Data da última atualização: 4 de outubro de 2021

**Aplicações compatíveis**
+ AWS SDK para Java versão 1.11.828
+ emr-record-server versão 1.7.0
+ Flink versão 1.11.2
+ Ganglia versão 3.7.2
+ Hadoop versão 3.2.1-amzn-1
+ HBase versão 2.2.6-amzn-0
+ HBase-operator-tools 1.0.0
+ HCatalog versão 3.1.2-amzn-0
+ Hive versão 3.1.2-amzn-3
+ Hudi versão 0.6.0-amzn-1
+ Hue versão 4.8.0
+ JupyterHub versão 1.1.0
+ Livy versão 0.7.0
+ MXNet versão 1.7.0
+ Oozie versão 5.2.0
+ Phoenix versão 5.0.0
+ Pig versão 0.17.0
+ Presto versão 0.238.3-amzn-1
+ PrestoSQL versão 343
+ Spark versão 3.0.1-amzn-0
+ spark-rapids 0.2.0
+ TensorFlow versão 2.3.1
+ Zeppelin versão 0.9.0-preview1
+ Zookeeper versão 3.4.14
+ Conectores e drivers: DynamoDB Connector 4.16.0

**Novos recursos**
+ HBase: a renomeação foi removida na fase de confirmação e o HFile rastreamento persistente foi adicionado. Consulte [ HFile Rastreamento persistente](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hbase-s3.html#emr-hbase-s3-hfile-tracking) no *Guia de lançamento do Amazon EMR.*
+ HBase: Backported [Crie uma configuração que força o armazenamento em cache dos blocos na compactação](https://issues.apache.org/jira/browse/HBASE-23066).
+ PrestoDB: melhorias na remoção dinâmica de partições. O Join Reorder baseado em regras funciona em dados não particionados.
+ Políticas gerenciadas com escopo definido: para se alinhar às AWS melhores práticas, o Amazon EMR introduziu políticas gerenciadas padrão com escopo do EMR v2 como substitutas das políticas que serão descontinuadas. Consulte as [políticas gerenciadas do Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-managed-iam-policies.html).
+ Status de suporte do Instance Metadata Service (IMDS) V2: Para o Amazon EMR 6.2 ou posterior, os componentes do Amazon EMR são usados para todas as chamadas do IMDS. IMDSv2 Para chamadas IMDS no código do aplicativo, você pode usar ambos IMDSv1 e IMDSv2, ou configurar o IMDS para uso somente IMDSv2 para aumentar a segurança. Se você desabilitar IMDSv1 em versões anteriores do Amazon EMR 6.x, isso causará uma falha na inicialização do cluster.

**Alterações, melhorias e problemas resolvidos**
+ Esta é uma versão para corrigir problemas com o Amazon EMR Scaling quando ele não consegue up/scale reduzir a escala de um cluster com sucesso ou causa falhas no aplicativo.
+ Corrigido um problema em que as solicitações de escalabilidade falhavam em um cluster grande e altamente utilizado quando os daemons do Amazon EMR no cluster estavam executando atividades de verificação de integridade, como a coleta do estado do nó do YARN e o estado do nó do HDFS. Isso estava acontecendo porque os daemons no cluster não conseguiam comunicar os dados do status de integridade de um nó aos componentes internos do Amazon EMR.
+ Aprimorados os daemons do EMR no cluster para rastrear corretamente os estados dos nós quando são reutilizados endereços IP para melhorar a confiabilidade durante operações de escalabilidade.
+ [SPARK-29683](https://issues.apache.org/jira/browse/SPARK-29683). Corrigido um problema em que ocorriam falhas de trabalho durante a redução da escala verticalmente do cluster, pois o Spark presumia que todos os nós disponíveis estavam na lista de negação.
+ [YARN-9011](https://issues.apache.org/jira/browse/YARN-9011). Corrigido um problema em que ocorriam falhas de trabalho devido a uma condição de corrida na desativação do YARN quando o cluster tentava aumentar ou reduzir a escala verticalmente.
+ Corrigido problema com falhas de etapas ou tarefas durante a escalabilidade do cluster ao ser garantido que os estados dos nós fossem sempre consistentes entre os daemons do Amazon EMR no cluster e o YARN/HDFS.
+ Corrigido um problema em que operações de cluster, como redução de escala verticalmente e envio de etapas, falhavam para clusters do Amazon EMR habilitados com a autenticação Kerberos. Isso ocorreu porque o daemon no cluster do Amazon EMR não renovou o tíquete Kerberos, que é necessário para se comunicar com segurança com a execução no nó primário. HDFS/YARN 
+ As versões mais recentes do Amazon EMR corrigem o problema com um limite menor de “Máximo de arquivos abertos” em relação às versões mais antigas AL2 no Amazon EMR. As versões 5.30.1, 5.30.2, 5.31.1, 5.32.1, 6.0.1, 6.1.1, 6.2.1, 5.33.0, 6.3.0 e posteriores do Amazon EMR agora incluem uma correção permanente com uma configuração mais alta de “Máximo de arquivos abertos”.
+ Spark: melhorias de performance no runtime do Spark.

**Problemas conhecidos**
+ O Amazon EMR 6.2 tem permissões incorretas definidas no diretório/etc/cron.d/libinstance-controller-java file in EMR 6.2.0. Permissions on the file are 645 (-rw-r--r-x), when they should be 644 (-rw-r--r--). As a result, Amazon EMR version 6.2 does not log instance-state logs, and the /emr/instance-logs vazio. Esse problema foi corrigido nas versões 6.3.0 e posteriores do Amazon EMR.

  Para contornar esse problema, execute o script a seguir como uma ação de bootstrap na inicialização do cluster. 

  ```
  #!/bin/bash
  sudo chmod 644 /etc/cron.d/libinstance-controller-java
  ```
+ Para clusters de sub-rede privados do Amazon EMR 6.2.0 e 6.3.0, você não pode acessar a interface do usuário da Web do Ganglia. Você receberá um erro de “acesso negado (403)”. Outros sites UIs, como Spark, Hue, Zeppelin JupyterHub, Livy e Tez, estão funcionando normalmente. O acesso à interface do usuário da Web do Ganglia em clusters de sub-redes públicas também está funcionando normalmente. Para resolver esse problema, reinicie o serviço httpd no nó primário com `sudo systemctl restart httpd`. Esse problema foi corrigido na versão 6.4.0 do Amazon EMR.
+ Há um problema no Amazon EMR 6.2.0 em que o httpd falha continuamente, fazendo com que o Ganglia fique indisponível. Você recebe a mensagem de erro “cannot connect to the server”. Para corrigir um cluster que já está em execução com esse problema, use SSH no nó primário do cluster e adicione a linha `Listen 80` ao arquivo `httpd.conf` localizado em `/etc/httpd/conf/httpd.conf`. Esse problema foi corrigido na versão 6.3.0 do Amazon EMR.
+ O HTTPD apresenta falha nos clusters do EMR 6.2.0 quando é usada uma configuração de segurança. Isso faz com que a interface de usuário da aplicação Web do Ganglia fique indisponível. Para acessar a interface de usuário da aplicação Web do Ganglia, adicione `Listen 80` ao arquivo `/etc/httpd/conf/httpd.conf` no nó primário do cluster. Para obter mais informações sobre como se conectar ao cluster, consulte [Connect to the Primary Node Using SSH](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-connect-master-node-ssh.html).

  Os Cadernos do EMR também não conseguem estabelecer uma conexão com clusters do EMR 6.2.0 quando você usa uma configuração de segurança. O caderno não conseguirá listar os kernels e enviar trabalhos do Spark. Em vez disso, recomendamos que você use os Cadernos do EMR com outra versão do Amazon EMR.
+ **Limite inferior de “Máximo de arquivos abertos” em versões mais antigas AL2 [corrigido em versões mais recentes].** Versões do Amazon EMR: emr-5.30.x, emr-5.31.0, emr-5.32.0, emr-6.0.0, emr-6.1.0 e emr-6.2.0 são baseadas em versões mais antigas do Amazon Linux 2 (), que AL2 têm uma configuração de limite inferior para “Máximo de arquivos abertos” quando clusters do Amazon EMR são criados com a AMI padrão. As versões 5.30.1, 5.30.2, 5.31.1, 5.32.1, 6.0.1, 6.1.1, 6.2.1, 5.33.0, 6.3.0 e posteriores do Amazon EMR incluem uma correção permanente com uma configuração mais alta de “Máximo de arquivos abertos”. Versões com o limite inferior de arquivos abertos causam o erro “Muitos arquivos abertos” ao ser enviado um trabalho do Spark. Nas versões afetadas, a AMI padrão do Amazon EMR tem uma configuração de ulimit padrão de 4096 para “Máximo de arquivos abertos”, que é inferior ao limite de 65536 arquivos na AMI mais recente do Amazon Linux 2. A configuração inferior de ulimit para “Máximo de arquivos abertos” causa falhas em trabalhos do Spark quando o driver e o executor do Spark tentam abrir mais de 4096 arquivos. Para corrigir o problema, o Amazon EMR tem um script de ação de bootstrap (BA) que ajusta a configuração de ulimit na criação do cluster. 

  Se você está usando uma versão mais antiga do Amazon EMR que não tem a correção permanente para esse problema, a solução alternativa a seguir permite que você defina explicitamente o ulimit instance-controller para um máximo de 65536 arquivos.

**Defina explicitamente um ulimit na linha de comando**

  1. Edite `/etc/systemd/system/instance-controller.service` para adicionar os seguintes parâmetros à seção Serviço.

     `LimitNOFILE=65536`

     `LimitNPROC=65536`

  1. Reiniciar InstanceController

     `$ sudo systemctl daemon-reload`

     `$ sudo systemctl restart instance-controller`

  **Defina um ulimit usando a ação de bootstrap (BA)**

  Você também pode usar um script de ação de bootstrap (BA) para configurar o ulimit instance-controller para 65536 arquivos na criação do cluster.

  ```
  #!/bin/bash
  for user in hadoop spark hive; do
  sudo tee /etc/security/limits.d/$user.conf << EOF
  $user - nofile 65536
  $user - nproc 65536
  EOF
  done
  for proc in instancecontroller logpusher; do
  sudo mkdir -p /etc/systemd/system/$proc.service.d/
  sudo tee /etc/systemd/system/$proc.service.d/override.conf << EOF
  [Service]
  LimitNOFILE=65536
  LimitNPROC=65536
  EOF
  pid=$(pgrep -f aws157.$proc.Main)
  sudo prlimit --pid $pid --nofile=65535:65535 --nproc=65535:65535
  done
  sudo systemctl daemon-reload
  ```
+ 
**Importante**  
O Amazon EMR 6.1.0 e 6.2.0 incluem um problema de performance que pode afetar criticamente todas as operações de inserção, upsert e exclusão do Hudi. Se você planeja usar o Hudi com o Amazon EMR 6.1.0 ou 6.2.0, entre em AWS contato com o suporte para obter um Hudi RPM corrigido.
+ 
**Importante**  
Os clusters do EMR que executam imagens de máquina da Amazon (AMIs) do Amazon Linux ou do Amazon Linux 2 usam o comportamento padrão do Amazon Linux e não baixam nem instalam automaticamente atualizações importantes e críticas do kernel que exigem reinicialização. É o mesmo comportamento de outras instâncias do Amazon EC2 que executam a AMI padrão do Amazon Linux. Se novas atualizações de software do Amazon Linux que exigem reinicialização (como atualizações do kernel, NVIDIA e CUDA) forem disponibilizadas após o lançamento de uma versão do Amazon EMR, as instâncias de cluster do Amazon EMR que executam a AMI padrão não baixarão nem instalarão essas atualizações automaticamente. Para obter atualizações do kernel, você pode [personalizar sua AMI do Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-custom-ami.html) para [usar a AMI do Amazon Linux mais recente](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/finding-an-ami.html).
+ Os artefatos do Maven do Amazon EMR 6.2.0 não são publicados. Eles serão publicados com uma versão futura do Amazon EMR.
+ O HFile rastreamento persistente usando a tabela do sistema HBase storefile não oferece suporte ao recurso de replicação da HBase região. Para obter mais informações sobre a replicação HBase da região, consulte Leituras de alta disponibilidade [consistentes com o cronograma](http://hbase.apache.org/book.html#arch.timelineconsistent.reads).
+ Diferenças entre as versões de bucketing do Amazon EMR 6.x e do EMR 5.x Hive

  O EMR 5.x usa o OOS Apache Hive 2, enquanto o EMR 6.x usa o OOS Apache Hive 3. O Hive2 de código aberto usa o Bucketing versão 1, enquanto o Hive3 de código aberto usa o Bucketing versão 2. Essa diferença de versão de bucketing entre o Hive 2 (EMR 5.x) e o Hive 3 (EMR 6.x) significa que o hash de bucketing do Hive funciona de uma forma diferente. Veja o exemplo abaixo.

  A tabela a seguir é um exemplo criado no EMR 6.x e no EMR 5.x, respectivamente.

  ```
  -- Using following LOCATION in EMR 6.x
  CREATE TABLE test_bucketing (id INT, desc STRING)
  PARTITIONED BY (day STRING)
  CLUSTERED BY(id) INTO 128 BUCKETS
  LOCATION 's3://your-own-s3-bucket/emr-6-bucketing/';
  
  -- Using following LOCATION in EMR 5.x 
  LOCATION 's3://your-own-s3-bucket/emr-5-bucketing/';
  ```

  Inserir os mesmos dados no EMR 6.x e no EMR 5.x.

  ```
  INSERT INTO test_bucketing PARTITION (day='01') VALUES(66, 'some_data');
  INSERT INTO test_bucketing PARTITION (day='01') VALUES(200, 'some_data');
  ```

  A verificação da localização do S3 mostra que o nome do arquivo de bucketing é diferente, pois a função de hash é diferente entre o EMR 6.x (Hive 3) e o EMR 5.x (Hive 2).

  ```
  [hadoop@ip-10-0-0-122 ~]$ aws s3 ls s3://your-own-s3-bucket/emr-6-bucketing/day=01/
  2020-10-21 20:35:16         13 000025_0
  2020-10-21 20:35:22         14 000121_0
  [hadoop@ip-10-0-0-122 ~]$ aws s3 ls s3://your-own-s3-bucket/emr-5-bucketing/day=01/
  2020-10-21 20:32:07         13 000066_0
  2020-10-21 20:32:51         14 000072_0
  ```

  Você também pode ver a diferença de versão executando o comando a seguir na CLI do Hive no EMR 6.x. Observe que ele retorna a versão 2 do bucketing.

  ```
  hive> DESCRIBE FORMATTED test_bucketing;
  ...
  Table Parameters:
      bucketing_version       2
  ...
  ```
+ Problema conhecido em clusters com vários nós primários e autenticação Kerberos

  Se você executar clusters com vários nós primários e autenticação Kerberos nas versões 5.20.0 e posteriores do Amazon EMR, poderá encontrar problemas nas operações de cluster, como redução da escala verticalmente ou envio de etapas depois que o cluster estiver em execução por algum tempo. O período depende do período de validade do tíquete do Kerberos que você definiu. O problema de redução da escala verticalmente afeta tanto as solicitações de redução automática quanto as de reduções explícitas que você enviou. Operações adicionais de cluster também podem ser afetadas. 

  Solução:
  + SSH como usuário do `hadoop` para o nó primário de liderança do cluster do EMR com vários nós primários.
  +  Execute o comando a seguir para renovar o tíquete do Kerberos para o usuário do `hadoop`. 

    ```
    kinit -kt <keytab_file> <principal>
    ```

    Normalmente, o arquivo keytab está localizado em `/etc/hadoop.keytab` e a entidade principal está na forma de `hadoop/<hostname>@<REALM>`.
**nota**  
Essa solução alternativa entrará em vigor durante o período de validade do tíquete do Kerberos. Essa duração é de 10 horas por padrão, mas pode ser configurada pelas definições do Kerberos. Você deve executar novamente o comando acima quando o tíquete do Kerberos expirar.
+ Quando você usa o Spark com a formatação de localização de partições do Hive para ler dados no Amazon S3 e executa o Spark nas versões 5.30.0 a 5.36.0 e 6.2.0 a 6.9.0 do Amazon EMR, pode encontrar um problema que impede que o cluster leia os dados corretamente. Isso poderá acontecer se suas partições tiverem todas as características a seguir:
  + Duas ou mais partições são verificadas na mesma tabela.
  + Pelo menos um caminho de diretório de partição é um prefixo de pelo menos outro caminho de diretório de partição, por exemplo, `s3://bucket/table/p=a` é um prefixo de `s3://bucket/table/p=a b`.
  + O primeiro caractere que segue o prefixo no outro diretório de partição tem um valor UTF-8 menor que o caractere `/` (U\$1002F). Por exemplo, o caractere de espaço (U\$10020) que ocorre entre a e b em `s3://bucket/table/p=a b` se enquadra nessa categoria. Observe que existem 14 outros caracteres que não são de controle: `!"#$%&‘()*+,-`. Para obter mais informações, consulte [Tabela de codificação UTF-8 e caracteres Unicode](https://www.utf8-chartable.de/).

  Como solução alternativa para esse problema, defina a configuração `spark.sql.sources.fastS3PartitionDiscovery.enabled` como `false` na classificação `spark-defaults`.

## Versões de componente 6.2.0
<a name="emr-620-components"></a>

Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.

Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.


| Componente | Versão | Description | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.4.1 | SDK do Amazon SageMaker Spark | 
| emr-ddb | 4.16.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. | 
| emr-goodies | 3.1.0 | Bibliotecas convenientes para o ecossistema do Hadoop. | 
| emr-kinesis | 3.5.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. | 
| emr-notebook-env | 1.0.0 | Ambiente Conda para bloco de anotações do emr, que inclui o jupyter enterprise gateway | 
| emr-s3-dist-cp | 2.16.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. | 
| emr-s3-select | 2.0.0 | EMR S3Select Connector | 
| emrfs | 2.44.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. | 
| flink-client | 1.11.2 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. | 
| flink-jobmanager-config | 1.11.2 | Gerenciando recursos nos nós do EMR para o Apache Flink. JobManager | 
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. | 
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. | 
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. | 
| hadoop-client | 3.2.1-amzn-2 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. | 
| hadoop-hdfs-datanode | 3.2.1-amzn-2 | O serviço de nível de nó do HDFS para armazenamento de blocos. | 
| hadoop-hdfs-library | 3.2.1-amzn-2 | O cliente de linha de comando e biblioteca do HDFS | 
| hadoop-hdfs-namenode | 3.2.1-amzn-2 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. | 
| hadoop-hdfs-journalnode | 3.2.1-amzn-2 | O serviço do HDFS para gerenciar o lançamento de arquivos do Hadoop em clusters de HA. | 
| hadoop-httpfs-server | 3.2.1-amzn-2 | O endpoint de HTTP para as operações do HDFS. | 
| hadoop-kms-server | 3.2.1-amzn-2 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider  | 
| hadoop-mapred | 3.2.1-amzn-2 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. | 
| hadoop-yarn-nodemanager | 3.2.1-amzn-2 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. | 
| hadoop-yarn-resourcemanager | 3.2.1-amzn-2 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. | 
| hadoop-yarn-timeline-server | 3.2.1-amzn-2 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. | 
| hbase-hmaster | 2.2.6-amzn-0 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. | 
| hbase-region-server | 2.2.6-amzn-0 | Serviço para atender a uma ou mais HBase regiões. | 
| hbase-client | 2.2.6-amzn-0 | HBase cliente de linha de comando. | 
| hbase-rest-server | 2.2.6-amzn-0 | Serviço que fornece um endpoint RESTful HTTP para HBase. | 
| hbase-thrift-server | 2.2.6-amzn-0 | Serviço que fornece um endpoint Thrift para. HBase | 
| hcatalog-client | 3.1.2-amzn-3 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. | 
| hcatalog-server | 3.1.2-amzn-3 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. | 
| hcatalog-webhcat-server | 3.1.2-amzn-3 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. | 
| hive-client | 3.1.2-amzn-3 | O cliente da linha de comando do Hive. | 
| hive-hbase | 3.1.2-amzn-3 | Cliente do Hive-hbase. | 
| hive-metastore-server | 3.1.2-amzn-3 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. | 
| hive-server2 | 3.1.2-amzn-3 | O serviço que aceita as consultas do Hive como solicitações da web. | 
| hudi | 0.6.0-amzn-1 | Estrutura de processamento incremental para alimentar o pipeline de dados com baixa latência e alta eficiência. | 
| hudi-presto | 0.6.0-amzn-1 | Biblioteca de pacotes para executar o Presto com o Hudi. | 
| hudi-prestosql | 0.6.0-amzn-1 | Biblioteca de pacotes para executar o PrestoSQL com o Hudi. | 
| hudi-spark | 0.6.0-amzn-1 | Biblioteca de pacotes para executar o Spark com o Hudi. | 
| hue-server | 4.8.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop | 
| jupyterhub | 1.1.0 | Servidor de vários usuários para blocos de anotações Jupyter | 
| livy-server | 0.7.0-incubating | Interface REST para interagir com o Apache Spark | 
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP | 
| mxnet | 1.7.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. | 
| mariadb-server | 5.5.64\$1 | Servidor de banco de dados MariaDB. | 
| nvidia-cuda | 10.1.243 | Drivers NVIDIA e toolkit CUDA | 
| oozie-client | 5.2.0 | O cliente da linha de comando do Oozie. | 
| oozie-server | 5.2.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. | 
| opencv | 4.4.0 | Biblioteca de Visão Computacional de Código Aberto. | 
| phoenix-library | 5.0.0- HBase -2,0 | As bibliotecas do phoenix para servidor e cliente | 
| phoenix-query-server | 5.0.0- HBase -2,0 | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica  | 
| presto-coordinator | 0.238.3-amzn-1 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. | 
| presto-worker | 0.238.3-amzn-1 | O serviço que executa partes de uma consulta. | 
| presto-client | 0.238.3-amzn-1 | Cliente de linha de comando do Presto instalado em mestres de espera de um cluster de alta disponibilidade em que o servidor do Presto não é iniciado. | 
| prestosql-coordinator | 343 | O serviço que aceita consultas e gerencia a execução de consultas entre os prestosql-workers. | 
| prestosql-worker | 343 | O serviço que executa partes de uma consulta. | 
| prestosql-client | 343 | Cliente de linha de comando do Presto instalado em mestres de espera de um cluster de alta disponibilidade em que o servidor do Presto não é iniciado. | 
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. | 
| r | 3.4.3 | O projeto R para computação estatística | 
| ranger-kms-server | 2.0.0 | Sistema de gerenciamento de chaves Apache Ranger | 
| spark-client | 3.0.1-amzn-0 | Os clientes da linha de comando do Spark. | 
| spark-history-server | 3.0.1-amzn-0 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. | 
| spark-on-yarn | 3.0.1-amzn-0 | O mecanismo de execução em memória para o YARN. | 
| spark-yarn-slave | 3.0.1-amzn-0 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. | 
| spark-rapids | 0.2.0 | Plugin Nvidia Spark RAPIDS que acelera o Apache Spark com o. GPUs | 
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. | 
| tensorflow | 2.3.1 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. | 
| tez-on-yarn | 0.9.2 | O aplicativo e as bibliotecas do YARN para Tez. | 
| webserver | 2.4.41\$1 | O servidor Apache HTTP. | 
| zeppelin-server | 0.9.0-preview1 | O notebook baseado na web que permite um data analytics interativo. | 
| zookeeper-server | 3.4.14 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. | 
| zookeeper-client | 3.4.14 | ZooKeeper cliente de linha de comando. | 

## Classificações de configuração 6.2.0
<a name="emr-620-class"></a>

As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).

Ocorrem ações de reconfiguração quando você especifica uma configuração para grupos de instâncias em um cluster em execução. O Amazon EMR só inicia ações de reconfiguração para as classificações que você modifica. Para obter mais informações, consulte [Reconfigurar um grupo de instâncias de um cluster em execução](emr-configure-apps-running-cluster.md).


**Classificações do emr-6.2.0**  

| Classificações | Description | Ações de reconfiguração | 
| --- | --- | --- | 
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. | Restarts the ResourceManager service. | 
| container-executor | Alterar os valores no arquivo container-executor.cfg do YARN do Hadoop. | Not available. | 
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. | Not available. | 
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| docker-conf | Alterar as configurações relacionadas ao docker. | Not available. | 
| emrfs-site | Alterar as configurações do EMRFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| flink-conf | Alterar as configurações do flink-conf.yaml. | Not available. | 
| flink-log4j | Alterar as configurações de log4j.properties no Flink. | Not available. | 
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. | Not available. | 
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. | Not available. | 
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. | 
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. | 
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop | Not available. | 
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop | Not available. | 
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. | 
| hbase-env | Mude os valores no HBase ambiente. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. | 
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. | Not available. | 
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. | 
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. | This classification should not be reconfigured. | 
| hdfs-env | Alterar os valores no ambiente do HDFS. | Restarts Hadoop HDFS ZKFC. | 
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. | 
| hcatalog-env | Mude os valores no HCatalog ambiente. | Restarts Hive HCatalog Server. | 
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. | Restarts Hive HCatalog Server. | 
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. | Restarts Hive HCatalog Server. | 
| hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. | Restarts Hive WebHCat server. | 
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. | Restarts Hive WebHCat server. | 
| hive | As configurações administradas pelo Amazon EMR para o Apache Hive. | Sets configurations to launch Hive LLAP service. | 
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. | Not available. | 
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. | Not available. | 
| hive-env | Alterar os valores no ambiente do Hive. | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. | 
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. | Not available. | 
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. | Not available. | 
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. | Not available. | 
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. | 
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. | Not available. | 
| hue-ini | Alterar os valores no arquivo ini do Hue | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. | 
| httpfs-env | Alterar os valores no ambiente do HTTPFS. | Restarts Hadoop Httpfs service. | 
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. | Restarts Hadoop Httpfs service. | 
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. | Not available. | 
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. | Restarts Hadoop-KMS service. | 
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. | Not available. | 
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. | Restarts Hadoop-KMS and Ranger-KMS service. | 
| hudi-env | Altere os valores no ambiente do Hudi. | Not available. | 
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. | Not available. | 
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. | Not available. | 
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. | Not available. | 
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. | Not available. | 
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. | Restarts Livy Server. | 
| livy-env | Alterar os valores no ambiente do Livy. | Restarts Livy Server. | 
| livy-log4j | Alterar as configurações de log4j.properties no Livy. | Restarts Livy Server. | 
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. | 
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. | Restarts Hadoop MapReduce-HistoryServer. | 
| oozie-env | Alterar os valores no ambiente do Oozie. | Restarts Oozie. | 
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. | Restarts Oozie. | 
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. | Restarts Oozie. | 
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. | Not available. | 
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. | Not available. | 
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. | Restarts Phoenix-QueryServer. | 
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. | Not available. | 
| pig-env | Alterar os valores no ambiente do Pig. | Not available. | 
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. | Restarts Oozie. | 
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. | Not available. | 
| presto-log | Alterar os valores no arquivo log.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-config | Alterar os valores no arquivo config.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. | Not available. | 
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-node | Altere os valores no arquivo node.properties do Presto. | Not available. | 
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. | Not available. | 
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. | Not available. | 
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. | Restarts Presto-Server (for PrestoDB) | 
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. | Not available. | 
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. | Not available. | 
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. | Not available. | 
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. | Not available. | 
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. | Not available. | 
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. | Not available. | 
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. | Not available. | 
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. | Not available. | 
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. | Not available. | 
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. | Not available. | 
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. | Not available. | 
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. | Not available. | 
| prestosql-log | Alterar os valores no arquivo log.properties do Presto. | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-config | Alterar os valores no arquivo config.properties do Presto. | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-env | Altere os valores no arquivo presto-env.sh do Presto. | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-node | Alterar os valores no arquivo node.properties do PrestoSQL. | Not available. | 
| prestosql-connector-blackhole | Alterar os valores no arquivo blackhole.properties do PrestoSQL. | Not available. | 
| prestosql-connector-cassandra | Alterar os valores no arquivo cassandra.properties do PrestoSQL. | Not available. | 
| prestosql-connector-hive | Alterar os valores no arquivo hive.properties do PrestoSQL. | Restarts Presto-Server (for PrestoSQL) | 
| prestosql-connector-jmx | Alterar os valores no arquivo jmx.properties do PrestoSQL. | Not available. | 
| prestosql-connector-kafka | Alterar os valores no arquivo kafka.properties do PrestoSQL. | Not available. | 
| prestosql-connector-localfile | Alterar os valores no arquivo localfile.properties do PrestoSQL. | Not available. | 
| prestosql-connector-memory | Alterar os valores no arquivo memory.properties do PrestoSQL. | Not available. | 
| prestosql-connector-mongodb | Alterar os valores no arquivo mongodb.properties do PrestoSQL. | Not available. | 
| prestosql-connector-mysql | Alterar os valores no arquivo mysql.properties do PrestoSQL. | Not available. | 
| prestosql-connector-postgresql | Alterar os valores no arquivo postgresql.properties do PrestoSQL. | Not available. | 
| prestosql-connector-raptor | Alterar os valores no arquivo raptor.properties do PrestoSQL. | Not available. | 
| prestosql-connector-redis | Alterar os valores no arquivo redis.properties do PrestoSQL. | Not available. | 
| prestosql-connector-redshift | Alterar os valores no arquivo de propriedades redshift do PrestoSQL. | Not available. | 
| prestosql-connector-tpch | Alterar os valores no arquivo tpch.properties do PrestoSQL. | Not available. | 
| prestosql-connector-tpcds | Alterar os valores no arquivo tpcds.properties do PrestoSQL. | Not available. | 
| ranger-kms-dbks-site | Altere os valores no arquivo dbks-site.xml do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-site | Altere os valores no ranger-kms-site arquivo.xml do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-env | Altere os valores no ambiente do Ranger KMS. | Restarts Ranger KMS Server. | 
| ranger-kms-log4j | Altere os valores no arquivo kms-log4j.properties do Ranger KMS. | Not available. | 
| ranger-kms-db-ca | Altere os valores do arquivo CA no S3 para conexão SSL do MySQL com o Ranger KMS. | Not available. | 
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. | This property modifies spark-defaults. See actions there. | 
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-env | Alterar os valores no ambiente do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. | Not available. | 
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. | Restarts Spark history server and Spark thrift server. | 
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. | Restarts Spark history server and Spark thrift server. | 
| sqoop-env | Alterar os valores no ambiente do Sqoop. | Not available. | 
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. | Not available. | 
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. | Not available. | 
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. | Restart Oozie. | 
| yarn-env | Alterar os valores no ambiente do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. | 
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. | 
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. | Restarts Zeppelin. | 
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. | Restarts Zookeeper server. | 
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. | Restarts Zookeeper server. | 

# Versão 6.1.1 do Amazon EMR
<a name="emr-611-release"></a>

## Versões 6.1.1 da aplicação
<a name="emr-611-app-versions"></a>

Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://prestosql.io/](https://prestosql.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).

A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).

Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)


**Informações da versão da aplicação**  

|  | emr-6.1.1 | emr-6.1.0 | emr-6.0.1 | emr-6.0.0 | 
| --- | --- | --- | --- | --- | 
| AWS SDK for Java | 1.11.828 | 1.11.828 | 1.11.711 | 1.11.711 | 
| Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 
| Scala | 2.12.10 | 2.12.10 | 2.12.10 | 2.11.12 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.11.0 | 1.11.0 |  -  |  -  | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.2.5 | 2.2.5 | 2.2.3 | 2.2.3 | 
| HCatalog | 3.1.2-amzn-2 | 3.1.2-amzn-2 | 3.1.2-amzn-0 | 3.1.2-amzn-0 | 
| Hadoop | 3.2.1-amzn-1.1 | 3.2.1-amzn-1 | 3.2.1-amzn-0.1 | 3.2.1-amzn-0 | 
| Hive | 3.1.2-amzn-2 | 3.1.2-amzn-2 | 3.1.2-amzn-0 | 3.1.2-amzn-0 | 
| Hudi | 0.5.2-incubating-amzn-2 | 0.5.2-incubating-amzn-2 | 0.5.0-incubating-amzn-1 | 0.5.0-incubating-amzn-1 | 
| Hue | 4.7.1 | 4.7.1 | 4.4.0 | 4.4.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub | 1.1.0 | 1.1.0 | 1.0.0 | 1.0.0 | 
| Livy | 0.7.0-incubating | 0.7.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 
| MXNet | 1.6.0 | 1.6.0 | 1.5.1 | 1.5.1 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.0 | 5.2.0 | 5.1.0 | 5.1.0 | 
| Phoenix | 5.0.0- HBase -2,0 | 5.0.0- HBase -2,0 | 5.0.0- HBase -2,0 | 5.0.0- HBase -2,0 | 
| Pig | 0.17.0 | 0.17.0 |  -  |  -  | 
| Presto | 0.232 | 0.232 | 0.230 | 0.230 | 
| Spark | 3.0.0-amzn-0.1 | 3.0.0-amzn-0 | 2.4.4 | 2.4.4 | 
| Sqoop | 1.4.7 | 1.4.7 |  -  |  -  | 
| TensorFlow | 2.1.0 | 2.1.0 | 1.14.0 | 1.14.0 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) | 338 | 338 |  -  |  -  | 
| Zeppelin | 0.9.0-preview1 | 0.9.0-preview1 | 0.9.0-SNAPSHOT | 0.9.0-SNAPSHOT | 
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 

## Notas da versão 6.1.1
<a name="emr-611-relnotes"></a>

Esta é uma versão para corrigir problemas com o Amazon EMR Scaling quando ele não consegue up/scale reduzir a escala de um cluster com sucesso ou causa falhas no aplicativo.

**Alterações, melhorias e problemas resolvidos**
+ Corrigido um problema em que as solicitações de escalabilidade falhavam em um cluster grande e altamente utilizado quando os daemons do Amazon EMR no cluster estavam executando atividades de verificação de integridade, como a coleta do estado do nó do YARN e o estado do nó do HDFS. Isso estava acontecendo porque os daemons no cluster não conseguiam comunicar os dados do status de integridade de um nó aos componentes internos do Amazon EMR.
+ Aprimorados os daemons do EMR no cluster para rastrear corretamente os estados dos nós quando são reutilizados endereços IP para melhorar a confiabilidade durante operações de escalabilidade.
+ [SPARK-29683](https://issues.apache.org/jira/browse/SPARK-29683). Corrigido um problema em que ocorriam falhas de trabalho durante a redução da escala verticalmente do cluster, pois o Spark presumia que todos os nós disponíveis estavam na lista de negação.
+ [YARN-9011](https://issues.apache.org/jira/browse/YARN-9011). Corrigido um problema em que ocorriam falhas de trabalho devido a uma condição de corrida na desativação do YARN quando o cluster tentava aumentar ou reduzir a escala verticalmente.
+ Corrigido problema com falhas de etapas ou tarefas durante a escalabilidade do cluster ao ser garantido que os estados dos nós fossem sempre consistentes entre os daemons do Amazon EMR no cluster e o YARN/HDFS.
+ Corrigido um problema em que operações de cluster, como redução de escala verticalmente e envio de etapas, falhavam para clusters do Amazon EMR habilitados com a autenticação Kerberos. Isso ocorreu porque o daemon no cluster do Amazon EMR não renovou o tíquete Kerberos, que é necessário para se comunicar com segurança com a execução no nó primário. HDFS/YARN 
+ As versões mais recentes do Amazon EMR corrigem o problema com um limite menor de “Máximo de arquivos abertos” em relação às versões mais antigas AL2 no Amazon EMR. As versões 5.30.1, 5.30.2, 5.31.1, 5.32.1, 6.0.1, 6.1.1, 6.2.1, 5.33.0, 6.3.0 e posteriores do Amazon EMR agora incluem uma correção permanente com uma configuração mais alta de “Máximo de arquivos abertos”.
+ O HTTPS agora está habilitado por padrão para repositórios do Amazon Linux. Se você estiver usando uma política de VPCE do Amazon S3 para restringir o acesso a buckets específicos, deverá adicionar o novo ARN `arn:aws:s3:::amazonlinux-2-repos-$region/*` do bucket do Amazon Linux à sua política (substitua `$region` pela região em que o endpoint está situado). Para obter mais informações, consulte esse tópico nos fóruns de AWS discussão. [Anúncio: o Amazon Linux 2 agora oferece suporte à capacidade de usar HTTPS ao se conectar a repositórios de pacotes ](https://forums.aws.amazon.com/ann.jspa?annID=8528). 

## Versões de componente 6.1.1
<a name="emr-611-components"></a>

Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.

Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.


| Componente | Versão | Description | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.3.0 | SDK do Amazon SageMaker Spark | 
| emr-ddb | 4.14.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. | 
| emr-goodies | 3.1.0 | Bibliotecas convenientes para o ecossistema do Hadoop. | 
| emr-kinesis | 3.5.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. | 
| emr-s3-dist-cp | 2.14.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. | 
| emr-s3-select | 2.0.0 | EMR S3Select Connector | 
| emrfs | 2.42.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. | 
| flink-client | 1.11.0 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. | 
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. | 
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. | 
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. | 
| hadoop-client | 3.2.1-amzn-1.1 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. | 
| hadoop-hdfs-datanode | 3.2.1-amzn-1.1 | O serviço de nível de nó do HDFS para armazenamento de blocos. | 
| hadoop-hdfs-library | 3.2.1-amzn-1.1 | O cliente de linha de comando e biblioteca do HDFS | 
| hadoop-hdfs-namenode | 3.2.1-amzn-1.1 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. | 
| hadoop-hdfs-journalnode | 3.2.1-amzn-1.1 | O serviço do HDFS para gerenciar o lançamento de arquivos do Hadoop em clusters de HA. | 
| hadoop-httpfs-server | 3.2.1-amzn-1.1 | O endpoint de HTTP para as operações do HDFS. | 
| hadoop-kms-server | 3.2.1-amzn-1.1 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider  | 
| hadoop-mapred | 3.2.1-amzn-1.1 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. | 
| hadoop-yarn-nodemanager | 3.2.1-amzn-1.1 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. | 
| hadoop-yarn-resourcemanager | 3.2.1-amzn-1.1 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. | 
| hadoop-yarn-timeline-server | 3.2.1-amzn-1.1 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. | 
| hbase-hmaster | 2.2.5 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. | 
| hbase-region-server | 2.2.5 | Serviço para atender a uma ou mais HBase regiões. | 
| hbase-client | 2.2.5 | HBase cliente de linha de comando. | 
| hbase-rest-server | 2.2.5 | Serviço que fornece um endpoint RESTful HTTP para HBase. | 
| hbase-thrift-server | 2.2.5 | Serviço que fornece um endpoint Thrift para. HBase | 
| hcatalog-client | 3.1.2-amzn-2 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. | 
| hcatalog-server | 3.1.2-amzn-2 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. | 
| hcatalog-webhcat-server | 3.1.2-amzn-2 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. | 
| hive-client | 3.1.2-amzn-2 | O cliente da linha de comando do Hive. | 
| hive-hbase | 3.1.2-amzn-2 | Cliente do Hive-hbase. | 
| hive-metastore-server | 3.1.2-amzn-2 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. | 
| hive-server2 | 3.1.2-amzn-2 | O serviço que aceita as consultas do Hive como solicitações da web. | 
| hudi | 0.5.2-incubating-amzn-2 | Estrutura de processamento incremental para alimentar o pipeline de dados com baixa latência e alta eficiência. | 
| hudi-presto | 0.5.2-incubating-amzn-2 | Biblioteca de pacotes para executar o Presto com o Hudi. | 
| hudi-prestosql | 0.5.2-incubating-amzn-2 | Biblioteca de pacotes para executar o PrestoSQL com o Hudi. | 
| hudi-spark | 0.5.2-incubating-amzn-2 | Biblioteca de pacotes para executar o Spark com o Hudi. | 
| hue-server | 4.7.1 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop | 
| jupyterhub | 1.1.0 | Servidor de vários usuários para blocos de anotações Jupyter | 
| livy-server | 0.7.0-incubating | Interface REST para interagir com o Apache Spark | 
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP | 
| mxnet | 1.6.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. | 
| mariadb-server | 5.5.64\$1 | Servidor de banco de dados MariaDB. | 
| nvidia-cuda | 9.2.88 | Drivers NVIDIA e toolkit CUDA | 
| oozie-client | 5.2.0 | O cliente da linha de comando do Oozie. | 
| oozie-server | 5.2.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. | 
| opencv | 4.3.0 | Biblioteca de Visão Computacional de Código Aberto. | 
| phoenix-library | 5.0.0- HBase -2,0 | As bibliotecas do phoenix para servidor e cliente | 
| phoenix-query-server | 5.0.0- HBase -2,0 | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica  | 
| presto-coordinator | 0.232 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. | 
| presto-worker | 0.232 | O serviço que executa partes de uma consulta. | 
| presto-client | 0.232 | Cliente de linha de comando do Presto instalado em mestres de espera de um cluster de alta disponibilidade em que o servidor do Presto não é iniciado. | 
| prestosql-coordinator | 338 | O serviço que aceita consultas e gerencia a execução de consultas entre os prestosql-workers. | 
| prestosql-worker | 338 | O serviço que executa partes de uma consulta. | 
| prestosql-client | 338 | Cliente de linha de comando do Presto instalado em mestres de espera de um cluster de alta disponibilidade em que o servidor do Presto não é iniciado. | 
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. | 
| r | 3.4.3 | O projeto R para computação estatística | 
| ranger-kms-server | 2.0.0 | Sistema de gerenciamento de chaves Apache Ranger | 
| spark-client | 3.0.0-amzn-0.1 | Os clientes da linha de comando do Spark. | 
| spark-history-server | 3.0.0-amzn-0.1 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. | 
| spark-on-yarn | 3.0.0-amzn-0.1 | O mecanismo de execução em memória para o YARN. | 
| spark-yarn-slave | 3.0.0-amzn-0.1 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. | 
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. | 
| tensorflow | 2.1.0 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. | 
| tez-on-yarn | 0.9.2 | O aplicativo e as bibliotecas do YARN para Tez. | 
| webserver | 2.4.41\$1 | O servidor Apache HTTP. | 
| zeppelin-server | 0.9.0-preview1 | O notebook baseado na web que permite um data analytics interativo. | 
| zookeeper-server | 3.4.14 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. | 
| zookeeper-client | 3.4.14 | ZooKeeper cliente de linha de comando. | 

## Classificações de configuração 6.1.1
<a name="emr-611-class"></a>

As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).


**Classificações do emr-6.1.1**  

| Classificações | Description | 
| --- | --- | 
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. | 
| container-executor | Alterar os valores no arquivo container-executor.cfg do YARN do Hadoop. | 
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. | 
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. | 
| emrfs-site | Alterar as configurações do EMRFS. | 
| flink-conf | Alterar as configurações do flink-conf.yaml. | 
| flink-log4j | Alterar as configurações de log4j.properties no Flink. | 
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. | 
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. | 
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. | 
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. | 
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop | 
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop | 
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase | 
| hbase-env | Mude os valores no HBase ambiente. | 
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. | 
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. | 
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. | 
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. | 
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. | 
| hdfs-env | Alterar os valores no ambiente do HDFS. | 
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. | 
| hcatalog-env | Mude os valores no HCatalog ambiente. | 
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. | 
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. | 
| hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. | 
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. | 
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. | 
| hive | As configurações administradas pelo Amazon EMR para o Apache Hive. | 
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. | 
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. | 
| hive-env | Alterar os valores no ambiente do Hive. | 
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. | 
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. | 
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. | 
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. | 
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. | 
| hue-ini | Alterar os valores no arquivo ini do Hue | 
| httpfs-env | Alterar os valores no ambiente do HTTPFS. | 
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. | 
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. | 
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. | 
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. | 
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. | 
| hudi-env | Altere os valores no ambiente do Hudi. | 
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. | 
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. | 
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. | 
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. | 
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. | 
| livy-env | Alterar os valores no ambiente do Livy. | 
| livy-log4j | Alterar as configurações de log4j.properties no Livy. | 
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. | 
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. | 
| oozie-env | Alterar os valores no ambiente do Oozie. | 
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. | 
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. | 
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. | 
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. | 
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. | 
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. | 
| pig-env | Alterar os valores no ambiente do Pig. | 
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. | 
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. | 
| presto-log | Alterar os valores no arquivo log.properties do Presto. | 
| presto-config | Alterar os valores no arquivo config.properties do Presto. | 
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. | 
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. | 
| presto-node | Altere os valores no arquivo node.properties do Presto. | 
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. | 
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. | 
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. | 
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. | 
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. | 
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. | 
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. | 
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. | 
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. | 
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. | 
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. | 
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. | 
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. | 
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. | 
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. | 
| prestosql-log | Alterar os valores no arquivo log.properties do Presto. | 
| prestosql-config | Alterar os valores no arquivo config.properties do Presto. | 
| prestosql-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. | 
| prestosql-env | Altere os valores no arquivo presto-env.sh do Presto. | 
| prestosql-node | Alterar os valores no arquivo node.properties do PrestoSQL. | 
| prestosql-connector-blackhole | Alterar os valores no arquivo blackhole.properties do PrestoSQL. | 
| prestosql-connector-cassandra | Alterar os valores no arquivo cassandra.properties do PrestoSQL. | 
| prestosql-connector-hive | Alterar os valores no arquivo hive.properties do PrestoSQL. | 
| prestosql-connector-jmx | Alterar os valores no arquivo jmx.properties do PrestoSQL. | 
| prestosql-connector-kafka | Alterar os valores no arquivo kafka.properties do PrestoSQL. | 
| prestosql-connector-localfile | Alterar os valores no arquivo localfile.properties do PrestoSQL. | 
| prestosql-connector-memory | Alterar os valores no arquivo memory.properties do PrestoSQL. | 
| prestosql-connector-mongodb | Alterar os valores no arquivo mongodb.properties do PrestoSQL. | 
| prestosql-connector-mysql | Alterar os valores no arquivo mysql.properties do PrestoSQL. | 
| prestosql-connector-postgresql | Alterar os valores no arquivo postgresql.properties do PrestoSQL. | 
| prestosql-connector-raptor | Alterar os valores no arquivo raptor.properties do PrestoSQL. | 
| prestosql-connector-redis | Alterar os valores no arquivo redis.properties do PrestoSQL. | 
| prestosql-connector-redshift | Alterar os valores no arquivo de propriedades redshift do PrestoSQL. | 
| prestosql-connector-tpch | Alterar os valores no arquivo tpch.properties do PrestoSQL. | 
| prestosql-connector-tpcds | Alterar os valores no arquivo tpcds.properties do PrestoSQL. | 
| ranger-kms-dbks-site | Altere os valores no arquivo dbks-site.xml do Ranger KMS. | 
| ranger-kms-site | Altere os valores no ranger-kms-site arquivo.xml do Ranger KMS. | 
| ranger-kms-env | Altere os valores no ambiente do Ranger KMS. | 
| ranger-kms-log4j | Altere os valores no arquivo kms-log4j.properties do Ranger KMS. | 
| ranger-kms-db-ca | Altere os valores do arquivo CA no S3 para conexão SSL do MySQL com o Ranger KMS. | 
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. | 
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. | 
| spark-env | Alterar os valores no ambiente do Spark. | 
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. | 
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. | 
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. | 
| sqoop-env | Alterar os valores no ambiente do Sqoop. | 
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. | 
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. | 
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. | 
| yarn-env | Alterar os valores no ambiente do YARN. | 
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. | 
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. | 
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. | 
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. | 

# Versão 6.1.0 do Amazon EMR
<a name="emr-610-release"></a>

## Versões 6.1.0 da aplicação
<a name="emr-610-app-versions"></a>

Esta versão inclui as seguintes aplicações: [https://flink.apache.org/](https://flink.apache.org/), [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [http://pig.apache.org/](http://pig.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://prestosql.io/](https://prestosql.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [http://sqoop.apache.org/](http://sqoop.apache.org/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).

A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).

Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)


**Informações da versão da aplicação**  

|  | emr-6.1.1 | emr-6.1.0 | emr-6.0.1 | emr-6.0.0 | 
| --- | --- | --- | --- | --- | 
| AWS SDK for Java | 1.11.828 | 1.11.828 | 1.11.711 | 1.11.711 | 
| Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 
| Scala | 2.12.10 | 2.12.10 | 2.12.10 | 2.11.12 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.11.0 | 1.11.0 |  -  |  -  | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.2.5 | 2.2.5 | 2.2.3 | 2.2.3 | 
| HCatalog | 3.1.2-amzn-2 | 3.1.2-amzn-2 | 3.1.2-amzn-0 | 3.1.2-amzn-0 | 
| Hadoop | 3.2.1-amzn-1.1 | 3.2.1-amzn-1 | 3.2.1-amzn-0.1 | 3.2.1-amzn-0 | 
| Hive | 3.1.2-amzn-2 | 3.1.2-amzn-2 | 3.1.2-amzn-0 | 3.1.2-amzn-0 | 
| Hudi | 0.5.2-incubating-amzn-2 | 0.5.2-incubating-amzn-2 | 0.5.0-incubating-amzn-1 | 0.5.0-incubating-amzn-1 | 
| Hue | 4.7.1 | 4.7.1 | 4.4.0 | 4.4.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub | 1.1.0 | 1.1.0 | 1.0.0 | 1.0.0 | 
| Livy | 0.7.0-incubating | 0.7.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 
| MXNet | 1.6.0 | 1.6.0 | 1.5.1 | 1.5.1 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.0 | 5.2.0 | 5.1.0 | 5.1.0 | 
| Phoenix | 5.0.0- HBase -2,0 | 5.0.0- HBase -2,0 | 5.0.0- HBase -2,0 | 5.0.0- HBase -2,0 | 
| Pig | 0.17.0 | 0.17.0 |  -  |  -  | 
| Presto | 0.232 | 0.232 | 0.230 | 0.230 | 
| Spark | 3.0.0-amzn-0.1 | 3.0.0-amzn-0 | 2.4.4 | 2.4.4 | 
| Sqoop | 1.4.7 | 1.4.7 |  -  |  -  | 
| TensorFlow | 2.1.0 | 2.1.0 | 1.14.0 | 1.14.0 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) | 338 | 338 |  -  |  -  | 
| Zeppelin | 0.9.0-preview1 | 0.9.0-preview1 | 0.9.0-SNAPSHOT | 0.9.0-SNAPSHOT | 
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 

## Notas da versão 6.1.0
<a name="emr-610-relnotes"></a>

As notas da versão a seguir incluem informações para a versão 6.1.0 do Amazon EMR. As alterações são referentes à versão 6.0.0.

Data da versão inicial: 4 de setembro de 2020

Data da última atualização: 15 de outubro de 2020

**Aplicações compatíveis**
+ AWS SDK para Java versão 1.11.828
+ Flink versão 1.11.0
+ Ganglia versão 3.7.2
+ Hadoop versão 3.2.1-amzn-1
+ HBase versão 2.2.5
+ HBase-operator-tools 1.0.0
+ HCatalog versão 3.1.2-amzn-0
+ Hive versão 3.1.2-amzn-1
+ Hudi versão 0.5.2-incubating
+ Hue versão 4.7.1
+ JupyterHub versão 1.1.0
+ Livy versão 0.7.0
+ MXNet versão 1.6.0
+ Oozie versão 5.2.0
+ Phoenix versão 5.0.0
+ Presto versão 0.232
+ PrestoSQL versão 338
+ Spark versão 3.0.0-amzn-0
+ TensorFlow versão 2.1.0
+ Zeppelin versão 0.9.0-preview1
+ Zookeeper versão 3.4.14
+ Conectores e drivers: DynamoDB Connector 4.14.0

**Novos recursos**
+ Os tipos de instância ARM são compatíveis desde o Amazon EMR versão 5.30.0 e do Amazon EMR versão 6.1.0.
+ Os tipos de instância de uso geral M6g são compatíveis desde as versões 6.1.0 e 5.30.0 do Amazon EMR. Para obter mais informações, consulte [Tipos de instâncias compatíveis](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-supported-instance-types.html) no *Guia de gerenciamento do Amazon EMR*.
+ O atributo grupo de posicionamento do EC2 é compatível desde a versão 5.23.0 do Amazon EMR como uma opção para vários clusters de nós primários. Atualmente, somente os tipos de nós primários são compatíveis com o atributo grupo de posicionamento e a estratégia `SPREAD` é aplicada a estes nós primários. A estratégia `SPREAD` posiciona um pequeno grupo de instâncias em um hardware subjacente separado para evitar a perda de múltiplos nós primários em caso de falha de hardware. Para obter mais informações, consulte [Integração do EMR com o grupo de posicionamento do EC2](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-ha-placementgroup.html) no *Guia de gerenciamento do Amazon EMR*.
+ Ajuste de escala gerenciado: com a versão 6.1.0 do Amazon EMR, é possível habilitar o Ajuste de Escala Gerenciado do Amazon EMR para aumentar ou diminuir automaticamente o número de instâncias ou unidades no cluster com base na workload. O Amazon EMR avalia continuamente as métricas do cluster para tomar decisões de ajuste de escala que otimizam os clusters em termos de custo e velocidade. O ajuste de escala gerenciado também está disponível na versão 5.30.0 e posteriores do Amazon EMR, exceto na versão 6.0.0. Para obter mais informações, consulte [Escalar recursos de cluster](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-scale-on-demand.html) no *Guia de gerenciamento do Amazon EMR*.
+ O PrestoSQL versão 338 é compatível com o EMR 6.1.0. Para obter mais informações, consulte [Presto](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-presto.html).
  + O PrestoSQL só é compatível com as versões 6.1.0 e posteriores do EMR e não no EMR 6.0.0 ou no EMR 5.x.
  + O nome da aplicação, `Presto`, continua a ser usado para instalar o PrestoDB em clusters. Para instalar o PrestoSQL em clusters, use o nome da aplicação `PrestoSQL`.
  + Você pode instalar o PrestoDB ou o PrestoSQL, mas não pode instalar os dois em um único cluster. Se o PrestoDB e o PrestoSQL forem especificados na tentativa de criação de um cluster, ocorrerá um erro de validação e a solicitação de criação do cluster falhará.
  + O PrestoSQL é compatível com clusters de mestre único e de vários mestres. Em clusters de vários mestres, é necessário um metastore externo do Hive para executar o PrestoSQL ou o PrestoDB. Consulte [Aplicações compatíveis em um cluster do EMR com vários nós primários](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-ha-applications.html#emr-plan-ha-applications-list).
+ Suporte à autenticação automática do ECR no Apache Hadoop e no Apache Spark com Docker: os usuários do Spark podem usar imagens do Docker do Docker Hub e do Amazon Elastic Container Registry (Amazon ECR) para definir dependências de ambiente e biblioteca.

  [Configure o Docker](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-docker.html) e [execute aplicações do Spark com o Docker usando o Amazon EMR 6.x](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-spark-docker.html).
+ O EMR é compatível com as transações ACID do Apache Hive: o Amazon EMR 6.1.0 adiciona suporte às transações ACID do Hive para estar em conformidade com as propriedades ACID de um banco de dados. Com esse atributo, você pode executar as operações `INSERT, UPDATE, DELETE,` e `MERGE` em tabelas gerenciadas do Hive com dados no Amazon Simple Storage Service (Amazon S3). Esse é um atributo essencial para casos de uso, como ingestão de streaming, redefinição de dados, atualizações em massa usando MERGE e mudanças lentas de dimensões. Para obter mais informações, incluindo exemplos de configuração e casos de uso, consulte [O Amazon EMR é compatível com as transações ACID do Apache Hive](https://aws.amazon.com/blogs/big-data/amazon-emr-supports-apache-hive-acid-transactions).

**Alterações, melhorias e problemas resolvidos**
+ Esta é uma versão para corrigir problemas com o Amazon EMR Scaling quando ele não consegue up/scale reduzir a escala de um cluster com sucesso ou causa falhas no aplicativo.
+ Corrigido um problema em que as solicitações de escalabilidade falhavam em um cluster grande e altamente utilizado quando os daemons do Amazon EMR no cluster estavam executando atividades de verificação de integridade, como a coleta do estado do nó do YARN e o estado do nó do HDFS. Isso estava acontecendo porque os daemons no cluster não conseguiam comunicar os dados do status de integridade de um nó aos componentes internos do Amazon EMR.
+ Aprimorados os daemons do EMR no cluster para rastrear corretamente os estados dos nós quando são reutilizados endereços IP para melhorar a confiabilidade durante operações de escalabilidade.
+ [SPARK-29683](https://issues.apache.org/jira/browse/SPARK-29683). Corrigido um problema em que ocorriam falhas de trabalho durante a redução da escala verticalmente do cluster, pois o Spark presumia que todos os nós disponíveis estavam na lista de negação.
+ [YARN-9011](https://issues.apache.org/jira/browse/YARN-9011). Corrigido um problema em que ocorriam falhas de trabalho devido a uma condição de corrida na desativação do YARN quando o cluster tentava aumentar ou reduzir a escala verticalmente.
+ Corrigido problema com falhas de etapas ou tarefas durante a escalabilidade do cluster ao ser garantido que os estados dos nós fossem sempre consistentes entre os daemons do Amazon EMR no cluster e o YARN/HDFS.
+ Corrigido um problema em que operações de cluster, como redução de escala verticalmente e envio de etapas, falhavam para clusters do Amazon EMR habilitados com a autenticação Kerberos. Isso ocorreu porque o daemon no cluster do Amazon EMR não renovou o tíquete Kerberos, que é necessário para se comunicar com segurança com a execução no nó primário. HDFS/YARN 
+ As versões mais recentes do Amazon EMR corrigem o problema com um limite menor de “Máximo de arquivos abertos” em relação às versões mais antigas AL2 no Amazon EMR. As versões 5.30.1, 5.30.2, 5.31.1, 5.32.1, 6.0.1, 6.1.1, 6.2.1, 5.33.0, 6.3.0 e posteriores do Amazon EMR agora incluem uma correção permanente com uma configuração mais alta de “Máximo de arquivos abertos”.
+ O Apache Flink não é compatível com o EMR 6.0.0, mas é compatível com o EMR 6.1.0 com o Flink 1.11.0. Esta é a primeira versão do Flink a oficialmente oferecer suporte ao Hadoop 3. Consulte o [Anúncio de versão do Apache Flink 1.11.0](https://flink.apache.org/news/2020/07/06/release-1.11.0.html).
+ O Ganglia foi removido dos pacotes padrão do EMR 6.1.0.

**Problemas conhecidos**
+ **Limite inferior de “Máximo de arquivos abertos” em versões mais antigas AL2 [corrigido em versões mais recentes].** Versões do Amazon EMR: emr-5.30.x, emr-5.31.0, emr-5.32.0, emr-6.0.0, emr-6.1.0 e emr-6.2.0 são baseadas em versões mais antigas do Amazon Linux 2 (), que AL2 têm uma configuração de limite inferior para “Máximo de arquivos abertos” quando clusters do Amazon EMR são criados com a AMI padrão. As versões 5.30.1, 5.30.2, 5.31.1, 5.32.1, 6.0.1, 6.1.1, 6.2.1, 5.33.0, 6.3.0 e posteriores do Amazon EMR incluem uma correção permanente com uma configuração mais alta de “Máximo de arquivos abertos”. Versões com o limite inferior de arquivos abertos causam o erro “Muitos arquivos abertos” ao ser enviado um trabalho do Spark. Nas versões afetadas, a AMI padrão do Amazon EMR tem uma configuração de ulimit padrão de 4096 para “Máximo de arquivos abertos”, que é inferior ao limite de 65536 arquivos na AMI mais recente do Amazon Linux 2. A configuração inferior de ulimit para “Máximo de arquivos abertos” causa falhas em trabalhos do Spark quando o driver e o executor do Spark tentam abrir mais de 4096 arquivos. Para corrigir o problema, o Amazon EMR tem um script de ação de bootstrap (BA) que ajusta a configuração de ulimit na criação do cluster. 

  Se você está usando uma versão mais antiga do Amazon EMR que não tem a correção permanente para esse problema, a solução alternativa a seguir permite que você defina explicitamente o ulimit instance-controller para um máximo de 65536 arquivos.

**Defina explicitamente um ulimit na linha de comando**

  1. Edite `/etc/systemd/system/instance-controller.service` para adicionar os seguintes parâmetros à seção Serviço.

     `LimitNOFILE=65536`

     `LimitNPROC=65536`

  1. Reiniciar InstanceController

     `$ sudo systemctl daemon-reload`

     `$ sudo systemctl restart instance-controller`

  **Defina um ulimit usando a ação de bootstrap (BA)**

  Você também pode usar um script de ação de bootstrap (BA) para configurar o ulimit instance-controller para 65536 arquivos na criação do cluster.

  ```
  #!/bin/bash
  for user in hadoop spark hive; do
  sudo tee /etc/security/limits.d/$user.conf << EOF
  $user - nofile 65536
  $user - nproc 65536
  EOF
  done
  for proc in instancecontroller logpusher; do
  sudo mkdir -p /etc/systemd/system/$proc.service.d/
  sudo tee /etc/systemd/system/$proc.service.d/override.conf << EOF
  [Service]
  LimitNOFILE=65536
  LimitNPROC=65536
  EOF
  pid=$(pgrep -f aws157.$proc.Main)
  sudo prlimit --pid $pid --nofile=65535:65535 --nproc=65535:65535
  done
  sudo systemctl daemon-reload
  ```
+ 
**Importante**  
O Amazon EMR 6.1.0 e 6.2.0 incluem um problema de performance que pode afetar criticamente todas as operações de inserção, upsert e exclusão do Hudi. Se você planeja usar o Hudi com o Amazon EMR 6.1.0 ou 6.2.0, entre em AWS contato com o suporte para obter um Hudi RPM corrigido.
+ Se você definir uma configuração personalizada de coleta de lixo com `spark.driver.extraJavaOptions` e`spark.executor.extraJavaOptions`, isso resultará em falha de driver/executor inicialização com o EMR 6.1 devido à configuração conflitante da coleta de lixo. Em vez disso, com o EMR versão 6.1.0, você deve especificar uma configuração personalizada de coleta de resíduos do Spark para drivers e executores com as propriedades `spark.driver.defaultJavaOptions` e `spark.executor.defaultJavaOptions`. Leia mais em [Ambiente de runtime do Apache Spark](https://spark.apache.org/docs/latest/configuration.html#runtime-environment) e [Configurar a coleta de resíduos do Spark no Amazon EMR 6.1.0](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-spark-configure.html#spark-gc-config).
+ Usar o Pig com o Oozie (e dentro do Hue, já que o Hue usa ações do Oozie para executar scripts do Pig) gera um erro em que uma biblioteca nativa lzo não pode ser carregada. Essa mensagem de erro é informativa e não impede a execução do Pig.
+ Suporte de simultaneidade do Hudi: atualmente, o Hudi não é compatível com gravações simultâneas em uma única tabela do Hudi. Além disso, o Hudi reverte todas as alterações feitas por gravadores em andamento antes de permitir que um novo gravador seja iniciado. As gravações simultâneas podem interferir nesse mecanismo e introduzir condições de corrida, o que pode causar corrupção de dados. Você deve garantir que, como parte do seu fluxo de trabalho de processamento de dados, só exista um gravador do Hudi operando em uma tabela do Hudi em qualquer instante. O Hudi permite vários leitores simultâneos operando na mesma tabela do Hudi.
+ Problema conhecido em clusters com vários nós primários e autenticação Kerberos

  Se você executar clusters com vários nós primários e autenticação Kerberos nas versões 5.20.0 e posteriores do Amazon EMR, poderá encontrar problemas nas operações de cluster, como redução da escala verticalmente ou envio de etapas depois que o cluster estiver em execução por algum tempo. O período depende do período de validade do tíquete do Kerberos que você definiu. O problema de redução da escala verticalmente afeta tanto as solicitações de redução automática quanto as de reduções explícitas que você enviou. Operações adicionais de cluster também podem ser afetadas. 

  Solução:
  + SSH como usuário do `hadoop` para o nó primário de liderança do cluster do EMR com vários nós primários.
  +  Execute o comando a seguir para renovar o tíquete do Kerberos para o usuário do `hadoop`. 

    ```
    kinit -kt <keytab_file> <principal>
    ```

    Normalmente, o arquivo keytab está localizado em `/etc/hadoop.keytab` e a entidade principal está na forma de `hadoop/<hostname>@<REALM>`.
**nota**  
Essa solução alternativa entrará em vigor durante o período de validade do tíquete do Kerberos. Essa duração é de 10 horas por padrão, mas pode ser configurada pelas definições do Kerberos. Você deve executar novamente o comando acima quando o tíquete do Kerberos expirar.
+ Há um problema no Amazon EMR 6.1.0 que afeta os clusters que executam o Presto. Depois de um longo período (dias), o cluster pode gerar erros, como “su: failed to execute /bin/bash: Resource temporarily unavailable” ou “shell request failed on channel 0”. Esse problema é causado por um processo interno do Amazon EMR (InstanceController) que está gerando muitos processos leves (LWP), o que acaba fazendo com que o usuário do Hadoop exceda seu limite de nproc. Isso impede que o usuário abra processos adicionais. A solução para esse problema é fazer a atualização para o EMR 6.2.0.

## Versões de componente 6.1.0
<a name="emr-610-components"></a>

Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.

Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.


| Componente | Versão | Description | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.3.0 | SDK do Amazon SageMaker Spark | 
| emr-ddb | 4.14.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. | 
| emr-goodies | 3.1.0 | Bibliotecas convenientes para o ecossistema do Hadoop. | 
| emr-kinesis | 3.5.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. | 
| emr-s3-dist-cp | 2.14.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. | 
| emr-s3-select | 2.0.0 | EMR S3Select Connector | 
| emrfs | 2.42.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. | 
| flink-client | 1.11.0 | Scripts do cliente da linha de comando e aplicativos do Apache Flink. | 
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. | 
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. | 
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. | 
| hadoop-client | 3.2.1-amzn-1 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. | 
| hadoop-hdfs-datanode | 3.2.1-amzn-1 | O serviço de nível de nó do HDFS para armazenamento de blocos. | 
| hadoop-hdfs-library | 3.2.1-amzn-1 | O cliente de linha de comando e biblioteca do HDFS | 
| hadoop-hdfs-namenode | 3.2.1-amzn-1 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. | 
| hadoop-hdfs-journalnode | 3.2.1-amzn-1 | O serviço do HDFS para gerenciar o lançamento de arquivos do Hadoop em clusters de HA. | 
| hadoop-httpfs-server | 3.2.1-amzn-1 | O endpoint de HTTP para as operações do HDFS. | 
| hadoop-kms-server | 3.2.1-amzn-1 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider  | 
| hadoop-mapred | 3.2.1-amzn-1 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. | 
| hadoop-yarn-nodemanager | 3.2.1-amzn-1 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. | 
| hadoop-yarn-resourcemanager | 3.2.1-amzn-1 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. | 
| hadoop-yarn-timeline-server | 3.2.1-amzn-1 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. | 
| hbase-hmaster | 2.2.5 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. | 
| hbase-region-server | 2.2.5 | Serviço para atender a uma ou mais HBase regiões. | 
| hbase-client | 2.2.5 | HBase cliente de linha de comando. | 
| hbase-rest-server | 2.2.5 | Serviço que fornece um endpoint RESTful HTTP para HBase. | 
| hbase-thrift-server | 2.2.5 | Serviço que fornece um endpoint Thrift para. HBase | 
| hcatalog-client | 3.1.2-amzn-2 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. | 
| hcatalog-server | 3.1.2-amzn-2 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. | 
| hcatalog-webhcat-server | 3.1.2-amzn-2 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. | 
| hive-client | 3.1.2-amzn-2 | O cliente da linha de comando do Hive. | 
| hive-hbase | 3.1.2-amzn-2 | Cliente do Hive-hbase. | 
| hive-metastore-server | 3.1.2-amzn-2 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. | 
| hive-server2 | 3.1.2-amzn-2 | O serviço que aceita as consultas do Hive como solicitações da web. | 
| hudi | 0.5.2-incubating-amzn-2 | Estrutura de processamento incremental para alimentar o pipeline de dados com baixa latência e alta eficiência. | 
| hudi-presto | 0.5.2-incubating-amzn-2 | Biblioteca de pacotes para executar o Presto com o Hudi. | 
| hudi-prestosql | 0.5.2-incubating-amzn-2 | Biblioteca de pacotes para executar o PrestoSQL com o Hudi. | 
| hudi-spark | 0.5.2-incubating-amzn-2 | Biblioteca de pacotes para executar o Spark com o Hudi. | 
| hue-server | 4.7.1 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop | 
| jupyterhub | 1.1.0 | Servidor de vários usuários para blocos de anotações Jupyter | 
| livy-server | 0.7.0-incubating | Interface REST para interagir com o Apache Spark | 
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP | 
| mxnet | 1.6.0 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. | 
| mariadb-server | 5.5.64\$1 | Servidor de banco de dados MariaDB. | 
| nvidia-cuda | 9.2.88 | Drivers NVIDIA e toolkit CUDA | 
| oozie-client | 5.2.0 | O cliente da linha de comando do Oozie. | 
| oozie-server | 5.2.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. | 
| opencv | 4.3.0 | Biblioteca de Visão Computacional de Código Aberto. | 
| phoenix-library | 5.0.0- HBase -2,0 | As bibliotecas do phoenix para servidor e cliente | 
| phoenix-query-server | 5.0.0- HBase -2,0 | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica  | 
| presto-coordinator | 0.232 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. | 
| presto-worker | 0.232 | O serviço que executa partes de uma consulta. | 
| presto-client | 0.232 | Cliente de linha de comando do Presto instalado em mestres de espera de um cluster de alta disponibilidade em que o servidor do Presto não é iniciado. | 
| prestosql-coordinator | 338 | O serviço que aceita consultas e gerencia a execução de consultas entre os prestosql-workers. | 
| prestosql-worker | 338 | O serviço que executa partes de uma consulta. | 
| prestosql-client | 338 | Cliente de linha de comando do Presto instalado em mestres de espera de um cluster de alta disponibilidade em que o servidor do Presto não é iniciado. | 
| pig-client | 0.17.0 | O cliente da linha de comando do Pig. | 
| r | 3.4.3 | O projeto R para computação estatística | 
| ranger-kms-server | 2.0.0 | Sistema de gerenciamento de chaves Apache Ranger | 
| spark-client | 3.0.0-amzn-0 | Os clientes da linha de comando do Spark. | 
| spark-history-server | 3.0.0-amzn-0 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. | 
| spark-on-yarn | 3.0.0-amzn-0 | O mecanismo de execução em memória para o YARN. | 
| spark-yarn-slave | 3.0.0-amzn-0 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. | 
| sqoop-client | 1.4.7 | O cliente da linha de comando do Apache Sqoop. | 
| tensorflow | 2.1.0 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. | 
| tez-on-yarn | 0.9.2 | O aplicativo e as bibliotecas do YARN para Tez. | 
| webserver | 2.4.41\$1 | O servidor Apache HTTP. | 
| zeppelin-server | 0.9.0-preview1 | O notebook baseado na web que permite um data analytics interativo. | 
| zookeeper-server | 3.4.14 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. | 
| zookeeper-client | 3.4.14 | ZooKeeper cliente de linha de comando. | 

## Classificações de configuração 6.1.0
<a name="emr-610-class"></a>

As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).


**Classificações do emr-6.1.0**  

| Classificações | Description | 
| --- | --- | 
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. | 
| container-executor | Alterar os valores no arquivo container-executor.cfg do YARN do Hadoop. | 
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. | 
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. | 
| emrfs-site | Alterar as configurações do EMRFS. | 
| flink-conf | Alterar as configurações do flink-conf.yaml. | 
| flink-log4j | Alterar as configurações de log4j.properties no Flink. | 
| flink-log4j-yarn-session | Altere as configurações do Flink log4 j-yarn-session .properties. | 
| flink-log4j-cli | Alterar as configurações de log4j-cli.properties no Flink. | 
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. | 
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. | 
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop | 
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop | 
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase | 
| hbase-env | Mude os valores no HBase ambiente. | 
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. | 
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. | 
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. | 
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. | 
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. | 
| hdfs-env | Alterar os valores no ambiente do HDFS. | 
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. | 
| hcatalog-env | Mude os valores no HCatalog ambiente. | 
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. | 
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. | 
| hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. | 
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. | 
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. | 
| hive | As configurações administradas pelo Amazon EMR para o Apache Hive. | 
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. | 
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. | 
| hive-env | Alterar os valores no ambiente do Hive. | 
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. | 
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. | 
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. | 
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. | 
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. | 
| hue-ini | Alterar os valores no arquivo ini do Hue | 
| httpfs-env | Alterar os valores no ambiente do HTTPFS. | 
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. | 
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. | 
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. | 
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. | 
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. | 
| hudi-env | Altere os valores no ambiente do Hudi. | 
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. | 
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. | 
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. | 
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. | 
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. | 
| livy-env | Alterar os valores no ambiente do Livy. | 
| livy-log4j | Alterar as configurações de log4j.properties no Livy. | 
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. | 
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. | 
| oozie-env | Alterar os valores no ambiente do Oozie. | 
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. | 
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. | 
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. | 
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. | 
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. | 
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. | 
| pig-env | Alterar os valores no ambiente do Pig. | 
| pig-properties | Alterar os valores no arquivo pig.properties do Pig. | 
| pig-log4j | Alterar os valores no arquivo log4j.properties do Pig. | 
| presto-log | Alterar os valores no arquivo log.properties do Presto. | 
| presto-config | Alterar os valores no arquivo config.properties do Presto. | 
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. | 
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. | 
| presto-node | Altere os valores no arquivo node.properties do Presto. | 
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. | 
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. | 
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. | 
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. | 
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. | 
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. | 
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. | 
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. | 
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. | 
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. | 
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. | 
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. | 
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. | 
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. | 
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. | 
| prestosql-log | Alterar os valores no arquivo log.properties do Presto. | 
| prestosql-config | Alterar os valores no arquivo config.properties do Presto. | 
| prestosql-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. | 
| prestosql-env | Altere os valores no arquivo presto-env.sh do Presto. | 
| prestosql-node | Alterar os valores no arquivo node.properties do PrestoSQL. | 
| prestosql-connector-blackhole | Alterar os valores no arquivo blackhole.properties do PrestoSQL. | 
| prestosql-connector-cassandra | Alterar os valores no arquivo cassandra.properties do PrestoSQL. | 
| prestosql-connector-hive | Alterar os valores no arquivo hive.properties do PrestoSQL. | 
| prestosql-connector-jmx | Alterar os valores no arquivo jmx.properties do PrestoSQL. | 
| prestosql-connector-kafka | Alterar os valores no arquivo kafka.properties do PrestoSQL. | 
| prestosql-connector-localfile | Alterar os valores no arquivo localfile.properties do PrestoSQL. | 
| prestosql-connector-memory | Alterar os valores no arquivo memory.properties do PrestoSQL. | 
| prestosql-connector-mongodb | Alterar os valores no arquivo mongodb.properties do PrestoSQL. | 
| prestosql-connector-mysql | Alterar os valores no arquivo mysql.properties do PrestoSQL. | 
| prestosql-connector-postgresql | Alterar os valores no arquivo postgresql.properties do PrestoSQL. | 
| prestosql-connector-raptor | Alterar os valores no arquivo raptor.properties do PrestoSQL. | 
| prestosql-connector-redis | Alterar os valores no arquivo redis.properties do PrestoSQL. | 
| prestosql-connector-redshift | Alterar os valores no arquivo de propriedades redshift do PrestoSQL. | 
| prestosql-connector-tpch | Alterar os valores no arquivo tpch.properties do PrestoSQL. | 
| prestosql-connector-tpcds | Alterar os valores no arquivo tpcds.properties do PrestoSQL. | 
| ranger-kms-dbks-site | Altere os valores no arquivo dbks-site.xml do Ranger KMS. | 
| ranger-kms-site | Altere os valores no ranger-kms-site arquivo.xml do Ranger KMS. | 
| ranger-kms-env | Altere os valores no ambiente do Ranger KMS. | 
| ranger-kms-log4j | Altere os valores no arquivo kms-log4j.properties do Ranger KMS. | 
| ranger-kms-db-ca | Altere os valores do arquivo CA no S3 para conexão SSL do MySQL com o Ranger KMS. | 
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. | 
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. | 
| spark-env | Alterar os valores no ambiente do Spark. | 
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. | 
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. | 
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. | 
| sqoop-env | Alterar os valores no ambiente do Sqoop. | 
| sqoop-oraoop-site | Altere os valores no arquivo oraoop-site.xml OraOop do Sqoop. | 
| sqoop-site | Alterar os valores no arquivo sqoop-site.xml do Sqoop. | 
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. | 
| yarn-env | Alterar os valores no ambiente do YARN. | 
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. | 
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. | 
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. | 
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. | 

# Versão 6.0.1 do Amazon EMR
<a name="emr-601-release"></a>

## Versões 6.0.1 da aplicação
<a name="emr-601-app-versions"></a>

Esta versão inclui as seguintes aplicações: [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).

A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).

Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)


**Informações da versão da aplicação**  

|  | emr-6.1.1 | emr-6.1.0 | emr-6.0.1 | emr-6.0.0 | 
| --- | --- | --- | --- | --- | 
| AWS SDK for Java | 1.11.828 | 1.11.828 | 1.11.711 | 1.11.711 | 
| Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 
| Scala | 2.12.10 | 2.12.10 | 2.12.10 | 2.11.12 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.11.0 | 1.11.0 |  -  |  -  | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.2.5 | 2.2.5 | 2.2.3 | 2.2.3 | 
| HCatalog | 3.1.2-amzn-2 | 3.1.2-amzn-2 | 3.1.2-amzn-0 | 3.1.2-amzn-0 | 
| Hadoop | 3.2.1-amzn-1.1 | 3.2.1-amzn-1 | 3.2.1-amzn-0.1 | 3.2.1-amzn-0 | 
| Hive | 3.1.2-amzn-2 | 3.1.2-amzn-2 | 3.1.2-amzn-0 | 3.1.2-amzn-0 | 
| Hudi | 0.5.2-incubating-amzn-2 | 0.5.2-incubating-amzn-2 | 0.5.0-incubating-amzn-1 | 0.5.0-incubating-amzn-1 | 
| Hue | 4.7.1 | 4.7.1 | 4.4.0 | 4.4.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub | 1.1.0 | 1.1.0 | 1.0.0 | 1.0.0 | 
| Livy | 0.7.0-incubating | 0.7.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 
| MXNet | 1.6.0 | 1.6.0 | 1.5.1 | 1.5.1 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.0 | 5.2.0 | 5.1.0 | 5.1.0 | 
| Phoenix | 5.0.0- HBase -2,0 | 5.0.0- HBase -2,0 | 5.0.0- HBase -2,0 | 5.0.0- HBase -2,0 | 
| Pig | 0.17.0 | 0.17.0 |  -  |  -  | 
| Presto | 0.232 | 0.232 | 0.230 | 0.230 | 
| Spark | 3.0.0-amzn-0.1 | 3.0.0-amzn-0 | 2.4.4 | 2.4.4 | 
| Sqoop | 1.4.7 | 1.4.7 |  -  |  -  | 
| TensorFlow | 2.1.0 | 2.1.0 | 1.14.0 | 1.14.0 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) | 338 | 338 |  -  |  -  | 
| Zeppelin | 0.9.0-preview1 | 0.9.0-preview1 | 0.9.0-SNAPSHOT | 0.9.0-SNAPSHOT | 
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 

## Notas da versão 6.0.1
<a name="emr-601-relnotes"></a>

Esta é uma versão para corrigir problemas com o Amazon EMR Scaling quando ele não consegue up/scale reduzir a escala de um cluster com sucesso ou causa falhas no aplicativo.

**Alterações, melhorias e problemas resolvidos**
+ Corrigido um problema em que as solicitações de escalabilidade falhavam em um cluster grande e altamente utilizado quando os daemons do Amazon EMR no cluster estavam executando atividades de verificação de integridade, como a coleta do estado do nó do YARN e o estado do nó do HDFS. Isso estava acontecendo porque os daemons no cluster não conseguiam comunicar os dados do status de integridade de um nó aos componentes internos do Amazon EMR.
+ Aprimorados os daemons do EMR no cluster para rastrear corretamente os estados dos nós quando são reutilizados endereços IP para melhorar a confiabilidade durante operações de escalabilidade.
+ [SPARK-29683](https://issues.apache.org/jira/browse/SPARK-29683). Corrigido um problema em que ocorriam falhas de trabalho durante a redução da escala verticalmente do cluster, pois o Spark presumia que todos os nós disponíveis estavam na lista de negação.
+ [YARN-9011](https://issues.apache.org/jira/browse/YARN-9011). Corrigido um problema em que ocorriam falhas de trabalho devido a uma condição de corrida na desativação do YARN quando o cluster tentava aumentar ou reduzir a escala verticalmente.
+ Corrigido problema com falhas de etapas ou tarefas durante a escalabilidade do cluster ao ser garantido que os estados dos nós fossem sempre consistentes entre os daemons do Amazon EMR no cluster e o YARN/HDFS.
+ Corrigido um problema em que operações de cluster, como redução de escala verticalmente e envio de etapas, falhavam para clusters do Amazon EMR habilitados com a autenticação Kerberos. Isso ocorreu porque o daemon no cluster do Amazon EMR não renovou o tíquete Kerberos, que é necessário para se comunicar com segurança com a execução no nó primário. HDFS/YARN 
+ As versões mais recentes do Amazon EMR corrigem o problema com um limite menor de “Máximo de arquivos abertos” em relação às versões mais antigas AL2 no Amazon EMR. As versões 5.30.1, 5.30.2, 5.31.1, 5.32.1, 6.0.1, 6.1.1, 6.2.1, 5.33.0, 6.3.0 e posteriores do Amazon EMR agora incluem uma correção permanente com uma configuração mais alta de “Máximo de arquivos abertos”.
+ O HTTPS agora está habilitado por padrão para repositórios do Amazon Linux. Se você estiver usando uma política de VPCE do Amazon S3 para restringir o acesso a buckets específicos, deverá adicionar o novo ARN `arn:aws:s3:::amazonlinux-2-repos-$region/*` do bucket do Amazon Linux à sua política (substitua `$region` pela região em que o endpoint está situado). Para obter mais informações, consulte esse tópico nos fóruns de AWS discussão. [Anúncio: o Amazon Linux 2 agora oferece suporte à capacidade de usar HTTPS ao se conectar a repositórios de pacotes ](https://forums.aws.amazon.com/ann.jspa?annID=8528). 

## Versões de componente 6.0.1
<a name="emr-601-components"></a>

Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.

Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.


| Componente | Versão | Description | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.2.6 | SDK do Amazon SageMaker Spark | 
| emr-ddb | 4.14.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. | 
| emr-goodies | 3.0.0 | Bibliotecas convenientes para o ecossistema do Hadoop. | 
| emr-kinesis | 3.5.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. | 
| emr-s3-dist-cp | 2.14.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. | 
| emr-s3-select | 1.5.0 | EMR S3Select Connector | 
| emrfs | 2.39.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. | 
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. | 
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. | 
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. | 
| hadoop-client | 3.2.1-amzn-0.1 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. | 
| hadoop-hdfs-datanode | 3.2.1-amzn-0.1 | O serviço de nível de nó do HDFS para armazenamento de blocos. | 
| hadoop-hdfs-library | 3.2.1-amzn-0.1 | O cliente de linha de comando e biblioteca do HDFS | 
| hadoop-hdfs-namenode | 3.2.1-amzn-0.1 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. | 
| hadoop-hdfs-journalnode | 3.2.1-amzn-0.1 | O serviço do HDFS para gerenciar o lançamento de arquivos do Hadoop em clusters de HA. | 
| hadoop-httpfs-server | 3.2.1-amzn-0.1 | O endpoint de HTTP para as operações do HDFS. | 
| hadoop-kms-server | 3.2.1-amzn-0.1 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider  | 
| hadoop-mapred | 3.2.1-amzn-0.1 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. | 
| hadoop-yarn-nodemanager | 3.2.1-amzn-0.1 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. | 
| hadoop-yarn-resourcemanager | 3.2.1-amzn-0.1 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. | 
| hadoop-yarn-timeline-server | 3.2.1-amzn-0.1 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. | 
| hbase-hmaster | 2.2.3 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. | 
| hbase-region-server | 2.2.3 | Serviço para atender a uma ou mais HBase regiões. | 
| hbase-client | 2.2.3 | HBase cliente de linha de comando. | 
| hbase-rest-server | 2.2.3 | Serviço que fornece um endpoint RESTful HTTP para HBase. | 
| hbase-thrift-server | 2.2.3 | Serviço que fornece um endpoint Thrift para. HBase | 
| hcatalog-client | 3.1.2-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. | 
| hcatalog-server | 3.1.2-amzn-0 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. | 
| hcatalog-webhcat-server | 3.1.2-amzn-0 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. | 
| hive-client | 3.1.2-amzn-0 | O cliente da linha de comando do Hive. | 
| hive-hbase | 3.1.2-amzn-0 | Cliente do Hive-hbase. | 
| hive-metastore-server | 3.1.2-amzn-0 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. | 
| hive-server2 | 3.1.2-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. | 
| hudi | 0.5.0-incubating-amzn-1 | Estrutura de processamento incremental para alimentar o pipeline de dados com baixa latência e alta eficiência. | 
| hudi-presto | 0.5.0-incubating-amzn-1 | Biblioteca de pacotes para executar o Presto com o Hudi. | 
| hue-server | 4.4.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop | 
| jupyterhub | 1.0.0 | Servidor de vários usuários para blocos de anotações Jupyter | 
| livy-server | 0.6.0-incubating | Interface REST para interagir com o Apache Spark | 
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP | 
| mxnet | 1.5.1 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. | 
| mariadb-server | 5.5.64\$1 | Servidor de banco de dados MariaDB. | 
| nvidia-cuda | 9.2.88 | Drivers NVIDIA e toolkit CUDA | 
| oozie-client | 5.1.0 | O cliente da linha de comando do Oozie. | 
| oozie-server | 5.1.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. | 
| opencv | 3.4.0 | Biblioteca de Visão Computacional de Código Aberto. | 
| phoenix-library | 5.0.0- HBase -2,0 | As bibliotecas do phoenix para servidor e cliente | 
| phoenix-query-server | 5.0.0- HBase -2,0 | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica  | 
| presto-coordinator | 0.230 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. | 
| presto-worker | 0.230 | O serviço que executa partes de uma consulta. | 
| presto-client | 0.230 | Cliente de linha de comando do Presto instalado em mestres de espera de um cluster de alta disponibilidade em que o servidor do Presto não é iniciado. | 
| r | 3.4.3 | O projeto R para computação estatística | 
| spark-client | 2.4.4 | Os clientes da linha de comando do Spark. | 
| spark-history-server | 2.4.4 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. | 
| spark-on-yarn | 2.4.4 | O mecanismo de execução em memória para o YARN. | 
| spark-yarn-slave | 2.4.4 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. | 
| tensorflow | 1.14.0 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. | 
| tez-on-yarn | 0.9.2 | O aplicativo e as bibliotecas do YARN para Tez. | 
| webserver | 2.4.41\$1 | O servidor Apache HTTP. | 
| zeppelin-server | 0.9.0-SNAPSHOT | O notebook baseado na web que permite um data analytics interativo. | 
| zookeeper-server | 3.4.14 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. | 
| zookeeper-client | 3.4.14 | ZooKeeper cliente de linha de comando. | 

## Classificações de configuração 6.0.1
<a name="emr-601-class"></a>

As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).


**Classificações do emr-6.0.1**  

| Classificações | Description | 
| --- | --- | 
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. | 
| container-executor | Alterar os valores no arquivo container-executor.cfg do YARN do Hadoop. | 
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. | 
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. | 
| emrfs-site | Alterar as configurações do EMRFS. | 
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. | 
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. | 
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop | 
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop | 
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase | 
| hbase-env | Mude os valores no HBase ambiente. | 
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. | 
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. | 
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. | 
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. | 
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. | 
| hdfs-env | Alterar os valores no ambiente do HDFS. | 
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. | 
| hcatalog-env | Mude os valores no HCatalog ambiente. | 
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. | 
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. | 
| hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. | 
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. | 
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. | 
| hive | As configurações administradas pelo Amazon EMR para o Apache Hive. | 
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. | 
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. | 
| hive-env | Alterar os valores no ambiente do Hive. | 
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. | 
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. | 
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. | 
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. | 
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. | 
| hue-ini | Alterar os valores no arquivo ini do Hue | 
| httpfs-env | Alterar os valores no ambiente do HTTPFS. | 
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. | 
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. | 
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. | 
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. | 
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. | 
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. | 
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. | 
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. | 
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. | 
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. | 
| livy-env | Alterar os valores no ambiente do Livy. | 
| livy-log4j | Alterar as configurações de log4j.properties no Livy. | 
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. | 
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. | 
| oozie-env | Alterar os valores no ambiente do Oozie. | 
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. | 
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. | 
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. | 
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. | 
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. | 
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. | 
| presto-log | Alterar os valores no arquivo log.properties do Presto. | 
| presto-config | Alterar os valores no arquivo config.properties do Presto. | 
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. | 
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. | 
| presto-node | Altere os valores no arquivo node.properties do Presto. | 
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. | 
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. | 
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. | 
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. | 
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. | 
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. | 
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. | 
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. | 
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. | 
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. | 
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. | 
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. | 
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. | 
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. | 
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. | 
| ranger-kms-dbks-site | Altere os valores no arquivo dbks-site.xml do Ranger KMS. | 
| ranger-kms-site | Altere os valores no ranger-kms-site arquivo.xml do Ranger KMS. | 
| ranger-kms-env | Altere os valores no ambiente do Ranger KMS. | 
| ranger-kms-log4j | Altere os valores no arquivo kms-log4j.properties do Ranger KMS. | 
| ranger-kms-db-ca | Altere os valores do arquivo CA no S3 para conexão SSL do MySQL com o Ranger KMS. | 
| recordserver-env | Altere os valores no ambiente do EMR. RecordServer  | 
| recordserver-conf | Altere os valores no arquivo erver.properties RecordServer do EMR. | 
| recordserver-log4j | Altere os valores no arquivo log4j.properties RecordServer do EMR. | 
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. | 
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. | 
| spark-env | Alterar os valores no ambiente do Spark. | 
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. | 
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. | 
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. | 
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. | 
| yarn-env | Alterar os valores no ambiente do YARN. | 
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. | 
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. | 
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. | 
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. | 

# Versão 6.0.0 do Amazon EMR
<a name="emr-600-release"></a>

## Versões 6.0.0 da aplicação
<a name="emr-600-app-versions"></a>

Esta versão inclui as seguintes aplicações: [http://ganglia.info](http://ganglia.info), [http://hbase.apache.org/](http://hbase.apache.org/), [https://cwiki.apache.org/confluence/display/Hive/HCatalog](https://cwiki.apache.org/confluence/display/Hive/HCatalog), [http://hadoop.apache.org/docs/current/](http://hadoop.apache.org/docs/current/), [http://hive.apache.org/](http://hive.apache.org/), [https://hudi.apache.org](https://hudi.apache.org), [http://gethue.com/](http://gethue.com/), [https://jupyterhub.readthedocs.io/en/latest/#](https://jupyterhub.readthedocs.io/en/latest/#), [https://livy.incubator.apache.org/](https://livy.incubator.apache.org/), [https://mxnet.incubator.apache.org/](https://mxnet.incubator.apache.org/), [http://oozie.apache.org/](http://oozie.apache.org/), [https://phoenix.apache.org/](https://phoenix.apache.org/), [https://prestodb.io/](https://prestodb.io/), [https://spark.apache.org/docs/latest/](https://spark.apache.org/docs/latest/), [https://www.tensorflow.org/](https://www.tensorflow.org/), [https://tez.apache.org/](https://tez.apache.org/), [https://zeppelin.incubator.apache.org/](https://zeppelin.incubator.apache.org/) e [https://zookeeper.apache.org](https://zookeeper.apache.org).

A tabela abaixo lista as versões das aplicações disponíveis nesta versão do Amazon EMR e as versões de aplicações nas três versões anteriores do Amazon EMR (quando aplicável).

Para obter um histórico abrangente das versões das aplicações de cada versão do Amazon EMR, consulte os seguintes tópicos:
+ [Versões de aplicações nas versões 7.x do Amazon EMR](emr-release-app-versions-7.x.md)
+ [Versões de aplicações nas versões 6.x do Amazon EMR](emr-release-app-versions-6.x.md)
+ [Versões de aplicações nas versões 5.x do Amazon EMR](emr-release-app-versions-5.x.md)
+ [Versões de aplicações nas versões 4.x do Amazon EMR](emr-release-app-versions-4.x.md)


**Informações da versão da aplicação**  

|  | emr-6.1.1 | emr-6.1.0 | emr-6.0.1 | emr-6.0.0 | 
| --- | --- | --- | --- | --- | 
| AWS SDK for Java | 1.11.828 | 1.11.828 | 1.11.711 | 1.11.711 | 
| Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 
| Scala | 2.12.10 | 2.12.10 | 2.12.10 | 2.11.12 | 
| AmazonCloudWatchAgent |  -  |  -  |  -  |  -  | 
| Delta |  -  |  -  |  -  |  -  | 
| Flink | 1.11.0 | 1.11.0 |  -  |  -  | 
| Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 | 
| HBase | 2.2.5 | 2.2.5 | 2.2.3 | 2.2.3 | 
| HCatalog | 3.1.2-amzn-2 | 3.1.2-amzn-2 | 3.1.2-amzn-0 | 3.1.2-amzn-0 | 
| Hadoop | 3.2.1-amzn-1.1 | 3.2.1-amzn-1 | 3.2.1-amzn-0.1 | 3.2.1-amzn-0 | 
| Hive | 3.1.2-amzn-2 | 3.1.2-amzn-2 | 3.1.2-amzn-0 | 3.1.2-amzn-0 | 
| Hudi | 0.5.2-incubating-amzn-2 | 0.5.2-incubating-amzn-2 | 0.5.0-incubating-amzn-1 | 0.5.0-incubating-amzn-1 | 
| Hue | 4.7.1 | 4.7.1 | 4.4.0 | 4.4.0 | 
| Iceberg |  -  |  -  |  -  |  -  | 
| JupyterEnterpriseGateway |  -  |  -  |  -  |  -  | 
| JupyterHub | 1.1.0 | 1.1.0 | 1.0.0 | 1.0.0 | 
| Livy | 0.7.0-incubating | 0.7.0-incubating | 0.6.0-incubating | 0.6.0-incubating | 
| MXNet | 1.6.0 | 1.6.0 | 1.5.1 | 1.5.1 | 
| Mahout |  -  |  -  |  -  |  -  | 
| Oozie | 5.2.0 | 5.2.0 | 5.1.0 | 5.1.0 | 
| Phoenix | 5.0.0- HBase -2,0 | 5.0.0- HBase -2,0 | 5.0.0- HBase -2,0 | 5.0.0- HBase -2,0 | 
| Pig | 0.17.0 | 0.17.0 |  -  |  -  | 
| Presto | 0.232 | 0.232 | 0.230 | 0.230 | 
| Spark | 3.0.0-amzn-0.1 | 3.0.0-amzn-0 | 2.4.4 | 2.4.4 | 
| Sqoop | 1.4.7 | 1.4.7 |  -  |  -  | 
| TensorFlow | 2.1.0 | 2.1.0 | 1.14.0 | 1.14.0 | 
| Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 | 
| Trino (PrestoSQL) | 338 | 338 |  -  |  -  | 
| Zeppelin | 0.9.0-preview1 | 0.9.0-preview1 | 0.9.0-SNAPSHOT | 0.9.0-SNAPSHOT | 
| ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 | 

## Notas da versão 6.0.0
<a name="emr-600-relnotes"></a>

As notas da versão a seguir incluem informações para a versão 6.0.0 do Amazon EMR.

Data da versão inicial: 10 de março de 2020

**Aplicações compatíveis**
+ AWS SDK para Java versão 1.11.711
+ Ganglia versão 3.7.2
+ Hadoop versão 3.2.1
+ HBase versão 2.2.3
+ HCatalog versão 3.1.2
+ Hive versão 3.1.2
+ Hudi versão 0.5.0 incubadora
+ Hue versão 4.4.0
+ JupyterHub versão 1.0.0
+ Livy versão 0.6.0
+ MXNet versão 1.5.1
+ Oozie versão 5.1.0
+ Phoenix versão 5.0.0
+ Presto versão 0.230
+ Spark versão 2.4.4
+ TensorFlow versão 1.14.0
+ Zeppelin versão 0.9.0-SNAPSHOT
+ Zookeeper versão 3.4.14
+ Conectores e drivers: DynamoDB Connector 4.14.0

**nota**  
Flink, Sqoop, Pig e Mahout não estão disponíveis na versão 6.0.0 do Amazon EMR. 

**Novos recursos**
+ Suporte ao runtime do Docker do YARN: aplicações do YARN, como trabalhos do Spark, agora podem ser executados no contexto de um contêiner do Docker. Isso permite que você defina facilmente dependências em uma imagem do Docker sem a necessidade de instalar bibliotecas personalizadas no cluster do Amazon EMR. Para obter mais informações, consulte [Configurar a integração do Docker](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-docker.html) e [Executar aplicações do Spark com o Docker usando o Amazon EMR 6.0.0](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-spark-docker.html).
+ Suporte ao LLAP do Hive – agora o Hive oferece suporte ao modo de execução do LLAP para melhorar o desempenho da consulta. Para obter mais informações, consulte [Usar o LLAP do Hive](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hive-llap.html).

**Alterações, melhorias e problemas resolvidos**
+ Esta é uma versão para corrigir problemas com o Amazon EMR Scaling quando ele não consegue up/scale reduzir a escala de um cluster com sucesso ou causa falhas no aplicativo.
+ Corrigido um problema em que as solicitações de escalabilidade falhavam em um cluster grande e altamente utilizado quando os daemons do Amazon EMR no cluster estavam executando atividades de verificação de integridade, como a coleta do estado do nó do YARN e o estado do nó do HDFS. Isso estava acontecendo porque os daemons no cluster não conseguiam comunicar os dados do status de integridade de um nó aos componentes internos do Amazon EMR.
+ Aprimorados os daemons do EMR no cluster para rastrear corretamente os estados dos nós quando são reutilizados endereços IP para melhorar a confiabilidade durante operações de escalabilidade.
+ [SPARK-29683](https://issues.apache.org/jira/browse/SPARK-29683). Corrigido um problema em que ocorriam falhas de trabalho durante a redução da escala verticalmente do cluster, pois o Spark presumia que todos os nós disponíveis estavam na lista de negação.
+ [YARN-9011](https://issues.apache.org/jira/browse/YARN-9011). Corrigido um problema em que ocorriam falhas de trabalho devido a uma condição de corrida na desativação do YARN quando o cluster tentava aumentar ou reduzir a escala verticalmente.
+ Corrigido problema com falhas de etapas ou tarefas durante a escalabilidade do cluster ao ser garantido que os estados dos nós fossem sempre consistentes entre os daemons do Amazon EMR no cluster e o YARN/HDFS.
+ Corrigido um problema em que operações de cluster, como redução de escala verticalmente e envio de etapas, falhavam para clusters do Amazon EMR habilitados com a autenticação Kerberos. Isso ocorreu porque o daemon no cluster do Amazon EMR não renovou o tíquete Kerberos, que é necessário para se comunicar com segurança com a execução no nó primário. HDFS/YARN 
+ As versões mais recentes do Amazon EMR corrigem o problema com um limite menor de “Máximo de arquivos abertos” em relação às versões mais antigas AL2 no Amazon EMR. As versões 5.30.1, 5.30.2, 5.31.1, 5.32.1, 6.0.1, 6.1.1, 6.2.1, 5.33.0, 6.3.0 e posteriores do Amazon EMR agora incluem uma correção permanente com uma configuração mais alta de “Máximo de arquivos abertos”.
+ Amazon Linux
  + O Amazon Linux 2 é o sistema operacional da série 6.x do EMR.
  + `systemd` é usado para gerenciamento de serviço em vez de `upstart`, usado no Amazon Linux 1.
+ Java Development Kit (JDK)
  + O JDK 8 do Coretto é o JDK padrão da série 6.x do EMR.
+ Scala
  + O Scala 2.12 é usado com o Apache Spark e com o Apache Livy.
+ Python 3
  + Agora o Python 3 é a versão padrão do Python no EMR.
+ Rótulos de nó do YARN
  + A partir do Amazon EMR série 6.x, o recurso de rótulos de nó do YARN é desabilitado por padrão. Os principais processos do aplicativo podem ser executados tanto nos nós core como nos nós de tarefa por padrão. É possível habilitar o recurso de rótulos de nó do YARN configurando as seguintes propriedades: `yarn.node-labels.enabled` e `yarn.node-labels.am.default-node-label-expression`. Para obter mais informações, consulte [Noções básicas sobre nós de tarefa, centrais e primários](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-master-core-task-nodes.html).

**Problemas conhecidos**
+ **Limite inferior de “Máximo de arquivos abertos” em versões mais antigas AL2 [corrigido em versões mais recentes].** Versões do Amazon EMR: emr-5.30.x, emr-5.31.0, emr-5.32.0, emr-6.0.0, emr-6.1.0 e emr-6.2.0 são baseadas em versões mais antigas do Amazon Linux 2 (), que AL2 têm uma configuração de limite inferior para “Máximo de arquivos abertos” quando clusters do Amazon EMR são criados com a AMI padrão. As versões 5.30.1, 5.30.2, 5.31.1, 5.32.1, 6.0.1, 6.1.1, 6.2.1, 5.33.0, 6.3.0 e posteriores do Amazon EMR incluem uma correção permanente com uma configuração mais alta de “Máximo de arquivos abertos”. Versões com o limite inferior de arquivos abertos causam o erro “Muitos arquivos abertos” ao ser enviado um trabalho do Spark. Nas versões afetadas, a AMI padrão do Amazon EMR tem uma configuração de ulimit padrão de 4096 para “Máximo de arquivos abertos”, que é inferior ao limite de 65536 arquivos na AMI mais recente do Amazon Linux 2. A configuração inferior de ulimit para “Máximo de arquivos abertos” causa falhas em trabalhos do Spark quando o driver e o executor do Spark tentam abrir mais de 4096 arquivos. Para corrigir o problema, o Amazon EMR tem um script de ação de bootstrap (BA) que ajusta a configuração de ulimit na criação do cluster. 

  Se você está usando uma versão mais antiga do Amazon EMR que não tem a correção permanente para esse problema, a solução alternativa a seguir permite que você defina explicitamente o ulimit instance-controller para um máximo de 65536 arquivos.

**Defina explicitamente um ulimit na linha de comando**

  1. Edite `/etc/systemd/system/instance-controller.service` para adicionar os seguintes parâmetros à seção Serviço.

     `LimitNOFILE=65536`

     `LimitNPROC=65536`

  1. Reiniciar InstanceController

     `$ sudo systemctl daemon-reload`

     `$ sudo systemctl restart instance-controller`

  **Defina um ulimit usando a ação de bootstrap (BA)**

  Você também pode usar um script de ação de bootstrap (BA) para configurar o ulimit instance-controller para 65536 arquivos na criação do cluster.

  ```
  #!/bin/bash
  for user in hadoop spark hive; do
  sudo tee /etc/security/limits.d/$user.conf << EOF
  $user - nofile 65536
  $user - nproc 65536
  EOF
  done
  for proc in instancecontroller logpusher; do
  sudo mkdir -p /etc/systemd/system/$proc.service.d/
  sudo tee /etc/systemd/system/$proc.service.d/override.conf << EOF
  [Service]
  LimitNOFILE=65536
  LimitNPROC=65536
  EOF
  pid=$(pgrep -f aws157.$proc.Main)
  sudo prlimit --pid $pid --nofile=65535:65535 --nproc=65535:65535
  done
  sudo systemctl daemon-reload
  ```
+ O shell interativo do Spark PySpark, incluindo o SparkR e o spark-shell, não é compatível com o uso do Docker com bibliotecas adicionais.
+ Para usar o Python 3 com a versão 6.0.0 do Amazon EMR, adicione `PATH` a `yarn.nodemanager.env-whitelist`.
+ A funcionalidade Live Long and Process (LLAP) não é suportada quando você usa o AWS Glue Data Catalog como metastore do Hive.
+ Ao usar o Amazon EMR 6.0.0 com a integração do Spark e do Docker, você precisa configurar as instâncias no cluster com o mesmo tipo de instância e a mesma quantidade de volumes do EBS para evitar falhas quando enviar um trabalho do Spark com runtime do Docker.
+ [No Amazon EMR 6.0.0, no Amazon HBase S3, o modo de armazenamento é afetado pelo problema do HBASE-24286.](https://issues.apache.org/jira/browse/HBASE-24286) HBase o master não pode inicializar quando o cluster é criado usando dados existentes do S3.
+ Problema conhecido em clusters com vários nós primários e autenticação Kerberos

  Se você executar clusters com vários nós primários e autenticação Kerberos nas versões 5.20.0 e posteriores do Amazon EMR, poderá encontrar problemas nas operações de cluster, como redução da escala verticalmente ou envio de etapas depois que o cluster estiver em execução por algum tempo. O período depende do período de validade do tíquete do Kerberos que você definiu. O problema de redução da escala verticalmente afeta tanto as solicitações de redução automática quanto as de reduções explícitas que você enviou. Operações adicionais de cluster também podem ser afetadas. 

  Solução:
  + SSH como usuário do `hadoop` para o nó primário de liderança do cluster do EMR com vários nós primários.
  +  Execute o comando a seguir para renovar o tíquete do Kerberos para o usuário do `hadoop`. 

    ```
    kinit -kt <keytab_file> <principal>
    ```

    Normalmente, o arquivo keytab está localizado em `/etc/hadoop.keytab` e a entidade principal está na forma de `hadoop/<hostname>@<REALM>`.
**nota**  
Essa solução alternativa entrará em vigor durante o período de validade do tíquete do Kerberos. Essa duração é de 10 horas por padrão, mas pode ser configurada pelas definições do Kerberos. Você deve executar novamente o comando acima quando o tíquete do Kerberos expirar.

## Versões de componente 6.0.0
<a name="emr-600-components"></a>

Os componentes que o Amazon EMR instala com esta versão estão listados abaixo. Alguns são instalados como parte de pacotes de aplicativos de big data. Outros são exclusivos do Amazon EMR e instalados para processos e atributos do sistema. Eles normalmente começam com `emr` ou `aws`. Os pacotes de aplicações de big data na versão mais recente do Amazon EMR são geralmente a versão mais recente encontrada na comunidade. Disponibilizamos as versões da comunidade no Amazon EMR o mais rapidamente possível.

Alguns componentes no Amazon EMR diferem das versões da comunidade. Esses componentes tem um rótulo de versão no formulário `CommunityVersion-amzn-EmrVersion`. O `EmrVersion` começa em 0. Por exemplo, se um componente da comunidade de código aberto denominado `myapp-component` com a versão 2.2 tiver sido alterado três vezes para inclusão em versões diferentes do Amazon EMR, sua versão será listada como `2.2-amzn-2`.


| Componente | Versão | Description | 
| --- | --- | --- | 
| aws-sagemaker-spark-sdk | 1.2.6 | SDK do Amazon SageMaker Spark | 
| emr-ddb | 4.14.0 | O conector do Amazon DynamoDB para aplicativos do ecossistema do Hadoop. | 
| emr-goodies | 3.0.0 | Bibliotecas convenientes para o ecossistema do Hadoop. | 
| emr-kinesis | 3.5.0 | O conector do Amazon Kinesis para aplicativos do ecossistema do Hadoop. | 
| emr-s3-dist-cp | 2.14.0 | Cópia distribuída otimizada de aplicativos para o Amazon S3. | 
| emr-s3-select | 1.5.0 | EMR S3Select Connector | 
| emrfs | 2.39.0 | O conector do Amazon S3 para aplicações do ecossistema do Hadoop. | 
| ganglia-monitor | 3.7.2 | O agente incorporado do Ganglia para aplicativos do ecossistema do Hadoop, juntamente com o agente de monitoramento do Ganglia. | 
| ganglia-metadata-collector | 3.7.2 | O coletor de metadados do Ganglia para agregar métricas de agentes de monitoramento do Ganglia. | 
| ganglia-web | 3.7.1 | O aplicativo web para visualizar as métricas coletadas pelo coletor de metadados do Ganglia. | 
| hadoop-client | 3.2.1-amzn-0 | Clientes da linha de comando do Hadoop, como 'hdfs', 'hadoop', ou 'yarn'. | 
| hadoop-hdfs-datanode | 3.2.1-amzn-0 | O serviço de nível de nó do HDFS para armazenamento de blocos. | 
| hadoop-hdfs-library | 3.2.1-amzn-0 | O cliente de linha de comando e biblioteca do HDFS | 
| hadoop-hdfs-namenode | 3.2.1-amzn-0 | O serviço do HDFS para rastrear nomes de arquivos e locais de blocos. | 
| hadoop-hdfs-journalnode | 3.2.1-amzn-0 | O serviço do HDFS para gerenciar o lançamento de arquivos do Hadoop em clusters de HA. | 
| hadoop-httpfs-server | 3.2.1-amzn-0 | O endpoint de HTTP para as operações do HDFS. | 
| hadoop-kms-server | 3.2.1-amzn-0 | Servidor de gerenciamento de chaves criptográficas baseado na API do Hadoop. KeyProvider  | 
| hadoop-mapred | 3.2.1-amzn-0 | MapReduce bibliotecas de mecanismos de execução para executar um MapReduce aplicativo. | 
| hadoop-yarn-nodemanager | 3.2.1-amzn-0 | O serviço do YARN para o gerenciamento de contêineres em um nó individual. | 
| hadoop-yarn-resourcemanager | 3.2.1-amzn-0 | O serviço do YARN para alocar e gerenciar recursos de cluster e aplicativos distribuídos. | 
| hadoop-yarn-timeline-server | 3.2.1-amzn-0 | O serviço para recuperar informações atuais e históricas dos aplicativos do YARN. | 
| hbase-hmaster | 2.2.3 | Serviço para um HBase cluster responsável pela coordenação das regiões e execução de comandos administrativos. | 
| hbase-region-server | 2.2.3 | Serviço para atender a uma ou mais HBase regiões. | 
| hbase-client | 2.2.3 | HBase cliente de linha de comando. | 
| hbase-rest-server | 2.2.3 | Serviço que fornece um endpoint RESTful HTTP para HBase. | 
| hbase-thrift-server | 2.2.3 | Serviço que fornece um endpoint Thrift para. HBase | 
| hcatalog-client | 3.1.2-amzn-0 | O cliente da linha de comando 'hcat' para manipular o hcatalog-server. | 
| hcatalog-server | 3.1.2-amzn-0 | Fornecimento de serviços HCatalog, uma camada de gerenciamento de tabelas e armazenamento para aplicativos distribuídos. | 
| hcatalog-webhcat-server | 3.1.2-amzn-0 | Ponto de extremidade HTTP fornecendo uma interface REST para HCatalog. | 
| hive-client | 3.1.2-amzn-0 | O cliente da linha de comando do Hive. | 
| hive-hbase | 3.1.2-amzn-0 | Cliente do Hive-hbase. | 
| hive-metastore-server | 3.1.2-amzn-0 | O serviço de acesso à metastore do Hive, um repositório de semântica que armazena metadados do SQL nas operações do Hadoop. | 
| hive-server2 | 3.1.2-amzn-0 | O serviço que aceita as consultas do Hive como solicitações da web. | 
| hudi | 0.5.0-incubating-amzn-1 | Estrutura de processamento incremental para alimentar o pipeline de dados com baixa latência e alta eficiência. | 
| hudi-presto | 0.5.0-incubating-amzn-1 | Biblioteca de pacotes para executar o Presto com o Hudi. | 
| hue-server | 4.4.0 | O aplicativo web para analisar dados usando aplicativos do ecossistema do Hadoop | 
| jupyterhub | 1.0.0 | Servidor de vários usuários para blocos de anotações Jupyter | 
| livy-server | 0.6.0-incubating | Interface REST para interagir com o Apache Spark | 
| nginx | 1.12.1 | nginx [mecanismo x] é um servidor de proxy reverso e HTTP | 
| mxnet | 1.5.1 | Uma biblioteca flexível, escalável e eficiente para aprendizado aprofundado. | 
| mariadb-server | 5.5.64\$1 | Servidor de banco de dados MariaDB. | 
| nvidia-cuda | 9.2.88 | Drivers NVIDIA e toolkit CUDA | 
| oozie-client | 5.1.0 | O cliente da linha de comando do Oozie. | 
| oozie-server | 5.1.0 | O serviço que aceita solicitações de fluxo de trabalho do Oozie. | 
| opencv | 3.4.0 | Biblioteca de Visão Computacional de Código Aberto. | 
| phoenix-library | 5.0.0- HBase -2,0 | As bibliotecas do phoenix para servidor e cliente | 
| phoenix-query-server | 5.0.0- HBase -2,0 | Um servidor leve que fornece acesso à JDBC, bem como buffers de protocolo e acesso no formato JSON à API do Avatica  | 
| presto-coordinator | 0.230 | O serviço que aceita consultas e gerencia a execução de consultas entre os presto-workers. | 
| presto-worker | 0.230 | O serviço que executa partes de uma consulta. | 
| presto-client | 0.230 | Cliente de linha de comando do Presto instalado em mestres de espera de um cluster de alta disponibilidade em que o servidor do Presto não é iniciado. | 
| r | 3.4.3 | O projeto R para computação estatística | 
| spark-client | 2.4.4 | Os clientes da linha de comando do Spark. | 
| spark-history-server | 2.4.4 | A interface de usuário da web para visualizar os eventos registrados por toda a vida útil de um aplicativo Spark concluído. | 
| spark-on-yarn | 2.4.4 | O mecanismo de execução em memória para o YARN. | 
| spark-yarn-slave | 2.4.4 | As bibliotecas do Apache Spark necessárias para subordinados do YARN. | 
| tensorflow | 1.14.0 | TensorFlow biblioteca de software de código aberto para computação numérica de alto desempenho. | 
| tez-on-yarn | 0.9.2 | O aplicativo e as bibliotecas do YARN para Tez. | 
| webserver | 2.4.41\$1 | O servidor Apache HTTP. | 
| zeppelin-server | 0.9.0-SNAPSHOT | O notebook baseado na web que permite um data analytics interativo. | 
| zookeeper-server | 3.4.14 | O serviço centralizado de manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída, e fornecimento de serviços de grupo. | 
| zookeeper-client | 3.4.14 | ZooKeeper cliente de linha de comando. | 

## Classificações de configuração 6.0.0
<a name="emr-600-class"></a>

As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como `hive-site.xml`. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).


**Classificações do emr-6.0.0**  

| Classificações | Description | 
| --- | --- | 
| capacity-scheduler | Alterar os valores no arquivo capacity-scheduler.xml do Hadoop. | 
| container-executor | Alterar os valores no arquivo container-executor.cfg do YARN do Hadoop. | 
| container-log4j | Altere os valores no arquivo container-log4j.properties do YARN do Hadoop. | 
| core-site | Alterar os valores no arquivo core-site.xml do Hadoop. | 
| emrfs-site | Alterar as configurações do EMRFS. | 
| hadoop-env | Alterar os valores no ambiente do Hadoop para todos os componentes do Hadoop. | 
| hadoop-log4j | Alterar os valores no arquivo log4j.properties do Hadoop. | 
| hadoop-ssl-server | Alterar a configuração do servidor SSL no Hadoop | 
| hadoop-ssl-client | Alterar a configuração do cliente SSL no Hadoop | 
| hbase | Configurações selecionadas pelo Amazon EMR para Apache. HBase | 
| hbase-env | Mude os valores no HBase ambiente. | 
| hbase-log4j | Altere os valores no arquivo HBase hbase-log4j.properties. | 
| hbase-metrics | Altere os valores no arquivo HBase hadoop-metrics2-hbase.properties do. | 
| hbase-policy | Altere os valores no HBase arquivo hbase-policy.xml do. | 
| hbase-site | Altere os valores no HBase arquivo hbase-site.xml do. | 
| hdfs-encryption-zones | Configurar as zonas de criptografia do HDFS. | 
| hdfs-env | Alterar os valores no ambiente do HDFS. | 
| hdfs-site | Alterar os valores no arquivo hdfs-site.xml do HDFS. | 
| hcatalog-env | Mude os valores no HCatalog ambiente. | 
| hcatalog-server-jndi | Altere os valores em HCatalog jndi.properties. | 
| hcatalog-server-proto-hive-site | Altere os valores em HCatalog proto-hive-site .xml. | 
| hcatalog-webhcat-env | Mude os valores no ambiente HCat da HCatalog Web. | 
| hcatalog-webhcat-log4j2 | Altere os valores nas propriedades HCat log4j2.properties da HCatalog Web. | 
| hcatalog-webhcat-site | Altere os valores no arquivo webhcat-site.xml HCat da HCatalog Web. | 
| hive | As configurações administradas pelo Amazon EMR para o Apache Hive. | 
| hive-beeline-log4j2 | Alterar os valores no arquivo beeline-log4j2.properties do Hive. | 
| hive-parquet-logging | Alterar os valores no arquivo parquet-logging.properties do Hive. | 
| hive-env | Alterar os valores no ambiente do Hive. | 
| hive-exec-log4j2 | Altere os valores no arquivo hive-exec-log 4j2.properties do Hive. | 
| hive-llap-daemon-log4j2 | Altere os valores no arquivo llap-daemon-log 4j2.properties do Hive. | 
| hive-log4j2 | Alterar os valores no arquivo hive-log4j2.properties do Hive. | 
| hive-site | Alterar os valores no arquivo hive-site.xml do Hive. | 
| hiveserver2-site | Alterar os valores no arquivo hiveserver2-site.xml do Hive Server2. | 
| hue-ini | Alterar os valores no arquivo ini do Hue | 
| httpfs-env | Alterar os valores no ambiente do HTTPFS. | 
| httpfs-site | Alterar os valores no arquivo httpfs-site.xml do Hadoop. | 
| hadoop-kms-acls | Alterar os valores no arquivo kms-acls.xml do Hadoop. | 
| hadoop-kms-env | Alterar os valores no ambiente do Hadoop KMS. | 
| hadoop-kms-log4j | Alterar os valores no arquivo kms-log4j.properties do Hadoop. | 
| hadoop-kms-site | Alterar os valores no arquivo kms-site.xml do Hadoop. | 
| jupyter-notebook-conf | Alterar os valores no arquivo jupyter\$1notebook\$1config.py do Notebook Jupyter. | 
| jupyter-hub-conf | Altere os valores no JupyterHubs arquivo jupyterhub\$1config.py do. | 
| jupyter-s3-conf | Configurar a persistência do notebook Jupyter S3. | 
| jupyter-sparkmagic-conf | Altere os valores no arquivo config.json do Sparkmagic. | 
| livy-conf | Alterar os valores no arquivo livy.conf do Livy. | 
| livy-env | Alterar os valores no ambiente do Livy. | 
| livy-log4j | Alterar as configurações de log4j.properties no Livy. | 
| mapred-env | Altere os valores no ambiente do MapReduce aplicativo. | 
| mapred-site | Altere os valores no arquivo mapred-site.xml do MapReduce aplicativo. | 
| oozie-env | Alterar os valores no ambiente do Oozie. | 
| oozie-log4j | Alterar os valores no arquivo oozie-log4j.properties do Oozie. | 
| oozie-site | Alterar os valores no arquivo oozie-site.xml do Oozie. | 
| phoenix-hbase-metrics | Alterar os valores no arquivo hadoop-metrics2-hbase.properties do Phoenix. | 
| phoenix-hbase-site | Alterar os valores no arquivo hbase-site.xml do Phoenix. | 
| phoenix-log4j | Alterar os valores no arquivo log4j.properties do Phoenix. | 
| phoenix-metrics | Alterar os valores no arquivo hadoop-metrics2-phoenix.properties do Phoenix. | 
| presto-log | Alterar os valores no arquivo log.properties do Presto. | 
| presto-config | Alterar os valores no arquivo config.properties do Presto. | 
| presto-password-authenticator | Altere os valores no arquivo password-authenticator.properties do Presto. | 
| presto-env | Altere os valores no arquivo presto-env.sh do Presto. | 
| presto-node | Altere os valores no arquivo node.properties do Presto. | 
| presto-connector-blackhole | Alterar os valores no arquivo blackhole.properties do Presto. | 
| presto-connector-cassandra | Alterar os valores no arquivo cassandra.properties do Presto. | 
| presto-connector-hive | Alterar os valores no arquivo hive.properties do Presto. | 
| presto-connector-jmx | Alterar os valores no arquivo jmx.properties do Presto. | 
| presto-connector-kafka | Alterar os valores no arquivo kafka.properties do Presto. | 
| presto-connector-localfile | Alterar os valores no arquivo localfile.properties do Presto. | 
| presto-connector-memory | Alterar os valores no arquivo memory.properties do Presto. | 
| presto-connector-mongodb | Alterar os valores no arquivo mongodb.properties do Presto. | 
| presto-connector-mysql | Alterar os valores no arquivo mysql.properties do Presto. | 
| presto-connector-postgresql | Alterar os valores no arquivo postgresql.properties do Presto. | 
| presto-connector-raptor | Alterar os valores no arquivo raptor.properties do Presto. | 
| presto-connector-redis | Alterar os valores no arquivo redis.properties do Presto. | 
| presto-connector-redshift | Alterar os valores no arquivo de propriedades redshift do Presto. | 
| presto-connector-tpch | Alterar os valores no arquivo tpch.properties do Presto. | 
| presto-connector-tpcds | Alterar os valores no arquivo tpcds.properties do Presto. | 
| ranger-kms-dbks-site | Altere os valores no arquivo dbks-site.xml do Ranger KMS. | 
| ranger-kms-site | Altere os valores no ranger-kms-site arquivo.xml do Ranger KMS. | 
| ranger-kms-env | Altere os valores no ambiente do Ranger KMS. | 
| ranger-kms-log4j | Altere os valores no arquivo kms-log4j.properties do Ranger KMS. | 
| ranger-kms-db-ca | Altere os valores do arquivo CA no S3 para conexão SSL do MySQL com o Ranger KMS. | 
| recordserver-env | Altere os valores no ambiente do EMR. RecordServer  | 
| recordserver-conf | Altere os valores no arquivo erver.properties RecordServer do EMR. | 
| recordserver-log4j | Altere os valores no arquivo log4j.properties RecordServer do EMR. | 
| spark | As configurações administradas pelo Amazon EMR para o Apache Spark. | 
| spark-defaults | Alterar os valores no arquivo spark-defaults.conf do Spark. | 
| spark-env | Alterar os valores no ambiente do Spark. | 
| spark-hive-site | Alterar os valores no arquivo hive-site.xml do Spark. | 
| spark-log4j | Alterar os valores no arquivo log4j.properties do Spark. | 
| spark-metrics | Alterar os valores no arquivo metrics.properties do Spark. | 
| tez-site | Alterar os valores no arquivo tez-site.xml do Tez. | 
| yarn-env | Alterar os valores no ambiente do YARN. | 
| yarn-site | Alterar os valores no arquivo yarn-site.xml do YARN. | 
| zeppelin-env | Alterar os valores no ambiente do Zeppelin. | 
| zookeeper-config | Altere os valores no ZooKeeper arquivo zoo.cfg do. | 
| zookeeper-log4j | Altere os valores no ZooKeeper arquivo log4j.properties. |